百题突击3:1.逻辑回归相比线性回归,有何异同? 2.回归问题常用的性能度量指标 3.分类问题常用的性能度量指标 4.逻辑回归的损失函数

琐碎记录 专栏收录该内容
40 篇文章 0 订阅

1.逻辑回归相比线性回归,有何异同?

许多人对线性回归都比较熟悉,但知道逻辑回归的人可能就要少的多。从大的类别上来说,逻辑回归是一种有监督的统计学习方法,主要用于对样本进行分类。

在线性回归模型中,输出一般是连续的,例如
y = f ( x ) = a x + b y=f(x)=ax+b y=f(x)=ax+b
对于每一个输入的x,都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。但是对于逻辑回归,输入可以是连续的[-∞, +∞],但输出一般是离散的,即只有有限多个输出值。例如,其值域可以只有两个值{0, 1},这两个值可以表示对样本的某种分类,高/低、患病/健康、阴性/阳性等,这就是最常见的二分类逻辑回归。因此,从整体上来说,通过逻辑回归模型,我们将在整个实数范围上的x映射到了有限个点上,这样就实现了对x的分类。因为每次拿过来一个x,经过逻辑回归分析,就可以将它归入某一类y中。

不同之处:
1.逻辑回归解决的是分类问题,线性回归解决的是回归问题,这是两者最本质的区别

2.逻辑回归中因变量是离散的,而线性回归中因变量是连续的这是两者最大的区别

3在自变量和超参数确定的情况下逻辑回归可看作广义的线性模型在因变量下服从二元分布的一个特殊情况

4.使用最小二乘法求解线性回归时我们认为因变量服从正态分布

相同之处:
1.二者在求解超参数的过程中都使用梯度下降的方法

2.他们两个都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法实际上就应该是极大似然估计的一个简化,而逻辑回归中也是通过对似然函数去学习才得到的最佳参数 θ 。

2.回归问题常用的性能度量指标

这三个最常用到:

SSE、MSE、RMSE
SSE(残差平方和、和方差、误差平方和):Sum of Squares due to Error

MSE(均方差、均方误差):Mean Squared Error

RMSE(均方根误差、标准误差):Root Mean Squared Error

S S E = ∑ i = 1 n ( y ^ i − y i ) 2 M S E = S S E n = 1 n ⋅ ∑ i = 1 n ( y ^ i − y i ) 2 R M S E = M S E = S S E / n = 1 n ⋅ ∑ i = 1 n ( y ^ i − y i ) 2 \begin{array}{l} S S E=\sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2} \\ M S E=\frac{S S E}{n}=\frac{1}{n} \cdot \sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2} \\ R M S E=\sqrt{M S E}=\sqrt{S S E / n}=\sqrt{\frac{1}{n} \cdot \sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2}} \end{array} SSE=i=1n(y^iyi)2MSE=nSSE=n1i=1n(y^iyi)2RMSE=MSE =SSE/n =n1i=1n(y^iyi)2

SSE、SSR、SST、R_square

SSE(残差平方和、和方差、误差平方和):Sum of Squares due to Error

SSR(回归平方和):Sum of Squares of the Regression

SST(总离差平方和):Total Sum of Squares

R-square(决定系数):Coefficient of Determination

S S E = ∑ i = 1 n ( y ^ i − y i ) 2 S S R = ∑ i = 1 n ( y ^ i − y ˉ ) 2 S S T = ∑ i = 1 n ( y i − y ˉ ) 2 S S T = S S E + S S R R 2 = S S R S S T = 1 − S S E S S T \begin{array}{l} S S E=\sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2} \\ S S R=\sum_{i=1}^{n}\left(\hat{y}_{i}-\bar{y}\right)^{2} \\ S S T=\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2} \\ S S T=S S E+S S R \\ R^{2}=\frac{S S R}{S S T}=1-\frac{S S E}{S S T} \end{array} SSE=i=1n(y^iyi)2SSR=i=1n(y^iyˉ)2SST=i=1n(yiyˉ)2SST=SSE+SSRR2=SSTSSR=1SSTSSE

MAE:直接计算模型输出与真实值之间的平均绝对误差
MAPE:不仅考虑预测值与真实值误差,还考虑了误差与真实值之间的比例。
平均平方百分比误差MASE

M A E = 1 n ∑ i = 0 n ∣ f ( x i ) − y i M A P E = 1 n ∑ i = 0 n ∣ f ( x i ) − y i ∣ y i M A S E = 1 n ∑ i = 0 n ( ∣ f ( x i ) − y i ∣ y i ) 2 \begin{aligned} &\mathrm{MAE}=\frac{1}{\mathrm{n}} \sum_{\mathrm{i}=0}^{\mathrm{n}} \mid f\left(x_{i}\right)-y_{i}\\ &M A P E=\frac{1}{n} \sum_{i=0}^{n} \frac{\left|f\left(x_{i}\right)-y_{i}\right|}{y_{i}}\\ &M A S E=\frac{1}{n} \sum_{i=0}^{n}\left(\frac{\left|f\left(x_{i}\right)-y_{i}\right|}{y_{i}}\right)^{2} \end{aligned} MAE=n1i=0nf(xi)yiMAPE=n1i=0nyif(xi)yiMASE=n1i=0n(yif(xi)yi)2

3.分类问题常用的性能度量指标

分类是监督学习中的一个核心问题。为了评价一个分类器的分类性能优劣,需要引入一些评估指标,常用的一些指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值等。

混淆矩阵: 通常以关注的类为正类,其他类为负类,依据分类器在测试数据集上的预测正确与否,四种情况出现的总数分别记作:

TP — 将正类预测为正类的样本数;
FN — 将正类预测为负类的样本数;
FP — 将负类预测为正类的样本数;
TN — 将负类预测为负类的样本数;
其中,True、False表示分类正确与错误,Positive、Negative表示正、负样本。
在这里插入图片描述
 Accuracy  = T P + T N T P + F N + F P + T N \text { Accuracy }=\frac{T P+T N}{T P+F N+F P+T N}  Accuracy =TP+FN+FP+TNTP+TN

 Sensitivity  =  Recall  = T P T P + F N \text { Sensitivity }=\text { Recall }=\frac{T P}{T P+F N}  Sensitivity = Recall =TP+FNTP

 Precision = T P T P + F P \text { Precision}=\frac{T P}{T P+FP}  Precision=TP+FPTP
F值是精确率和召回率的调和值,更接近于两个数较小的那个,所以精确率和召回率接近时,F值最大。很多推荐系统的评测指标就是用F值的。

F 1 = ( r e c a l l − 1 + p r e c i s i o n − 1 2 ) − 1 = 2 ⋅ p r e c i s i o n ⋅ r e c a l l p r e c i s i o n + r e c a l l F_1={(\frac{recall^{-1}+precision^{-1}}{2})}^{-1}=2\cdot \frac{precision \cdot recall}{precision+recall} F1=(2recall1+precision1)1=2precision+recallprecisionrecall

ROC AUC等等。

4.逻辑回归的损失函数

线性回归中,当我们有m个样本的时候, 我们用的是损失函数是
J ( θ ) = 1 m ∑ i = 1 m 1 2 ( h θ ( x ( i ) ) − y ( i ) ) 2 J_{(\theta)}=\frac{1}{m} \sum_{i=1}^{m} \frac{1}{2}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} J(θ)=m1i=1m21(hθ(x(i))y(i))2
到了逻辑回归中,损失函数变成
J ( θ ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] J_{(\theta)}=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right] J(θ)=m1i=1m[y(i)log(hθ(x(i)))+(1y(i))log(1hθ(x(i)))]

为什么是这个形式呢? 看Logistic Regression(逻辑回归)中的损失函数理解(这个讲很清楚了)

5. 逻辑回归处理多标签分类问题时,一般怎么做?

不互斥:建立多个二元逻辑回归模型
互斥:多项逻辑回归

  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值