1.Logistic分布:
logistic分布定义:设X是连续随机变量,X服从logistic分布,即为X具有下列分布函数和密度函数:
其中,mu为位置参数,r>0为形状参数;
logistic分布的分布函数F(x)的图形与密度函数f(x)的图形如下所示:
分布函数 密度函数
分布函数的图形是一条S形曲线,该曲线是以(mu,1/2)为中心对称,在曲线中心附近增长速度较快,而在两端增长速度较慢,形状参数r的值越小,曲线在中心附近增长越快;
2.二项 Logistic 回归模型
二项Logistic回归模型由条件概率分布P(Y|X)表示,X为随机变量,取值为实数,Y同为随机变量,但取值为1或0;
二项 Logistic回归模型的条件概率分布:
其中,w称为权值向量,b为偏置,x为输入,Y为输出,也就是说通过统计x的概率值,在那一类中的概率值较大,就将x分到那一类中,
3.模型参数估计
给定训练数据集T={(x1,y1),(x2,y2),....(xN,yN)}, xi为实数,yi为0,1;
则通过极大似然估计法求得模型参数;
设P(Y=1|x)=p(x),,P(Y=0|x)=1-p(x)
似然函数表示为:
对数似然函数表示为:
然后对L(w)求极大值,得到w的估计值;
将对数似然函数作为目标函数,对其进行最优化问题;优化方法通常采用梯度下降法及拟牛顿法
对数损失函数的标准形式为:L(Y,P(Y|X)) = -logP(Y|X)意思就是什么样的参数才能使观测到目前这组数据的概率最大。
因为log函数是单调递增函数,所以log(P(Y|X)能够得到最大值,但L(Y,P(Y|X))=-logP(Y|X),所以最大化P(Y|X)就等同于最小化L
逻辑回归的P(Y=y|x)表达式为:
令w*x+b=f(x),则逻辑回归P(Y=y|x)的表达式为:
将公式带入到L(Y,P(Y|X)中,通过推导得到logistic的损失函数表达式,
最后推导出logistic回归的目标公式:
梯度下降法:
梯度 下降是通过J(w)对参数w进行一阶求导来找到下降方向,并且以迭代的方式更新参数,更新方式为 K为迭代次数;
每次更新参数后,通过比较||J(k+1)-J(k)||与某个阈值e大小项比较,比e小就停止;
牛顿法:
在现有极小点估计值的附近对f(x)做二阶泰勒展开,进而找到极小点的下一个估计值
设 为当前极小值的估计值,那么
对其进行求导,令导数 求w的估计值,并与阈值e相比较;