Logistic regression tips: different kinds of regressions
Published:
This post is about different kinds of regressions and their differences.
Binomial logistic regression
又名logit model。传统的逻辑回归，因变量为二值属性，可以扩展到多值逻辑回归（motinomial logistic regression），通过将因变量进行one-hot操作即可(coefficient的增加和log odds的增加一致，详情参见reference #1)。
通过调用R语言中glm函数，设置family参数为binomial即可实现二值逻辑回归的函数调用。
Motinomial logistic regression
又名polytomous LR（多义逻辑回归），multiclass LR，softmax regression，multinomial logit（mlogit），maximum entropy (MaxEnt) classifier，conditional maximum entropy model。是上述二值逻辑回归的拓展，因变量为无序的离散变量（categorical variable/nominal）。
与binomial logistic regression不同的是，MLR的公式左侧不是odds的log值，而是有一个base-level（pivot），其他的几个level计算基于pivot的回归。如下面的公式所示：
\[ln\frac{P(Y_i=1)}{P(Y_i=K)}=\beta_{1,0} + \beta_1 X_i\] \[ln\frac{P(Y_i=2)}{P(Y_i=K)}=\beta_{2,0} + \beta_2 X_i\] \[......\] \[ln\frac{P(Y_i=K-1)}{P(Y_i=K)}=\beta_{k-1,0} + \beta_{k-1} X_i\]因此，得到的结果中coefficient的值不指向log odds的变化，而是因变量中某个level发生概率与base-level发生概率的比值的log值的变化。
to be continued…
Multinomial probit regression
Multiple-group discriminant function analysis
Multiple logistic regression analyses
Ordinal logistic regression
references
Wikipedia: Logistic regression