Logistic回归也称Logit回归或Logit模型，是一个因变量是分类值的回归模型。

Logistic模型是特殊情况下的一般线性模型(General linear model)，可用来预测二值因变量的概率。其预测函数中使用到了Logistic Function (见公式 \eqref{equ:logisticFun})，所以称其为Logistic Regression。

$$ \begin{equation} \begin{split} logistic(x)= \frac{L}{1+\mathrm{e}^{-k(x-\mu)}} \end{split} \label{equ:logisticFun} \end{equation} $$ 当$L=1,k=1,\mu=\textbf{0}$时，logistic regression的预测函数为 $$ \begin{equation} \begin{split} h_{\theta}(x)=logistic(\theta^T \cdot x)= \frac{1}{1+\mathrm{e}^{ -\theta^T \cdot x }} \end{split} \label{equ:logisticOriginal} \end{equation} $$ 当响应值$y \in \{0,1\}$时 $$ \begin{equation} \begin{split} & P(y=1|x;\theta)=h_\theta(x) \\ & P(y=0|x;\theta)=1-h_\theta(x) \end{split} \label{equ:responseProb} \end{equation} $$ 将两种情况综合起来， $$ \begin{equation} \begin{split} P(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y} \\ \end{split} \label{equ:responseProbInOne} \end{equation} $$ 取\eqref{equ:responseProbInOne}似然函数 $$ \begin{equation} \begin{split} L(\theta)=\prod^n_{i=1}P(y_i|x;\theta)=\prod^n_{i=1}(h_\theta(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i} \end{split} \label{equ:likehoodLogistic} \end{equation} $$