贝叶斯决策 贝叶斯决策理论   贝叶斯决策理论：在不完全情报下，对部分未知的状态用主观概率估计。 贝叶斯公式 从条件概率公式推导贝叶斯公式 若果$A$和$B$相互独立，则有$p(A,B) = p(A)p(B)$，并有条件概率公式 $$ p(A|B) = {\frac{p(A,B)}{p(B)}} \ p(B|A) = {\fra…

常见的概率分布模型 离散概率分布函数   离散概率分布也称为概率质量函数（probability mass function），离散概率分布的例子有     伯努利分布（Bernoulli distribution）     几何分布（geometr…

极大似然估计 最大似然原理 极大似然估计   极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过观察若干次实验的结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然估计。   简而言之，极大似然估计…

熵和信息增益 熵（Entropy）   熵表示随机变量不确定性的度量。假设离散随机变量$X$可以取到$n$个值，其概率分布为 $$ P(X=x_i)=pi, \quad i = 1,2,\ldots,n $$ 则$X$的熵定义为 $$ H(X) = -\sum{i=1}^n p_i log{pi} $$ 由于熵只依赖$X$的分布…

条件概率 条件概率简介   条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：$p(A|B)$，读作“在B的条件下A的概率”。若只有两个事件A，B，那么 $$ p(A|B) = {\frac{p(AB)}{p(B)}} $$ 其中$p(AB)$表示$A$和$B$同时发生的概率，$p(B)$表示$B$发生…

基尼指数 基尼指数简介   基尼指数（gini coefficient）代表了模型的不纯度，基尼指数越小，则不纯度越低；基尼指数越大，则不纯度越高，这和信息增益比是相反的。   假设一个训练集有$K$个类别，样本属于第$k$个类别的概率为$pk$，则它的基尼指数为 $$ G(p) = \sum{k=1}^K …

Sigmoid函数 Sigmoid函数详解 # Sigmoid函数详解图例 import numpy as np import matplotlib.pyplot as plt ax = plt.subplot(111) ax.spines['right'].set_color('none') ax.spin…

sign(符号)函数 sign函数概述   sign函数也称作符号函数，当x>0的时候y=1；当x=0的时候y=0；当x<0的时候y=-1。sign函数公式为 $$ y = \begin{cases} 1,\quad x>0 \ $$ python实现sign函数 import matplotlib.pyplo…

范数 Lp范数   $p$是一个变量，度量的是一组范数 $$ ||x||_p = \sqrt[p]{\su_2,\ldots,x_n} $$ L0范数   度量非零个数。 $$ ||x||0 = \sqrt[0]{\sum{i=1}^nx_i^0},\quad x={x_1,x_2,\ldots,x_n} $…

矩阵转置   假设我们有一个矩阵 $$ w= \begin{matrix} 1&2&3 \ 4&5&6 \ $$   则矩阵的转置 $$ w^T= \begin{matrix} 1&4&7 \ 2&5&8 \ 3&6&9 \ \e…

距离公式汇总   假设$n$维空间中有两个点$x_i$和$x_j$，其中$x_i = (x_i^{(1)},x_i^{(2)},\cdots,x_i^{(n)})^T$，$x_j = (x_j^{(1)},x_j^{(2)},\cdots,x_j^{(n)})^T$。 欧式距离 $$ d(x_i,xj) = \sqrt{\sum…