分类: 附录二:数学

11 篇文章

第一篇:概率论-贝叶斯决策
贝叶斯决策 贝叶斯决策理论   贝叶斯决策理论:在不完全情报下,对部分未知的状态用主观概率估计。 贝叶斯公式 从条件概率公式推导贝叶斯公式 若果$A$和$B$相互独立,则有$p(A,B) = p(A)p(B)$,并有条件概率公式 $$ p(A|B) = {\frac{p(A,B)}{p(B)}} \ p(B|A) = {\fra…
第三篇:概率论-极大似然估计
极大似然估计 最大似然原理 极大似然估计   极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即“模型已定,参数未知”。通过观察若干次实验的结果,利用实验结果得到某个参数值能够使样本出现的概率最大,则称为极大似然估计。   简而言之,极大似然估计…
thumbnail
第四篇:概率论-熵和信息增益
熵和信息增益 熵(Entropy)   熵表示随机变量不确定性的度量。假设离散随机变量$X$可以取到$n$个值,其概率分布为 $$ P(X=x_i)=pi, \quad i = 1,2,\ldots,n $$ 则$X$的熵定义为 $$ H(X) = -\sum{i=1}^n p_i log{pi} $$ 由于熵只依赖$X$的分布…
第五篇:概率论-条件概率
条件概率 条件概率简介   条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:$p(A|B)$,读作“在B的条件下A的概率”。若只有两个事件A,B,那么 $$ p(A|B) = {\frac{p(AB)}{p(B)}} $$ 其中$p(AB)$表示$A$和$B$同时发生的概率,$p(B)$表示$B$发生…
第六篇:经济学-基尼指数
基尼指数 基尼指数简介   基尼指数(gini coefficient)代表了模型的不纯度,基尼指数越小,则不纯度越低;基尼指数越大,则不纯度越高,这和信息增益比是相反的。   假设一个训练集有$K$个类别,样本属于第$k$个类别的概率为$pk$,则它的基尼指数为 $$ G(p) = \sum{k=1}^K …
第九篇:线性代数-范数
范数 Lp范数   $p$是一个变量,度量的是一组范数 $$ ||x||_p = \sqrt[p]{\su_2,\ldots,x_n} $$ L0范数   度量非零个数。 $$ ||x||0 = \sqrt[0]{\sum{i=1}^nx_i^0},\quad x={x_1,x_2,\ldots,x_n} $…

You cannot copy content of this page