分类: 第十章:集成学习

12 篇文章

第一篇:Bagging算法和随机森林
Bagging算法和随机森林   集成学习主要分成两个流派,其中一个是Boosting算法,另一个则是本文要讲的Bagging算法,Bagging算法 算法的弱学习器是没有依赖关系的,因此弱学习之间可以并行拟合。   Bagging算法中最著名的算法是随机森林,由于随机森林的不容易过拟合性以及简便性,可以说是…
第三篇:scikit-learn库之随机森林
scikit-learn库之随机森林   本文主要介绍随机森林的两个模型RandomForestClassifier和RandomForestRegressor,这两个模型调参包括两部分,第一部分是Bagging框架,第二部分是CART决策树的参数。本文会详解介绍RandomForestClassifier模型,然后会对比着讲解…
XgBoost算法
XgBoost算法   XgBoost算法(eXtreme Gradient Boosting)属于Boosting系列算法,更多的是基于GBDT算法的一个进阶算法。本文假设XgBoost算法使用的弱学习器为决策树。 XgBoost算法学习目标 XgBoost算法目标函数 XgBoost算法正则化项 XgBoost算法最小化目标…
第一篇:提升树
提升树   提升树(boosting tree)是以分类树或回归树作为弱学习器的强学习器。   提升树模型用的是加法模型,算法用的是前向分步算法,弱学习器是决策树的集成学习方法。 提升树学习目标 加法模型 前向分步算法 提升树与AdaBoost算法 回归提升树流程 提升树优缺点 提升树引入  &em…
第二篇:梯度提升树
梯度提升树   梯度提升树(gradien boosting decision tree,GBDT)在工业上用途广泛,属于最流行、最实用的算法之一,梯度提升树可以看成是提升树的优化版。 梯度提升树学习目标 梯度提升树和提升树 回归梯度提升树流程 梯度提升树优缺点 梯度提升树详解 梯度提升树和提升树   梯度提…
第三篇:scikit-learn库之梯度提升树
scikit-learn库之梯度提升树   本文主要介绍梯度提升树的两个模型GradientBoostingClassifier和GradientBoostingRegressor,这两个模型调参包括两部分,第一部分是Bagging框架,第二部分是CART决策树的参数。本文会详解介绍GradientBoostingClassif…
第一篇:AdaBoost算法引入
AdaBoost算法   集成学习中弱学习器之间有强依赖关系的,称之为Boosting系列算法,而AdaBoost则是Boosting系列算法中最著名的算法之一。   AdaBoost算法强大之处在于既可以解决分类问题,又可以解决回归问题。 AdaBoost算法学习目标 AdaBoost算法目标函数优化 强分…
第二篇:scikit-learn库之AdaBoost算法
scikit-learn库之AdaBoost算法   当我们对Adaboost调参时,主要要对两部分内容调参,第一部分是对Adaboost的框架进行调参,第二部分是对弱学习器调参。本文主要介绍AdaBoost的两个模型AdaBoostClassifier和AdaBoostRegressor,会详解介绍AdaBoostClassi…
thumbnail
集成学习基础
集成学习基础   集成学习(ensemnle learning)通过构建并结合多个学习器来完成学习任务,集成学习可以用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等等。 集成学习基础学习目标 集成学习构成 Boosting和Bagging 平均法、投票法和学习法 集成学习基础引入 # 集成学习基础引入图例 impo…

You cannot copy content of this page