Bagging算法和随机森林   集成学习主要分成两个流派，其中一个是Boosting算法，另一个则是本文要讲的Bagging算法，Bagging算法 算法的弱学习器是没有依赖关系的，因此弱学习之间可以并行拟合。   Bagging算法中最著名的算法是随机森林，由于随机森林的不容易过拟合性以及简便性，可以说是…

随机森林代码(葡萄酒质量检测) 导入模块 import pandas as pd from sklearn import datasets 导入数据 [rml_read_more]： X, y = datasets.load_wine(return_X_y=True) 数据预处理 le = LabelEncoder() # 把label转换为0和1…

scikit-learn库之随机森林   本文主要介绍随机森林的两个模型RandomForestClassifier和RandomForestRegressor，这两个模型调参包括两部分，第一部分是Bagging框架，第二部分是CART决策树的参数。本文会详解介绍RandomForestClassifier模型，然后会对比着讲解…

XgBoost算法   XgBoost算法(eXtreme Gradient Boosting)属于Boosting系列算法，更多的是基于GBDT算法的一个进阶算法。本文假设XgBoost算法使用的弱学习器为决策树。 XgBoost算法学习目标 XgBoost算法目标函数 XgBoost算法正则化项 XgBoost算法最小化目标…

梯度提升算法代码(鸢尾花分类)+交叉验证调参 导入模块 import numpy as np import matplotlib.pyplot as plt font = FontProperties(fname='/Library/Fonts/Heiti.ttc') 导入数据 iris_data = load_iris() X…

提升树   提升树(boosting tree)是以分类树或回归树作为弱学习器的强学习器。   提升树模型用的是加法模型，算法用的是前向分步算法，弱学习器是决策树的集成学习方法。 提升树学习目标 加法模型 前向分步算法 提升树与AdaBoost算法 回归提升树流程 提升树优缺点 提升树引入  &em…

梯度提升树   梯度提升树(gradien boosting decision tree，GBDT)在工业上用途广泛，属于最流行、最实用的算法之一，梯度提升树可以看成是提升树的优化版。 梯度提升树学习目标 梯度提升树和提升树 回归梯度提升树流程 梯度提升树优缺点 梯度提升树详解 梯度提升树和提升树   梯度提…

scikit-learn库之梯度提升树   本文主要介绍梯度提升树的两个模型GradientBoostingClassifier和GradientBoostingRegressor，这两个模型调参包括两部分，第一部分是Bagging框架，第二部分是CART决策树的参数。本文会详解介绍GradientBoostingClassif…

AdaBoost算法   集成学习中弱学习器之间有强依赖关系的，称之为Boosting系列算法，而AdaBoost则是Boosting系列算法中最著名的算法之一。   AdaBoost算法强大之处在于既可以解决分类问题，又可以解决回归问题。 AdaBoost算法学习目标 AdaBoost算法目标函数优化 强分…

scikit-learn库之AdaBoost算法   当我们对Adaboost调参时，主要要对两部分内容调参，第一部分是对Adaboost的框架进行调参，第二部分是对弱学习器调参。本文主要介绍AdaBoost的两个模型AdaBoostClassifier和AdaBoostRegressor，会详解介绍AdaBoostClassi…

AdaBoost算法代码(鸢尾花分类) 导入模块 import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap %matplotlib inline font = FontProperties(fname='/…

集成学习基础   集成学习(ensemnle learning)通过构建并结合多个学习器来完成学习任务，集成学习可以用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等等。 集成学习基础学习目标 集成学习构成 Boosting和Bagging 平均法、投票法和学习法 集成学习基础引入 # 集成学习基础引入图例 impo…