题库机器学习专项面试题型介绍及解析--第6期
更新时间:2023-04-08 16:06:01 阅读量: 实用文档 文档下载
- 育种学题库推荐度:
- 相关推荐
解释一下GBDT算法的过程?
GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,使用的是Boosting的思想。
Boosting 的思想:
Boosting 方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加,每一层在训练的时候,对前一层基分类器分错的样本,给予更高的权重。测试时,根据各层分类器的结果的加权得到最终结果。
Bagging 与 Boosting 的串行训练方式不同,Bagging 方法在训练过程中,各基分类器之间无强依赖,可以进行并行训练。
GBDT 的原理很简单,就是所有弱分类器的结果相加等于预测值,然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了,它里面的弱分类器的表现形式就是各棵树。
举一个非常简单的例子,比如我今年30岁了,但计算机或者模型 GBDT 并不知道我今年多少岁,那 GBDT 咋办呢?
?它会在第一个弱分类器(或第一棵树中)随便用一个年龄比如20岁来拟合,然后发现误差有10岁;
?接下来在第二棵树中,用6岁去拟合剩下的损失,发现差距还有4岁;
?接着在第三棵树中用3岁拟合剩下的差距,发现差距只有1岁了;
?最后在第四课树中用1岁拟合剩下的残差,完美。
?最终,四棵树的结论加起来,就是真实年龄30岁(实际工程中,gbdt 是计算负梯度,用负梯度近似残差)。
为何 GBDT 可以用用负梯度近似残差呢?
回归任务下,GBDT 在每一轮的迭代时对每个样本都会有一个预测值,此时的损失函数为均方差损失函数,
那此时的负梯度是这样计算的
所以,当损失函数选用均方损失函数是时,每一次拟合的值就是(真实值 - 当前模型预测的值),即残差。此时的变量是,即“当前预测模型的值”,也就是对它求负梯度。
GBDT的优点和局限性有哪些?
优点:
?预测阶段的计算速度快,树与树之间可并行化计算。
?在分布稠密的数据集上,泛化能力和表达能力都很好,这使得GBDT在Kaggle的众多竞赛中,经常名列榜首。
?采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性,能够自动发现特征间的高阶关系。
局限性:
?GBDT在高维稀疏的数据集上,表现不如支持向量机或者神经网络。
?GBDT在处理文本分类特征问题上,相对其他模型的优势不如它在处理数值特征时明显。
?训练过程需要串行训练,只能在决策树内部采用一些局部并行的手段提高训练速度。
为什么需要代价函数?
1.为了得到训练逻辑回归模型的参数,需要一个代价函数,通过训练代价函数来得到参数。
2.用于找到最优解的目的函数。
为什么代价函数要非负?
目标函数存在一个下界,在优化过程当中,如果优化算法能够使目标函数不断减小,根据单调有界准则,这个优化算法就能证明是收敛有效的。只要设计的目标函数有下界,基本上都可以,代价函数非负更为方便。
正在阅读:
八字五行相逢助合化05-22
2013高考地理试题分类汇编10-工业地域的形成与发展09-03
工程热力学课后作业答案第五版(全)05-20
部编语文一年级下册 第5单元提升练习03-21
《有机化学计算》例题15- 副本01-16
半月评论2011年第03期呵护亲情04-14
街道办事处2022年度工作计划范文04-15
2021年小学防踩踏安全工作应急预案07-29
上科教版综合实践五上教案10-19
- 教学能力大赛决赛获奖-教学实施报告-(完整图文版)
- 互联网+数据中心行业分析报告
- 2017上海杨浦区高三一模数学试题及答案
- 招商部差旅接待管理制度(4-25)
- 学生游玩安全注意事项
- 学生信息管理系统(文档模板供参考)
- 叉车门架有限元分析及系统设计
- 2014帮助残疾人志愿者服务情况记录
- 叶绿体中色素的提取和分离实验
- 中国食物成分表2020年最新权威完整改进版
- 推动国土资源领域生态文明建设
- 给水管道冲洗和消毒记录
- 计算机软件专业自我评价
- 高中数学必修1-5知识点归纳
- 2018-2022年中国第五代移动通信技术(5G)产业深度分析及发展前景研究报告发展趋势(目录)
- 生产车间巡查制度
- 2018版中国光热发电行业深度研究报告目录
- (通用)2019年中考数学总复习 第一章 第四节 数的开方与二次根式课件
- 2017_2018学年高中语文第二单元第4课说数课件粤教版
- 上市新药Lumateperone(卢美哌隆)合成检索总结报告
- 题型
- 题库
- 专项
- 面试
- 解析
- 机器
- 介绍
- 学习
- 2022-2024年中国及全球汉堡机行业市场发展战略分析及投资前景专
- 记一次科技活动作文
- 煤矿矿井风量计算办法(根据据规程2016)
- 2012年上海房地产十大经典广告语
- 2022年江苏省淮安市中考英语试题及答案
- C语言程序设计实验指导_上交大_课前练习-改错-完善程序-课后练习
- 小学道德与法治_2.《我们生活离不开他们》教学设计学情分析教材
- 2022年河南财经政法大学宪法学与行政法学803法学综合之刑法学考
- 公司后勤保障员个人工作总结
- 初一英语苏版练习连系动词be,look,sound,feel等的用法练习
- 样稿毕业设计论文作业浅析银行业的绩效考核管理体系
- 高中校长工作职责范本
- 王崧舟课堂教学实录
- 七年级英语上册 Unit 9 My favorite subject is science(第4课时
- 小班美术活动教案《彩色的雨》
- 对小动物有爱心的作文.doc
- SAP_权限设定、分配及传输
- 经典浪漫求婚词:只想一生跟你走
- IC卡刷卡水表安装使用说明
- 我是某某某 第一章 第一、二节 酒吧庆生 突发车祸