能推荐将boosting 背后的逻辑介绍清楚的paper吗？

[joseph]

我在用elements of statistical learning学习data mining，感觉里面的boosting讲的不清楚。谁能推
荐一下对于初学者将boosting 背后的逻辑介绍清楚的paper或者书。谢谢。

[baizhiwei9]

我觉得这个提升算法，主要是将弱可学习，变成强可学习，还有收敛性的证明 。求高人解答

[维生素]

可以搜： 人脸检测 赵楠

[joseph]

有人指点说freund的paper不错，google "freund boosting"。我暂时还没看。

On May 17, 6:28 pm, baizhiwei9 <baizhiw...@gmail.com> wrote:
> 我觉得这个提升算法，主要是将弱可学习，变成强可学习，还有收敛性的证明 。求高人解答
>

[Qijiong Jiang]

http://cns.bu.edu/~gsc/CN710/FreundSc95.pdf
http://www.cs.nyu.edu/~cil217/ML/BoostingMargin.pdf

2012/5/18 joseph <jche...@gmail.com>

[tangl_99]

其实Introduction to data mining以及网上很多教材都已经把这个算法讲得很清楚了。一般说把"弱分类器组合成强分类器"的人，多半是没搞明白boosting和bagging的区别，也没理解到adaBoost的精髓。boosting真正核心的思想是在每次选择数据上的考虑。简单来说，就是把每次分错了的样本再抽出来重点学习。这个就好比大家中学的时候做试卷。同一份试卷可以做多次，每次只做上一次做错了的题，做对了的题目不用再做了。经过如此反复练习，最后学习的效果最好。

adaBoost更是在理论上证明了这样的学习效果无论在bias还是variance都比普通的更好，但是我忘了怎么证明了。。。。

[joseph]

我觉得tangi_99把中心思想说清楚了。但是还有的问题就是adaboost 相当于将forward stagewise method 用上
exponential loss function，为什么这个exponential loss相对于quadratic loss 或者
absolute loss 是好的？

[tangl_99]

关于loss function的选择，这个从来都没有定论，这个要根据具体应用环境来定。实际当中，哪个更靠谱就用哪个。