分类预测模型常用评估工具
笨笨
1.Gain Chart （也有说是ROC曲线）
2.Response Chart
3.Lift
4.AUC
5.Gini Score
6.K-S
大家继续补充 ^ ^
raullew
Qing
Franc Fu
收益图Gains Chart
收益的定义是相对于全部匹配，发生于每个分位数中的匹配的百分比。其计算方法为（分位数中的匹配数量/全部匹配数量） × 100%。
理想的Gains图应在前期快速达到较高的累计Gains，很快趋于100％并平稳
显示带有基线、最佳线及业务规则的收益图（累积）
提升图 Lift Chart
提升将每个分位数中匹配记录的百分比与在全部训练数据中匹配的百分比进行比较。其计算方式为（在分位数中的匹配/在分位数中的记录）/（全部匹配/全部记录）。
理想的Lift图应在较高的累计Lift上保持较长一段，然后迅速下降到1
使用点和最佳线的提升图（累积）
响应图 Response Chart
响应即分位数中，匹配记录的比例。其计算方式为（分位数中的匹配/分位数中的记录）× 100%。
理想的Response图应在较高的累计Lift上保持一段，然后迅速下降到100％
具有最佳线的响应图（累积）
利润图Profit Chart
利润等于每个记录的收入减去该记录的成本。也就是说，分位数的利润就是位于该分位数内的所有记录的利润总和。这里假定利润仅应用于匹配项，但成本可应用于所有的记录。利润及成本都可以是固定的，也可以由数据中的字段决定。其计算方法为（分位数中所有记录收入的总和 − 分位数中所有记录成本的总合）。
理想的Profit图应在前期快速上升，在50％分位点纵坐标达到最大后快速下降
具有最佳线的利润图（累积）
投资回报图 ROI Chart
投资回报 (ROI) 也需要确定收入和成本，从这一点上来说，它与利润相同。ROI 将分位数的成本和利润进行比较。其计算方法为（分位数利润/分位数成本）× 100%。
理想的ROI图应在较高的累计ROI上保持一段，然后迅速下降至一般水平
具有最佳线的投资回报图（累积）
--
--~--~---------~--~----~------------~-------~--~----~ 要在此论坛发帖，请
发电子邮件到 tt...@googlegroups.com 要退订此论坛，请发邮件至
ttnn-uns...@googlegroups.com 更多选项，请通过
http://groups.google.com/group/ttnn访问本论坛
-~----------~----~----~----~------~----~------~--~---
huwanli
以前曾写过一点，贴在这里：
1) 收益图
收益图实际上描述的是整体覆盖率(精度)指标。
按照模型预测出的概率从高到低排列，将每一个百分位数内的覆盖率指标标注在图形区域内，就形成了非累积的收益图。
如果对每一个百分位及其之前的覆盖率求和，并将值标注在图形区域内，则形成累积的收益图。
1) 显然，累积图通常能够更好的表现模型性能，而非累积图则更有利于指出模型中可能存在问题的地方。
2) 采用训练集绘制的收益图(L)一般都很不错，虽然没什么意义。用验证集绘制的收益图(R)则未必了。见图。
2) 提升图
提升图实际上是把各个百分位点上的提升度予以描述，同样也分累积的和非累积的。下面是用训练集本身和验证集分别绘制的提升图。
From: tt...@googlegroups.com
[mailto:tt...@googlegroups.com] On Behalf Of Franc Fu
Sent: Thursday, December 04, 2008 2:16 PM
To: tt...@googlegroups.com
Subject: Re: 分类预测模型常用评估工具
根据clemintine里面的解释，有以下的5中评估标准：
……
__________ Information from ESET Smart Security, version of virus signature database 3662 (20081203) __________
The message was checked by ESET Smart Security.
http://www.eset.com
笨笨
要确定利润和投资回报 很难 因为成本和利润的系数很难确定 要根据客户实际情况来看的
我现在比较关注二元分类的"区分"能力评估工具
AUC K-S Gini比较符合我一开始的想法
如果大家还有什么好的评估工具 不吝赐教
On Dec 4, 2:36 pm, "huwanli" <huwa...@gmail.com> wrote:
> 以前曾写过一点，贴在这里：
>
> 1) 收益图
>
> 收益图实际上描述的是整体覆盖率(精度)指标。
>
> 按照模型预测出的概率从高到低排列，将每一个百分位数内的覆盖率指标标注在图形区域内，就形成了非累积的收益图。
>
> 如果对每一个百分位及其之前的覆盖率求和，并将值标注在图形区域内，则形成累积的收益图。
>
> 1) 显然，累积图通常能够更好的表现模型性能，而非累积图则更有利于指出模型中可能存在问题的地方。
>
> 2) 采用训练集绘制的收益图(L)一般都很不错，虽然没什么意义。用验证集绘制的收益图(R)则未必了。见图。
>
> <file:///C:\Documents%20and%20Settings\Eric\Application%20Data\Windows%20Li-ve%20Writer\PostSupportingFiles\6677cbec-4b6a-47a9-b3e4-7cf18510a7e9\image2-.png> image <file:///C:\Documents%20and%20Settings\Eric\Application%20Data\Windows%20Li-ve%20Writer\PostSupportingFiles\6677cbec-4b6a-47a9-b3e4-7cf18510a7e9\image5-.png> image
>
> 2) 提升图
>
> 提升图实际上是把各个百分位点上的提升度予以描述，同样也分累积的和非累积的。下面是用训练集本身和验证集分别绘制的提升图。
>
> <file:///C:\Documents%20and%20Settings\Eric\Application%20Data\Windows%20Li-ve%20Writer\PostSupportingFiles\6677cbec-4b6a-47a9-b3e4-7cf18510a7e9\image8-.png> image <file:///C:\Documents%20and%20Settings\Eric\Application%20Data\Windows%20Li-ve%20Writer\PostSupportingFiles\6677cbec-4b6a-47a9-b3e4-7cf18510a7e9\image1-1.png> image
>
> From: tt...@googlegroups.com [mailto:tt...@googlegroups.com] On Behalf Of Franc Fu
> Sent: Thursday, December 04, 2008 2:16 PM
> To: tt...@googlegroups.com
> Subject: Re: 分类预测模型常用评估工具
>
> 根据clemintine里面的解释，有以下的5中评估标准：
>
> ......
>
> image001.png
> 35KViewDownload
>
> image002.png
> 31KViewDownload
>
> image003.png
> 34KViewDownload
>
> image004.png
> 26KViewDownload
Hu, Jiangtang
1. 什么是Lift？
I) Lift（提升指数）是评估一个预测模型是否有效的一个度量；这个比值由运用和不运用这个模型所得来的结果计算而来。
II) 一个简单的数字例子：
i. 比如说你要向选定的1000人邮寄调查问卷。以往的经验告诉你大概20%的人会把填好的问卷寄回给你，即1000人中有200人会对你的问卷作出回应（response），用统计学的术语，我们说baseline response rate是20%；
ii. 如果你现在就邮寄问卷，1000份你期望能收回200份，这可能达不到一次问卷调查所要求的回收率，比如说工作手册规定邮寄问卷回收率要在25%以上；
iii. 通过以前的问卷调查，你收集了关于问卷采访对象的相关资料，比如说年龄、教育程度之类。利用这些数据，你确定了哪类被访问者对问卷反应积极。假设你已经利 用这些过去的数据建立了模型，这个模型把这1000人分了类，现在你可以从你的千人名单中挑选出反应最积极的100人来，这10%的人的反应率 (response rate)为60%。那么，对这100人的群体（我们称之为Top 10%），通过运用我们的模型，相对的提升(gain or lift value)就为60%/20%=3；换句话说，与不运用模型而随机选择相比，运用模型而挑选有3倍的好处；
iv. 类似地，对占总样本的任何比例的人群，我们都可以计算出相应的提升指数，比如说我们可以计算Top 20%的群体的提升指数。
III) 一个结论就是，提升指数越大，模型的运行效果越好。
2. 建立Lift Table 的步骤（并画出Lift Chart），以验证信用评分模型为例：
I) 利用已经建立的评分模型，对我们要验证的样本进行评分。样本下的每一个个体都将得到一个分数，或者是违约概率，或者是一个分值；
II) 对样本按照上面计算好的分数进行降序排序；
III) 把已经排好序的样本依次分成10个数量相同的群体，我们就建立了一个叫decile的变量，它依次取10个值，1、2、3、4、5、6、7、8、9、10，diclie1包括违约概率值最高的10%的个体，diclie2包括下一个10%的群体，以此类推；
IV) 帐户总数是每个decile下的样本数，它是整个样本数的10%；
V) 边际坏账数是每个decile内违约的人数，就是说，利用我们的评分模型，在decile1，有25个人违约，以此类推；
VI) 累计坏账数，45表明前两个decile内共有45个人违约，以此类推；
VII) 边际坏账率是每个decile内坏账的比率。对decile1，边际坏账率由25/100得来；
VIII) 对每一个加总的decile，都计算一个累计坏账率，比如说，对前两个decile，也就是整个样本的20%，累计坏账率等于（25+20）/（100+100）；
IX) 在每个decile里，提升指数（Lift）就是相应的累计坏账率与平均坏账率的偏离程度，计算公式是（累计坏账率-平均坏账率）/平均坏账率，习惯上还会乘上一个100。
X) 注：在一些处理中，提升指数直接由每个decile的累计坏账率除以平均坏账率得来，它们之间就相差1，一个是相对偏离，一个是绝对偏离。
XI) 就我们考察的信用评分模型，它的目的就是尽可能把人群区别来开来，比如说"好"的顾客、 "坏"的顾客。提升指数越大，表明模型运作效果越好。
表1：Lift Table
（注：该表内数字纯粹为了演示，没有任何实际背景）
图1：Lift Chart
3. 参考资料
I) Bruce Ratner, Decile Analysis Primer: Cum Lift for Response Model.
http://www.dmstat1.com/res/DecileAnalysisPrimer.html
II) Howard J. Hamilton. Cumulative Gains and Lift Charts
http://www2.cs.uregina.ca/~hamilton/courses/831/notes/lift_chart/lift_chart.html
III) David S. Coppock. Data Modeling and Mining: Why Lift?
http://www.dmreview.com/article_sub.cfm?articleId=5329
IV) Lift Chart. See Thomas Hill, Paul Lewicki. Statistics: Methods and Applications.
http://www.statsoft.com/textbook/glosl.html
V) 冯慧，"信用卡业务与系统"，北京大学软件与微电子学院,2006年秋季学期，课堂笔记
John(Jiangtang) Hu
生活博客（读书、见闻）: http://panshanghu.spaces.live.com
技术博客（SAS、数据挖掘、数量金融）：http://johnthu.spaces.live.com
----- Original Message -----From: Hu, JiangtangSent: 2008年12月5日 10:33Subject: Re: 分类预测模型常用评估工具Jiangtang Hu： 以前也写过一点读书笔记，关于lift的，贴在这里（详见《提升指数、提升表和提升图》）：
1. 什么是Lift？
I) Lift（提升指数）是评估一个预测模型是否有效的一个度量；这个比值由运用和不运用这个模型所得来的结果计算而来。
II) 一个简单的数字例子：
i. 比如说你要向选定的1000人邮寄调查问卷。以往的经验告诉你大概20%的人会把填好的问卷寄回给你，即1000人中有200人会对你的问卷作出回应（response），用统计学的术语，我们说baseline response rate是20%；
ii. 如果你现在就邮寄问卷，1000份你期望能收回200份，这可能达不到一次问卷调查所要求的回收率，比如说工作手册规定邮寄问卷回收率要在25%以上；
iii. 通过以前的问卷调查，你收集了关于问卷采访对象的相关资料，比如说年龄、教育程度之类。利用这些数据，你确定了哪类被访问者对问卷反应积极。假设你已经利用这些过去的数据建立了模型，这个模型把这1000人分了类，现在你可以从你的千人名单中挑选出反应最积极的100人来，这10%的人的反应率 (response rate)为60%。那么，对这100人的群体（我们称之为Top 10%），通过运用我们的模型，相对的提升(gain or lift value)就为60%/20%=3；换句话说，与不运用模型而随机选择相比，运用模型而挑选有3倍的好处；
......
杨卫国
John(Jiangtang) Hu
生活博客（读书、见闻）: http://panshanghu.spaces.live.com
技术博客（SAS、数据挖掘、数量金融）：http://johnthu.spaces.live.com
----- Original Message -----From: John(Jiangtang) Hu