目前平台处于试运行阶段,如有任何问题或建议,请发送邮件至 service@dataju.cn 或加入QQ群 565136792 联系管理员。

满足不同角色需求:领域专家 数据管理者 数据科学家 科研人员、高校教师及研究生 数据分析爱好者
ROC曲线
1402次浏览 dataju 于 2016-07-10 发布
该内容是由用户自发提供,聚数力平台仅提供平台,让大数据应用过程中的信息实现共享、交易与托管。如该内容涉及到您的隐私或可能侵犯版权,请告知我们及时删除。
评价指标介绍

ROC曲线 (Receiver operating characteristics) 是一条二维坐标系中的曲线,用以刻画二分类模型的分辨能力,进而比较不同二分类模型之间的差异,如图1所示。曲线的两个维度是二分类模型结果的混淆矩阵所衍生出的两个指标: True positive rateFalse positive rate

对给定的测试数据,二分类模型的直接输出主要有两类。一类是直接输出最终的预测类别,形式为 $ output = \{ T, F,..., T \} $,如:决策树等。另一类并未直接输出预测类别,而是类别的倾向性度量,形式为 $ output = \{ 1.25, -0.89,..., 2.18 \} $,如:支持向量机、逻辑回归分类、贝叶斯分类等。

Roccurves

图1  ROC曲线示例

对于第一类二分类模型,在模型和测试数据集固定的前提下,由于模型直接输出就是分类结果,其对应唯一的混淆矩阵,所以每个模型在ROC坐标空间中是一个点,如图2所示 A、B、C、D、E 为5个不同模型对应的ROC空间点。

对于第二类二分类模型,在模型和测试数据集固定的前提下,由于模型直接输出是分类偏好值,通过设定不同的阈值可以得到不同的混淆矩阵,进而得到多个ROC坐标空间中的点,这些点相连就形成了ROC曲线。所以每个模型在ROC坐标空间中是一条曲线,如图1所示红、绿、黑色的曲线为3个不同的模型对应的ROC曲线。

2

图2  每个混淆矩阵结果对应ROC空间中的一个点

在ROC坐标空间中,越靠近左上角的点或者曲线所对应模型的判别能力越强,而对于互相交叉的ROC曲线,一般还会参考 AUCPRC 曲线。实际应用中需根据具体的应用场景来进行权衡选择,随机模型的ROC曲线是ROC空间的对角线,形态如图3所示。

4

图3  随机模型的ROC曲线


相关应用案例
暂无
参考文献
暂无

目前平台处于试运行阶段,如有任何问题或建议,请发送邮件至 service@dataju.cn 或加入QQ群 565136792 联系管理员。