目前平台处于试运行阶段,如有任何问题或建议,请发送邮件至 service@dataju.cn 或加入QQ群 565136792 联系管理员。

满足不同角色需求:领域专家 数据管理者 数据科学家 科研人员、高校教师及研究生 数据分析爱好者
PRC曲线
1494次浏览 dataju 于 2016-07-20 发布
该内容是由用户自发提供,聚数力平台仅提供平台,让大数据应用过程中的信息实现共享、交易与托管。如该内容涉及到您的隐私或可能侵犯版权,请告知我们及时删除。
评价指标介绍

PRC曲线 (Precision recall curve) 是一条二维坐标系中的曲线,用以刻画二分类模型的分辨能力,进而比较不同二分类模型之间的差异,如图1所示。曲线的两个维度是二分类模型结果的混淆矩阵所衍生出的两个指标: Precision 和 Recall。PRC曲线与ROC曲线有着很大的相关性。

对给定的测试数据,二分类模型的直接输出主要有两类。一类是直接输出最终的预测类别,形式为 $ output = \{ T, F,..., T \} $,如:决策树等。另一类并未直接输出预测类别,而是类别的倾向性度量,形式为 $ output = \{ 1.25, -0.89,..., 2.18 \} $,如:支持向量机、逻辑回归分类、贝叶斯分类等。

1

图1  PRC曲线示例

对于第一类二分类模型,在模型和测试数据集固定的前提下,由于模型直接输出就是分类结果,其对应唯一的混淆矩阵,所以每个模型在PRC坐标空间中是一个点。

对于第二类二分类模型,在模型和测试数据集固定的前提下,由于模型直接输出是分类偏好值,通过设定不同的阈值可以得到不同的混淆矩阵,进而得到多个PRC坐标空间中的点,这些点相连就形成了PRC曲线。所以每个模型在PRC坐标空间中是一条曲线,如图1所示为2个不同的算法对应的PRC曲线。

在PRC坐标空间中,越靠近右上角的点或者曲线所对应模型的判别能力越强,而对于互相交叉的PRC曲线,一般还会参考 ROC曲线AUCF值。实际应用中需根据具体的应用场景权衡选择,随机模型的PRC曲线,是一条平行于Recall轴的直线,对应的Precision值为预测类别的样本占比,如图3所示。

5

图3  随机模型的PRC曲线


相关应用案例
暂无
参考文献
暂无

目前平台处于试运行阶段,如有任何问题或建议,请发送邮件至 service@dataju.cn 或加入QQ群 565136792 联系管理员。