搞机器学习的人一定频繁的听到ROC,AUC或者AUC-ROC,但这个概念又不向准确率召回率那么直观容易理解,给我带来了小小的困扰,这里就系统的学习下这两个概念。

ROC

ROC即Receiver Operating Characteristics, 中文一般翻译成“受试者工作特性曲线”。

这是一种度量二分类性能的指标。直观来讲,ROC曲线表示的是模型在准确识别正例不把负例错误的识别成正例这两种能力之间相互制约的关系(当我们需要“宁可错杀一千,也不放过一个”的时候,ROC能告诉你到底要错杀多少才能一个坏人都不放过)。

在详细解释ROC之前需要先解释两个前置概念,即TPR(True Positive Rate)和FPR(False Positive Rate)。

TPR 真正率(召回率):找出的正例占所有的正例的比率。比如有10人换糖尿病,通过模型确诊了其中的8个,则 TPR=0.8

FPR 假正率: 即所有的负例中分类错误的比例。比如有十个人没有患糖尿病(这里把患病作为正例),但是模型错误的将其中一个人误诊为患病,则FPR=0.1

ROC即为以FPR为横轴,以TPR为纵轴的一条曲线(如下图),有了这条曲线你就能清楚的回答下面这些问题

  1. 知道在可以放过1%坏人的情况下要错杀多少好人?

  2. 在最多能错杀1%好人的情况下会放掉多少坏人?

  3. 当糖尿病的误诊率不能高于5%时,会有多少有病的患者被错误判断成无病?

ROC曲线很直观,也方便使用。但他有个致命的弱点,就是无法对比多个模型的性能。AUC就是为了解决这个问题而出现的。

AUC

AUC,即 Area Under Curve(曲线下面积)。严格上讲,“AUC”并没有意义,因为它可以是你随手绘制的一条曲线的曲线下面积,不过在机器学习领域一般默认AUC就是指AUC-ROC(AUROC也是同样的意思)。

AUC-ROC代表一个模型对正负例的区分能力(既不放过一个,也不错杀一个),他的值在0和1之间,越大代表模型性能越好。

从上图中很容易直观的感受到什么是AUC-ROC(途中笔误写成了AOC)。知道了AUC-ROC,还需要知道几个典型值:

  • 当AUC-ROC的值接近1的时候,代表模型效果很好;

  • 当值为0的时候代表模型总是颠倒黑白,把好的说成坏的,坏的说成好的;

  • 当值为0.5时可以认为模型知识随机做出判断,不具备区分能力。

“众智汇”愿景

尽职尽才,允公允能 —— 本社群不定期举行线上分享,组织群友分享知识、经验、资源,以达到让我们每个人的职业生涯得到最大程度的发展的目的

欢迎扫面下列二维码关注“悦思悦读”公众微信号

白话详解ROCAUC | 小白深度学习入门相关推荐

  1. 什么是生成对抗网络(GAN)| 小白深度学习入门

    小白深度学习入门系列 1. 直观理解深度学习基本概念 2. 白话详解ROC和AUC 3. 什么是交叉熵 4. 神经网络的构成.训练和算法 5. 深度学习的兴起:从NN到DNN 6. 异军突起的激活函数 ...

  2. 什么是Transformer?| 小白深度学习入门

    小白深度学习入门系列 1. 直观理解深度学习基本概念 2. 白话详解ROC和AUC 3. 什么是交叉熵 4. 神经网络的构成.训练和算法 5. 深度学习的兴起:从NN到DNN 6. 异军突起的激活函数 ...

  3. 干货 | 详解如何用深度学习消除背景,实现抠图

    微信公众号 关键字全网搜索最新排名 [机器学习算法]:排名第一 [机器学习]:排名第一 [Python]:排名第三 [算法]:排名第四 这篇文章介绍了作者 Gidi Sheperber 在 green ...

  4. 通俗易懂word2vec详解词嵌入-深度学习

    https://blog.csdn.net/just_so_so_fnc/article/details/103304995 skip-gram 原理没看完 https://blog.csdn.net ...

  5. 全文详解:「深度学习」如何协助处理医疗中的「数据难题」

    原文来源:WordPress 作者:Luke Oakden-Rayner 「雷克世界」编译:嗯~是阿童木呀.KABUDA.EVA 医疗数据很难处理. 在医学成像中,数据存储(档案)是基于临床假设进行操 ...

  6. 详解如何获取深度学习模型中间层的输出值

    1. 引入 深度学习模型,大都是多层的网络,各个层可能各有不同(Dense, Dropout, Flatten, Activation, BatchNormalization, GlobalAvera ...

  7. 什么是交叉熵啊?| 小白深度学习入门

    大家在学习深度学习的过程中,都会碰到cross-entropy这个词,中文叫"交叉熵",多么高大上的名词! 然而这个"熵"到底是干啥用的,实际上很多人包括我,在 ...

  8. 【NLP年度重磅盘点】12项重大行业突破!详解2017年深度学习加持下的NLP大事件

    翻译 | 林椿眄.刘畅.彭硕 编辑 | Donna Suisui 过去几年,深度学习架构和算法在图像识别和语音处理等领域取得了重大的进步.而在NLP(自然语言处理)领域,起初并没有太大的进展.不过现在 ...

  9. 代码详解:用深度学习在Keras中对蝴蝶进行分类

    全文共11345字,预计学习时长23分钟或更长 荷兰一个组织Vlinderstichting每年都会收集大量的蝴蝶.一些志愿者会帮忙分辨花园中蝴蝶的类别,Vlinderstichting则负责收集信息 ...

最新文章

  1. 感量越大抑制频率约低_东芝推出高纹波抑制比、低噪声LDO稳压器
  2. 大名鼎鼎的红黑树,你get了么?2-3树 绝对平衡 右旋转 左旋转 颜色反转
  3. Swagger+AutoRest 生成web api客户端(.Net)
  4. 结构对齐--__packed与#pragma pack
  5. 【深度学习】21个深度学习调参技巧,一定要看到最后一个
  6. ASP.NET Core 中的依赖注入
  7. Error running ‘xxx‘: Command line is too long. Shorten command line for xxx or also for Spring Boot
  8. 首款“致敬”iPhone 12的手机来了:竟是华为......
  9. 关于IOS6屏幕旋转
  10. c#(asp.net/core)杂谈笔记
  11. 计算机win键是哪里,键盘Win键在哪里
  12. 【权限维持】window服务端常见后门技术
  13. 如何解决DMS的个人数据隐私问题?ToF技术路线在路上
  14. SCI论文的Highlights怎么写(正经的教你怎么写)
  15. PhalApi框架新手脱坑笔记(一)
  16. Axure幻灯片制作
  17. good man or bad man?
  18. python制作英语小词典_Python 爬虫:自制简易词典
  19. 【微信小程序】wx:if与hidden的区别
  20. 怎么利用米筐量化测试实盘数据?

热门文章

  1. XX软件工程师笔试试题
  2. 农历版的FullCalendar插件
  3. java实现计算汉字笔画
  4. 天龙八部一键端提取服务器文件夹,TLBB服务端目录文件作用
  5. SSL协议解析及SSL虚拟专用网
  6. 北大青鸟java第二次月考笔试_北大青鸟ACCP 4.0一期笔试模拟题二(后24题)...
  7. 你又回来啦、你别走吖等网页动态标题代码
  8. 百合网站的模拟IE外挂
  9. java基于微信小程序的停车场智能收费管理系统 uinapp 计算机毕业设计
  10. 【C++】秋招实习面经汇总篇