今天，吴恩达宣布了斯坦福大学发布的两个大型医疗数据集：CheXpert和MIMIC-CXR。其中，CheXpert包含224316张x光胸透图片，MIMIC-CXR包含371920张标记图片。两个数据集的数据量级和标注准确率都非常高，可以说惠及了大量相关从业者。
数据集下载模式
首先给出数据集介绍的地址和下载方法。
https://stanfordmlgroup.github.io/competitions/chexpert/
因为是医学数据集，斯坦福采取了相对谨慎的态度。根据说明，用户需要遵循下载规则，填写信息并通过电子邮件给出的链接下载。为了维护数据集的完整性和有效性，严禁“滥用”共享。
数据集概述
CheXpert数据集中有224，316张胸部x光照片，涉及65，240名患者。数据集的时间跨度为2002年10月至2017年7月，均为患者在斯坦福医院接受胸部x光检查后保留的数据。此外，数据集附有相关的放射学报告。
如何标记CheXpert数据集
每份报告标记14个观察结果，可能是正面的、负面的或不确定的。
这4项观察结果是根据报告中的患病率和临床相关性确定的，在适用的情况下，它们符合Fleischner学会推荐的术语表。
此外，还开发了基于规则的自动贴标机，用于从放射学报告中提取观察结果，并将其用作图像的结构化标签。标注机器的工作分为三个不同的阶段：提及抽取、提及分类和提及聚合。
自动贴标机的Github地址：
https://github.com/stanfordmlgroup/chexpert-labeler
在参考文献提取阶段，贴标机从放射学报告的“印象”部分的观察列表中提取参考文献，该部分总结了放射学研究中的关键发现。在参考文献的分类中，每个参考文献用于将观察到的参考文献分类为负面的、不确定的或正面的。在提及聚合阶段，将使用每个提及的观察值的分类来获得14个观察值的最终标签。
基准模型
基准模型使用单视图胸片作为输入，输出14次观察中每一次的概率。当多个视图可用时，模型给出最大概率。
使用不确定性标签
数据集中训练数据集的标签分别为0、1或U。其中0为负，1为正，u不确定。在模型训练中，使用不同的不确定性标记方法。
U-Ignore:在训练过程中，不确定标签被忽略。
u-zeros:将不确定标签的所有实例映射到0。
u-one:将不确定标签的所有实例映射到1。
U-自训练：首先用U-Ignore方法训练模型收敛，然后用模型预测，用模型输出的概率预测重新标注每个不确定性标签。
U-MultiClass:把不确定性标签当做自己的类别。
重点评估五项观察，进行“竞争任务”，根据临床经验和患病率分为：(a)肺不张，(b)心脏增大，(c)肺实变，(d)水肿，(e)胸腔积液。通过比较不同不确定性方法在200项研究的验证集上的表现，三位放射科医生的笔记被作为基本事实。根据验证集中每个竞争任务的最佳表现方法选择模型：用于肺不张和水肿的U-one，用于心脏增大和胸腔积液的U-MultiClass，以及用于肺实变的U-SelfTrained。
测试集怎么设计？
CheXpert中的测试集由来自500名“未知”患者的500张x光胸片组成。八名认证的放射科医生对测试集中的每张图片进行了评论。他们将每张图片标记为：存在、不确定、不可能和不存在。
然后将标签二值化，将存在和不确定的情况视为正例，将缺失和不可能的情况视为负例。根据五位专家的投票，确定图片标签，然后用剩下的三位专家来检验五位专家的表现。
基准测试在测试集上的表现如何？
该模型在胸腔积液中实现了最好的AUC(0.97)，在肺不张中实现了最差的AUC(0.85)。所有其他观察值的AUC至少为0.9。在心脏增大、水肿和胸腔积液方面，该模型比所有三位放射科医生取得了更高的性能，但这不是他们的多数票。在肺实变方面，模型优于三位放射科医生中的两位，而在肺不张方面，三位放射科医生的表现都优于模型。
与麻省理工学院联合发布模拟CXR数据集
此外，还有一个大型数据集，包含与MIMIC-CXR联合发布的371，920张胸部x光照片。这个数据集的时间跨度是从2011年到2016年。这些数据与贝斯以色列女执事医疗中心的227，943项成像研究相关。每个成像研究可能包含一个或多个图像，但通常有两个图像：前视图和侧视图。
相关论文下载地址：https://arxiv.org/pdf/1901.07042.pdf
这些图像具有来自放射学报告的自然语言处理工具的14个标签。CheXpert数据集和MIMIC-CXR共用一台贴标机，CheXpert贴标机，用于从放射学报告中获取相同的标签集。
最后的前景
胸部X线判读模型发展的障碍之一是缺乏具有强放射科医师实地标注和专家评分的数据集。研究人员可以根据这些数据比较他们的模型。希望CheXpert填补这个山谷，以便在重要的临床任务中随时跟踪模型的进展。
此外，吴恩达团队此次开发并开放了CheXpert贴标机，这是一款基于规则的自动贴标机。它用于从自由文本放射学报告中提取观察结果，并将其用作图像的结构化标签。我们希望这可以帮助其他机构轻松地从报告中提取结构化标签，并发布其他大型数据库，用于医学成像模型的跨机构测试。
最后，斯坦福还做出展望，希望这个数据集可以帮助开发和验证胸部x光解释模型，从而改善全球医疗服务的获取和提供。
标签：数据模型标签