MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载( 二 )


多样性:数据集包含多种模态(X光片、视网膜OCT、超声、CT等)、多种任务(多分类、二分类、多标签、有序回归) , 数据集规模从百量级到十万量级不等;
轻量性:数据集尺寸小 , 28*28(2D)或28*28*28(3D);
【MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载】教育性:生物医学图像分析需要计算机视觉、机器学习、生物医学图像、临床等多种背景知识 , 所有数据均采用CC(CreativeCommons)许可 , 便于用于教育目的 。
作为一个大规模的医学图像数据集 , MedMNISTv2对机器学习和计算机视觉的研究来说具有十分重要的意义 , 对于自动机器学习、多模态学习、多任务学习、迁移学习等许多研究都起到一定的作用 。
MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载

表二MedMNISTv2数据集简介
设计原则
MedMNISTv2数据集来源于精心挑选的源数据集 , 包含多种原始数据模态(如X光片、OCT、超声、电子显微镜等)、不同分类任务(二分类、多分类、有序回归、多标签)和不同的数据集规模(从100量级到100,000量级) 。 这些源数据集大部分来源于已经发表的公开研究中使用CC许可的数据集 , 也有伴随MedMNISTv2发布的私有数据 。 该研究展示了MedMNISTv2数据集全景图(图二) 。 由于很难将数据模态分类 , 研究者用图像分辨率来表示数据模态 。 多样的数据集设计能带来多样的任务难度 , 这正是作为一个医学图像分类基准应有的特性 。
该研究提供了官方的训练集、验证集和测试集的划分 , 并将所有的数据都预处理成MNIST那样的形式 , 即28*28(2D)或28*28*28(3D) 。 对多数数据集而言 , 该研究直接使用了源数据集的分类标签;但如果分类任务在小尺寸图像上难度较大 , 研究者对标签采取了合并或删除操作进行简化 。
MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载

图二MedMNISTv2全景图
验证实验
该研究在验证集上采用早停法的ResNet为基线方法 , 对于2D数据集选取ResNet18和ResNet50分别在28*28和224*224(从28分辨率进行插值放大)分辨率上进行测试;对于3D数据集 , 选取2.5D、3D、ACS卷积的ResNet18和ResNet50进行测试 。 同时 , 该研究还选取了三种自动机器学习模型auto-sklearn、AutoKeras和GoogleAutoMLVision 。
所有的实验均进行了三次 , 并对三次结果计算平均 , 结果如表三所示 。 该研究还分别将2D和3D的每种方法在各自的数据集上进行平均 , 得到每种方法在2D或3D数据集上的平均性能指标 , 结果如表四所示 。
MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载

表三MedMNISTv2性能指标
MedMNIST:18个数据集开启2D+3D医学影像之旅,可免费下载

表四MedMNISTv2性能平均指标
快速上手
MedMNISTv2数据集都具有CClicense , 除了两个新发布的3D数据集外 , 其余数据集均来源于开源的公开数据 , 详见MedMNIST主页 。 MedMNISTv2每个数据集也都和源数据集的CClicense相同 , 可以下载和使用 。 该研究提供了dataloader和评估的脚本文件、实验的代码库以及训练的模型权重 , 相应的Python代码和NumPynpz格式的数据均可在项目主页上公开获取 。 该研究的dataloader文件通过PyTorch实现 , 对于不使用PyTorch的用户而言 , 也可以自行解析标准的NumPy序列化数据集(可以参考代码的字段说明) 。
1.medmnist的安装
2.下载MedMNISTv2数据集
3.MedMNISTv2数据集的调用(以PathMNIST为例)
调用medmnist加载数据集 , 并将数据集转变为PyTorch的dataloader格式