marsggbo

V1

2022/07/26阅读:14主题:红绯

MICCAI2022论文 | 进化多目标架构搜索框架:在COVID-19三维CT分类中的应用

最近我们实验室的工作“Evolutionary Multi-objective Architecture Search Framework: Application to COVID-19 3D CT Classification”被MICCAI 2022主会录取。该文提出了一种可以用于衡量模型潜力的指标来帮助提高神经架构搜索的稳定性,并且基于进化搜索算法有效地完成多目标的模型搜索。实验表明,潜力指标不仅能帮助提高搜索效率,而且最终搜索到的模型在3个公开的COVID-19数据集上都取得了优异成绩。

MICCAI2022
MICCAI2022

MICCAI是由国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society) 举办,跨医学影像计算(MIC)和计算机辅助介入 (CAI) 两个领域的综合性学术会议,是该领域的顶级会议。第25届医学图像计算和计算机辅助干预国际会议(MICCAI 2022)将于2022年9月18日至22日在新加坡度假胜地世界会议中心举行。这将是MICCAI首次在东南亚举办会议。 MICCAI 2022的总投稿量达1825篇,录取率在30%左右。

摘要

2019冠状病毒疾病(COVID-19)大流行已威胁到全球健康。许多研究已将深度卷积神经网络应用于基于胸部三维计算机断层扫描(CT)的COVID-19疾病识别。最近的研究表明,目前的深度神经模型在不同国家的CT数据集上并不能很好地泛化。一种可行的方式是为不同数据集手动设计模型,而这需要较强的专业知识;因此,旨在自动搜索模型的神经架构搜索(NAS)技术成为了一个有吸引力的解决方案。我们提出了一种有效的进化多目标架构搜索(Evolutionary Multi-objective ARchitecture Search , EMARS)框架。具体而言,我们提出了一个新的目标,即potential,它可以帮助开发有潜力的模型,以间接减少参与权重训练的模型数量,从而缓解搜索不稳定性。我们的实验结果表明,基于分类准确率和potential做多目标搜索时,EMARS可以很好地平衡开发和探索这两种状态,这样既能避免浪费时间在那些没有潜力的模型上,而且又能更快找到优秀的模型。此外,EMARS搜索到的模型不仅参数量很小,而且在三个公共的3D COVID-19 CT数据集上的性能都优于之前的工作。

难点

为了降低在大型3D CT数据集的搜索模型的成本,大多数基于NAS的工作会使用权重共享策略使所有模型在超网内共享权重,从而避免从头训练模型耗费大量时间和资源;然而,权重共享策略会不可避免地会引起搜索过程不稳定,导致对模型性能的估计不准确。因此,有一些工作会通过对搜索空间进行剪枝的方式来减少模型的数量,进而降低权重共享导致的副作用。可是,权重共享策略使得不同模型被采样训练的次数有差异,导致收敛速度是不一样的。这样做的问题是前期的剪枝操作可能会导致一些有潜力的模型因为还未被充分训练而被剔除掉了。

方案

在本文中,我们提出了一个指标用于评估每个被采样的模型的潜力,对于潜力值大的模型我们会加大采样概率,反之潜力小的被采样的概率会降低。这样,我们可以间接地降低权重共享带来的负面影响,同时也避免了有潜力的模型会过早剔除。

潜力值的计算公式如下

E表示该模型被采样的epoch。例如,当E=[1,3,5]则表示该模型在第1,3,5个epoch被采样过。 F表示该模型被采样时刻的性能,如验证集准确率。 我们会对每个被采样过的模型保存各自的E和F,并随着搜索过程不断更新,因此每个模型的E和F向量长度可能不一样,但是最终通过最小二乘法计算得到的潜力值都是标量,因此可以很方便地进行比较。

E取值分布越密集,则表示该模型性能越好,因为只有表现好的模型才能够更大的几率被采样到。可是,如果只考虑E可能会导致马太效应,即前期被采样的模型可能因为训练的次数更多,所以其性能可能会比为被采样过的模型表现更好,从而有更大几率被继续采样。很显然,这样对于那些未被采样过的模型是不公平的。我们认为一个潜力大的模型应该具有较大被采样概率,而且随着采样次数增多,其性能也应该有明显增幅,因此使用了基于E和F最小二乘法来拟合近似模型的潜力。

下图展示了我们使用的搜索空间和搜索算法。

EMARS
EMARS

搜索空间:对模型结构的搜索转化成了不同层的搜索。具体而言,模型由若干层组成,每层包含多个可搜索的块,每个块需要从预先定义的操作集中选择一个操作,如下图所示。每个候选操作通过one-hot序列编码。 搜索算法:我们采用进化算法对模型结构进行搜索,包含选择、交叉、变异等步骤。选择步骤使用了非支配排序(non-dominated sorting)算法用于选择Pareto-front模型结构;交叉和变异操作用于生成随机的新的模型结构,让算法能够探索更多可能的模型结构。

结果

下图展示了以1)准确率(Acc)、2)Acc和大模型、3)Acc和小模型三种不同目标下的搜索结果。每个子图中的点代表某个模型。我们将搜索过程划分成了前后两个阶段,分别用紫色和黄色的点表示。可以看到当只以Acc为目标搜索时,算法会不断朝着模型大小的两端去探索。另外,我们通过比较图(b)和图(c)也能发现小模型也能取得和大模型相似的准确率,因此后面的实验中我们将小模型也加入了需要考虑的目标。

Model-size aware search
Model-size aware search

下图展示了以1)Acc、2)潜力指标(potential)和3)Acc+潜力+小模型 为目标的搜索结果。为方便观察,我们将搜索过程划分成了4个阶段,分别用不同的颜色代替。

由图(a)可以看到当只以Acc为目标进行搜索时,在搜索后期仍然会采样到很多表现欠佳的模型(分布在右下角的点较多)。而当以潜力作为指标时,右下角的点数量明显减少,这表明,潜力指标的确能帮助算法去更集中采样那些性能较好的模型。

但是,由图(b)我们也可以发现,只以潜力作为指标进行搜索会导致后期搜索到的模型的平均准确率偏低,这可能是因为后期缺少对其他的模型探索而陷入了局部最优。我们进一步结合了Acc、潜力和小模型作为搜索目标,可以看到这样不仅可以减少后期对差模型采样,而且后期采样模型的平均Acc也有明显提升。

Acc-aware vs. Potential-aware search
Acc-aware vs. Potential-aware search

下表给出了在三个公开的COVID-19数据集上的实验结果,可以看到我们的算法(EMARS)搜索到的模型不仅参数了更少,而且在不同指标上(如Accuracy, precision, sensitivity和F1-)都能取得更好的表现。

Results
Results

总结

在本文,我们提出了一个用于衡量模型潜力的指标,实验表明该指标能有效降低那些表现差的模型的采样概率。另外,通过结合潜力和准确率作为搜索目标,能更好更快地搜索到表现优异的模型。我们相信,我们的框架在其他类型的数据集或任务(例如医疗图像分割)也能有效。 链接:https://arxiv.org/abs/2101.10667 代码:https://github.com/marsggbo/MICCAI2022-EMARS

微信公众号:AutoML机器学习
MARSGGBO原创
如有意合作或学术讨论欢迎私戳联系~
邮箱:marsggbo@foxmail.com

2022-07-26 10:23:46

分类:

人工智能

标签:

人工智能

作者介绍

marsggbo
V1