记者从北京大学未来技术学院获悉，北京大学与温州医科大学的研究团队建立一种生成式多模态跨器官医学影像基础模型（MINIM），可基于文本指令以及多器官的多种成像方式，合成海量的高质量医学影像数据，为医学影像大模型的训练、精准医疗及个性化诊疗等提供有力技术支持。该成果已于近期在国际权威期刊《自然·医学》上在线发表。 医学影像大模型是利用深度学习和大规模数据训练的AI通用模型，可自动分析医学影像以辅助诊断和治疗规划。但要提升大模型的性能，就需要大量数据不断进行训练。然而，由于患者隐私保护、高昂的数据标注成本等多种因素，要获得高质量、多样化的医学影像数据往往存在障碍。为此，近年来，研究者们开始探索使用生成式AI技术合成医学影像数据，以此来扩充数据。
“目前公开的医学影像数据非常有限，我们建立的生成式模型有望解决训练数据不够的问题。”北京大学未来技术学院助理研究员王劲卓说，研究团队利用多种器官在CT、X光、磁共振等不同成像方式下的高质量影像文本配对数据进行训练，最终生成海量的医学合成影像，其在图像特征、细节呈现等多方面都与真实医学图像高度一致。
实验结果显示，MINIM生成的合成数据在医生主观评测指标和多项客观检验标准方面达国际领先水平，在临床应用中具有重要参考价值。在真实数据基础上，使用20倍合成数据在眼科、胸科、脑科和乳腺科的多个医学任务准确率平均可提升12%至17%。
王劲卓表示，MINIM产生的合成数据具有广泛应用前景，可单独作为训练集来构建医学影像大模型，也可与真实数据结合使用，提高模型在实际任务中的性能，推动AI在医学和健康领域更广泛应用。目前，在疾病诊断、医学报告生成和自监督学习等关键领域，利用MINIM合成数据进行训练已展现出显著的性能提升。