記者從北京大學(xué)未來(lái)技術(shù)學(xué)院獲悉，北京大學(xué)與溫州醫(yī)科大學(xué)的研究團(tuán)隊(duì)建立一種生成式多模態(tài)跨器官醫(yī)學(xué)影像基礎(chǔ)模型(MINIM)，可基于文本指令以及多器官的多種成像方式，合成海量的高質(zhì)量醫(yī)學(xué)影像數(shù)據(jù)，為醫(yī)學(xué)影像大模型的訓(xùn)練、精準(zhǔn)醫(yī)療及個(gè)性化診療等提供有力技術(shù)支持。該成果已于近期在國(guó)際權(quán)威期刊《自然·醫(yī)學(xué)》上在線發(fā)表。
醫(yī)學(xué)影像大模型是利用深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練的AI通用模型，可自動(dòng)分析醫(yī)學(xué)影像以輔助診斷和治療規(guī)劃。但要提升大模型的性能，就需要大量數(shù)據(jù)不斷進(jìn)行訓(xùn)練。然而，由于患者隱私保護(hù)、高昂的數(shù)據(jù)標(biāo)注成本等多種因素，要獲得高質(zhì)量、多樣化的醫(yī)學(xué)影像數(shù)據(jù)往往存在障礙。為此，近年來(lái)，研究者們開(kāi)始探索使用生成式AI技術(shù)合成醫(yī)學(xué)影像數(shù)據(jù)，以此來(lái)擴(kuò)充數(shù)據(jù)。
“目前公開(kāi)的醫(yī)學(xué)影像數(shù)據(jù)非常有限，我們建立的生成式模型有望解決訓(xùn)練數(shù)據(jù)不夠的問(wèn)題。”北京大學(xué)未來(lái)技術(shù)學(xué)院助理研究員王勁卓說(shuō)，研究團(tuán)隊(duì)利用多種器官在CT、X光、磁共振等不同成像方式下的高質(zhì)量影像文本配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，最終生成海量的醫(yī)學(xué)合成影像，其在圖像特征、細(xì)節(jié)呈現(xiàn)等多方面都與真實(shí)醫(yī)學(xué)圖像高度一致。
實(shí)驗(yàn)結(jié)果顯示，MINIM生成的合成數(shù)據(jù)在醫(yī)生主觀評(píng)測(cè)指標(biāo)和多項(xiàng)客觀檢驗(yàn)標(biāo)準(zhǔn)方面達(dá)國(guó)際領(lǐng)先水平，在臨床應(yīng)用中具有重要參考價(jià)值。在真實(shí)數(shù)據(jù)基礎(chǔ)上，使用20倍合成數(shù)據(jù)在眼科、胸科、腦科和乳腺科的多個(gè)醫(yī)學(xué)任務(wù)準(zhǔn)確率平均可提升12%至17%。
王勁卓表示，MINIM產(chǎn)生的合成數(shù)據(jù)具有廣泛應(yīng)用前景，可單獨(dú)作為訓(xùn)練集來(lái)構(gòu)建醫(yī)學(xué)影像大模型，也可與真實(shí)數(shù)據(jù)結(jié)合使用，提高模型在實(shí)際任務(wù)中的性能，推動(dòng)AI在醫(yī)學(xué)和健康領(lǐng)域更廣泛應(yīng)用。目前，在疾病診斷、醫(yī)學(xué)報(bào)告生成和自監(jiān)督學(xué)習(xí)等關(guān)鍵領(lǐng)域，利用MINIM合成數(shù)據(jù)進(jìn)行訓(xùn)練已展現(xiàn)出顯著的性能提升。
