多模态融合是指综合来自多个模态的信息以进行预测的过程，多模态的数据源有医疗记录、放射性扫描、组织学切片、基因学、蛋白质组学、空间转录组学、治疗计划、家族病史，可以进行诊断预测、预后预测、生存预测等；这些模态所确定的临床见解可以通过可解释性方法和定量分析来进一步阐明，比如C中的热力图可以反映模型关注区域，attribution plot可以反映各特征的重要性；模态之间的联系，B中反映了放射学图像的发现和组织学中的肿瘤分型以及分子特征之间的联系

迄今为止，多模态融合在临床上的贡献有：机器学习可以利用多模态数据中的互补信息，识别模态内和跨模态的特征，以提供更准确的预测结果；通过可解释性方法和定量分析的方法进一步研究，可以帮助发现新的生物标志物；模态间的关联可以为现有的但高度专业化且价格昂贵的标记物找替代物，以促进先进的靶向治疗和大规模人群筛查。

早期融合是在模型输入处融合，输入到一个模型中，需要模态之间数据的对齐或同步

晚期融合是决策级融合，每个模态分别训练一个模型，对决策进行汇总，汇总手段有平均、多数投票、贝叶斯规则等，对不同模态数据的对齐没有要求.

中期融合是一种融合的策略，多模态模型的损失函数反向传播到每一个模态的特征提取层，来指导特征提取；引导融合允许模型使用来自一个模态的信息来指导从另一个模态的特征提取。例如，在图2E中，基因组学信息指导了组织学特征的选择。其动机是，不同的组织区域可能与特定突变的存在有关。引导融合学习共注意分数，反映了特定分子信息存在的不同组织学特征的相关性。共同注意得分通过多模态模型学习，其中基因组学特征和相应的基因组学引导的组织学特征相结合，以进行最终的模型预测。

多模态数据互联：

A：形态学关联，研究突变和不同形态特征之间的关联，原理是致癌突变会改变组织形态或肿瘤微环境，（左）设计一个模型从WSI中的病理图片预测突变，突变2已有较高的准确率，用热力图反映高注意力和低注意力区域，对其进一步分析，识别出不同的组织结构和细胞类型，进行分析

B：通过人工智能模型，已可以从肺、脑、肝等的放射组学特征来预测组织学亚型或分级。预测图像区域可以进一步分析，以识别可能具有诊断价值的纹理、形状、大小等特征，这反过来可以作为现有生物标志物的非侵入性替代。

多模态融合综述论文分享