余锦华
教授 博士生导师

个人信息Personal Information

电子邮箱:jhyu@fudan.edu.cn

所在单位:信息科学与工程学院

职称:教授

在职信息:在职

博士生导师

硕士生导师

学科:生物医学工程

扫描关注

实验室组会分享

当前位置 中文主页 >> 实验室组会分享

医疗领域通用大模型GMAI

发布时间:2024-03-14   点击次数:

目前AI面对行业、业务场景很多,人工智能需求正呈现出碎片化、多样化的特点。从开发、调参、优化、迭代到应用,AI模型研发成本极高,且难以满足市场定制化需求,所以网上有的人会说现阶段的AI模型研发处于手工作坊式。

为了解决手工作坊式走向工场模式,大模型提供了一种可行方案,也就是“预训练大模型+下游任务微调”的方式。大规模预训练可以有效地从大量标记和未标记的数据中捕获知识,通过将知识存储到大量的参数中并对特定任务进行微调,极大地扩展了模型的泛化能力。例如,在NLP领域,预训练大模型共享了预训任务和部分下游任务的参数,在一定程度上解决了通用性的难题,可以被应用于翻译,问答,文本生成等自然语言任务。

在多种形式的医学图像上训练,为了更方便的进行交互,图像或者EHR可以和文字或者语音数据匹配。下一步需要大模型通过对不同形式的医学领域知识进行学习,以在不同的下游任务获得一个更加专业和有说服力的结果。

训练好的模型可以与使用者进行实时的交互,来通过动态的输入和交互,解决用户提出的没有训练过的任务。


     



GMAI将可解析多种数据模式,动态学习新任务,并利用医学领域知识,为各种医疗任务提供机会。GMAI的灵活性使模型能够在新的环境中保持一定的可靠性,并跟上新出现的疾病和技术,无需不断从头开始训练。GMAI的通用性使其难以被全面验证,模型的规模增加计算成本。数据收集和访问将面临特别的困难。


    ----By 陈忠涛

医疗领域通用大模型