北大计算机学院再登国际AI顶刊！张铭教授团队揭露医疗AI致命漏洞

北京大学计算机学院张铭教授团队联合华盛顿大学等团队登上国际AI顶刊，揭示医疗AI漏洞并提出防御手段。2024年9月20日，相关研究成果发表于国际顶尖人工智能期刊Nature Machine Intelligence，题为“Poisoning medical knowledge using large language models”。研究背景从科研文本中构建的生物医学知识图谱，已被广泛应用于辅助医学决策和挖掘新的医学发现。大语言模型虽能生成高质量文本，但也可能污染公开数据库，对基于这些数据库构建的医学知识图谱推理系统构成潜在风险，影响药物推荐和疾病研究等决策，威胁患者治疗效果和安全。因此，揭示并评估这种风险，制定防御策略具有重要意义。研究内容开发Scorpius系统：研究团队开发了名为Scorpius的条件文本生成系统，该系统利用大模型为指定的药物 - 疾病关系对生成恶意文本。发现漏洞：研究发现，只需一篇恶意文本，就能显著误导推理系统对相应药物 - 疾病关系的认知。例如，在基于3,818,528篇论文构建的知识图谱上评估，仅通过添加一篇恶意摘要，Scorpius就能将71.3%的药物 - 疾病对的相关性从1000名之外提升到前10名，且生成的摘要在六项评估指标上都表现出难以被有效检测的特性。验证可毒害性：图谱推理的可毒害性：研究人员通过在已构建图谱上直接添加恶意连边的方式评估。对于只针对特定药物 - 疾病的毒害，添加一条连边，经典的DistMult、ConvE和ComplEx推理方式便会被误导到指定结果上，使目标药物 - 疾病的相关性排名大幅上升；对于不针对特定疾病，旨在提升某一药物全局重要性的毒害，图谱推理系统抵抗性更强，需要添加多条恶意连边才能达成毒害目的，同时图谱中存在高敏感的中心节点，添加与之相关的恶意连边更容易达成毒害目的，这表明图谱推理系统自我纠错能力较低，容易被毒害误导。 - 知识图谱构建的可毒害性：研究团队验证了从文本数据中抽取知识图谱这一过程的可毒害性。即使对真实文本进行大量简单替换改写，即使改写后的文本质量显著降低，现有的图谱抽取工具（包括医学专家知识驱动的GNBR，以及通用数据驱动的UIE、TDERR和LUKE）依然能抽取出目标关系，说明各种更高性能的大模型都能有效欺骗相关图谱抽取模型。提出防御手段：研究采用更强的defender，建立更大更多元的医学知识图谱，使用专家审议的数据库取代预印本数据库，均能在一定程度上降低毒害带来的影响。研究模型Scorpius模型工作流程：对于给定的毒害目标，Scorpius首先基于有害性和隐蔽性的综合考量来选择恶意连边，随后采用模板提示 + 大模型生成 + 领域适配改写的方式生成对应的恶意摘要文本，最后将生成的恶意摘要和包含百万篇真实paper的数据库混合，从头构建图谱并完成推理，比较毒害目标在推理系统中的排名变化。模型效果：现有的大模型GPT - 3.5，GPT - 4，Finetune - GPT - 3.5，RAG - GPT - 3.5，RAG - GPT - 4均能达成毒害目的，而Scorpius取得了最强的毒害效果。研究意义研究团队不仅衡量了医学图谱推理系统中各环节的可毒害性，揭示并定量评估了大模型的误用对医学发现可能造成的误导，而且从defender设计和数据增强的角度对减少此类毒害做出了探索。这些结果展现了基于公开数据集的医学图谱推理存在的高危漏洞，为在大模型时代开展更可信的医学知识发现开辟了新的研究思路。作者介绍论文一作杨君维为北京大学计算机学院三年级博士生，导师为张铭教授。王晟和肖之屏也是北京大学信息学院计算机系校友，与张铭教授团队有多年的合作。北大团队成员还有硕士留学生Srbuhi Mirzoyan，博士生刘泽群，博士后琚玮、刘卢琛。全体作者为Junwei Yang, Hanwen Xu, Srbuhi Mirzoyan, Tong Chen, Zixuan Liu, Zequn Liu, Wei Ju, Luchen Liu, Zhiping Xiao#, Ming Zhang#, Sheng Wang#（标#的为通讯作者）。