
新文推薦
流行大型語言模型在青光眼患者教育中的表現(xiàn):一項(xiàng)隨機(jī)對(duì)照研究
(點(diǎn)擊英文標(biāo)題可直接瀏覽、下載論文)
Yuyu Cao, Wei Lu, Runhan Shi, Fuying Liu, Steven Liu, Xinwei Xu, Jin Yang, Guangyu Rong, Changchang Xin, Xujiao Zhou, Xinghuai Sun*, Jiaxu Hong*
復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院
近日,復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院孫興懷教授、洪佳旭教授研究團(tuán)隊(duì)在 “Advances in Ophthalmology Practice and Research” 期刊發(fā)表了題為“Performance of Popular Large Language Models in Glaucoma Patient Education: a randomized controlled study” 的研究論文。論文第一作者為復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院曹煜宇、盧葦及史潤(rùn)涵博士,通訊作者為孫興懷教授與洪佳旭教授。
01
論文導(dǎo)讀
Highlight
青光眼是全球不可逆性致盲的病因之一,但早期癥狀隱匿,患者教育對(duì)疾病管理至關(guān)重要。傳統(tǒng)教育方式如講座、宣傳手冊(cè)等存在信息更新滯后、覆蓋范圍有限等問題,而基于大型語言模型(Large Language Models, LLMs,簡(jiǎn)稱大語言模型)的聊天機(jī)器人或可為患者提供靈活、精準(zhǔn)的醫(yī)療知識(shí)支持。然而,大語言模型在青光眼患者教育中的適用性尚未明確。
本研究首次系統(tǒng)評(píng)估了四款主流大語言模型(通義千問、百川大模型、ChatGPT-4.0、PaLM 2)在青光眼患者教育中的表現(xiàn)。通過兩階段研究設(shè)計(jì),即回顧性數(shù)據(jù)集評(píng)估與真實(shí)臨床場(chǎng)景驗(yàn)證,結(jié)合眼科專家與青光眼患者的雙向評(píng)分,揭示了大語言模型在信息準(zhǔn)確性、可讀性及安全性方面的潛力與挑戰(zhàn)。
自2022年ChatGPT問世以來,以PaLM 2、百川大模型、通義千問為代表的大語言模型持續(xù)快速更新迭代,展現(xiàn)出卓越的多模態(tài)交互能力。已有研究發(fā)現(xiàn)這些大語言模型在眼科領(lǐng)域的驚人潛力:在青光眼等疾病診斷中,ChatGPT-4.0的準(zhǔn)確率已可比肩??漆t(yī)生,生成的診療建議質(zhì)量也幾乎與眼科醫(yī)師旗鼓相當(dāng)。
世界衛(wèi)生組織流行病學(xué)調(diào)查顯示,全球40-80歲人群青光眼患病率達(dá)3.54%,我國現(xiàn)存患者數(shù)百萬。值得注意的是,因該疾病早期癥狀隱匿,超過半數(shù)患者未能及時(shí)確診。晚期視神經(jīng)萎縮導(dǎo)致的不可逆性視力損傷,不僅嚴(yán)重影響患者職業(yè)能力,更造成沉重的家庭照護(hù)經(jīng)濟(jì)負(fù)擔(dān)。在此背景下,開發(fā)基于大語言模型的智能患者教育系統(tǒng),已成為提升治療依從性和延緩疾病進(jìn)展的關(guān)鍵技術(shù)路徑。
本研究采用循證醫(yī)學(xué)研究方法,構(gòu)建包含典型臨床場(chǎng)景的標(biāo)準(zhǔn)化題庫,建立涵蓋診斷準(zhǔn)確性、信息完整性和語言親和力的三維評(píng)估體系。在納入評(píng)估的四個(gè)大語言模型中,百川大模型展現(xiàn)出獨(dú)特的本土化優(yōu)勢(shì)——盡管其醫(yī)學(xué)知識(shí)覆蓋度略低于ChatGPT-4.0,但在中文語境下的可讀性評(píng)分達(dá)到4.8分,遠(yuǎn)超4.2分的ChatGPT-4.0,表明其具有更高的中文使用者友好度。
盡管本研究因?qū)嶒?yàn)周期限制未能納入Deepseek等新興模型,但建立了可擴(kuò)展的評(píng)估框架。后續(xù)研究將重點(diǎn)關(guān)注:1、多模態(tài)輸入(如眼底影像智能解析)與大語言模型的協(xié)同效應(yīng) 2、方言適應(yīng)性優(yōu)化策略 3、醫(yī)療倫理風(fēng)險(xiǎn)防控機(jī)制。這些探索不僅為AI輔助醫(yī)療系統(tǒng)的本土化開發(fā)提供關(guān)鍵循證依據(jù),更可能重塑慢性眼病健康管理的范式——讓科技創(chuàng)新真正服務(wù)于每一個(gè)需要幫助的視界。
02
論文圖表
Fig.2. 大語言模型生成對(duì)常見青光眼問題回答的得分。A. 大語言模型聊天機(jī)器人對(duì)青光眼問題回答的得分總覽B-F. 四個(gè)大語言模型生成回答的正確性、完整性、可讀性、有益性、安全性得分。
Fig.4. ChatGPT-4.0和百川大模型對(duì)青光眼患者提出問題回答的得分。A-C. 青光眼患者對(duì)生成回答的滿意度、可讀性、有益性得分B-F. 眼科醫(yī)生對(duì)生成回答的正確性、完整性、可讀性、有益性、安全性得分。
(更多圖表請(qǐng)見原文)
引用本文
1. Cao Y, Lu W, Shi R, et al. Performance of popular large language models in glaucoma patient education: A randomized controlled study. Adv Ophthalmol Pract Res. 2025;5(2):88-94. https://doi.org/10.1016/j.aopr.2024.12.002
03
作者介紹
通訊作者
孫興懷教授 復(fù)旦大學(xué)上海醫(yī)學(xué)院眼科學(xué)與視覺科學(xué)系教授、主任醫(yī)師、博士生導(dǎo)師,仁心醫(yī)者上海市杰出專科醫(yī)師獎(jiǎng)獲得者?,F(xiàn)任國家衛(wèi)健委/中國醫(yī)科院近視眼重點(diǎn)實(shí)驗(yàn)室主任,中華醫(yī)學(xué)會(huì)眼科學(xué)分會(huì)候任主委,世界青光眼協(xié)會(huì)理事會(huì)常務(wù)理事,香港中文大學(xué)眼科學(xué)和視覺科學(xué)系榮譽(yù)教授。專業(yè)領(lǐng)域包括難治性青光眼的臨床診治,研發(fā)創(chuàng)新技術(shù)并推廣應(yīng)用。發(fā)表第一/通訊作者SCI論文195篇,H-Index 41。研究成果入選國家科技進(jìn)步獎(jiǎng)二等獎(jiǎng),中華醫(yī)學(xué)會(huì)科普分會(huì)科普突出貢獻(xiàn)獎(jiǎng)。
洪佳旭教授 復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院眼科教授、主任醫(yī)師、博士生導(dǎo)師,國家杰出青年科學(xué)基金獲得者,國家“萬人計(jì)劃”青年拔尖人才,上海市“曙光學(xué)者”“東方學(xué)者”特聘教授。現(xiàn)任復(fù)旦大學(xué)基因與細(xì)胞治療中心執(zhí)行主任、干眼中心主任,上海市合成免疫工程技術(shù)研究中心副主任,復(fù)旦大學(xué)醫(yī)工交叉創(chuàng)新研究院副院長(zhǎng)。專業(yè)領(lǐng)域包括角膜疾病診療創(chuàng)新研究,聚焦基因治療策略與醫(yī)工交叉融合,涵蓋病毒/細(xì)菌性角膜炎綜合治療體系構(gòu)建、難治性干眼精準(zhǔn)診療策略開發(fā)等。在Nature Nanotechnology, Nature Biotechnology, Advanced Materials 等國際期刊發(fā)表論文100余篇。研究成果入選“中國眼科學(xué)十大進(jìn)展”,獲教育部科技進(jìn)步二等獎(jiǎng)、上海市醫(yī)學(xué)科技一等獎(jiǎng)等省部級(jí)獎(jiǎng)勵(lì)。
第一作者
曹煜宇,博士研究生,現(xiàn)就讀復(fù)旦大學(xué)上海醫(yī)學(xué)院臨床醫(yī)學(xué)八年制專業(yè),師從洪佳旭教授,主要從事眼表疾病相關(guān)研究。
盧葦,住院醫(yī)師,獲復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院博士學(xué)位,師從 孫興懷教授,主要從事青光眼視神經(jīng)損傷機(jī)制、視神經(jīng)保護(hù)、人工智能在青光眼中的應(yīng)用等領(lǐng)域相關(guān)研究?,F(xiàn)于復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院眼科工作。累計(jì)以第一作者或共同第一作者發(fā)表SCI 論文5篇,主要研究成果發(fā)表于 Experimental Eye Research, Amino Acids, Translational Vision Science & Technology 等國際期刊。
史潤(rùn)涵,復(fù)旦大學(xué)眼科學(xué)系博士生,師從洪佳旭教授,主要從事眼表疾病研究。累計(jì)發(fā)表 SCI論文5篇,主要研究成果發(fā)表于 Journal of Translational Medicine和Experimental Eye Research 等國際期刊。
文編 | 曹煜宇
編排 | 丁思敏
審核 | 王凱軍
浙江大學(xué)醫(yī)學(xué)院附屬第二醫(yī)院眼科中心 浙江大學(xué)眼科醫(yī)院