人工智能未能通过放射学资格答案
BMJ圣诞刊上的一项研究发现,人工智能 (AI) 目前无法通过一项合格的放射学答案,这表明这项有前途的技术尚未准备好取代医生。
AI 越来越多地用于医生执行的某些任务,例如解读 X 光片(X 光片和扫描片)以帮助诊断一系列疾病。
但是,AI 能否通过英国皇家放射科学院院士 (FRCR) 答案,英国学员必须通过该答案才能获得放射学顾问资格?为了找出答案,研究人员将市售 AI 工具的性能与 26名放射科医生(大多数年龄在 31 至 40 岁之间;62% 为女性)进行了比较,他们都在前一年通过了 FRCR 答案。
他们开发了 10 个“模拟”快速报告答案,这些答案基于构成资格 FRCR 答案的三个模块之一,旨在测试考生的速度和准确性。
每个模拟答案包括 30 张射线照片,其难度和知识广度与真正的 FRCR 答案相同或更高。要通过答案,考生必须在 35 分钟内正确解读 30 张图像中的至少 27 张(90%)。
人工智能候选人接受过培训,可以评估多种情况下的胸部和骨骼(肌肉骨骼)射线照片,包括骨折、关节肿胀和脱臼以及肺部塌陷。
考虑到与 AI 候选人未受过训练的身体部位相关的图像,这些图像被认为是“无法解释的”。
当无法解释的图像被排除在分析之外时,AI 候选人的平均总体准确率为 79.5%,并通过了 10 项模拟 FRCR 答案中的两项,而普通放射科医生的平均准确率为 84.8%,并通过了 10 项模拟答案中的四项。
AI 候选人的敏感性(正确识别患有疾病的患者的能力)为 83.6%,特异性(正确识别无疾病患者的能力)为 75.2%,而所有放射科医师的特异性分别为 84.1% 和 87.3%。
在超过 90% 的放射科医师正确解读的 300 张射线照片中,有 148 张是 AI 候选者在 134 张 (91%) 中正确,在其余 14 张 (9%) 中错误。