TL;DR · 评测解读
OpenAI 把 o3 Deep Research 包装成罕见病诊断“神器”，但本质是单一医院合作的 case series，没有对照组、没有准确率数字、没有可复现 benchmark。临床价值 ≠ benchmark 意义，警惕 PR-driven 叙事。
深度解读
这个"benchmark"到底测了什么？
严格来说，这不是一次 benchmark，而是一个 case series 性质的临床合作：波士顿儿童医院 + 哈佛 + OpenAI，把 o3 Deep Research 接入真实罕见病会诊流程，帮助主治医师缩小鉴别诊断范围。NEJM AI 的发表赋予它学术背书，但 NEJM AI 接收这类"AI 辅助诊疗"叙事型论文的标准，远低于接收随机对照试验的标准。
案例展示的是"o3 想到了医生没想到的诊断"，但没有报告 sensitivity / specificity / time-to-diagnosis 等可比较指标。这是典型的 cherry-picking 风险——能讲出故事的成功案例被发表，不确定有多少失败或平庸案例被静默处理。
方法论质疑
- 缺乏对照组：没有对比"资深儿科医生独立诊断"、"医生 + PubMed 检索"、"医生 + 其他 LLM（GPT-4、Claude、Gemini）"的表现，"AI 有帮助"是 trivial claim。
- 缺乏 contamination 控制：罕见病 case r
● 未登录访客SMARTFLOW PRO
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
加入机智流 PRO →¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
参考来源
- OpenAI o3 Deep Research帮助临床医生解决罕见儿科疾病 · 2026-06-18
- NEJM AI 期刊投稿范围与标准 · 2026-06-18
- MedQA / MultiMedQA 医学 LLM 评测基准说明 · 2026-06-18
本解读由 AI 自动生成 · 模板：评测解读 · 仅供参考，请以原文为准。