知识是计算机视觉与医疗的最本质区别

原标题：从计算机视觉走向医疗AI，对话上海交大谢伟迪：定义问题比解决问题更重要
文章来源：HyperAI超神经
内容字数：10948字

上海交大谢伟迪教授：从计算机视觉到通用医疗AI的转型与未来

本文总结了HyperAI超神经对上海交通大学谢伟迪教授的深度访谈，探讨了他从计算机视觉转型AI for Healthcare的经历，以及对该领域未来发展趋势的见解。

1. 从通信到计算机视觉，再到医疗AI的两次转身

谢伟迪教授本科就读于北京邮电大学通信专业，毕业后选择出国深造，转入计算机视觉领域，并最终将计算机视觉的经验应用于医疗人工智能。这期间，他经历了专业选择上的犹豫、攻克新领域的挑战以及成果带来的成就感。

2. 通用医疗AI系统的“智能涌现”

谢伟迪教授认为，开发通用医疗AI系统至关重要。他指出，通用模型能够建立不同模态数据（如图像、文本）之间的隐层联系，产生“智能涌现”，这对于诊断病因不明确的疾病至关重要。专用模型虽然在特定领域精度高，但泛化能力有限。

3. 面对数据挑战：数据收集与开源

医疗数据获取存在伦理、安全、质量等问题。谢伟迪教授团队借鉴计算机视觉的数据收集方法，从互联网上爬取数据，构建了包含医学书籍、文献、论文、图像等的大型数据集，并将其开源，促进学术发展，同时提升团队处理大数据的能力。

4. 多模态通用AI医疗大模型的构想

谢伟迪教授团队的目标是构建一个多模态通用医疗模型，融合影像、文本、基因组学、ECG信号等数据，并以影像病灶定位、文本诊断报告为基本输出形式。医学知识的嵌入是实现通用功能的关键，以实现更全面的疾病诊断和鉴别诊断。

5. “两不管”导师下的默默积蓄

在牛津大学攻读博士期间，谢伟迪教授在两位导师的“放养”式指导下，探索，阅读了大量文献，积累了深厚的计算机视觉基础。这段经历虽然挑战重重，但也让他在毕业前夕拥有了丰富的知识储备，为未来的研究奠定了坚实基础。

6. 计算机视觉与医疗的本质区别：知识

谢伟迪教授认为，医疗与计算机视觉最本质的区别在于“知识”。医学更注重寻证，拥有系统规范的知识体系，而这在医疗影像中难以直接嵌入模型。因此，他选择从语言模型入手，将医学知识嵌入语言模型，再与视觉模型对齐。

7. 定义问题比解决问题更重要

谢伟迪教授强调，定义有意义的研究问题至关重要。团队选择与上海交大医学院合作，利用医学专家的专业知识，确保研究方向的医学价值，并进行数据质量的严格把控。

8. 可解释性与模型性能

谢伟迪教授认为，如果AI模型的性能足够强大，诊断准确率超越顶尖医生，可解释性将不再是主要问题。团队已开发多个医疗大语言模型和视觉语言模型，部分成果已成为行业基准。

9. 未来展望：走向临床实践

谢伟迪教授团队计划构建面向临床的super instruction，整合医生感兴趣的任务，解决实际临床问题。他们还将研究扩展到基因组学等领域，为罕见病诊断和新药研发提供更多可能性。

总之，谢伟迪教授的经历和研究展现了AI for Healthcare领域的巨大潜力和挑战。他强调“知识驱动”的重要性，并致力于开发更实用、更有效的通用医疗AI系统，为医疗健康事业做出贡献。

联系作者

文章来源：HyperAI超神经
作者微信：
作者简介：解构技术先进性与普适性，报道更前沿的 AIforScience 案例