国产手术机器人AI多模态大模型CARESCopilot1.0发布，行业进入AI大模型时代

来源：智慧医械，未经授权不得转载

近日，中国科学院香港创新研究院人工智能与机器人创新中心(简称“中国科学院香港创新院AI中心”)在香港发布医疗领域AI多模态大模型CARESCopilot1.0，手术大模型和手术导航结合起来，可以为患者提供实时的解剖定位信息，提高手术安全性，可以在手术阶段自动识别病灶和解剖结构，对培训年轻医生和教学有实用价值。

目前该系统的识别功能主要包括三个层面：首先是基于三维人体的手术室行为识别算法，能够对人体动作进行判断"他的动作是否合规"；其次是利用大模型的抽象理解能力判断手术到了什么阶段；最后是关键解剖结构识别，现在通过这个系统能够把一些关键的解剖结构的识别率提高到80%以上，Copilot1.0可以在手术中为医生提供判断参考，通过辅助信息让医生操作更为安全。

该系统的识别功能能够直接从视频图像里提取出“人的身体”，并把“人的身体”进行数字化，并对人体动作进行判断，比如“他现在在做什么，他的动作是否合规”等。该技术能够实现95%的行为准确率的识别。其次是基于多模态手术阶段识别算法，利用大模型的抽象理解能力，能够非常准确地判断出手术到了什么阶段。

在关键解剖结构识别领域，即使是有经验的医生也不可能百分百确认他看到的手术场景里哪些属于特定的解剖结构，特别是一些隐藏在他视野后面的结构，现在通过这个系统能够把一些关键的解剖结构的识别率提高到80%以上，这样在手术过程中，医生可以通过这些信息让手术操作更加安全。

中国科学院香港创新院AI中心表示，1.0版本采用大模型加小模型的方式，可以识别、语义提取图片和文字，并进行更高级的理解。未来Copilot2.0版本将延伸到手术指导，像教练一样提醒和指导医生哪个阶段应该如何操作。随着更多版本的迭代，最终可能会实现医生与机器有效配合、机器人进行一些非关键手术操作，甚至还有可能由医生书写手术计划、机器人来自主执行方案。

据了解，目前困扰医疗大模型应用最主要的难点，就是对诊疗影像分析和手术规划的准确性，目前医疗领域垂直大模型的评判标准主要是参加医学考试，在USMLE医疗行业测评中（USMLE为美国执业医师资格考试，是通往美国临床执业的唯一路径），Copilot1.0的成绩排在第一。早前，谷歌的医疗大模型Med-PaLM2在MedQA数据集实现了86.5%的准确率。

CARESCopilot系统注重实用性和可及性已在多家医院的不同科室进行了实地内部测试和持续优化。目前已经把系统运用在神经外科专科培训上，把手术视频放到这个大模型里，医生就能够很直观地看到手术每一步在干什么，每一步重要的结构是什么，丰富医生的临床操作认知。

中国科学院香港创新院AI中心认为，随着机器大模型理解能力的提升，医生能够识别机器人的意图，从而与它进行有效的配合，在医生确认好手术规划后，让机器人帮助医生进行一些非关键的操作自主运行，医生最只负责最主要的病灶处理部分，其它的非关键标准操作流程则由手术机器人在医生的监督与确认下执行。

这也意味着即便是现有AI大模型的结果出来后，也需要有着丰富临床经验的医生进行最终审核确认，只有真正符合医疗诊断结果的AI大模型数据，才能应用到诊疗手术中。至于未来能不能把AI大模型的准确率提高到真正的自主诊疗手术水平，目前看来还有很长的路要走，特别是在医疗数据资源并不丰富的今天。