MR+医疗,世界首例MR混合现实协作机器人肿瘤切除手术成功实施

2018年上半年,解放军总医院泌尿外科张旭教授团队,将混合现实(Mixed Reality, MR)技术与机器人微创手术技术相结合,在三亚成功完成一例混合现实远程协作机器人手术,据文献调研,此项技术当属世界首例。

什么是MR混合现实技术?

混合现实技术(MR)既包括增强现实(AR)也包括虚拟现实(VR),该技术通过在现实场景中引入虚拟信息,合并现实和虚拟世界而产生的新的可视化环境,在此环境中实现物理和数字对象共存,并实时互动,以增强用户体验的真实感。

       MR技术是影像技术发展的热点,能够使医学影像数据从2维平面升级到3维立体,有利于对数据信息的深度挖掘,使医生能深度认知病灶与各组织器官的空间位置关系,其虚拟与真实场景的互动,使有效的影像数据在手术过程中全面自然呈现,在医学领域大有可为;机器人手术是目前公认的微创技术发展方向,立足于医院优厚的资源与自身在微创技术领域的优势,致力于混合现实技术在机器人手术中的应用研究,在原有基础上进一步拓展,成功完成了全球首例混合现实技术远程指导机器人手术,使得患者影像数据、手术方案、手术实时影像、现场指导等诸多因素在同一空间内实时呈现、融合并传递,不仅开启了医生解读患者内部结构的全新方式,而且开启了医学交流的全新模式,更是开启了医疗智能化的新生态。

MR+医疗

MR混合现实协作机器人肿瘤切除手术成功实施

术前,手术团队,利用混合现实技术在北京解放军总医院院本部张旭、马鑫教授的指导下,制定了精密的手术方案。讨论过程中,医生佩戴HoloLens混合现实眼镜时,看到了基于该患者影像数据重建的立体模型以及代表远程医生的虚拟人物,异地医生突破了时空约束,在同一个物理环境中,讨论了病情,制定了计划。

制定计划之后,医生与患者沟通,患者和家属都佩戴混合现实眼镜,观看基于患者影像数据重建的立体病例,医生给患者和家属讲解手术方案,告知手术的风险,使家属能够直观了解手术的必要性、过程及风险,使医患合作与沟通更加顺利流畅。

术中,手术团队利用混合现实技术云平台—星云,和北京方面直接连线,将术中真实场景与虚拟的患者的解剖模型相融合,再传递给北京的马鑫教授,马鑫教授利用星云平台进行现场指导,实时传递回三亚,并与机器人手术影像实时融合,投递进机器人手术视野,确保手术的成功、安全完成。