2018年上半年,解放軍總醫(yī)院泌尿外科張旭教授團隊,將混合現(xiàn)實(Mixed Reality, MR)技術(shù)與機器人微創(chuàng)手術(shù)技術(shù)相結(jié)合,在三亞成功完成一例混合現(xiàn)實遠程協(xié)作機器人手術(shù),據(jù)文獻調(diào)研,此項技術(shù)當(dāng)屬世界首例。
什么是MR混合現(xiàn)實技術(shù)?
混合現(xiàn)實技術(shù)(MR)既包括增強現(xiàn)實(AR)也包括虛擬現(xiàn)實(VR),該技術(shù)通過在現(xiàn)實場景中引入虛擬信息,合并現(xiàn)實和虛擬世界而產(chǎn)生的新的可視化環(huán)境,在此環(huán)境中實現(xiàn)物理和數(shù)字對象共存,并實時互動,以增強用戶體驗的真實感。
MR技術(shù)是影像技術(shù)發(fā)展的熱點,能夠使醫(yī)學(xué)影像數(shù)據(jù)從2維平面升級到3維立體,有利于對數(shù)據(jù)信息的深度挖掘,使醫(yī)生能深度認知病灶與各組織器官的空間位置關(guān)系,其虛擬與真實場景的互動,使有效的影像數(shù)據(jù)在手術(shù)過程中全面自然呈現(xiàn),在醫(yī)學(xué)領(lǐng)域大有可為;機器人手術(shù)是目前公認的微創(chuàng)技術(shù)發(fā)展方向,立足于醫(yī)院優(yōu)厚的資源與自身在微創(chuàng)技術(shù)領(lǐng)域的優(yōu)勢,致力于混合現(xiàn)實技術(shù)在機器人手術(shù)中的應(yīng)用研究,在原有基礎(chǔ)上進一步拓展,成功完成了全球首例混合現(xiàn)實技術(shù)遠程指導(dǎo)機器人手術(shù),使得患者影像數(shù)據(jù)、手術(shù)方案、手術(shù)實時影像、現(xiàn)場指導(dǎo)等諸多因素在同一空間內(nèi)實時呈現(xiàn)、融合并傳遞,不僅開啟了醫(yī)生解讀患者內(nèi)部結(jié)構(gòu)的全新方式,而且開啟了醫(yī)學(xué)交流的全新模式,更是開啟了醫(yī)療智能化的新生態(tài)。
療.jpg)
MR混合現(xiàn)實協(xié)作機器人腫瘤切除手術(shù)成功實施
術(shù)前,手術(shù)團隊,利用混合現(xiàn)實技術(shù)在北京解放軍總醫(yī)院院本部張旭、馬鑫教授的指導(dǎo)下,制定了精密的手術(shù)方案。討論過程中,醫(yī)生佩戴HoloLens混合現(xiàn)實眼鏡時,看到了基于該患者影像數(shù)據(jù)重建的立體模型以及代表遠程醫(yī)生的虛擬人物,異地醫(yī)生突破了時空約束,在同一個物理環(huán)境中,討論了病情,制定了計劃。
制定計劃之后,醫(yī)生與患者溝通,患者和家屬都佩戴混合現(xiàn)實眼鏡,觀看基于患者影像數(shù)據(jù)重建的立體病例,醫(yī)生給患者和家屬講解手術(shù)方案,告知手術(shù)的風(fēng)險,使家屬能夠直觀了解手術(shù)的必要性、過程及風(fēng)險,使醫(yī)患合作與溝通更加順利流暢。
術(shù)中,手術(shù)團隊利用混合現(xiàn)實技術(shù)云平臺—星云,和北京方面直接連線,將術(shù)中真實場景與虛擬的患者的解剖模型相融合,再傳遞給北京的馬鑫教授,馬鑫教授利用星云平臺進行現(xiàn)場指導(dǎo),實時傳遞回三亞,并與機器人手術(shù)影像實時融合,投遞進機器人手術(shù)視野,確保手術(shù)的成功、安全完成。