3R技术在放射学中的应用_孙亚琪.pdf

482 专家论坛 中国医刊 2023 年 第58卷 第5期3R 技术在放射学中的应用孙亚琪1，袁明远2*（1.上海体育学院运动健康学院，上海 200438；2.上海健康医学院附属周浦医院 放射科，上海 201318）关键词：虚拟现实；增强现实；混合现实；放射学中图分类号：R445文献标识码：A文章编号：1008-1070（2023）05-0482-03doi:10.3969/j.issn.1008-1070.2023.05.005基金项目：2020年上海市浦东新区新兴交叉学科建设项目（No.PWXx2020-06）*通信作者，E-mail:随着人工智能技术虚拟现实（virtual reality，VR）、增强现实（augmented reality，AR）、混合现实（mixed reality，MR）技术在医学上的广泛应用，放射科在教学、技能培训等领域运用 3R（即 VR、AR 和 MR）技术不断增多1。VR 利用计算机生成一种模拟环境，用户可沉浸其中感受完全模拟的三维空间，但用户与现实脱离了联系。AR 是 VR 的发展，将所需信息以三维的形式呈现于用户身边真实的环境中，实现了虚拟环境与现实世界的融合，但虚拟信息与真实环境不存在交互，真实感差。MR 可以感知真实环境的几何信息，允许真实世界与虚拟环境发生物理交互，有虚实结合、实时交互的特点2-4，具有为用户的交互提供包括视觉、触觉和本体感受等在内的多感知系统的参与。放射科医生要擅长用立体思维对图像进行判读，利用新技术提高读片能力5。3R 技术是一种新颖的交流手段，具有补充放射学培训的潜力，还有助于同事间以及医患间沟通，并协助介入放射学操作6。本文总结 3R 技术在放射科的应用，介绍其在介入放射学教育培训、沟通交流、临床介入操作等方面的应用，并回顾分析其局限性和未来的发展方向。13R技术在放射学教学培训中的应用三维学习环境的教学优势在文献中已有阐述7。与教科书或在线学习模块不同，学生在虚拟世界中有沉浸感，可体验物理环境的三维概念模型，进而增加了与其他学习者的合作理解的机会。早期的 AR研究表明，学生的学习动机、互动性和对材料的学习都有所提高8-9。AR 在教育中的成功应用被认为与新奇的经验和互动能力有关，用于放射学领域可帮助学员概念化复杂的解剖结构。国外有文献报道了介入放射学交互式 VR 模拟器的创建10。早期的 VR 系统将投射在阴极射线管监视器上的数字医学图像与可提供力触觉反馈的外部设备对数字图像的操作结合起来，利用 VR 技术向医学生开展介入放射学互动式讲座，学生可使用个人智能手机附带的立体观看器观看介入手术套件。介入放射学住院医师和研究员的培训不局限于病例，还包括对设备和流程步骤的指导。介入放射学教育是了解各种介入放射学的工具，但因这些工具的成本较高，通常难以用于临床以外的消耗。随着三维扫描软件在智能手机上的应用以及 3D 打印机的出现，可以对这些工具进行三维扫描，并纳入AR 场景或使用 3D 打印机打印，从而进行触摸和操 作11。教学时可采用该方法展示介入手术的全过程，其中涉及的操作包括穿刺和中心静脉置管等。23R技术在介入放射学相关公司员工培训中的应用介入放射学设备供应商也意识到了沉浸式手段及 AR 在销售和培训医生使用其设备方面的潜力和价值。在 2017 年的介入放射学会议上，供应商应用Oculus 设备实现了沉浸式现实，让参与者模拟椎体强化过程，完成椎体强化手术所需的所有步骤均可由佩戴耳机设备的参与者进行模拟，并沉浸在模拟的介入放射学过程中。对于执业的介入放射科医生，3R 可在 购买昂贵的仪器前提供该设备的测试和实际使用训练。在临床实践中，VR 培训已被证实可在学习腹腔镜的外科实习生中减少手术次数并提高操作能力。最近，虚拟模拟器已被证实可为泌尿外科医生、神经外科医生和内镜医生提供益处5,9-10。一家名为“外科手术剧院（俄亥俄州梅菲尔德）”的公司专门为外科医生提供 VR 沉浸式环境，使他们能够复制手术的步骤并理解解剖关系。3放射科同事之间及与临床医生的沟通对于放射科医生来说，在为显示三维图像而设计的沉浸式环境中审查三维图像可能比在传统的二维显示器上审查图像更具优势，这得益于使用立体技术带来的增强的深度感知，三维显示的视场约为30，而 VR 显示的视场为 100，加上使用头部运动和/或手势，可进行直观的图像处理12。未来的阅片专家论坛 483中国医刊 2023 年 第58卷 第5期室可通过 VR 技术提高对复杂解剖结构的理解，有助于全面了解解剖关系，制定和执行复杂的手术过程。对于新手操作者或外科医生，使用 VR 技术等建立的模拟器能展示三维学习环境，具有增加空间表征及改善复杂手术任务规划的潜力10。文献报道，AR 还可被用于肢体重建手术13。43R技术协助医生与患者的交流在 VR 环境中可实现临场感，满足多人同时体验同一个虚拟世界的要求14。例如，神经外科医生可在办公室里与放射科医生、患者一起复查容积 CT 脑部血管成像，不同大洲的同事也可通过应用程序实现图像的远程共享15。3R 在对患者进行健康宣教方面也具有巨大潜力，可帮助患者了解解剖学和病理学特征，使用由自己的个人图像制作的三维虚拟模型或打印模型，将其置于三维成像和介入放射学套件环境中，研究证实该方法可提高患者对三维打印模型的感知理解16。在临床环境中，医生可以与患者共享复杂的三维信息并进行沟通。由医学数字成像和通信数据创建并在二维显示器上呈现为三维显示的容积图像可用于向患者展示解剖和病理结果，而三维显示器可利用这些信息提供像全息图一样的体验，从而促进了对图像的理解并增强了人机交互。移动设备允许远距离共享模型，其便携性为更广泛的应用提供了更大的便利。由于患者缺乏相关医学知识而难以理解医生传达的信息，容易造成医患沟通不畅。将 MR 设备应用于医患沟通中可帮助解决这一问题。医生可以把手术相关信息输入 MR 设备中进行建模，在平台上为患者及其家属进行手术过程的演示，并介绍病情和手术方式等，使患者清晰了解病情和治疗方案，从而减轻患者的心理压力，减少医患沟通不畅引发的矛盾。53R技术协助介入放射科医生操作所有介入放射学操作均面临的一个技术挑战是如何以尽可能准确和高效的方式将针头、导线和/或导管从皮肤进入部位引导到目标区域17。一种便于靶向的方法是应用导航引导工具和融合算法，融合MRI 和 US 数据或 MRI 和 CT 数据，以提高感兴趣区或病变部位解剖结构的可视化程度。利用 AR 技术将特定病灶的诊断图像直接叠加到患者身上，手术过程中操作者可在可视化融合的解剖结构影像中瞄准病灶，从而提高了操作的精准度。63R技术应用的局限性尽管3R技术在放射学方面具有巨大的应用潜力，但目前存在局限性，包括长时间使用的人体工程学限制、采购和使用的成本相对较高以及内容的可用性有限。例如，长时间使用头戴显示器已被报道会导致颈部疼痛和恶心、头晕18-20。在教学方面，与教科书及目前可用的在线资源相比，3R 技术的成本相对较高。目前鲜有针对内容创作的“现成”解决方案。内容的创建需要通过软件工具和一些编程技巧将医学数字成像和通信图像转换为 3R 内容。一种替代方案是向第三方公司购买服务。尽管内容创作可能具有挑战性，但在过去 5 年中内容观看的成本有所下降，特别是对于大量个人智能手机 VR 观众来说。随着各大智能手机厂商越来越多地采用3R技术，观看 3R 内容的成本也在下降。目前 3R 技术处于起步阶段，可供放射学使用的内容有限21。7结论3R 在患者教育和围术期规划中的临床应用前景广阔。未来的技术革新将使硬件进一步小型化，图像的配准更加可靠，从而能够重新定义程序规划，并提高患者的参与度。未来的研究需加强多学科团队合作，尤其是与计算机领域专家的合作，进一步完善 MR 的数据支撑和触觉等其他感觉的强化；对需要联合 MR 实施介入手术的患者开展质性研究，了解患者对联合 MR 实施介入手术的真实感受，根据患者的需求和经济水平共同决策手术方案，合理协调临床实效性和费用合理性之间的关系。综上所述，将3R技术应用到放射学领域中，有助于使抽象、微观、复杂的医学影像学信息变得形象化、可视化和简单化，贴近诊断实际，充分体现影像医学的专业性和实践性，契合创新驱动发展医学的国家战略。参考文献：1 KUEHN B M.Virtual and augmented reality put a twist on medical educationJ.JAMA,2018,319(8):756-758.2 PELARGOS P E,NAGASAWA D T,LAGMAN C,et al.Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgeryJ.J Clin Neurosci,2017,35:1-4.3 QUERO G,LAPERGOLA A,SOLER L,et al.Virtual and augmented reality in oncologic liver surgeryJ.Surg Oncol Clin N Am,2019,28(1):31-44.4 CONTRERAS LPEZ W O,NAVARRO P A,CRISPIN S.Intraoperative clinical application of augmented reality in neurosurgery:a systematic reviewJ.Clin Neurol Neurosurg,2019,177:6-11.5 VVRA P E,ROMAN J,ZONA P,et al.Recent development of augmented reality in surgery:a reviewJ.J Healthc Eng,2017,2017:4574172.6 TEPPER O M,RUDY H L,LEFKOWITZ A,et al.Mixed reality with HoloLens:where virtual reality meets augmented reality in the operating roomJ.Plast Reconstr Surg,2017,140(5):1066-1070.7 DALGARNO B,LEE M J W.What are the learning affordances of 3-D virtual environments?J.Br J Educ Technol,2010,41(1):10-32.8 DI SERIO,IBEZ M B,KLOOS C D.Impact of an augmented reality system on students motivation for a visual art courseJ.Comput Educ,2013,68:586-596.9 JARA C A,CANDELAS F A,PUENTE S T,et al.Hands-on experiences of undergraduate students in automatics and robotics using a virtual andremote laboratoryJ.Comput Educ,2011,57(4):2451-2461.484 综述 中国医刊 2023 年 第58卷 第5期10 JACOBS S,GRUNERT R,MOHR F W,et al.3D-imaging of cardiac structures using 3D heart models for planning in heart surgery:a preliminary studyJ.Interact Cardiovasc Thorac Surg,2018,7(1):6-9.11 MCCARTHY