虚拟现实和增强现实正逐渐成为外科手术和医疗保健领域的宝贵工具。
在与医生沟通关于疾病的话题时，也许我们不会愿意佩戴一个VR头显并手握控制器，但这样做可以更好地进行手术前的咨询，缓解患者对于手术的焦虑。
在VR世界中，计算机生成的三维图形使得神经外科医生可以使用头显来全方位观察大脑，并为患者进行讲解，这有助于患者直观看到自己的大脑情况，并对手术有更深刻的了解。
神经外科医生早已开始使用VR技术规划手术。MRI(磁共振成像)扫描仅显示脑的2D图像，但不能显示血管的位置。由于每个人情况不同，因此在手术之前了解血管的位置至关重要。通过VR，这样的需求很容易实现。
除了在手术前让患者放心并帮助外科医生进行更有效的手术计划外，VR还被用于培训外科医生。
有几家公司开发了VR软件作为医疗培训工具。比如Osso VR，该公司的同名产品使医学生和外科医生能够有效地熟悉典型案例，不断练习，直到整个手术过程变得信手拈来。
该系统使用Oculus Rift头显和两个控制器来对用户进行动作跟踪，学生可以模拟操作手术过程，以熟悉新技术。系统可以模拟某些手术，例如膝盖置换。联合创始人兼CEO Justin Barad表示，学生还可以将操作时间设置在20至30分钟之间，甚至对程序进行自定义设置。
Osso VR有一个素材库，一些是在内部创建的，一些是典型案例的重建。
VR可以帮助外科医生练习常规手术，或者在一个具有挑战性的解剖操作上练习，例如畸形骶骨。。
在一项验证研究中，一组学生接受传统培训，另一组学生使用Osso VR进行15至20分钟的培训。VR组在测试仪器操作、操作流程和特定程序知识等测试中表现更好。
世界卫生组织的一份报告发现“新技术带来不良事件的主要原因是训练不当和学习时间长”。然而，传统的场外培训耗时且昂贵，因此鼓励使用新设备或技术进行培训。
Barad是一位整形外科医生，他看到许多住院医生尽管在大学学习多年，仍然无法操作，因为在没有足够时间学习的情况下还不断有新技术和程序出现。VR让你可以亲自动手进行模拟，在训练中完成外科手术。
研究表明，与使用文字和视频学习的学生相比，VR的沉浸式培训可以将有效率提高230%。
一些外科手术团队在手术之前使用VR来熟悉操作以及医生之间的协作。通常情况下，手术室中有六个或更多人，他们往往没有机会事先操作一遍。VR则允许团队快速完成模拟，在VR中进行“热身”。
还有一些提供意见的专业团队，可能根本不会彼此见面，但VR可以为位于不同地点的用户建立联络。
Digital Surgery的培训产品Touch Surgery使用AR和VR模拟手术程序。它是Microsoft混合现实合作伙伴(MMRP)，作为该计划的一部分，提供系统和开发人员将在VR系统中使用的内容。
去年，Touch Surgery宣布使用微软的HoloLens头显和人工智能(AI)以及数字手术流程数据库，训练计算机了解手术并预测手术的后续步骤。Touch Surgery软件目前用于通过PC和智能手机准备手术或培训外科医生。
AR在医疗领域也有了新的用途，建立在VR和机器人手术的基础上。首次使用的案例是利用AR在手术过程中对患者进行扫描。因为在手术过程中切换VR与实际环境是不切实际的，而AR是将虚拟图像叠加在真实世界中，在这样的场景下，AR比VR更实用。
机器人手术很受欢迎，因为它是微创的，这是在手术室中使用AR的早期例子。机器人手臂末端的小型仪器可由外科医生操作和控制，观看来自3D相机的放大图像。外科医生通过手术室中的控制台控制三个或更多的机器人手臂。
所观察的图像是外科医生在手术台上俯视患者时会看到的图像，但是AR允许在该图像上查看数据以丰富外科医生看到的内容。为了加速进展，制造达芬奇机器人系统的Intuitive Surgical宣布了2019年的资助拨款，以支持外科机器人研究，增强可视化、渲染和AR。
加拿大初创公司Aris MD正在开发一种AR/VR系统来处理2D扫描图像并将其转换为3D图像，这些图像在手术期间覆盖在患者身上。使用来自MRI，CT，X射线或超声扫描的诊断图像，该技术提供了患者解剖和损伤的图。这样的“地图”可以节省手术时间并减少患者麻醉的时间。
下一步是进行远程手术，世界各地的外科医生团队在同一程序上一起工作。技术已准备就绪，但远程手术的挑战是网速。如果外科医生进行远程手术，需要能够在大约70毫秒内显示信息。这需要一个可靠的互联网连接。
软件和硬件公司正致力于在医疗保健领域使用VR和AR技术。据不完全统计，2017年约有400家医疗VR初创企业筹资40亿美元，高于前一年约25亿美元。医生们也热衷于采用这项技术。
目前的VR技术对于医疗领域来说还有一些不足。VR头显笨重且舒适度不够支撑长时间使用，控制手柄不适合在手术中使用，需要更自如的手动追踪方案。虽然现在可以使用外骨骼和触觉手套，但是动作和显示之间依然存在时间差，并且对于外科手术来说追踪还不够精确。
尽管有这些限制，但业内人士大多认为，硬件和软件问题将在两年内解决，VR/AR技术将进入更多手术室。
