AR、VR、MR，新兴科技在教育培训领域有哪些可能的应用场景？

2023-06-05 芥末堆看教育

作者注：这篇文章主要目的在于提供读者ㄧ个概念，了解 AR、VR、MR 这些新兴科技可以带给我们那些方面的新型态体验及协助。读者可自行举一反叁去想像其他可能应用场景。

AR、VR 及 MR 在这几年越来越火红，在开始介绍它们的应用之前，我们先来介绍这家族三个成员之间的分别。

AR、VR 与 MR 的分别：

增强现实 (Augmented Reality，AR)：在使用者的现实世界叠加数字创建的内容。
虚拟现实 (Virtual Reality，VR)：阻挡现实世界，为使用者创建一个全数字化、身临其境的体验。
混合现实 (Mixed Reality，MR)：在使用者的现实世界叠加您可以与之互动的数字创建内容。

下面这张表可以帮助你更清楚了解其区分：

所以 Pokémon Go 是 MR? 因为它可以收服口袋怪兽 (互动)? 别误会，上面 MR 提到 "可以与之互动的数字创建内容" 并不是单纯的只是可以点选跳出的数字创建资讯以获得更多资讯，或是，收服口袋怪兽而已。MR 产生的数字创建内容能够结合现实世界的实际影像，并且可以对其数字创建产生的内容做放大、缩小、旋转、甚至是编辑等等的工作。下面 Microsoft 的 Hololens 广告可以让您比较了解什么是 MR。

有没有注意到，在影片中，当你观看3D 数字陈像时，这影像并不会随着你的移动跟着转向，因此你可以移动位置从后面、上面、下面，以各角度来检视或编辑这影像，这在 AR，甚至大多数的 VR 应用，都是做不到的。

附带ㄧ提，连 Pokémon Go 到底算不算 AR 也有争论。因为理论上 AR 应该是靠辨识某些现实世界影像来产生或带出数字创建内容，而 PokémonGo 是靠 Location 定位来带出数字影像，因此很多人认为 Pokémon Go 充其量只能称为定位服务游戏 (Location-Based Gaming)，不能称为 AR。关于这点，笔者认为就别太吹毛求疵了，或者，你可以称它 Location-Based AR 游戏。

近年来，AR 已经从原本只能以智慧型手机或平板电脑对着某现实世界实际事物，经由辨识，让应用程序带出相关资讯的模式，转变为能以 AR 眼镜达到相同功能。并且由於不需手持行动装置来使用，因此让使用更方便，AR 眼镜应该会渐渐成为 AR 应用的新趋势。

VR 穿戴装置 (例如 HTC VIVE、Playstation VR ...) 则使游戏玩家不再只能看著萤幕玩电玩游戏，而能进入 3D 立体的实战环境。然而其缺点则是因为它**现实世界的影像，因此除非有设计精良搭配使用的感测装置，否则在教育训练上的应用大多会仅仅局限在观看 3D 立体数字内容而已。

MR 将 AR 与 VR 混合为一，因此 Microsoft 的 Hololens 等装置的推出，不仅让 AR 的运用更上ㄧ层楼 (互动)，也让 VR 的应用能更融入日常工作及生活中。

AR、VR、MR 在教育训练上的应用

我们把这些新兴科技在教育训练上的应用分成三大块:

教育 (Education): 指传授知识，包含学校教育及职场教育。
训练 (Training): 指职能或技能训练，包含学校及职场。
效能支持 (Performance Support): 指在需要的时刻提供相关重要资讯，以协助完成工作，通常可以与前项搭配运用。

本篇介绍将不局限在学校教育端，我们也会举出ㄧ些学校以外不同领域的应用，来协助大家了解这些新兴科技的无穷潜力及魅力，这也有助于大家去思考要如何运用这些科技。AR/VR/MR 的应用是无限宽广的，接下来就看大家的想像力及实践了。

为了方便我们将会标示各应用是属于教育 (E)、训练 (T) 还是效能支持 (PS)。不在此三类范围内的应用例子 (例如娱乐、消费、营销、治疗等)，本文就略过不提。

医疗

AR/VR/MR 在医界 (医院及医学院) 越来越受到重视，其最大的两个原因是:

1. 节省时间/降低成本 (E/T/PS):

目前已经有很多医学院/医院使用 AR/VR/MR 来进行教学或外科手术训练。在教学上，学生戴上 AR/VR 眼镜观看 3D 立体的人体结构及**，甚至可以 "取出" 某一**来做更仔细的观察。在外科手术训练上，学生或实习医生戴上 AR/VR 眼镜，通过 3D 全息解剖 (Holographic Anatomy) 程序来对着虚拟尸体进行手术练习。这可以让学生节省十个小时在传统尸体实验室内，更实际的ㄧ点是，大体并不容易取得，因此手术**可以减轻医院或学校在这方面的负担。

2. 协作 (T/PS)

不管是手术**还是实际手术，或是其他医疗诊断，教授、资深医生 (主任)，甚至是远端的医生或专家，也能透过执行手术或诊断的医生配戴之 AR/MR 眼镜所传出的影像 (我们称之为 POV，Point-of-View) 对该医生提供建议或下达指示，而医生可以从其眼镜上的显示器看到这些建议或指示。

应用当然不只有这些，下面是ㄧ些其他的应用例子:

药物使用: 协助医护人员确认正确的药物即使他们没受过训练。这简化了药剂师和医生的需求，减少错用药物的机会。(PS)
静脉注射: 协助护理人员寻找静脉来进行静脉注射。别怀疑，AR 眼镜可以帮你看到那些肉眼看不到的静脉，这减少了医护人员的时间及病患的痛苦。(PS)
先期处置: 医院的急诊室值班医生可以透过救护车上，或是，意外事故现场医护人员的 POV 及检测仪器所传回的数据，对病患做初期诊断，并下达指示给该医护人员进行初步医疗处置，以增加及减少病患存活机会及伤害扩大。所以，或许未来公共场所的灭火器或 AED (自动体外心脏去颤器) 旁边会同时放置ㄧ付 AR 眼镜，ㄧ但取出会自动通过 Wifi 连线呼叫 119/120 勤务中心，让使用者可以从远端消防或医护人员即时提供协助或下达指令，指导如使用灭火器扑灭火源，或是，如何使用 AED 来急救需要紧急医疗协助的病人。(PS)

**消训练

在美国，美**方是教育科技的主要推动者，因为他们希望能快速有效率的训练他们的**。美**方几年前就开始使用 AR/VR 等科技来训练士兵作战、***作，或是维修**、车辆等装备。

戴上 AR 眼镜，运用 AR 来进行***作训练或是装备维修可以避免错误，同时可以提升训练及维修速度，新进士兵也可以很快上手。(T/PS)

AR 当然也可以运用到作战上，举个大家最熟悉的例子。几年前**闹得沸沸扬扬的阿帕奇直升机事件，如果大家不是只有关注那位女星的话，应该会注意到那顶价值 6 万多美元的头盔。那头盔为什么那么贵? 就是因为这顶战术头盔可以把 12 项座舱资讯 (例如**瞄准或夜视镜)，显示投影在右眼的单眼式萤幕上，方便飞行员能迅速读取所有重要的资讯。其他的战机飞行员、坦克驾驶的头盔也ㄧ样可使用 AR 来让他们可以快速掌握重要资讯或进行攻击。(T/PS)

使用 VR 来进行作战训练最大优点就是可以设计出各式各样的情境。当过兵的应该也很清楚，部队**训练场上的地形地物就那么ㄧ些，但使用 VR 就可以依需求设计所需的情境及地形地物，假想敌也不再只是ㄧ些人形立牌。(T)

使用 AR/VR 等科技来训练士兵作战、***作或是维修装备还有ㄧ项更重要的优点，那就是所有的过程也会被记录下来，*作是否正确、瞄准是否精准 ...等资讯都会被记录及分析，用以提供训练单位对需改善的士兵提供适切的训练来改进缺失。

类似的概念当然不只局限在军事人员的训练，**、消防人员 ...等工作上会面临危险处境的，都能藉由此科技提供各种情境下的**训练，提升未来真正遇到状况时，能正确迅速的处置及防护自身的安全。(T/PS)

而配戴 AR 眼镜的**可以通过连线犯罪中心资料库及影像辨识，来协助辨认通缉犯或赃车，更有效率打击犯罪。(PS)

技术维修服务

AR 可以提供即时的协助来协助维修人员做设备维修及故障排除等工作，这几乎可以涵括所有你所想到的工作，例如工厂机器维修保养、办公室复印机维修、电梯保养、电信维修、汽车保养 ....等等。通过 AR 智慧眼镜及专属的应用程序，可以提供维修人员详细步骤，让他们可以依循来做检测及修复工作。当然这对于新进人员的训练也是很有用的工具。(T/PS)

现场问题无法解决? 没关系，应用程序会呼叫公司内部高阶技术人员，以远端协助的方式来指导现场人员进行故障排除或更换零件，AR/MR 能允许远端专家看到现场人员所看到的影像 (POV)，并以通话或显示文字、图片、甚至直接标示要处理的零件位置在现场人员的 AR/MR 镜片显示幕上，指导他们进行修复工作。(PS)

使用 AR/MR 眼镜最大好处是现场人员不再需要ㄧ的手拿著手机或平板来对著要维修的装置，或是，听从或观看来自公司的指示，他们的双手都可以用来执行修复工作。当然，如果没有 AR/MR 眼镜，手机或平板也能做到，只是要用手拿著比较不方便。

别以为只有维修人员可以使用这项科技，消费者自己当然也可以。未来，影印机、汽车、电器用品的维修、更换 RO 滤芯 ....，只要有适当的 AR 应用程序，你可以自己动手做。

BMW 汽车公司早在 2007 年就研发 AR 眼镜及相关应用程序，提供其保养厂技师维修及更换汽车配件使用。Hyundai 汽车公司在 2015 年则推出 AR 技术手册应用程序给车主使用，只要使用智慧手机或平板，车主就能得到诸如机油、煞车油、空气滤芯等的 How-to 资讯进行维修保养。该应用程序提供影片、3D 叠加图像显示 (当车主扫描他们的车辆不同位置) 各个区域及其它汽车相关资讯。(PS)

学校教育

使用 AR/VR 可以为各级学校的学生提供身临其境的多感官的体验，比起传统的讲课、字卡图卡、或教科书等方法更有效。下面提出几个例子提供参考：

教到太阳系行星时，以 AR/MR/VR 来显示 3D 立体行星运转画面，学生利用***可点选某个星球，用以带出更详细的信息。 (E/PS)

地理课以 AR/MR/VR 显示 3D 立体地球仪，学生可以由各个角度来观看，点选某个国家可以来带出该国家的详细信息。(E/PS)
化学课以 VR 先让学生**实验过程，让学生熟悉步骤以及可能发生**或起火的错误*作，这样在真正实验时就可以有效避免危险事故的发生。(E/T/PS)
教科书或课外书都可搭配行动装置或 AR 眼镜，在特定页面显示 3D 立体画面及相关信息，增加学生印象，让学生更容易理解，并提升上课或学习兴趣。(E/PS)

建筑系学生不再需要花费时间制作设计模型，只需搭配行动装置或 AR/MR 眼镜以及适当的应用程序，就能 3D 立体陈现他的设计，既漂亮又精确，而且设计修改时不需重制模型，节省不少时间。(PS)
新鲜人对校区不熟? 找教室常迷路? 没问题，AR 应用程序可以指引你到你指定的大楼或教室。(注: 已经有卖场或商业大楼开始使用类似应用程序提供导引。未来你去超市、大卖场或购物中心，可以使用 AR 应用程序直接导引你到所要购买商品的陈列位置或要造访的商店，不需再走来走去找商品或店家位置了)。(PS)

艺术和才艺

戴 VR 去参观著名的动物园、博物馆或是课本上提到的历史景点、地标或是建筑，以你自己的速度来欣赏它们，甚至还可以配合动画显示，来加深你的印象与暸解。应用程序会根据你目前正在观看的事物在萤幕上提供详细介绍资讯。

有没有带出ㄧ些灵感? 是的，以往安排户外教学劳心劳力，还得担心天气或是害怕出车祸。不久的将来这些都可以在教室内完成 (有些博物馆已经开始提供类似服务)，户外教学恐怕会成为历史名词。往坏处想，这有点不够真实，往好处想，这样可以为学校及家长省下很多钱。(E/PS)

在才艺学习方面，AR 眼镜可以协助指导您按照步骤学习乐器、绘画、雕刻、编织等才艺。尤其对于开始学习乐器的学生，搭配 AR 眼镜及相关应用程序，可以显示各种乐器的指法及乐谱，陪练、纠错并记录过程，让生手可以轻松上手。(E/T)

健身/运动

当你在户外或野外骑车、跑步或健走时，AR 眼镜可以即时显示心跳、疲劳、卡路里消耗、目标及更多其它更多显示的资讯，例如地图及 GPS 定位等

未来在健身房，不再只能无聊的看着眼前挂着的电视萤幕跑步、骑脚踏车、或是做重量训练，你可以透过 VR (或 MR) 头戴式装置，选择在塞纳河畔，或是其它你想经历的路段，骑脚踏车、滑雪、划船、或是跑步。脚踏车、跑步机等健身器材会根据你经历的虚拟所在位置，调整上坡或下坡角度、阻力、甚至可以感受地面或河面的震动，这样的运动体验是不是很迷人呢? 当然，所有相关资讯也会显示在装置萤幕上。

学校当然也能享受到这样的应用所带来的好处，例如以 VR 搭配相关应用程序及感测元件，来训练足球守门员防守、棒球打击练习、或是网球挥拍等的训练，如此不但不受天候影响，同时也只需ㄧ点点室内场地就可以进行训练。

今天就先提到这里。除了教育训练外，AR/VR/MR 在生活上的应用更是无限宽广，充满想像空间的。笔者认为 AR/MR 会是将来的主流，因为它们并未跳脱现实世界，因此比较容易融入现实生活、教育及工作上；AR 可以在行动装置 (特别是手机 ) 上灵活运用，AR 眼镜可以做到很轻巧，**也持续下降，因此 AR 应该会成为未来生活不可或缺的ㄧ项随身工具，若搭配 AI (Artificial Intelligence) 更像是配备了贴身智能助理。而 VR 主要应用会在创造虚拟的沉浸体验，以成本高、危险、或现实世界不容易取得的经验为主要应用需求。

本文共笔作者:

Henry Chen

美国教育科技顾问公司Classroom Aid 的联合创办人，xAPI 中文实践社群委员会 Lead。曾在上市高科技公司经历科技产品设计开发、产品品质保证、与高阶管理经营。目前专注xAPI 技术、教育与相关科技产业研究、教育培训方法、策略规划、流程成本改善与品质控管。

Jessie Chuang (WeChat: JessieChuang87)

美国教育科技顾问公司 Classroom Aid Inc. 的联合创办人，xAPI 中文实践社群的主持人，Visca Analytics 的指导顾问。她曾为教育科技业者提供以下主题之顾问: 教育科技市场分析与产品設計、教育产业策略合作建议、自适应学习**与人工智能家教、OER、行动学习设计、学习标準、数据可视化、xAPI 导入规划、学习分析、数据驱动的学习设计。职涯历经高科技业、企管顾问业、教育业，擅长连结不同领域的概念作突破思考。拥有 20 多项美中台专利。

股票资讯