黑科技!加州理工学院团队利用AR为盲人提供空间语音导航

信息化观察网
编译
世界卫生组织估计,全球约有13亿人患有某种形式的视力障碍。这些人中有2.17亿人患有中度至重度视力障碍,而3600万人属于法定视力障碍者。

世界卫生组织估计,全球约有13亿人患有某种形式的视力障碍。这些人中有2.17亿人患有中度至重度视力障碍,而3600万人属于法定视力障碍者。

最近发表的一篇名为《AR为盲人提供认知助手》的报告详细介绍了三位加州理工学院科学家的工作,这些科学家正在深入探讨使用AR并通过计算机视觉算法为盲人提供导航,当盲人用户进入一个房间时,这些物体会“说出自己的身份”。

由Markus Meister、Yang Liu和USC博士后学者Noelle Stiles组成的团队利用了Microsoft HoloLens的功能,在现实世界的“场景”上创建数字网格,并使用了一款名为CARA(认知增强现实助手)的独特软件,能够将信息转换为音频消息,让每个物体都能发出声音,当用户佩戴头戴设备时,他们也能够听见这些声音。

通过CARA,HoloLens将检测周围环境中的物体,然后使用立体式声音让物体发出声音,告知用户它们是什么物体。如果物体位于左侧,那么语音消息将会从AR耳机的左侧发出,如果物体位于右侧,那么AR耳机的右侧就会发出声音。音调的高低会根据你与物体的距离而改变:物体越近,音调越高。

为了避免用户受到太多信息的干扰,加州理工学院的团队设计了几种简化体验的模式。一种是“Spotlight Mode(聚光灯模式)”,用户可以直接面向一个物体,然后该特定的物体会告诉用户它是什么。另一种模式称为“Scan Mode(扫描模式)”,CARA会扫描房间中的物体,然后每个物体依次从左到右告诉用户它们是什么。

第三种模式“Target Mode(目标模式)”,允许用户使用房间中的任何物体作为指导来帮助导航周围环境。这种方法与在博物馆使用语音导览的体验非常相似,但是你收到的是周围环境的信息,而不是艺术品信息。你可以把它想象成有语音雷达。

在加州理工学院提供的视频中,加州理工学院生物科学教授兼神经生物学执行干事Markus Meister表示:“所有的VR和AR技术都是从场景中获取信息,然后将其转换为其它用途。”

在加州理工学院的试验期间,他们的7名盲人测试对象使用了HoloLens,目的是通过导航,到达Liu位于二楼的办公室。戴上AR耳机后,测试对象会收到一条消息,说明导航已经开始,然后按照“跟我走”的说明进行操作。

这几名盲人对象只经过了简单的培训,他们跟着导航走过了大厅、两层楼梯和几个拐角,并最终到达了Liu的办公室,这表明他们的第一次尝试没有任何问题。

Tommy Marcellus并不是一名法定盲人,但如果不佩戴眼镜的话,他就无法开车、在公园里散步,甚至没有办法工作。他告诉VRScout:“这种类型的技术为比我还不幸的盲人提供了额外的独立性和安全性,并绝对会为他们开启了无限的可能,”并补充道:“在我们看来,走在路边和进入家门等一些简单的动作都是很简单的事情。如果你是一名法定盲人,我无法想象那是什么感觉。”

Marcellus则提出了这样一个事实:这项技术并不能够让他在没有眼镜的情况下开车,看电影或在街上认出一位朋友,但他坚信AR可以取代盲杖,许多盲人仍然使用盲杖来“扫描”周围的障碍物和方向标。“我们可以看到人们会戴着AR头戴设备,而不是使用盲杖,这些设备也会变得更加准确。”Marcellus说道。

所以,这个团队的目标是什么?Meister表示:“当你想要为设备添加功能时,会受到一些限制,从本质上来说,这是软件方面的问题。”

加州理工学院做出的早期测试带来了很多的承诺,但仍然有很多工作要做。下一阶段的测试应该探讨HoloLens和CARA在人流量很多的大型公共场所的工作情况,例如购物中心、商店和游乐园等。

原文作者:Bobby Carlton

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论