七鑫易维用眼控技术来革 VR 全景渲染的命

来源:动点科技 作者:杜宇 2016-05-09 17:21 1233 0

很多人认为今年是虚拟现实的元年,但从交互、内容、显示以及计算等方面来看,目前 VR 的普及并没有人们想象中那么迅速。同时,基于 PC 的 VR 头显及其所需要的高配置电脑带来的高昂费用,也让一部分对虚拟现实充满好奇的人望而却步。不过,专注眼控技术的 七鑫易维却有意来改变这种局面。

  七鑫易维专注于机器视觉和人工智能领域,其拥有自主知识产权的眼球追踪和眼动控制技术,主要用于终端设备的人机交互。

  眼球追踪,又称注视点追踪,是利用传感器捕获、提取眼球特征信息,测量眼睛的运动情况,估计视线方向或眼睛注视点位置的技术。

  其中,七鑫易维的眼球追踪目前已用于沟通辅具和广告分析等领域,并可以帮助渐冻人通过眼睛打字,恢复沟通能力。而且在其它场景下,七鑫易维的眼球追踪都可以发挥它的作用。比如基于无人机和机器人判断指令的人工智能、飞行射击类的眼控游戏、替代鼠标键盘的电脑操作工具以及时下大热的 VR/AR 交互等等。

  “对渐冻人来说,眼控是唯一的输入方式;对虚拟现实来说,虽然它不是唯一的人机交互方式,但却是最便利的。”七鑫易维的联合创始人彭凡说到。

  aGlass

  在具体的产品上,七鑫易维旗下有眼控设备 aSee 眼控仪、头控仪以及即将面世的带有眼球追踪的智能眼镜 aGlass 等。换言之,七鑫易维的眼球追踪技术可以集成诸多硬件产品或者终端。此外,其还提供结合眼球追踪的软件定制服务。

  “现在有一些汽车厂商也在找我们,他们希望能把眼球追踪的技术应用到汽车里面,比如疲劳驾驶检测、注意力检测和 HUD 投影到挡风玻璃的人机交互。”彭凡补充到。虽然很多看似都是 B 端的服务,但在彭凡看来最终使用受益的还是 C 端用户。而且,七鑫易维将现在的重点放到了虚拟现实领域。

  “对于 VR 来说,头盔里面加上眼控技术普及的速度会很快。”有意思的是,在这之前,记者曾在现场看到过利用眼球追踪切水果的场景。

  正如一开始我们提到的,VR 头显设备目前也会遇到一些显示问题,比如畸变和色散。对此,彭凡这样表示:“每个人的瞳距、注视点不同,这样会导致人的瞳孔偏离出(瞳)位置,造成实时观看中畸变形状不同(下图)。但通过眼球追踪技术可获得人眼的注视点,人眼和镜片的相对位置就能够实时矫正。”  

  国际上的一些眼控技术公司会采用多传感器的方案,这样带来的高成本以及集成的空间要求会很复杂。对比这种情况,七鑫易维却定下以单传感器为主的策略。“这样做意味着控制成本,而且对硬件的要求会简单,不过基于这种情况我们对精度的要求同样很高。另外,我们把自由头动的补偿算法也做得很好。”在彭凡看来,这也是他们的优势所在。

  下图为基于眼动锁定目标的 VR UI 交互。

  

  

  另外,VR 头盔有 FOV(视场角)以及延迟的问题,彭凡表示七鑫易维为此提供了一些解决方案:1、全视场角追踪,可覆盖 FOV 大于 110°的主流 VR 设备;2、低于 5ms 的高精度低延迟,追踪速度达 240Hz;3、防抖追踪算法,防止用户在使用过程中因头动而影响眼球追踪的精度。(由于大部分 VR 应用都需要头部运动的配合,而头动则会造成 VR 设备和眼睛的相对位移。)

  “您给眼球追踪的 5ms 延迟打多少分?”我问。

  “90 分吧。”彭凡说到。

  如今,已经成立 7 年的七鑫易维已经有近 70 多人的团队。目前,七鑫易维已经推出 VR 眼球追踪模组和 SDK,并与多家国内外知名 VR 设备厂商合作。与此同时,七鑫易维已经完成了两轮融资,投资方来自于高通和另一家手机背景的基金,具体细节对方并没有透露。另外,日前英伟达也已确认和七鑫易维展开合作,将从底层技术实现 GPU 基于眼球追踪的注视点优化渲染技术。

  

  需要补充的是,眼球追踪技术可以实现局部渲染,也就是说用户的集中注视区域为全高清渲染的图像,这一定程度上降低了虚拟现实设备对 GPU 的运算量和对 PC 配置的要求。而 PC 配置的要求降低也就意味着用户需要的支出降低。可以想象,如果眼球追踪技术应用到各家的 VR 头显设备中,其对现在的虚拟现实格局也许会产生一定的影响。

  基于此,有一个问题也随之出现了,频繁地使用眼睛进行交互就会导致用眼疲劳。

  “如果延迟严重,用户的眼睛就会很疲劳,我们做渲染的目的就是为了让用户感到更自然。你要强行用眼玩游戏躲炸弹就会很累。”彭凡笑着说。

原标题:基于眼球追踪的注视点渲染可降低 PC 功耗?七鑫易维打算用它来革 VR 全景渲染的命)

评论 0