教人工智能以“我”的视角看世界

要令人工智能系统如同人类一样与世界交互，人工智能领域需要发展出一种全新的第一人称感知范式。这意味着人工智能在实时运动、交互时，要以第一人称视角理解日常活动。

世界是多维的，生活中同样的景物在不同的视角下会呈现出不同的形态。若要让人工智能更像人类，就要让其视角更接近人。从人类的角度观察环境，人工智能或许会看到一个新的天地。

近日，由脸谱（Facebook）和9个国家的13所大学及实验室组成的学术联盟宣布，11月将开源让人工智能拥有以第一人称视角与世界进行交互能力的Ego4D(Egocentric 4D Perception)项目。这个项目包含超过3025小时的第一人称视频，涉及来自73个城市的700多名参与者的日常生活。这些视频将有助于使人工智能认知世界的方式更加趋向于人类。

那么，目前人工智能主要通过哪种视角认知世界，不同视角对于人工智能认知环境会产生哪些影响？人工智能感知环境、认识世界主要通过哪些技术？想要认知世界的方式更像人类，人工智能还需突破哪些瓶颈？

人工智能通常采用第三人称视角

“要令人工智能系统如同人类一样与世界交互，人工智能领域需要发展出一种全新的第一人称感知范式。这意味着人工智能在实时运动、交互时，要以第一人称视角理解日常活动。”脸谱首席研究科学家克里斯汀·格劳曼曾言。

今天的计算机视觉系统大多是利用数百万张以第三人称视角拍摄的照片和视频进行学习的。“为了构建新的感知范式，我们需要教会人工智能像人类一样，从第一人称角度即‘我’的视角，沉浸式观察理解世界，并与之交互，这种认知方式也可以称为自我中心认知。”10月26日，远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时指出。

如何理解人工智能的第一人称和第三人称视角？谭茗洲解释道：“第一人称视角代入感很强，比如在玩游戏时，你如身临其境，看到的游戏画面就是你真实世界看到的画面。第三人称视角又叫作上帝视角，仿佛你一直飘在角色身边一样，如影随形，可以看到角色本身及周围的情况。例如，第三人称视角下藏在掩体后可以看到掩体前面的情况；而在第一人称视角下，囿于视角范围，在掩体后则只能看到掩体本身。”

“再如自动驾驶，其视觉系统如果只从旁观者的（如车的角度）收集数据，即便通过数十万个基于旁观视角看到的车辆行进图像或视频进行训练，人工智能可能依然不知道如何去做，很难达到现在的自动驾驶水平。因为这种旁观者的视角与坐在车内方向盘前的视角很不一样，第一人称视角下，真人驾驶员做出的反应还包括点刹、猛刹等行为，这些数据是从旁观者视角无法搜集的。”谭茗洲进一步说。

“以前人工智能界很少以第一人称视角收集数据集，这个项目弥补了人工智能视角体系的短板。未来AR、VR的发展十分重要，如果人工智能可以从‘我’出发，以第一人称视角来观察理解世界，将开启人类和人工智能沉浸式体验的新时代。”谭茗洲指出。

克里斯汀·格劳曼也表示：“下一代人工智能系统需要从一种完全不同的数据中学习，即从事件中心视觉而不是边线视觉展示世界的视频中学习。”

建立真实世界数据集

目前让人工智能感知环境、认识世界，建立类人化的认知体系主要通过什么“抓手”展开？

业内专家指出，历史证明，基准和数据集是人工智能行业创新的关键催化剂。今天，几乎可以识别图像中任何对象的计算机视觉系统都是建立在数据集和基准之上的，数据集和基准为研究人员提供了一个研究真实世界图像的实验台。

“脸谱日前发布的这个项目，其实本身就是建立一个数据集，旨在训练人工智能模型更像人类。其开发了5个围绕第一人称视觉体验的基准挑战，即把第一人称视角拆解成5个目标，开展相应的训练集竞赛。”谭茗洲指出。

Ego4D的5个基准是：情景记忆，什么时候发生？预测，我接下来可能会做什么？手—物交互，我在做什么？视听日记，谁在什么时候说了什么？社交互动，谁在和谁互动？

谭茗洲强调，上述基准测试将促进开发人工智能助手所必需的构建模块的研究。人工智能助手不仅可以理解现实世界中的指令并与之交互，同时可以在元宇宙中实现对元宇宙中指令的理解和交互。

为了建立这个数据集，与脸谱合作的大学团队向研究参与者分发了现成的头戴式摄像头和其他可穿戴传感器，以便捕获第一人称的、未经编辑的日常生活视频。项目的重点是参与者从日常场景中捕获视频，比如购物、烹饪、边玩游戏边聊天，以及与家人和朋友进行其他团体活动等。

视频采集了摄像头佩戴者在特定环境中选择注视的对象，以及摄像头佩戴者如何从自我中心角度与人和物互动。到目前为止，摄像头佩戴者已经执行了数百项活动，并与数百种不同的对象进行交互，项目的所有数据都是公开的。

“脸谱这项研究能够更快地推动人工智能领域自我中心认知研究的进步。这将对我们未来的生活、工作和娱乐方式产生积极影响。”谭茗洲表示。

让人工智能认知能力更像人

人工智能发展的终极目标是让人类受益，让我们能够应对现实世界中日益复杂的挑战。想象一下，通过AR设备能够在琴、棋、书、画课堂中准确显示如何弹琴、下棋、握笔和勾勒；形象生动地指导家庭主妇根据食谱烘焙烧烤、烹饪菜肴；健忘的老人借以眼前全息图的帮助回忆过去……

脸谱强调，希望通过Ego4D项目为学术界和行业专家开辟一条全新的道路，帮助构建更智能、更灵活和更具交互性的计算机视觉系统。随着人工智能越加深入理解人类的日常生活方式，相信将这个项目能以前所未有的方式对人工智能的体验进行情境化和个性化。然而，目前的研究还只是触及自我中心认知的皮毛。

如何才能让人工智能的认知能力更像人类？“首先是注意力，人工智能的注意力机制更接近直觉，而人类的注意力是有选择性的。目前来说，大部分人工智能注意力机制，是在训练过程中重复告诉人工智能应该注意哪些地方，哪些东西是有关联的。未来也许可以让参与试验的人戴上特殊的可以捕捉眼球关注点的装置，来进一步收集相关数据。”谭茗洲指出。

“第二，还需要以事件和行为的关联为研究中心，定义人工智能的行为。一件事情的发生包括多个行为，要用人类反馈的方式训练人工智能系统，使人工智能的行为与我们的意图一致。”谭茗洲进一步表示。

谭茗洲强调：“此外，听觉和视觉、语言和行为等之间还需要配合、响应、联动，这就要构建多模态交互模型，纵深研究视角为何会聚焦投向并与意图识别相结合，形成与行为之间联动的机制等。”

标签： 人工智能 视角范围 第一人称 点刹 沉浸式 数据集 第三人称