ai导航 ACL 2022:梳理视觉语言导航的任务、方法和未来方向|AI Drive

AI资讯7个月前发布 fengdao
5 0

1、研究背景

2、VLN任务定义

3、VLN数据集

4、VLN方法

5、VLN评估

6、VLN未来发展

论文:

导航ai智能是什么意思啊_ai导航_导航AiS作用

一、研究背景

如果想要建造一个真正可以在实际生活中利用起来的robot,在我们人类理想中它应该可以使用自然语言来和人沟通,而不是说只能接受一些机器语言指令。

最近,像BERT、GPT这些大模型在NLP领域的新发展,让大家渐渐意识到,可以把自然语言和传统的 融合到一起。

在介绍VLN Task之前,我们先简述这样Robot有什么样的好处。

首先,它可以极大程度上让人无需再做重复性的日常任务,也无需做危险的任务。例如说,在家里可以让机器人帮我们从厨房里拿一个苹果,或者帮我们做饭。机器人可以把实时画面传送给我们,然后我们可以使用自然语言告诉机器人,接下来应该执行什么任务。

导航ai智能是什么意思啊_导航AiS作用_ai导航

其次,VLN在理论研究方面也很有价值,它可以探索究竟什么是具身型人工智能,并从这个方向来探索AGI( )的可能性,因为它将、text和这三种模态融合到一起,并且可以实际运用到生活当中。

一个成功VLN的agent至少需要理解这些模态,并且可以做出切实有效的。

在介绍VLN的具体数据集和最新提出来的一些方法之前,我们可以先思考两个问题:

第一,什么才算是一个真正智能的具身型人工智能?我们认为,它首先需要理解来自不同维度的信息,例如,Text,Audio,Video,甚至一些很抽象的信息,像人类提取出来的 Base或者 。

第二,那我们作为人工智能方面的研究者,应该怎么做去推进这样强大的智能体的研究呢?

我们认为至少可以从以下几个方面来做:首先要提出合理的,这种带有真实的来测试建造的Robot或Agent。并且,自然语言的使用必不可少。其次,建造了这些之后,就需要进一步提出模型和方法,如何建造相关的VLN agent。VLN agent需要实时接收环境的观测画面,以及接收来自人的指令,进而在环境中迁移以完成任务。

首先,VLN的复杂点之一在于其输入信息特别多,很多强大的模型在NLP( )上已经做的特别先进了,但是只有一个模态。复杂一点的任务例如VQA( Answ

© 版权声明

相关文章

暂无评论

暂无评论...