侵权投诉
焊接机器人 喷涂机器人 搬运机器人 装配机器人 切割机器人 其它机器人
订阅
纠错
加入自媒体

【知识】如何进一步接近人类智能:多模态机器学习

2016-08-23 09:07
水墨黯月
关注

  人和动物通过视、听、说等途径感知和学习,本质上是多模态学习。近些年,由于深度学习的发展,多模态机器学习进一步成为人工智能的研究热点。本文简单介绍多模态机器学习的内容和挑战,部分摘于CVPR2016和ACL2016的Tutorial Multimodal Learning and Reasoning[1],Tutorial on Multimodal Machine Learning[2]。

  人在生活中的感知是多元的,包括视觉、听觉、触觉、味觉、嗅觉等等。任何感知能力的缺失都有可能造成智力或能力的异常。

  基于此,多模态机器学习(MultimodalMachineLearning)为机器提供多模态数据处理能力。例如,看图说话,看电影翻译。多模态学习的长远目标是使机器充分感知环境,如感知人的情感、言辞、表情,更智能地和环境进行交互。

  目前,学术上比较成熟的是视觉和语义之间的多模态学习。如对一张图片生成文字描述,或者针对一张图片的内容回答相应的文字问题。视觉信息通常用CNN处理,文本信息通畅使用RNN处理。多维度数据对齐的方式有attention机制,例如,看图说话里名词对应图里面哪个物体。并且,在很多传统机器学习任务上,多模态学习优于单模态机器学习,例如,辅助视觉信息的文本翻译效果优于仅使用文本信息。

1  2  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

技术文库

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号