侵权投诉
焊接机器人 喷涂机器人 搬运机器人 装配机器人 切割机器人 其它机器人
订阅
纠错
加入自媒体

六大人工智能领域需重点关注

2017-02-09 09:24
kumsing
关注

生成模型

不同于用来完成分类和回归任务的判别模型,生成模型从训练样本中学到一个概率分布。通过从高维的分布中采样,生成模型输出与训练样本类似的新样本。这也意味着,若生成模型的训练数据是脸部的图像集,那么训练后得到的模型也能输出类似于脸的合成图片。细节内容可以参考Ian Goodfellow的文章。他提出的生成对抗模型(GAN)的结构当下在学术界非常的火热,因为它给无监督学习提供了一种新思路。GAN结构用到了两个神经网络:一个是生成器,它负责将随机输入的噪声数据合成为新的内容(比如合成图片),另一个是判别器,负责学习真实的图片并判断生成器生成的内容是否以假乱真。对抗训练可以被认为是一类游戏,生成器必须反复学习用随机噪音数据合成有意义的内容,直到判别器无法区分合成内容的真伪。这套框架正在被扩展应用到许多数据模式和任务中。

记忆网络

为了让人工智能系统像人类一样能够适应各式各样的环境,它们必须持续不断地掌握新技能,并且记住如何在未来的场景中应用这些技能。传统的神经网络很难掌握一系列的学习任务。这项缺点被科学家们称作是灾难性遗忘。其中的难点在于当一个神经网络针对A任务完成训练之后,若是再训练它解决B任务,则网络模型的权重值不再适用于任务A。

目前,有一些网络结构能够让模型具备不同程度的记忆能力。其中包括长短期记忆网络(一种递归神经网络)可以处理和预测时间序列;DeepMind团队的微神经计算机,它结合了神经网络和记忆系统,以便于从复杂的数据结构中学习;渐进式神经网络,它学习各个独立模型之间的侧向关联,从这些已有的网络模型中提取有用的特征,用来完成新的任务。

微数据学习微模型

一直以来深度学习模型都是需要堆积大量的训练数据才能达到最佳的效果。比如,某只参加ImageNet挑战赛的团队使用了120万张分布于1000个类别的人工标注图像训练模型。离开大规模的训练数据,深度学习模型就不会收敛到最优值,也无法在语音识别、机器翻译等复杂的任务上取得好效果。数据量需求的增长往往发生在用单个神经网络模型处理端到端的情况下,比如输入原始的语音片段,要求输出转换后的文字内容。这个过程与多个网络协同工作各处理一步中间结果不同(比如,原始语音输入→音素→词→文本输出)。如果我们想用人工智能系统解决训练数据稀缺的任务时,希望模型训练用到的样本越少越好。当训练数据集较小时,过拟合、异常值干扰、训练集和测试集分布不一致等问题都会接踵而至。另一种方法是将在其它任务上训练好的模型迁移到新的任务中,这种方法被称为是迁移学习。

一个相关的问题是用更少的模型参数建立更小的深学习架构,而模型的效果却保持最佳。这种技术的优势在于更高效的分布式训练过程,因为训练过程中需要传输的参数减少了,并且能够方便地将模型部署在内存大小受限制的嵌入式硬件上。

学习/推理硬件

促进人工智能发展的催化剂之一就是图形处理器(GPU)的升级,不同于CPU的顺序执行模式,GPU支持大规模的并行架构,可以同时处理多个任务。鉴于神经网络必须用大规模(且高维度)数据集训练,GPU的效率远高于CPU。这就是为什么自从2012年第一个GPU训练的神经网络模型——AlexNet公布之后,GPU已经成为名副其实的淘金铁锹。NVIDIA在2017年继续领跑行业,领先于Intel、Qualcomm、AMD和后起之秀Google。

然而,GPU并非专为模型训练或预测而设计,它原本是用于视频游戏的图像渲染。GPU具有高精度计算的能力,却遭遇内存带宽和数据吞吐量的问题。这为Google之类的大公司和许多小型创业公司开辟了新领域,它们为高维机器学习任务设计和制造处理芯片。芯片设计的改进点包括更大的内存带宽,图计算代替了向量计算(GPU)和矢量计算(CPU),更高的计算密度,更低的能源消耗。这些改进令人感到兴奋,因为最终又反哺到使用者的身上:更快和更有效的模型训练→更好的用户体验→用户更多的使用产品→收集更大的数据集→通过优化模型提高产品的性能。因此,那些训练和部署模型更快的系统占据显著的优势。

仿真环境

正如之前提到,为人工智能系统准备训练数据很具有挑战性。而且,若要将人工智能系统应用到实际生活中,它必须具有适用性。因此,开发数字环境来模拟真实的物理世界和行为将为我们提供测试人工智能系统适应性的机会。这些环境给人工智能系统呈现原始像素,然后根据设定的目标而采取某些行动。在这些模拟环境中的训练可以帮助我们了解人工智能系统的学习原理,如何改进系统,也为我们提供了可以应用于真实环境的模型。

<上一页  1  2  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号