侵权投诉
焊接机器人 喷涂机器人 搬运机器人 装配机器人 切割机器人 其它机器人
订阅
纠错
加入自媒体

【重磅】研究人工智能安全不再抽象:谷歌、OpenAI合著论文

2016-06-23 10:23
夜隼008
关注

  人工智能是善还是召唤恶魔?如今,对人工智能砸以重金的谷歌正试着走出一条中间道路。谷歌大脑、斯坦福、伯克利以及OpenAI研究人员合做并发布了一篇新论文,首次描述了研究人员必须予以研究的五个问题,让未来的智能软件更加安全。如果说之前大部分研究都是假设和推断性的,那么,这篇论文表明对人工智能安全性的争论可以更加具体化,也更富建设性。

  今天,谷歌大脑、斯坦福、伯克利以及 OpenAI研究人员合作的新论文与大家见面了。文章首次探讨了为了让未来智能软件更安全,研究人员必须研究的五个问题。论文作者之一,谷歌研究人员ChrisOlah说,之前大部分研究都是假设和推断性的,但是,我们相信,将注意力锚定在真实的机器学习研究中,对于研发切实可行的方案来打造安全可靠的人工智能系统来说,必不可少。

  之前谷歌已经承诺会确保人工智能软件不会造成意外后果。谷歌的第一篇相关论文,出自 Deep Mind。Demis Hassabis也召集了一个道德委员会来考虑人工智能可能的不利一面,不过没有公布委员会名单。

  艾伦人工智能研究所的 Oren Etzioni对谷歌新论文所列举的解决方法表示欢迎。之前,他曾批评过人工智能危险论的讨论过于抽象。他说,谷歌列举出的各种情况足够具体,可以进行真实的研究,即使我们仍然不清楚这些实验是否切实有用。「这是正确的人问了正确的问题,至于正确的答案,由时间来揭晓。」

  以下是这篇论文主要内容:

  摘要

  机器学习和人工智能(AI)领域的快速进步已经引起了社会对人工智能潜在影响的广泛关注。在这篇论文中,我们讨论了这样一种潜在的影响:机器学习系统出现事故的问题,具体定义为因真实世界人工智能系统的糟糕设计而导致的无意的伤害性行为。我们提出了与事故风险相关的五个实用的研究问题列表,它们的分类根据问题是否有错误的目标函数(「避免副作用」和「避免奖励黑客行为」)、经常评估目标函数的成本实在太高了(「可扩展的监督」、或在学习过程中的不良行为(「安全探索」和「分布变化」)。我们还回顾了这些领域之前的工作,并建议了侧重于与前沿人工智能系统相关的研究方向。最后,我们考虑了这样一个高层次问题:如何最高效地思考人工智能未来应用的安全。

  1.导语

  过去几年,人工智能飞速发展,并已经在游戏、医学、经济、科学和交通等许多领域取得了长足的发展,但随之而来也出现了安全、隐私、公平、经济和军事应用上的担忧。

  本论文作者相信,人工智能技术很有可能将会给人类带来整体的颠覆性好处,但我们也相信,严肃对待其可能带来的风险和挑战是非常值得的。我们强烈支持在隐私、安全、经济和政治方面的研究,但本论文关注的是另一种我们相信与人工智能的社会影响有关的问题:机器学习系统的事故问题。这里的事故定义为:当我们指定了错误的目标函数时,机器学习系统可能无意产生的有害行为。这里没有考虑学习过程或其它机器学习相关的实现错误。

  随着人工智能能力的进步和人工智能系统在社会功能上重要性的不断增长,我们预计本论文所讨论的难题和挑战将变得越来越重要。人工智能和机器学习界在预测和理解这些挑战上做得越成功,在开发越来越有用、重要的人工智能系统方面,我们就能做得越成功。

  2.研究问题概述

  从广义上讲,可将「事故」描述成:人类设计者心里想的特定目标或任务在系统实际的设计或实施中失败,并最终导致了某种有害结果的情况。我们可以将人工智能系统的安全问题根据其出错的位置进行分类。

  第一,当设计者定义了错误的目标函数时,例如最大化了导致有害结果的目标函数,我们有「不良副作用(第3节)」和「奖励黑客行为(第4节)」的问题。「不良副作用」通常是因为设计者在某个环境中设计实现某个特定目标时忽略(通常忽略了很多)了环境中其它因素。「奖励黑客行为」则是由于设计者为了最大化系统的使用而写下了「简单的」目标函数,但系统却滥用了设计者的意图(即:目标函数可能会被耍花招)。

1  2  3  4  5  6  7  8  9  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号