侵权投诉
焊接机器人 喷涂机器人 搬运机器人 装配机器人 切割机器人 其他机器人
当前位置:

OFweek机器人网

服务机器人

正文

一键终止 如何让人工智能更安全

导读: 人工智能在真实世界的复杂环境中不断学习,可能不会每时每刻都以最佳状态工作,人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为,这个按钮的核心就是让人工智能在深度学习的过程中,永远都无法学会去抵抗人类按下它的“一键终止”按钮。

  伦敦6月5日电,“阿尔法狗”有望与柯洁进行围棋终极人机大战,有关人工智能是否会威胁人类甚至取代人类的讨论再度成为热门话题。而开发“阿尔法狗”的深度思维公司发表最新论文说,他们正在研发可以关闭人工智能的“一键终止”开关,以预防科幻影片中机器人崛起、毁灭人类等类似情况的发生。

  论文说,人工智能在真实世界的复杂环境中不断学习,可能不会每时每刻都以最佳状态工作,人类控制者需要一个“红色大按钮”来终止机器人等人工智能的危险行为,这个按钮的核心就是让人工智能在深度学习的过程中,永远都无法学会去抵抗人类按下它的“一键终止”按钮。

  人工智能“一键终止”按钮涉及机器学习中的强化学习过程。人工智能程序一直在判断每一步可能的策略是否对预设目标最有利。但强化学习的微妙之处在于,人类程序员不可能总是判断出人工智能程序认为是胜算最高的一步;人工智能可能发现一些“捷径”,这些捷径可能给人类带来不想看到的结果。

  以“机器人搬运工”为例,如果机器人负责在仓库内分拣货物以及将户外货物搬到仓库内,按照人类程序员的设定,机器人会优先到户外进行搬运。然而最近天气反常,总是下雨,过多的户外工作会损耗机器人的使用寿命,控制人员不断发出让机器人进屋的指令,次数多了,机器人就能学会并认为在仓库内工作更具优先性,甚至可能抵制在户外工作。

  研究人员表示,“一键终止”按钮的核心在于如何让机器人认为这一次人类控制者终止自己的行动只是一次性的,将人类控制者的终止指令看做是无害中性的,人类的“关机”行为不会在人工智能的强化学习过程中产生任何印记。最终,研究人员会让人工智能将“一键终止”开关的按下看做是自身策略的结果。

  深度思维人工智能专家洛朗·奥叟和牛津大学人类未来研究所专家斯图尔特·阿姆斯特朗在美国机器智能研究所网站上发表了这篇文章,并将于本月底在美国纽约地区举行的“第32届人工智能不确定性大会”上就这篇论文发表演讲。

  阿姆斯特朗曾表示,人类语言如此微妙,很有可能被人工智能误读。一条“阻止人类继续承受痛苦”的指令,可能会被人工智能解读为“杀掉所有的人类”,而“保证人类安全”的指令也可能让机器人把所有人禁闭起来。他认为,人类处在一场致力于打造安全人工智能机器的竞赛中,必须争分夺秒,以免为时过晚。

声明: 本文由入驻OFweek公众平台的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

我来说两句

(共0条评论,0人参与)

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

OFweek品牌展厅

365天全天候线上展厅

我要展示 >
  • 机器人
  • 机器视觉
  • 伺服
  • 猎头职位
更多
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号