在东京一栋外观低调的办公建筑里面，住着一个异常聪明的由日本Fanuc公司造出来的工业机器人。给机器人一个任务，比如从一个盒子里拾取小工具然后放入另一个容器里，机器人将用整个晚上想出如何完成任务。到了清晨，机器居然掌握了这项工作，就好像是一位专家为它设定了程序一样。
在十二月份，Fanuc在东京国际机器人展览会上展示了一台经强化学习训练的机器人。
工业机器人可以有极好的精确度和速度，但是它们通常需要人非常谨慎的编写程序，从而做一些像抓取物品这样的事。这是很困难且耗费时间的，意味着这样的机器人往往只能在高度控制的环境中工作。
Fanuc的机器人使用了一种名为深度强化学习的技术，来训练它自己，可随时学习新的任务。它在尝试拾起物品的同时，能够抓取这个过程的录像。不管每次它是成功了还是失败了，它都会记住物品长什么样的，用它学到的知识改进控制它行动的深度学习模型或大型神经网络。在过去几年，深度学习被证明是模式识别领域中的一条强有力的途径。
大约八个小时后，它就达到了百分之九十或更高的准确度，也就是像一位专家为它编写程序那样差不多的准确度，PreferredNetworks的首席研究官ShoheiHido说。这家公司位于东京，专攻机器学习。它整晚都在工作；到了第二天早晨，它调整好了。
机器人研究员正在测试强化学习，将它作为一种简化和加快工厂机器人编写程序的手段。这个月早期，Google发布了自己研究使用强化学习教机器人如何抓紧物品的细节信息。
Fanuc机器人是由PreferredNetworks编写程序。Fanuc这家世界最大的工业机器人生产商，去年八月对PreferredNetworks投资了730万美元。这家两家公司去年12月在东京的国际机器人展览会上展示了这个学习型机器人。
Hido说，这种学习方式潜在的一个巨大好处是，如果几个机器人并行工作然后分享他们学到的，就可以促进学习。所以，八个机器人一起工作一小时可以执行与一台机器工作八小时时相同的学习任务。我们的计划是面向分散式学习的，Hido说，你可以想象成百上千个机器人分享信息。
这种分散式学习的形式，有时叫做“云机器人”，正在成为科研界和产业界的大趋势。
Fanuc完全可以想到这一点，KenGoldberg说，他是加州大学伯克利分校的研究机器人的教授，因为它在全世界的工厂里设置了如此多的机器。他补充到，云机器人将最有可能重塑机器人在接下来几年被应用的方式。
Goldberg和同事（包括几位Google的研究员）事实上正在将这一步推向更远，他们教机器人如何使用特定的动作进行抓取，并非对特定物品的抓取，而是特定形状的物品都能抓起。一篇关于这项工作的论文将在五月份出现在IEEE机器人和自动化国际会议上。
然而，Goldberg特别提到，将机器学习应用于机器人是充满挑战的，因为控制行为远比辨认图片中的物体复杂得多。深度学习在模式识别上取得了巨大的进步，Goldberg说：“在机器人领域，你面临的挑战是你要做的不只是模式识别。机器人要能够针对大量的不同输入产生合适的行为。”
Fanuc可能不是唯一一家使用机器学习开发机器人的公司。在2014年，瑞士的机器人制造商ABB投资了另一家叫做Vicarious的人工智能创业公司。不过，那笔投资的成果还没有显现。