原标题：Google让机器人抓握技巧更像人，在杂乱中抓取目标前还会先捞一捞
抓握物体对人类来说是很简单的工作，要教会机器人却非常不容易，Google先是发表不需要人工设定轨迹，就能抓取特定物体的研究，现在还要让机器人行为更像人，可以让机器人从一大群杂乱的物体中，像人一样捞出目标物，或是推开阻碍抓取目标的物体，再进行抓取物体。通过称为QT-Opt的演算法，可以使用较少的训练资料就能达到更好的成效，由于真实的机器人资料难以收集，因此这对于机器人学习是很令人振奋的事。
目前机器人系统都只能在生产线上建置产品，这类受控环境中执行重复性任务的工作。而要机器人观察周围环境并决定出最佳行动方案，同时对于意想不到的结果做出反应，Google提到，要教机器人这种概括不同现实世界物体和情境的能力非常困难。
目前有两种工具可以提供机器人类似的能力，第一种是深度学习，可以处理非结构化现实场景，另一种则是增强学习，让机器人拥有更长期的推理，并展现强大的顺序决策能力。Google表示，结合这两项技术可以让机器人自行从经验中不断的学习，而不需要手动工程控制机器人的基本运动。但即便有了这个方向，前进的路途仍然充满挑战，真实世界物体具有各种不同的外观以及物理特性，即便是接触力细微的不同，都会让预测物体移动变的困难，甚至可能造成视觉上的阻挡。此外，机器人感测器的资料杂讯很多，同时也增加了资料应用的复杂度。
这些原因使得要发展出一个通用型的解决方案变得不容易，除非有足够的时间收集多样的训练资料，但由于收集机器人的训练资料非常困难，促使了研究团队往开发更强大的学习演算法前进，最好能够重复使用过去的经验，直接从大型资料集中获得必要的资源。但是这些还不够，机器人还需要能推断行为带来的长期后果，这对于掌握技能至关重要，
Google为此使用了新政策（Off-policy）增强学习，这个设计能让学习演算法从大量过去多元的互动中，获取有用的经验，Google使用拟合深度Q-learning演算法结合大规模分散式最佳化，发展出称为QT-Opt的演算法，这个分散式学习演算法支援连续动作空间，非常适合用来解决机器人的问题。
Google使用收集来的资料，在不需要实际控制机器人的情况下离线训练模型，模型训练完成后再部署到真实机器人上进行微调，而在执行QT-Opt演算法的同时，也能累积更多可用于训练模型的离线资料。为了将这个演算法用于机器人抓握，Google以7个真实机器人，在4个月内运行800小时，而且为了加速资料收集，他们先使用人工设计的政策，在15-30％的运行时间都能成功执行任务后，再将资料收集切换到训练模式。该政策是拍照并回传机械手臂的动作，离线资料包含抓取一千种不同物体的资讯。
由于跨机器人的抓取经验可以互相分享，7个机器人共享58万次的大型抓握资料集，最后研究团队获得了一个真实世界机器人的抓握政策，从数量上来看，QT-Opt演算法在没看过的物体进行700次的抓握，达96％的成功率，比先前监督学习抓握法的成功率78％，错误率下降了5倍。
当一群物体组成一个闭锁环状时，机器人自动发展出在捡取特定物体之前，先推开其他物体，再进行抓取。另外，当机器人第一次尝试抓取物体失败时，会改变方向重新定位后，再次进行抓取直到成功。当机器人要从一大群物体中抓取特定物体时，会先在物体中捞一捞，直到可以抓住目标为止。而且当人们故意将机器人抓住的物体拍落时，机器人也会自动重新定位后，再次捡起物体。
而这些类似人类操作物体的行为都不是人工设计的，而是系统以QT-Opt自我监督训练下学习的。Google还提到，QT-Opt能够使用更少的训练资料，达到更好的训练成效，这对于训练瓶颈通常在于收集训练资料的机器人研究，是一件令人兴奋的发现。而QT-Opt是一种通用的增强学习方法，用途并不仅限于机器人抓握，未来他们还会继续使用在其他机器人研究上。
相关：
人工智能机器首度飞向太空！空中巴士打造的漂浮机器人CIMON即将登陆国际太空站
图片来源: 空中巴士 皮克斯动画电影“瓦力”中的太空机器人伊芙现在几乎成真了，由空中巴士带头打造的太空用智慧助理机器人CIMON（Crew△Interactive△Mobile△Companion)在6月29日从地球出发，并于7月2日抵达国际太
上排为摄影机安排在机械手臂不同的位置，下排为不同角度摄影机输入手臂的视觉影像。 Google发表了一项新研究，让机器人手臂不再需要人为设定固定的轨迹与姿势，而能自己从过去历史经验中学习，并通过观察环境自我校
汇控(00005.HK)今日举行策略简报会，公布八项优先策略推动增长，第一项是加快亚洲业务增长，包括强化在香港市场的优势，并投资于珠三角、东盟，以及包括保险及投资管理在内的亚洲财富管理业务，也希望带领推动全球最
金管局副总裁余伟文指，外汇基金的长期增长组合(LTGP)内，有部分投资到绿色金融项目，包括绿色债券、再生能源项目等，过往也曾经投资南美洲风力发电场。他又指，金管局在投资项目中一向会注重环境、社会及管治因素(E
AI趋势周报第43期：MIT先教虚拟助手做家事，未来盼用YouTube视频教机器人新技能
MIT和多伦多大学研究员开发VirtualHome家事模拟系统，教会AI助理在虚拟世界中做家事。研究人员表示，他们为此开发的不只是家事系统，也是大型的家事叙述资料库。 图片来源: MITCSAIL 重点新闻(0601～0607)? MIT??