9万种人体动作大公开!为加速AI影像识别技术进展,Google释出人类行为资料集AVA
2017-10-24 11:49:40 | 来源:ithome | 投稿:梁子 | 编辑:dations

原标题:9万种人体动作大公开!为加速AI影像识别技术进展,Google释出人类行为资料集AVA

图片来源:

Google

为了加速影像动作识别的研究,Google近日推出人类动作理解资料集AVA(Atomic△Visual△Actions),提供视频中针对每个人多种动作的标签,AVA收集YouTube公开的视频,将80个动作标注标签,包含走、踢、握手等动作,最后AVA资料集分析57,600个视频段,标注了96,000个人类动作,产生210,000个动作标签。

Google收集不同类型的YouTube视频,主要聚焦在电影和电视类别的视频,撷取还自不同国籍的专业演员动作,将视频每15分钟切割为一个片段,再将15分钟的视频切割为300个非重叠的3秒片段,每个采集资料样本都采取这样的策略。

接着,Google的研究团队手动将每个3秒片段的人物,标注边框,再为每个被标注边框的人,从预设的80个动作标签贴上适合的动作标签,来描述该位人物的动作,这些动作可大致分为3个类别:姿势或移动动作、人与物体互动动作、人与人互动动作。由于Google对所有人物贴上标签,因此标签的机率分布会呈现长尾分布。

在设计AVA资料集时,Google也尝试了一些特别的作法,举例来说,Google试着给一群人贴上至少2个动作标签,就能分析出动作标签同时发生的模式(Co-occurrence△Pattern),像是人类通常在演奏乐器的同时演唱、在与小孩嬉玩耍时将人举起,或是拥抱同时亲吻。

Google在博客的文章中表示,教导电脑理解人类在视频中的动作,一直是电脑视觉技术还未突破的难题,像是个人视频搜寻、动作分析、手势操作介面的应用等,尽管过去几年,图像中的物件分辨和分类有所突破,但是人类动作的分辨仍然是个挑战,因为人类的动作是自然的,很难用定义物件的方式来分辨,因次也难创造出人类动作理解的资料集。

许多标准的资料集,例如UCF101、ActivityNet,以及DeepMind的Kinetics,都采用了图像分类的贴标签(Label)方法,为资料集中的每一个视频,或是视频的片段,贴上一个标签,但是还是没有办法识别出,不同人产生的不同动作。

Google指出,与其他动作资料集相比会发现,AVA有着3个不同的特质,AVA以人为中心贴标签(Person-centric△annotation)、标签识别的时间区段,以及采用真实视频。

AVA的分析中,每个动作标签是以人为主,而不是以视频的片段为主,因此,可以在同一个场景之下,针对多个人、不同的动作来分辨,另外,AVA将动作标签的识别控制在3秒,3秒是动作可以被清楚识别的时间。

此外,AVA还采用了真实的视频来源,用电影视频当作训练素材,收集来自不同类型和国家的素材,如此一来,AVA资料集就包含了一般大众人类的动作。

Google希望借由释出AVA资料集,来协助人类动作识别系统的开发,提供更多将复杂动作模型化的可能性,Google将持续改进AVA,也期望开发社交给予回馈,做为未来修改与发展方向的参考。

tags:

上一篇  下一篇

相关:

微软正式释出Windows 10秋季创作者更新

图片来源: Microsoft 微软于本周二(10/17)太平洋时间的早上10点(约台北时间18日凌晨1点)开始于全球部署Windows△10秋季创作者更新版(Windows△10 Fall△Creators△Update)这是Windows△10自2015年问世以来的第

交通部招商大会 释出1500亿元商机

我酷新闻网记者苏元和/台北报道交通部今(17日)在交通部5楼国际会议中心举办招商大会,共释出投资及采购商机新台币1,500亿元,其中,包括超过新台币1,000亿元的公共建设投资及采购案与新台币450亿元前瞻轨道建设零

【远银遭骇追追追】更多入侵细节大公开!18亿元远银遭骇盗转事件追追追

刚入秋的这一周,吹起了台湾金融圈另一次资安风暴。在10月3日这一天,远东国际商业银行(简称远银)的国际汇款系统SWIFT(环球银行间金融电讯网络)发生了交易系统异常,骇客盗转了18亿元汇款到海外三国,远东银行在

Container双周报第44期:Kubernetes 1.8版释出,资安功能再强化

重点新闻(9月23日-10月6日)Kubernetes△1.8版释出,资安功能再强化在近日Kubernetes释出了1.8版,截至现今,已经是今年发布第三个大版本。在此版本中,许多1.7版的功能也获得更新、强化。而Kubernetes第一个强调的

微软释出Windows 10秋季创作者更新的RTM版与SDK

示意图,与新闻事件无关。 微软于本周二(10/10)释出了Windows△10秋季创作者更新(Windows△10 Fall△Creators△Update)Build△16299.15,除了向外界证实这已是生产就绪版(Release△To△Manufacturing,RTM)之

站长推荐: