Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型

作者: 佚名 2020-01-07 14:37:59

 在近些年的视频理解研究中,Facebook AI Research 贡献了许多精彩的工作。近日,FAIR视频团队在 ICCV 相关研讨会上开源了视频识别检测代码库 PySlowFast,并同时发布了预训练的模型库。同时,该团队表示,他们还将实时将他们的前沿工作添加至此代码库。

Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型

  • 项目地址:https://github.com/facebookresearch/SlowFast
  • Tutorial 地址(附 PPTT 资源):https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

视频与动作理解俨然已成为当今最火热的研究方向之一,然而在开源社区中找到一个简洁、高效、易于修改的视频理解代码库仍不是一件简单的事情。更重要的是,复现当今前沿的 (state-of-the-art) 的深度学习模型一直是一件令研究者头疼的事情。

这些视频理解模型往往动辄几十 GFlops,需要训练数天,而复现出一个模型需要反复的实验调参,让每个细节都正确。这往往会耗费大量的时间和资源,让很多研究者望而却步。

Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型

Facebook AI Research 在 CVPR、ICCV 等国际会议发布了众多研究工作,并赢得了 CVPR 2019 行为检测挑战赛的冠军。而后,在今年的 ICCV 上,FAIR 推出了他们的视频理解代码库:PySlowFast。
PySlowfast 是一个基于 PyTorch 的代码库,让研究者可以轻而易举地复现从基础至前沿的视频识别 (Video Classification) 和行为检测 (Action Detection) 算法。

不但如此,PySlowFast 代码库同时开源了大量预训练模型 (pretrain models),让研究者省去了反复训练模型的烦恼,可以直接使用 FAIR 预训练的前沿 (cutting edge performance) 模型。

pySlowFast开源的模型的可视化检测结果

自开源后,PySlowFast 就一度蝉联 GitHub 趋势榜前十。以下对此开源项目进行了简要介绍。

根据研讨会教程和开源代码库信息,PySlowFast 既提供视频理解基线(baseline)模型,还提供了当今前沿的视频理解算法复现。其算法不单单囊括视频视频(video classification),同时也包括行为检测(Action Classification)算法。

与当今开源社区中各种视频识别库复现出参差不齐的性能相比,使用 PySlowFast 可轻而易举地复现出当今前沿的模型。

视频识别(Kinetics)

Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型

表 1:PySlowFast 在视频分类数据库 Kinetics 400 上的性能)(节选自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md)

PySlowFast 不单单可以用于视频分类,同时也可用于视频理解,并提供赢得了 2019 年 CVPR ActivityNet Challenge Winner 的视频检测模型。
行为检测(AVA)

Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型

此外,PySlowFast 预留了接口,可通过简单的编辑支持多模态视频理解、视频自监督学习等等任务。该团队称,PySlowFast 将被积极维护,实时更新其团队和业界的前沿算法,同开源其预训练模型,使代码库成为视频理解领域的基线标杆。

通过以下教程,读者们可以简单试用下 PySlowFast 代码库。在完成安装后,通过下载 MODEL_ZOO 提供的预训练模型和相应的配置文件,运行如下代码,就可以测试(Test)模型在不同视频数据库上的性能:

  1. python tools/run_net.py  
  2.   --cfg configs/Kinetics/C2D_8x8_R50.yaml  
  3.   DATA.PATH_TO_DATA_DIR path_to_your_dataset  
  4.   NUM_GPUS 2  

我们可以发现,通过此代码库可以轻易复现出前沿的高性能模型,同时读者们也可以尝试通过简单的修改来实现自己的模型,并用多台 GPU 进行训练得到前沿的性能。

代码 开发 AI
上一篇:一文看尽2019年NLP前沿突破 下一篇:阿里达摩院发布2020十大科技趋势!人工智能、区块链、芯片成焦点
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

加速算力的迭代优化 AI芯片需破解落地难题

AI芯片怎样支撑多姿多彩的人工智能应用落地?评测标准进展如何?今年的亮点、看点又在哪?科技日报记者采访了相关专家。

唐 芳 ·  19h前
人工智能如何赋能经济高质量发展

继第一、第二、第三次工业革命之后,人工智能可能引发人类的第四次工业革命,并且其对人类经济社会文化的影响深度远远超过前三次革命。如何看待人工智能对我经济社会发展的影响?如何形成人工智能产业新生态?记者专访了中国科学技术发展战略研究院研究员李修全。

佚名 ·  1天前
人工智能如何推动神经科技发展?

神经科技以人类神经系统原理为基础,旨在研究人类大脑这一极为复杂的模型架构。在实际作用方面,神经科技将帮助研究人员了解大脑功能与引发功能障碍的原因,并助力医生治疗各类神经系统疾病。至于具体应用,神经科技目前主要关注增强认知能力、改善睡眠并改善长寿人群的大脑健康等。

佚名 ·  4天前
2020年,比较适合AI的5种编程语言

AI系统的开发必须有计算机代码,而计算机程序的开发有不同类型的编程语言可以选择。本文分析哪些编程语言最适合你的人工智能或机器学习用例开发。

CSDN App ·  4天前
大规模存储基础设施对人工智能的要求

大规模的人工智能(AI)在容量和性能方面提高了存储基础设施的门槛。对于人工智能或机器学习(ML)环境,期望增长到数十个甚至数百TB的容量并不少见。

Harris ·  4天前
人脸识别背后:可怕的不是技术,而是……

当下AI程序到底会用人类面孔做什么?有多少的恐惧是来源于传言,而非摆在面前的事实?技术的力量是否让人类的担忧不断增多?我们来一起想想这个问题。

读芯术 ·  2020-02-12 22:20:39
人工智能助力疫情防控:能精准筛查、推演疫情、溯源病毒

在疫情防控过程中,及时发现高风险人群与超级传染者,准确掌握疫情发展动态是关键。同时,如果能就不同政策对疫情的影响进行预演判断,以及更快速地追溯到病毒的传播路径,将极大提高政府部门的防控效率。

澎湃新闻 ·  2020-02-12 07:21:03
代码开源!超好用的《机器学习实用指南》第二版终于来了

早在去年的这个时候,红色石头就发文给大家推荐过一本非常棒的机器学习实用指南书籍《Hands-On Machine Learning with Scikit-Learn & TensorFlow》

Author 红色石头 ·  2020-02-11 10:30:32
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载