基于PyTorch的CV模型框架,北大学生出品TorchCV

作者: 张倩、泽南 2019-10-15 14:04:29

在机器学习带来的所有颠覆性技术中,计算机视觉领域吸引了业内人士和学术界最大的关注。

基于PyTorch的CV模型框架,北大学生出品TorchCV

刚刚推出 1.3 正式版的 PyTorch 风头正劲,人们已经围绕这一深度学习框架开发出了越来越多的工具。最近,一个名为 TorchCV 的计算机视觉模型框架站上了 GitHub 趋势榜。

项目链接:https://github.com/donnyyou/torchcv

该库提供了基于深度学习的大部分 CV 问题研究的源代码,对于使用者来说,调用最常用、最为先进的计算机模型从此可以变得更加容易。TorchCV 的作者 Donny You 来自北京大学,是机器感知与智能教育部重点实验室的一名研三学生。

TorchCV 支持的模型

TorchCV 支持图像分类、语义分割、目标检测、姿态检测、实例分割、生成对抗网络等任务中的多个常见模型,列表如下:

图像分类

  • VGG: Very Deep Convolutional Networks for Large-Scale Image Recognition
  • ResNet: Deep Residual Learning for Image Recognition
  • DenseNet: Densely Connected Convolutional Networks
  • ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
  • ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design
  • Partial Order Pruning: for Best Speed/Accuracy Trade-off in Neural Architecture Search

语义分割

  • DeepLabV3: Rethinking Atrous Convolution for Semantic Image Segmentation
  • PSPNet: Pyramid Scene Parsing Network
  • DenseASPP: DenseASPP for Semantic Segmentation in Street Scenes
  • Asymmetric Non-local Neural Networks for Semantic Segmentation

目标检测

  • SSD: Single Shot MultiBox Detector
  • Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
  • YOLOv3: An Incremental Improvement
  • FPN: Feature Pyramid Networks for Object Detection

姿态检测

  • CPM: Convolutional Pose Machines
  • OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

实例分割

Mask R-CNN

生成对抗网络

  • Pix2pix: Image-to-Image Translation with Conditional Adversarial Nets
  • CycleGAN: Unpaired Image-to-Image Translation using Cycle-Consistent 

快速启动 TorchCV

TorchCV 目前仅支持 Python3.x 和 pytorch 1.0。

  1. pip3 install -r requirements.txtcd extensions  
  2. sh make.sh  

利用 TorchCV 得到的模型性能数据

以下所示的性能数据完全复现了论文的结果。

图像分类

基于PyTorch的CV模型框架,北大学生出品TorchCV

语义分割

基于PyTorch的CV模型框架,北大学生出品TorchCV

基于PyTorch的CV模型框架,北大学生出品TorchCV

目标检测

基于PyTorch的CV模型框架,北大学生出品TorchCV

姿态估计

  • OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

实例分割

  • Mask R-CNN

生成对抗网络

  • Pix2pix
  • CycleGAN

TorchCV 的数据集

TorchCV 定义了你能在数据集子目录中查到的所有任务的数据格式。下面是一个用于训练语义分割的数据集目录树示例。你可以使用 datasets/seg/preprocess文件夹中的脚本对开源数据集进行预处理。

文件夹地址:https://github.com/donnyyou/torchcv/tree/master/datasets/seg/preprocess

TorchCV 的命令

项目作者提供了命令行工具,供用户使用模型,代码如下:

训练

  1. cd scripts/seg/cityscapes/ 
  2. bash run_fs_pspnet_cityscapes_seg.sh train tag 

恢复训练

  1. cd scripts/seg/cityscapes/ 
  2. bash run_fs_pspnet_cityscapes_seg.sh train tag 

验证

  1. cd scripts/seg/cityscapes/ 
  2. bash run_fs_pspnet_cityscapes_seg.sh val tag 

测试

  1. cd scripts/seg/cityscapes/ 
  2. bash run_fs_pspnet_cityscapes_seg.sh test tag 

2019 年,PyTorch 正在逐渐赶超 TensorFlow,在研究领域成为最为流行的深度学习框架。随着后者使用人数的增多,我们未来还会看到更多高效工具。

技术 人工智能 框架
上一篇:机器学习的正则化是什么意思? 下一篇:人工智能应用在智慧社区五大场景
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

厨师与AI完美搭配,一起刺激你的味蕾

最近,索尼人工智能团队和韩国高丽大学联合开发了一种名为FlavorGraph的人工智能映射工具,该工具可以推荐互补的配料,帮助厨师们烹饪菜肴。

科技行者 ·  1天前
违规企业可面临营业额6%罚款 欧盟欲加强对人工智能技术监管

据外媒报道,欧盟委员会近日修订文件显示,如有企业违反欧盟规则使用被禁止的人工智能应用,可能会面临最多相当于其全球营业额6%的罚款,这一数字高于此前提议的4%。

贾桂鹏 ·  1天前
外卖小哥要失业了?美团募资650亿打造无人配送

从疫情开始之后,美团就已经在无人配送方面发力,根据美团的数据显示,目前美团的无人车配送服务已经覆盖了20多个小区,累计配送3.5万订单,自动驾驶里程近30万公里!

首席财经观察 ·  1天前
未来网络领域发生混合威胁的三大趋势

4月7日,欧洲反混合威胁卓越中心发布报告《未来的网络空间与混合威胁》,指出网络空间是发生混合威胁的领域之一,是网络行动和网络信息行动的促成者。

张明月 张岸佳 ·  1天前
MIT小哥联合谷歌训练7个多任务机器人,9600个任务成功率高达89%!

Google研究团队率先研发出了处理大规模任务的新型机器人,这些机器人竟然具有「学习世界」的能力。

新智元 ·  1天前
5G只比4G多1G?人工智能不答应

4月4日,论文共同作者之一、美国艺术与科学院院士、清华大学智能产业研究院院长张亚勤在接受科技日报记者采访时表示,通信行业正在走向5G,马上要走向6G,光是看视频快点、多发送点图片,那不是5G。什么才是真正的5G?为什么要在5G网络里“注入”人工智能?

科技日报 ·  1天前
通过AI和ML实现完全自动化的5种绝佳方法

在本文中,我们将讨论使用AI和ML的智能测试自动化技术如何帮助项目团队减少测试工作并提高测试覆盖率。

佚名 ·  1天前
无人机都能拿来做什么?这些用途太给力了!

无人机如今已越发普及,甚至几百块钱就可以买到一台带有高清摄像头的机器,但是我们日常使用无人机都只是用来拍照片、视频,其实在军事等领域,无人机的用途更大。

科技星空plus ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载