为什么我的CV模型不好用?没想到原因竟如此简单……

作者: 机器之心 2019-10-15 09:46:46

计算机视觉模型表现不佳的原因有很多,比如架构设计缺陷、数据集代表性不足、超参数选择失误等。但有一个很简单的原因却常常被人们忽略:图像的方向。机器学习专家 Adam Geitgey 近日发布了一篇文章探讨了这一简单却又让很多人头痛的问题,并分享了他为解决这一问题编写的自动图像旋转程序。

我写过很多有关计算机视觉和机器学习项目的内容,比如目标识别系统和人脸识别项目。我有一个开源的 Python 人脸识别软件库,算得上是 GitHub 上非常受欢迎的十大机器学习库之一。这也意味着我常常收到关于 Python 和计算机视觉方面的新人提问。

为什么我的 CV 模型不好用?没想到原因竟如此简单……

以我的经验,有一个技术问题比其它任何问题都更容易让人受挫——倒不是复杂的理论问题或昂贵 GPU 的问题。人们基本上没意识到,几乎所有人都是以侧向方式将图像载入内存的,而计算机在检测侧向图像中的目标或人脸时的能力可没那么出色。

数码相机如何自动旋转图像

当你在拍摄照片时,相机会感知你向哪边倾斜。当你在另一个程序中查看照片时,它们会以正确的方向显示。

为什么我的 CV 模型不好用?没想到原因竟如此简单……

但棘手的问题在于, 你的相机实际上并没有在保存到磁盘中的文件中旋转图像数据。因为数码相机中的图像传感器是逐行读取的,最终汇集成连续的像素信息流。这能让相机更轻松地保存像素数据,因为不管相机的姿势如何,像素数据总是以同样的顺序保存的。

为什么我的 CV 模型不好用?没想到原因竟如此简单……

实际上,照片能否以正确的方向显示完全取决于图像查看器应用。相机在保存图像数据的同时还会保存有关每张图片的元数据——相机设置、位置数据以及理所应当的相机的旋转角度。图像查看器应当使用这种信息来正确地显示图像。
 
图像元数据最常见的格式是 Exif(Exchangeable image file forma「可交换图像文件格式」的缩写)。Exif 格式的元数据放在相机保存的 jpeg 文件中。你不能直接从图像本身读到这种 Exif 数据,但可以使用任何知道如何读取这一数据的程序进行读取。
 
下面是使用 Exiftool 读取的上面的鹅照片的 Exif 元数据:

为什么我的 CV 模型不好用?没想到原因竟如此简单……

注意 Orientation(方向)这个数据元素。它能指示图像查看器程序,在屏幕上显示图像之前将图顺时针旋转 90 度。如果程序忘记这么做,图像就会侧向显示。

为什么我的 CV 模型不好用?没想到原因竟如此简单……

为什么这让很多 Python 计算机视觉应用表现不佳?

Exif 元数据并非 jpeg 文件格式的原生部分。在 TIFF 文件格式使用了这种元数据之后,jpeg 文件格式才加入这种元数据。其保持了与老一代图像查看器的后向兼容性,但这也意味着某些程序根本没有费心去解析 Exif 数据。

numpy、scipy、TensorFlow、Keras 等大多数用于处理图像数据的 Python 库都将自己视为研究通用数据数组的人的科学工具。所以它们不在乎消费者层面的问题,比如「图像自动旋转」——即使现在的所有相机拍照需要这种操作。

这差不多意味着,你用任意 Python 库加载图像时,都会得到未经旋转的原始图像数据。现在猜猜看,当你将侧向的或倒向的图像输入人脸识别或目标检测模型会怎样?因为你提供了错误的数据,检测器会提示失败。

你可能认为这个问题仅限于新手或学生写的 Python 脚本,但事实并非如此。即使谷歌的旗舰级 Vision API 演示也没能正确地处理 Exif 方向:

为什么我的 CV 模型不好用?没想到原因竟如此简单……

谷歌的 Vision API 演示无法旋转标准的手机拍摄的纵向图像。

尽管谷歌的视觉技术能成功地检测出侧向图像中存在一些动物,但它仅提供了一个不具体的「Animal(动物)」标签。这是因为模型检测侧向的鹅要比检测正向的鹅要困难得多。如果在输入之前先正确地旋转一下,则谷歌 Vision API 会得到如下的结果:

为什么我的 CV 模型不好用?没想到原因竟如此简单……

当图像方向正确时,谷歌的检测结果要具体得多——不仅能正确给出「Goose(鹅)」标签,而且置信度分数要高得多,这就好多了。
 
如果你能如本演示中的那样看到图像是侧向的,那么这个问题要明显得多。但问题就在于你一般看不到。如今计算机上的一般程序都会以正确旋转后的形式显示图像,而不是按照它实际在磁盘上存储的侧向数据的形式。所以当你想了解你的模型不能起效的原因而查看图像时,图像查看器会以正确的方向显示,让你无从了解你的模型效果差的原因。

为什么我的 CV 模型不好用?没想到原因竟如此简单……

Mac 上的 Finder 总是显示应用了 Exif 旋转后的图像,这样就没法看到文件中的图像数据实际上是侧向的。

这不可避免地导致人们在 GitHub 上报告问题,说他们使用的开源项目根本不行或模型不够准确。但事情的本质非常简单——他们输入了侧向甚至颠倒的图像!

解决这个问题

解决方案是,每当你用 Python 程序加载图像时,都执行一次 Exif 方向元数据检查,并在有需要时进行旋转。做起来很简单,不过在网上很难找到能为所有方向正确执行旋转的示例代码。

下面是为任意图像应用正确的方向后再将其载入 numpy 数组的代码:

  1. import PIL.Image  
  2. import PIL.ImageOps  
  3. import numpy as np  
  4.   
  5.   
  6. def exif_transpose(img):  
  7.     if not img:  
  8.         return img  
  9.   
  10.     exif_orientation_tag = 274  
  11.   
  12.     # Check for EXIF data (only present on some files)  
  13.     if hasattr(img, "_getexif") and isinstance(img._getexif(), dict) and exif_orientation_tag in img._getexif():  
  14.         exif_data = img._getexif()  
  15.         orientation = exif_data[exif_orientation_tag]  
  16.   
  17.         # Handle EXIF Orientation  
  18.         if orientation == 1:  
  19.             # Normal image - nothing to do!  
  20.             pass  
  21.         elif orientation == 2:  
  22.             # Mirrored left to right  
  23.             img = img.transpose(PIL.Image.FLIP_LEFT_RIGHT)  
  24.         elif orientation == 3:  
  25.             # Rotated 180 degrees  
  26.             img = img.rotate(180)  
  27.         elif orientation == 4:  
  28.             # Mirrored top to bottom  
  29.             img = img.rotate(180).transpose(PIL.Image.FLIP_LEFT_RIGHT)  
  30.         elif orientation == 5:  
  31.             # Mirrored along top-left diagonal  
  32.             img = img.rotate(-90, expand=True).transpose(PIL.Image.FLIP_LEFT_RIGHT)  
  33.         elif orientation == 6:  
  34.             # Rotated 90 degrees  
  35.             img = img.rotate(-90, expand=True)  
  36.         elif orientation == 7:  
  37.             # Mirrored along top-right diagonal  
  38.             img = img.rotate(90, expand=True).transpose(PIL.Image.FLIP_LEFT_RIGHT)  
  39.         elif orientation == 8:  
  40.             # Rotated 270 degrees  
  41.             img = img.rotate(90, expand=True)  
  42.   
  43.     return img  
  44.   
  45.   
  46. def load_image_file(file, mode='RGB'):  
  47.     # Load the image with PIL  
  48.     img = PIL.Image.open(file)  
  49.   
  50.     if hasattr(PIL.ImageOps, 'exif_transpose'):  
  51.         # Very recent versions of PIL can do exit transpose internally  
  52.         img = PIL.ImageOps.exif_transpose(img)  
  53.     else:  
  54.         # Otherwise, do the exif transpose ourselves  
  55.         img = exif_transpose(img)  
  56.   
  57.     img = img.convert(mode)  
  58.   
  59.     return np.array(img)  

之后,你可以将这个图像数据数组传递给需要的所有标准 Python 机器学习库,比如 Keras 和 TensorFlow。

因为这个问题很常见,所以我将其制作成了一个 pip 库,名为 image_to_numpy,你可以这样安装它:

  1. pip3 install image_to_numpy 

你可以在任何 Python 程序中使用它来实现正确的图像加载,比如:

  1. import matplotlib.pyplot as plt 
  2. import image_to_numpy# Load your image file 
  3. img = image_to_numpy.load_image_file("my_file.jpg")# Show it on the screen (or whatever you want to do
  4. plt.imshow(img) 
  5. plt.show() 
机器学习 人工智能 计算机
上一篇:中文自动转SQL,准确率高达92%,这位Kaggle大师刷新世界纪录 下一篇:2008 年预测 2020 年生活方式:基本都实现了
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

抵御另一个人工智能冬天的最后一道防线

很多人都担心又一波 AI 寒冬即将到来。虽然 ML 解决方案并不缺乏,但得到企业实际部署的不过十分之一。

核子可乐 ·  1天前
斯坦福大学对话特朗普政府CTO:关于AI、移民、技术基础设施及更多

美国政府首席技术官Michael Kratsios上周登上斯坦福大学的舞台,在2019年人工智能研究所秋季会议上,回答了由校方主持人Eileen Donahoe及现场与会者提出的问题。

佚名 ·  1天前
高通副总裁Reiner Klement:“5G+人工智能+云”将如何变革未来产业

论坛上,高通公司产品管理副总裁Reiner Klement在发表《5G赋能工业互联网及未来产业》主题演讲时表示,“5G+人工智能+云,是构建智能云连接时代的根基。”

Miss Zhou ·  1天前
一束激光冒充人声,110米外黑掉智能音箱,手机电脑平板也中招 精选

当激光打在装有语音助手的设备上,就可以冒充人类的语音,被麦克风转换成电信号,悄无声息的发出指令,控制相连的设备。

郭一璞 光栗子 ·  1天前
未来已来,如何减少人工智能带来的风险?

为了在新时代蓬勃发展,企业安全需要减少人工智能带来的风险,并充分利用它提供的机会。

高博 ·  2天前
选择正确的人工智能用例的5个技巧

很多企业可能对采用人工智能还没有做好准备,因此从单个项目开始可能是一个很好的开始。首席信息官在早期人工智能项目中应该有什么收获?

David Petersson ·  2天前
一份不可多得的数据科学与机器学习Python库

本文全面地介绍了当前市场上适合于数据科学和机器学习的优秀 Python 库。

陈峻 ·  2天前
长相不讨AI喜欢面试就会挂?全球百万求职者经历AI“看脸”面试 精选

AI不仅会筛选你的简历,还会通过看脸决定你能否通过面试。这不是将来时。全球已有超过一百万求职者,经历过AI面试官的冷酷“凝视”。

鱼羊 ·  2天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载