一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

作者: 晓查 2020-02-28 10:26:26

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

拍照已经是手机最大的卖点,各大厂商在DxO上刷分刷得不亦乐乎,一亿像素、超级夜景、光学变焦……花样越来越多。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

然而不同手机拍出来的质感却不一样,一方面是镜头模组不同,另一方面是对图像处理器(ISP)的软件调教也不同。

最近,苏黎世联邦理工学院(ETHZ)提出一个新的算法PyNet,只需单个端到端深度学习模型,就能替代手机的ISP。

它调教出的相机算法可以从一个手机移植到另一个手机上,而不必使用手机的ISP。即使两款手机芯片来自两家厂商,也完全没问题。

用华为P20和佳能单反相机5D Mark IV调教的算法,移植到黑莓手机KeyOne上,照片质量与原始ISP输出相比,有了很大的改善。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

华为P20使用的是麒麟970芯片+1200万像素索尼IMX 380摄像头,黑莓KeyOne使用的是骁龙625+1200万像素索尼IMX 378摄像头。

目前,PyNET的源代码、数据集、预训练模型都已经在GitHub上发布了。

PyNET原理

我们按下快门后,手机在不到一秒时间里就输出了一幅图片,背后过程却相当复杂。

手机拍照时,首先输出的是原始不带任何修饰的感光信息文件RAW。

RAW经过手机SoC中专门用于运算图像的ISP经过一系列处理,将原本暗淡的原始图像变成艳丽的结果。

这其中的过程包括:去除噪点、修正白平衡、调整曝光量、校正色彩对比度、超分辨率等等。

现在,越来越多的手机开始用上NPU等AI核心,AI运算能力越来越强,未来是否可以用NPU来代替ISP做图像运算呢?这就是ETHZ研究人员的思路。

研究人员首先采集2万张华为P20拍摄的RAW原始图片,和同样场景下Canon单反5D Mark IV拍摄的照片,以此作为数据集进行训练。

但是训练过程中并没有使用原尺寸的图片,而是448×448的窗口从图片上选取一部分,最后 产生了48043个RAW-RGB图像对。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

为了能够把较小尺度上训练的结果用于原尺寸图片上,PyNET采用了分级的架构。

以下就是PyNET的网络架构,该模型具有倒金字塔形状,能以五个不同的级别处理图像。

PyNET架构具有多个块,这些块与不同大小的卷积滤波器(从3×3到9×9)并行处理特征图,然后将相应的卷积层的输出进行级联。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

在较低尺度下获得的输出将通过转置的卷积层进行上采样,与高级的特征图堆叠在一起,然后在随后的卷积层中进行处理。

PyNET从最低层开始,对模型进行顺序训练。先在较低尺度上获得良好的图像重建结果,用于处理分辨率非常低的图像并执行全局图像操作。

对底层进行预训练之后,再将相同的步骤应用于下一个级别,直到对原始分辨率图像进行训练为止。

由于每个较高级别都从模型的下部获得了高级的高质量特征,因此它主要学习重建缺失的低级细节并完善结果。

经过训练后,将华为P20拍摄的RAW原始图像交给PyNET处理,图片不输华为自带ISP的处理效果。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

在Amazon Mechanical Turk平台上的人工打分显示,用PyNet处理的图片观感优于P20直出效果。

一个AI算法就能代替手机图像处理器,让手机拍出单反味儿

安装和训练

PyNET用TensorFlow实现,需要安装SciPy、NumPy、imageio和pillow,英伟达GPU也是必不可少的,因为训练过程中需要用到CUDA和cuDNN。

此外还需要下载预训练的VGG-19、PyNet模型,以及RAW-RGB图像对数据集。

作者推荐模型在具有16GB显存的Tesla V100 GPU上进行训练。

如果你没有强大的计算资源,也可以利用开源代码中的dng_to_png.py将RAW转换为PNG格式图片,不过你用的就是官方P20和佳能单反的调教结果了。

论文地址:https://arxiv.org/abs/2002.05509

源代码:https://github.com/aiff22/PyNET

AI 数据 人工智能
上一篇:一个Bug损失200亿!如何搭建业务异常检测系统? 下一篇:2020年中国智能物联网(AIoT)白皮书
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

厨师与AI完美搭配,一起刺激你的味蕾

最近,索尼人工智能团队和韩国高丽大学联合开发了一种名为FlavorGraph的人工智能映射工具,该工具可以推荐互补的配料,帮助厨师们烹饪菜肴。

科技行者 ·  1天前
违规企业可面临营业额6%罚款 欧盟欲加强对人工智能技术监管

据外媒报道,欧盟委员会近日修订文件显示,如有企业违反欧盟规则使用被禁止的人工智能应用,可能会面临最多相当于其全球营业额6%的罚款,这一数字高于此前提议的4%。

贾桂鹏 ·  1天前
外卖小哥要失业了?美团募资650亿打造无人配送

从疫情开始之后,美团就已经在无人配送方面发力,根据美团的数据显示,目前美团的无人车配送服务已经覆盖了20多个小区,累计配送3.5万订单,自动驾驶里程近30万公里!

首席财经观察 ·  1天前
未来网络领域发生混合威胁的三大趋势

4月7日,欧洲反混合威胁卓越中心发布报告《未来的网络空间与混合威胁》,指出网络空间是发生混合威胁的领域之一,是网络行动和网络信息行动的促成者。

张明月 张岸佳 ·  1天前
MIT小哥联合谷歌训练7个多任务机器人,9600个任务成功率高达89%!

Google研究团队率先研发出了处理大规模任务的新型机器人,这些机器人竟然具有「学习世界」的能力。

新智元 ·  1天前
5G只比4G多1G?人工智能不答应

4月4日,论文共同作者之一、美国艺术与科学院院士、清华大学智能产业研究院院长张亚勤在接受科技日报记者采访时表示,通信行业正在走向5G,马上要走向6G,光是看视频快点、多发送点图片,那不是5G。什么才是真正的5G?为什么要在5G网络里“注入”人工智能?

科技日报 ·  1天前
通过AI和ML实现完全自动化的5种绝佳方法

在本文中,我们将讨论使用AI和ML的智能测试自动化技术如何帮助项目团队减少测试工作并提高测试覆盖率。

佚名 ·  1天前
无人机都能拿来做什么?这些用途太给力了!

无人机如今已越发普及,甚至几百块钱就可以买到一台带有高清摄像头的机器,但是我们日常使用无人机都只是用来拍照片、视频,其实在军事等领域,无人机的用途更大。

科技星空plus ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载