深度学习，如何用去噪自编码器预测原始数据？
去噪自编码器（denoising autoencoder, DAE）是一类接受损坏数据作为输入，并训练来预测原始未被损坏数据作为输出的自编码器。
去噪自编码器代价函数的计算图。去噪自编码器被训练为从损坏的版本~x 重构干净数据点x。这可以通过最小化损失L = -log pdecoder(x|h = f(~x)) 实现，其中~x 是样本x 经过损坏过程C(~x| x) 后得到的损坏版本。
得分匹配是***似然的代替。它提供了概率分布的一致估计，促使模型在各个数据点x 上获得与数据分布相同的得分（score）。
对一类采用高斯噪声和均方误差作为重构误差的特定去噪自编码器（具有sig-moid 隐藏单元和线性重构单元）的去噪训练过程，与训练一类特定的被称为RBM 的无向概率模型是等价的。
将训练样本x 表示为位于低维流形（粗黑线）附近的红叉。我们用灰色圆圈表示等概率的损坏过程C(~x|x)。灰色箭头演示了如何将一个训练样本转换为经过此损坏过程的样本。
由去噪自编码器围绕1 维弯曲流形学习的向量场，其中数据集中在2 维空间中。每个箭头与重构向量减去自编码器的输入向量后的向量成比例，并且根据隐式估计的概率分布指向较高的概率。向量场在估计的密度函数的***值处（在数据流形上）和密度函数的最小值处都为零。例如，螺旋臂形成局部***值彼此连接的1维流形。局部最小值出现在两个臂间隙的中间附近。当重构误差的范数（由箭头的长度示出）很大时，在箭头的方向上移动可以显著增加概率，并且在低概率的地方大多也是如此。自编码器将这些低概率点映射到较高的概率重构。在概率***的情况下，重构变得更准确，因此箭头会收缩。
目前仅限于去噪自编码器如何学习表示一个概率分布。更一般的，我们可能希望使用自编码器作为生成模型，并从其分布中进行采样。
暂无评论，快去成为第一个评论的人吧
更多资讯推荐
- AI免费公开课一网打尽！14个类别、230门课程，GitHub标星6k+
-
要说这两年最火的机器学习课程，当属吴恩达的Machine Learning。这原本是吴恩达在斯坦福大学开授的课程，课程视频在网络上受到了学习者的广泛好评，后来还推出了专门的网课。
轻沉 · 1天前
- 精选
-
“脑控”即用脑电波来操纵机器设备。这是人类数百年来的梦想——只需要念头一动，机械或设备就已经按照你的想法运转。就像电影《阿凡达》里所演绎的那样，虽然身有残疾，却能通过脑控让另一个“自己”肆意生活。
佚名 · 1天前
- 中芯国际量产14nm制程芯片 这是AIoT时代最有价值的制造
-
中芯国际近日表示，通过加大研发投入，14nm制程工艺芯片已经实现量产，并将于2021年正式出货。
佚名 · 1天前
- 百度CTO王海峰CNCC2019演讲：深度学习平台支撑产业智能化
-
百度CTO王海峰在会上发表题为《深度学习平台支撑产业智能化》的演讲，分享了百度关于深度学习技术推动人工智能发展及产业化应用的思考，并深度解读百度飞桨深度学习平台的优势，以及与百度智能云结合助力产业智能化的成果。
佚名 · 3天前
- 超过Google，微信AI在NLP领域又获一项世界第一
-
微信AI，NLP领域又获一项世界第一，这次是在机器阅读理解方面。
乾明 · 3天前
- 深度学习/计算机视觉常见的8个错误总结及避坑指南
-
人类并不是完美的，我们经常在编写软件的时候犯错误。有时这些错误很容易找到：你的代码根本不工作，你的应用程序会崩溃。但有些 bug 是隐藏的，很难发现，这使它们更加危险。
skura · 2019-10-17 09:58:01
- 精选
-
自然语言处理在深度学习浪潮下取得了巨大的发展，FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势，是了解NLP发展的非常好的文章。
HU数据派 · 2019-10-16 14:10:24
- 中文自动转SQL，准确率高达92%，这位Kaggle大师刷新世界纪录
-
首届中文NL2SQL挑战赛上，又一项超越国外水平的NLP研究成果诞生了。在NL2SQL这项任务上，比赛中的最佳成绩达到了92.19%的准确率，超过英文NL2SQL数据集WikiSQL目前完全匹配精度86.0%，执行匹配精度91.8%的最高成绩。
郭一璞 · 2019-10-15 09:07:30