Few-shot Learning(1)—机器学习中的任务优化空间

作者: zidea 2021-05-27 08:38:47

今天深度学习之所以成功,大量的数据是不可缺少的必要条件。我们训练的模型都是吃过见过后才有现在这样良好的表现。不过实际情况要收集到足够多的数据并非易事,今天我们就这个问题来学习 Few-shot Learning。

上面的公式是用于估测模型,通常我们输入一个公式 x 给函数 h,这个函数 h 是模型学习到的。然后这个 L 表示预测值和真实值之间的差值,对这个差值在整个数据样本上求积分来评估这个函数 h 的拟合程度。

可以利用上面公式来找让 R(h) 最小时,所对应的函数 h,实际是无法遍历所有的模型和参数,所以需要函数集进行限制,从而缩小模型在整个空间搜索范围。这里 H 表示我们定义一个函数集,也就是在整个空间内划分出一定空间,模型搜索问题将仅限定在这个空间内进行。函数集 H 可以是 VGG、ResNet 等,函数集越复杂也就是函数表达能力越强,在整个空间所占范围也就是越大,浅蓝色圈就越大,同时搜索时间也会更长。其实对于样本的概率分布也是未知的,我们收集的样本只是数据的一部分。

那么现在就是将搜索最优函数限定在 H 空间进行搜索了。之前我们已经知道了数据的概率p(x,y) 分布也是未知的。我们只能以一定数量的样本来估计总体分布情况,当然这样做也是存在误差的。

因为对于整个数据集概率分布是未知的,所以用 I 样本代表着整体数据集。然后使用这些数据来训练出一个模型。

然后在这样的数据集上在限定空间内搜索出一个最优函数用绿色块表示搜索到模型在整个搜索空间的位置。

接下里就从黄色 start 开始在搜索空间进行搜索到在 I 样本的数据集上得到函数 h 下标 l 整个函数。那么橘黄色虚线表示真实模型和我们估计的模型之间差距表示为

其实这里误差分别来源于近似误差(approximation error)和估计误差(estimation error)

第一步我们选择一个函数集,那么什么是函数集呢,例如 VGG、ResNet 或者 DenseNet 这些都可以看成一个函数集 H,那么在整个算法中我们能够控制的是 I 和 H。所以我们可以通过增加 H 复杂性也就是扩大 H 空间以及增加 I,不过通常情况下实际我们能够收集到 I 都会很小。

  • 所以今天出现了过拟合的最直接的方式就是增加数量,也就是加大 I (数据)
  • 也就是为 H 添加一些约束空间,缩小搜索空间(模型)
  • 还有就是合理给出一个初始值(算法)
机器学习 Few-shot Learning 深度学习
上一篇:如何理解流程自动化领域? 下一篇:图灵奖获得者约翰·轩尼诗:数据和机器学习让世界变得更美好
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI技术再立功毕加索一副名画下隐藏的画作重见天日

据外媒报道,在成名之前,巴勃罗·毕加索并不总是有足够的资金来购买绘画材料,因此,像很多艺术家一样,他在现有的画布上创作新的作品,从而掩盖了早期的图像。目前研究人员利用AI对这幅隐藏画作进行了重建。

贾桂鹏 ·  1天前
2022年的AIOps趋势预测

将人工智能纳入IT活动可以使IT团队能够在复杂的IT条件下执行更复杂的任务。人工智能与IT运营的这种整合产生了AIOps这个术语,它利用大数据、数据分析和人工智能的能力进行IT运营管理。

arti ·  1天前
人工智能正在改变软件开发模式

软件开发人员正在使用人工智能来帮助编写和审查代码、检测错误、测试软件和优化开发项目。这种帮助正在帮助公司更有效地部署新软件,并使新一代开发人员能够更轻松地学习编码。

Harris ·  1天前
深度学习的工作原理:窥视驱动今日AI的神经网络的内部

今天人工智能的繁荣离不开一种名为深度学习的技术,该技术基于人工神经网络。本文通过图形解释了如何构建和训练这些神经网络。

布加迪 ·  1天前
在智能建筑中充分利用人工智能

人工智能是智能建筑难题中最关键的部分之一。没有它,一座建筑几乎不能被描述为智能——它使建筑业主和管理者所依赖的很多东西能够为他们的居住者每天创造最安全和最舒适的体验。

佚名 ·  2天前
一个算法统治一切!DeepMind提出神经算法推理,深度学习和传统算法融合再现奇迹?

现在,DeepMind 想开创一条新路,他们要找到一种深度学习模型,模仿任何经典算法,并在现实世界实现功能。

佚名 ·  2天前
人工智能的七个应用场景

人工智能作为一种机器展示的智能,可以模拟人类的行为或思维,通过训练可以解决特定的问题。人工智能是机器学习技术和深度学习的结合。使用大量数据训练的人工智能模型有能力作出智能决策。

Yu ·  2天前
IDC:2022 年欧洲在人工智能方面的支出将达220亿美元

“2022 年欧洲在人工智能上的支出将达到 220 亿美元,市场将显着增长,这意味着欧洲公司将把人工智能视为一项优先技术,将对不同行业产生重大影响。”

佚名 ·  3天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载