AI新人必看 | 参数和超参数还分不清楚吗?

作者: 佚名 2018-09-18 15:58:54

 

计算机学科里有太多的术语,而且许多术语的使用并不一致。哪怕是相同的术语,不同学科的人理解一定有所不同。

比如说:“模型参数(model parameter)”和“模型超参数(model Hyperparameter)”。

对于初学者来说,这些没有明确定义的术语肯定很令人困惑。尤其是对于些来自统计学或经济学领域的人。

我们来仔细研究一下这些条款。

什么是模型参数?

模型参数是模型内部的配置变量,其值可以根据数据进行估计。

  •  模型在进行预测时需要它们。
  •  它们的值定义了可使用的模型。
  •  他们是从数据估计或获悉的。
  •  它们通常不由编程者手动设置。
  •  他们通常被保存为学习模型的一部分。

参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。

在经典的机器学习文献中,我们可以将模型看作假设,将参数视为对特定数据集的量身打造的假设。

***化算法是估计模型参数的有效工具。

  •  统计:在统计学中,您可以假设一个变量的分布,如高斯分布。高斯分布的两个参数是平均值(μ)和标准偏差(西格玛)。这适用于机器学习,其中这些参数可以从数据中估算出来并用作预测模型的一部分。
  •  编程:在编程中,您可以将参数传递给函数。在这种情况下,参数是一个函数参数,它可能具有一个值范围之一。在机器学习中,您使用的特定模型是函数,需要参数才能对新数据进行预测。

模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。

模型参数的一些示例包括:

  •  神经网络中的权重。
  •  支持向量机中的支持向量。
  •  线性回归或逻辑回归中的系数。

什么是模型超参数?

模型超参数是模型外部的配置,其值无法从数据中估计。

  •  它们通常用于帮助估计模型参数。
  •  它们通常由人工指定。
  •  他们通常可以使用启发式设置。
  •  他们经常被调整为给定的预测建模问题。

我们虽然无法知道给定问题的模型超参数的***值,但是我们可以使用经验法则,在其他问题上使用复制值,或通过反复试验来搜索***值。

当机器学习算法针对特定问题进行调整时(例如,使用网格搜索或随机搜索时),那么正在调整模型的超参数或顺序以发现导致最熟练的模型的参数预测。

  •  “许多模型有不能从数据直接估计的重要参数。例如,在K近邻分类模型中......因为没有可用于计算适当值的分析公式,这种类型的模型参数被称为调整参数。”

    - 第64-65页,《应用预测模型》,2013

如果模型超参数被称为模型参数,会造成很多混淆。克服这种困惑的一个经验法则如下:

如果必须手动指定模型参数,那么它可能是一个模型超参数。

模型超参数的一些例子包括:

  •  训练神经网络的学习速率。
  •  用于支持向量机的C和sigma超参数。
  •  K最近邻的K。

总之,模型参数是根据数据自动估算的。但模型超参数是手动设置的,并且在过程中用于帮助估计模型参数。

模型超参数通常被称为参数,因为它们是必须手动设置和调整的机器学习的一部分。

机器学习 参数 神经网络
上一篇:腾讯AI Lab开源首款自动化模型压缩框架:将深度学习装口袋 下一篇:机器学习未来将走向何方?英特尔-南大联合研究中心将给出答案
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

手把手教你解决90%的NLP问题

利用机器学习方法来理解和利用文本,从最简单的到state-of-the-art,由浅入深,循序渐进。

Emmanuel Ameisen ·  14h前
如何解决机器学习树集成模型的解释性问题

前些天在同行交流群里,有个话题一直在群里热烈地讨论,那就是 如何解释机器学习模型 ,因为在风控领域,一个模型如果不能得到很好的解释一般都不会被通过的,在银行里会特别的常见,所以大多数同行都是会用 LR 来建模。

SAMshare ·  19h前
刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  2019-10-17 10:20:39
4 分钟!OpenAI 的机器手学会单手解魔方了,完全自学无需编程 精选

OpenAI 的机器手学会单手解魔方了,而且还原一个三阶魔方全程只花了 4 分钟,其灵巧程度让人自叹不如。

佚名 ·  2019-10-16 13:52:13
MIT新研究表明机器学习不能标记假新闻

麻省理工学院研究人员发表的两篇新论文显示,当前的机器学习模型还不能完成区分虚假新闻报道的任务。在不同的研究人员表明计算机可以令人信服地生成虚构新闻故事而无需太多人为监督之后,一些专家希望可以训练基于相同机器学习的系统来检测此类新闻。

佚名 ·  2019-10-16 11:52:15
高位截瘫患者重新行走:靠意念指挥外骨骼,法国脑机接口新突破 精选

依靠介入头部的 2 个传感器,法国里昂的一名瘫痪男子 Thibault 实现了操控外骨骼装备来助力行走。

孙滔 ·  2019-10-15 10:10:00
2008 年预测 2020 年生活方式:基本都实现了

美国皮尤研究中心曾在 2008 年预测 2020 年的生活方式,目前来看,该研究的预测基本已经实现。而对于未来 10 年,也就是 2030 年左右人们的生活,在 2017 年底的世界经济论坛上,800 多名信息和通讯技术领域的技术高管和专家给出了如下预测。

佚名 ·  2019-10-15 10:03:43
机器学习的正则化是什么意思?

正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;所以说,使用正则化的目的就是为了防止过拟合。

佚名 ·  2019-10-15 10:01:43
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载