softmax回归与多层神经网络模型

softmax回归与多层神经网络都可以实现多分类器,两种分类器的模型如下图所示:

softmax回归

多层神经网络

物理意义

根据图示我们可以看到,多层神经网络模型与回归模型,在原理上是相似的,都是构造线性模型,多层神经网络只是在输入层与输出层之间添加了n个隐含层(n>=1),添加隐含层的物理意义是什么呢?

无论是softmax模型,还是多层神经网络模型,都是构造线性模型,但是当输入数据不是线性可分的,模型该怎么预测结果呢?

线性可分数据,构造一个线性二分器即可把数据分开

线性不可分数据,需要构造多个二分类器对数据进行分类

多层神经网络,可以认为将原始输入数据,在每一层隐含层上做了多个二分类,二分类的个数即为该隐含层的神经元个数。如上图所示,输入数据的维度是2,即:x1和x2,对于此线性不可分的数据,可以做3个二分类器,即:y1、y2和y3,所以隐含层中有3个神经元。因此,对于线性不可分的数据来说,多层神经网络比softmax回归效果理论上要好

对于高维的数据,我们很难进行可视化,所以隐含层的层数以及每层中神经元的个数,只能通过多次训练调整。

上面解释了为什么多层神经网络有多个隐含层。

另外,可以参考MIT deep learning的书籍,中间有一部分解释的也很清楚,就是为了让线性不可分的数据变得线性可分


作者:前进的小白
来源:CSDN
原文:https://blog.csdn.net/qq_22690765/article/details/75050943
版权声明:本文为博主原创文章,转载请附上博文链接!