1. 最近看了一些例子,keras在预测方面,Sequential 常见搭配如下

情感分析

embedding -> lstm -> dense

embedding 主要用于词的one-hot 编码, lstm 主要用于长距离记忆, dense 是全连接。

CTR 预测或者序列预测

lstm -> dense 就足够了, 当然前面可以多个lstm。

  1. loss (目标函数)方面

loss='mean_squared_error' (均方误差), 或者 loss='mae'(绝对值均差) 两者选择哪个都可以。

  1. optimizer(优化器)

optimizer='adam' 常见用法。metrics 常设置为'accuracy'

  1. 激活函数

有很多,比如 Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函数。但实际中经常使用的是 relu。具体可以查看这篇文章(https://blog.csdn.net/qrlhl/article/details/60883604)。

一般在lstm层数较多的时候使用relu,较少时使用默认的tanh