现在用bp神经网络写论文,还可以有什么创新点? - 哈哈哈的回答 - 知乎
https://www.zhihu.com/question/411294531/answer/1377825344

现在深度学习领域存在一个普遍的问题:很多数据集都含有大量冗余信息,或者噪声。

例如,标签为“猫”的图片,可能还有老鼠。老鼠的存在,可能会对神经网络的效果,产生不利的影响。

如果能在神经网络的内部,设计一个特殊的结构,或者计算层,将冗余的特征给剔除掉,或许可以提高神经网络的效果。

残差收缩网络,把“小波阈值降噪”中常用的“软阈值函数”,嵌入神经网络中,算是一种尝试。

残差收缩网络:借助注意力机制实现特征的软阈值化
https://zhuanlan.zhihu.com/p/121801797

深度残差收缩网络:从删除冗余特征的灵活度进行探讨
https://zhuanlan.zhihu.com/p/118493090

M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, vol. 16, no. 7, pp. 4681-4690, 2020.
https://ieeexplore.ieee.org/document/8850096