transformer过拟合,transformer过拟合怎么调参

你有哪些炼丹神器深度学习(rnn、cnn)调参的经验?

1、优化方法：SGD+Momentum 效果往往可以胜过adam等，虽然adam收敛更快，据说初始几轮momentum设置的小一点会更好，这点待验证。

2、深度学习（Deep Learning）是机器学习的一个子类，一般特指学习高层数的网络结构。这个结构中通常会结合线性和非线性的关系。Deep Learning 也会分各种不同的模型，比如 CNN， RNN， DBN...他们的解法也会不同。

3、我们不仅要fasttext来兜底，我们还需要TextCNN（卷积来学习局部的n-gram特征）、RNN（文本就是序列）、迁移学习（虽然任务不一样，但是有共性，所以可以迁移。一般一个神经网络越浅层的网络越通用。

4、你所说的这些是深度学习中不同的网络定义，CNN（卷积神经网络），DBNs（深度信念网络），DNM没听说过...有DNN（深度神经网络），RNN（递归神经网络），这些都是不同的网络，对于相同的数据会达到不同的结果。

5、实战经验积累以后，可以考虑继续进行学习。这时候有两个选择，深度学习或者继续机器学习。深度学习是目前最火热的机器学习方向，其中一些方法已经跟传统的机器学习不太一样，因此可以单独学习。

LSTM神经网络添加注意力机制需要注意什么?

避免梯度消失和梯度爆炸：由于LSTM网络本身具有较长的依赖关系，加上注意力机制的引入，可能会导致梯度消失和梯度爆炸的问题。为了解决这个问题，可以使用梯度裁剪、梯度归一化等方法来稳定梯度的计算。

确定注意力机制的类型：LSTM神经网络可以添加多种类型的注意力机制，如自注意力、通道注意力和空间注意力等。需要根据具体任务和数据特点选择合适的注意力机制类型。

比如，传统的局部图像特征提取、显著性检测、滑动窗口方法等都可以看作一种注意力机制。在神经网络中，注意力模块通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。

而后SKNet等方法将这样的通道加权的思想和Inception中的多分支网络结构进行结合，也实现了性能的提升。通道注意力机制的本质，在于建模了各个特征之间的重要性，对于不同的任务可以根据输入进行特征分配，简单而有效。

Transformer常见问题汇总

Transformer缺点：（1）局部信息的获取不如RNN和CNN强。（2）位置信息编码存在问题，因为位普编码在语义空间中并不具备词向量的可线性变换，只是相当干人为设计的一种索引，所以并不能很好表征位置信息。

Transformer模型部署的第二个问题是Transformer对算力的要求比较高。

FSL分类任务以元集形式进行训练与测试，每个n-way k-shot训练元集从训练集 中随机采样而来，其中训练集的类标签空间与测试集的类标签空间没有重叠。

比如：progress，是由pro-，gress两部分组成，pro的意思是foward（向前），gress的意思是step（步）。所以这个单词的意思是进步。