transformer过拟合严重,过拟合如何解决

NLP基础知识和综述

1、NLP首创于1970年代早期。是由两位美国人——理察·班德勒（RichardBandler）和约翰·葛瑞德（JohnGrinder）完成的基础理论。有25%-40%的错误属于real-worderror这一部分是languagemodel与noisychannelmodel的结合。

2、n-gram 是一个重要的基础概念， 它所提供的概率分析可以做到很多事情， 例如机器翻译“请给我打电话”：P（“please call me”） P（please call I ）。

3、本文介绍了NLP领域的流行研究进展，其中transformer和预训练模型的出现，具有划时代的意义。但随着预训练模型越来越庞大，也将触及硬件瓶颈。另外，NLP在一些阅读理解、文本推理等任务上的表示，也差强人意。

你有哪些炼丹神器深度学习(rnn、cnn)调参的经验?

优化方法：SGD+Momentum 效果往往可以胜过adam等，虽然adam收敛更快，据说初始几轮momentum设置的小一点会更好，这点待验证。

我们不仅要fasttext来兜底，我们还需要TextCNN（卷积来学习局部的n-gram特征）、RNN（文本就是序列）、迁移学习（虽然任务不一样，但是有共性，所以可以迁移。一般一个神经网络越浅层的网络越通用。

实战经验积累以后，可以考虑继续进行学习。这时候有两个选择，深度学习或者继续机器学习。深度学习是目前最火热的机器学习方向，其中一些方法已经跟传统的机器学习不太一样，因此可以单独学习。

CNN是一类包含卷积计算且具有深度结构的前馈神经网络，通常具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

2D车道线标注难吗

1、数据标注车道线不难。车道线标注为点集，即每条车道线实例表示为点的集合。

2、自动驾驶常见的数据标注类型可分为2D与3D两类。常见的2D数据标注类型包括2D框、多边形、关键点、多段线、语义分割等。例如：2D语义分割 常见的3D点云数据标注类型包括点云检测、点云连续帧、23D融合、点云语义分割等。

3、车道线标注员一天画50张图即可因为是点击的所以比较简单，车道线标注员是教人工智能自主识别驾驶相关的图像、标注车道线连线。

4、自动驾驶2d3d图片标注能赚钱，在智能驾驶车辆按照车道线规则进行驾驶时，会有车辆进行排入图片2D和3D的，这一行业在智能驾驶领域中需求量是比较大的，而且这种标注的成本极低，且中间的利润很大。

5、分割 多边形各边线标注时要贴合标注内容。多边形各边线标注时要贴合标注内容。车道画线 标注的线需要和车道线居中贴合。如果一条车道线有虚线实线，选择长度占比较大的为该车道线标注类别。标注的线需要为圆滑曲线。

6、在我们深入研究 3D 车道线检测算法之前，一个重要的 2D 车道线检测算法是重新审视 LaneNet （ Towards End-to-End Lane Detection： an Instance Segmentation Approach ， IV 2018）。

预训练模型综述--Albert,xlnet,bert,word2vec

1、Albert，xlnet，bert，word2vec 通过预训练模型实现迁移学习，迁移学习本质上是在一个数据集上训练模型，然后对该模型进行调整，以在不同的数据集上执行不同的自然语言处理功能。

2、BERT 的预训练模型参数量很多，训练时候的时间也比较久。ALBERT 是一个对 BERT 进行压缩后的模型，降低了 BERT 的参数量，减少了训练所需的时间。注意 ALBERT 只是减少 BERT 的参数量，而不减少其计算量。

3、从word2vec到ELMo到BERT，做的其实主要是把下游具体NLP任务的活逐渐移到预训练产生词向量上。

4、Word2Vec：Word2Vec是一种基于神经网络的词嵌入模型，它将每个单词表示为一个稠密的向量，捕捉到单词之间的语义关系。可以使用预训练的Word2Vec模型，也可以根据自己的数据进行训练。

5、之前的词嵌入技术（如 GloVe 和 Word2vec）在没有情境的情况下运行，生成序列中各个词语的表示。例如，无论是指运动装备还是夜行动物，“bat”一词都会以同样的方式表示。

6、XLNet 论文中首先提出了一种比较有意思的观点，将当前预训练模型分为了两类 AR （Auto Regression，自回归） 和 AE （Auto Encoder，自编码器）。 GPT 就是一种 AR 方法，不断地使用当前得到的信息预测下一个输出 （自回归）。