transformer损失函数,损失函数 mse

语言模型介绍

语言大模型主要有：BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）系列、T5（Text-to-Text Transfer Transformer）等。

unigram（一元模型）最简单的模型，假定所有词互相独立，相当于0st order假设，不考虑单词之间的顺序。

语言模型是一种机器学习技术，用于研究自然语言数据的概率分布，并利用这些分布来完成语言相关的任务，如文本分类、自然语言理解、机器翻译等。

语言模型技术广泛应用于语音识别、OCR、机器翻译、输入法等产品上。语言模型建模过程中，包括词典、语料、模型选择，对产品的性能有至关重要的影响。Ngram模型是最常用的建模技术，采用了马尔科夫假设，目前广泛地应用于工业界。

为什么说Transformer的注意力机制是相对廉价的?注意力机制相对更对于RN...

1、被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。

2、接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。

3、因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。

4、注意力稳定性不够的话就会出现注意游离，老师上课讲的内容没有完整连贯地听进去，继而感到更加无聊。所以就会出现一些小动作、发呆的外在表现。

5、因此，基于注意力的模型会使用位置编码和基于距离的注意力偏置权重。 本文提出一种高效方法，将相对位置表示纳入到变换器的自注意力机制中。我们实验证明，在两个机器翻译任务中，即使用相对位置完全替换绝对位置编码，翻译质量都会显著提高。

6、Attention机制 **Attention： **Attention机制的中文名叫“注意力机制”，顾名思义，它的主要作用是让神经网络把“注意力”放在一部分输入上，即：区分输入的不同部分对输出的影响。

层次化透明度传播

1、为了实现在一个高分辨率层级上对输入图像的透明度的传播，我们提出了一个全新的、层次化的透明度传播结构，其中神经网络可以看做是多层的、有不同图的图卷积网络[22]，透明度可以在每两个像素之间传播。

2、超链接：超链接使用户在文本中自由跳转位置，把不同的文本形成有机整体。多媒体化：网络中文本与多媒体相结合，使文本更加立体化。动态化：网络中文本可以动态生成。

3、网络新闻是以层次化、网络化的方式联系在一起的。网站发布网络新闻时，常常不是一次性的和盘托出，而是在不同的层次中逐渐展示出完整的内容。