transformer和lstm,transformer和lstm预测股票

语音识别常用的模型架构有哪些

语言模型技术广泛应用于语音识别、OCR、机器翻译、输入法等产品上。语言模型建模过程中，包括词典、语料、模型选择，对产品的性能有至关重要的影响。Ngram模型是最常用的建模技术，采用了马尔科夫假设，目前广泛地应用于工业界。

解码器。解码器是语音识别系统的核心之一，其任务是对输入的信号，根据声学、语言模型及词典，寻找能够以最大概率输出该信号的词串。 从数学角度可以更加清楚的了解上述模块之间的关系。

一个完整的语音识别系统通常包括信号处理和特征提取、声学模型、语音模型和解码搜索这四个模块。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技。

随机模型法 随机模型法是目前语音识别研究的主流。其突出的代表是隐马尔可夫模型。语音信号在足够短的时间段上的信号特征近似于稳定，而总的过程可看成是依次相对稳定的某一特性过渡到另一特性。

常用的是二元的Bi-Gram和三元的Tri-Gram。语言模型的性能通常用交叉熵和复杂度（Perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。

CMU Sphinx 具有包括普通话、英语、法语、西班牙语和意大利语在内的诸多语音可以直接使用的模型。 在介绍如何使用CMU Sphinx之前，先简单了解一下语音识别的相关概念。

举例几种典型的神经网络

1、RNN递归神经网络引入不同类型的神经元——递归神经元。这种类型的第一个网络被称为约旦网络（Jordan Network），在网络中每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出。除此之外，它与普通的模糊神经网络非常相似。

2、前馈神经网络：是最常见的类型，第一层为输入，最后一层为输出。如果有多个隐藏层，则称为“深度”神经网络。它能够计算出一系列事件间相似转变的变化，每层神经元的活动是下一层的非线性函数。

3、DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。

卷积神经网络解决什么问题

1、卷积神经网络（Convolutional Neural Networks，简称CNN）通常用于解决图像识别、分类和目标检测等计算机视觉问题。图像识别与分类 卷积神经网络在图像识别和分类任务中表现出色。

2、卷积神经网络应用领域包括如下：自然语言处理：CNN可以用于自然语言处理任务，例如文本分类、情感分析、语言模型等。通过将文本转换为矩阵形式，CNN可以学习文本中的特征并对其进行分类或生成。

3、卷积神经网络最初是为了解决图像识别问题而开发的，因为传统的机器学习算法在处理图像时需要手工提取特征，这样做非常耗时且效果不佳。而卷积神经网络可以从原始图像数据中自动学习特征，极大地提高了识别精度和效率。

4、信号处理：卷积可以用于信号处理，如滤波、降噪、压缩等。 人工智能：卷积神经网络（CNN）是一种基于卷积的深度学习模型，被广泛应用于图像识别、自然语言处理等领域。

5、卷积神经网络CNN，CNN是一种专门用于处理图像和视频等数据的神经网络。它通过卷积层来提取图像中的特征，通过池化层来减小图像大小，从而实现对图像的分类、识别等任务。

6、权值共享和参数减少：卷积层中的卷积核在局部区域内共享权重，这意味着卷积层可以有效地降低网络的复杂度，减少训练参数的数量。这使得卷积神经网络在处理大量数据时具有较高的效率和鲁棒性。

常用NLP模型的简介

Seq2Seq：Seq2Seq本来有着非常广阔的定义，但通常是指一个基于神经网络与 LSTM 的 经典seq2seq模型 ，后续流行的Transformer、BERT、GPT3等都是基于此。

浅层CNN模型--是一个基础的序列模型，能够处理变长的序列输入，提取一个局部区域之内的特征。？单层GRU模型--序列模型，能够较好地解序列文本中长距离依赖的问题。？单层LSTM模型--序列模型，能够较好地解决序列文本中长距离依赖的问题。

NLP模型（Neuro-Linguistic Programming Model）NLP模型认为，人类的行为和思维模式都可以通过一些基本的模式和策略来描述和解释。这个模型主要关注人们在沟通和交流中的语言和思维模式，以及如何通过调整这些模式来提高沟通效果。

N-gram模型是一种典型的统计语言模型（Language Model，LM），统计语言模型是一个基于概率的判别模型.统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。

这个模型把人的思维和觉知分为6个层次，自下而上分别是：环境、行为、能力、信念和价值观、自我意识、使命。NLP逻辑层次模型适用于很多领域，诸如生活、商业、情感，也包括成长领域。

LSTM神经网络添加注意力机制需要注意什么?

避免梯度消失和梯度爆炸：由于LSTM网络本身具有较长的依赖关系，加上注意力机制的引入，可能会导致梯度消失和梯度爆炸的问题。为了解决这个问题，可以使用梯度裁剪、梯度归一化等方法来稳定梯度的计算。

确定注意力机制的类型：LSTM神经网络可以添加多种类型的注意力机制，如自注意力、通道注意力和空间注意力等。需要根据具体任务和数据特点选择合适的注意力机制类型。

比如，传统的局部图像特征提取、显著性检测、滑动窗口方法等都可以看作一种注意力机制。在神经网络中，注意力模块通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。

而后SKNet等方法将这样的通道加权的思想和Inception中的多分支网络结构进行结合，也实现了性能的提升。通道注意力机制的本质，在于建模了各个特征之间的重要性，对于不同的任务可以根据输入进行特征分配，简单而有效。

需要注意的是，注意力机制是一种通用的思想和技术，不依赖于任何模型，换句话说，注意力机制可以用于任何模型。只是我们介绍注意力机制的时候更多会用encoder-decoder框架做介绍。

对于词性标注的主要方法包括哪些

常见的词性标注算法包括隐马尔可夫模型（Hidden Markov Model， HMM）、条件随机场（Conditional random fields， CRFs）等。

对于中文，基本的方法有前后向最大匹配法，这是基于规则的方法，或者采用马尔科夫模型的统计方法，分词是最基本的环节，基本上所有的自然语言处理都要分词。

词性标注、命名实体识别、情感分析、依存句法分析、语义角色标注。词性标注（PartofSpeechTagging）：对句子中的每个单词进行词性标记，如名词、动词、形容词等。