不能用于nlp领域算法的是

⑴ nlp的理解六层次

学习与改变的逻辑层次，摘自：策略nlp太阳麻麻的博客

逻辑层次在NLP中使用，是二十世纪八十年代罗伯特·迪尔茨(Robert Dilts)从倍特森工作方式中提取借用过来。

这些层次包括（从最高层到最底层按顺序排列）

1、身份      2、信念和价值观2、信念和价值观      3、能力3、能力      4、行为4、行为      5、环境5、环境

最高这个层次是“灵性”，可以定义为一种“关系领域”，它包含了多种身份，与个人身份不同的是，这里形成了一个更大系统的一名成员的归属感。

举个例子，电脑的显示屏和键盘是环境。用手指按下一个键盘是行为。打字（不管你使用的是哪一种输入法，当你把不同的拼音顺序或者比划透过输入法有序的输入电脑形成具体的文字）是一种能力。由这些文字组成的语句，是信念和价值的功能体现。以上所有的过程整合起来就是一个正在使用电脑工作或者学习的人。

简而言之，环境层面是指行为发生的具体外部条件。没有任何内在蓝图，计划或策略来知道的行为，就像膝跳反射一样，也像是一种习惯和仪式。比如给你一个榔头，你就会想拿去敲东西， 你看到键盘就会下意识的去敲击让他产生一些新的信息。

在能力层面，我们能选择，改变和采用一些行为来拓宽我们的外部情况。

比如：你使用语音沟通，就会绕过你不会使用键盘打字的环境限制，并因此拓宽你对电脑在沟通这个领域的运用

在信念和价值层面，我们会鼓励，阻止或泛化一些具体策略，计划或思考方法。

比如：你觉得电脑开始是你生活中必不可少的工具！

在身份层面，它把整个信念价值观系统整合成为一种自我感。比如，我是一个能很好的使用电脑从事现代化办公的人士！

从具体行为和感官经验整个层次网上，每个层次都更加抽象，层次越高其对我们行为和经验的影响也就更加大而广泛。

根据NLP，我们多维度主观经验融合在一起以神经回路的方式体现着，这些这些神经回路可以通过语言模式、认知策略和身体解读线索而被激活和利用。

举例来说，在不同经验层次有不同的语言线索，如：

A）身份层面的语言会是有“我是一名……”或者“他是一名……”或者“你是一名……”

B）信念层次的语言通常是评判、规则和因果陈述的方式，例如“如果……那么……”“一个人应该……”“我们必须 ……”

C）能力层面的语言用一下的词语“了解”“如何”“我能够”“认为”等语言来说明

D）行为层面的语言为到具体的行为和可观察到的动作，例如“做”“行动”走路，说话等等

E） 环境层面的语言具是具体观察到的外部背景的特征或细节，例如：白纸，高墙，大房间等等

再来看一个更实际的案例，下面的陈述是在不同层次上对一个数学成绩很差的学生所表现的不同反应。

A）身份“你是一个愚蠢的人/有学习障碍的人”

B）信念“如果你数学学不好，那么你在学校学习就不可能好，你未来的人生就毁了”

C）能力“你不擅长数学”

D）行为“你在这次考试中表现的很差劲”

E） 环境“这个学校太糟糕了，完全教不好你数学”

透过上面的例子，你可以显而易见的发现，比如在日常生活中，你用理解层次去影响到自身和他人是一件多么简单而有强大威力的事。

A）身份层面的语言会是有“我是一名……”或者“他是一名……”或者“你是一名……”

B）信念层次的语言通常是评判、规则和因果陈述的方式，例如“如果……那么……”“一个人应该……”“我们必须 ……”

C）能力层面的语言用一下的词语“了解”“如何”“我能够”“认为”等语言来说明

D）行为层面的语言为到具体的行为和可观察到的动作，例如“做”“行动”走路，说话等等

E） 环境层面的语言具是具体观察到的外部背景的特征或细节，例如：白纸，高墙，大房间等等

再来看一个更实际的案例，下面的陈述是在不同层次上对一个数学成绩很差的学生所表现的不同反应。

A）身份“你是一个愚蠢的人/有学习障碍的人”

B）信念“如果你数学学不好，那么你在学校学习就不可能好，你未来的人生就毁了”

C）能力“你不擅长数学”

D）行为“你在这次考试中表现的很差劲”

E） 环境“这个学校太糟糕了，完全教不好你数学”

透过上面的例子，你可以显而易见的发现，比如在日常生活中，你用理解层次去影响到自身和他人是一件多么简单而有强大威力的事。

针对传统领域的NLP学习者，运用这个模式能快速的找到自身和个案的受困层级，同时快速有效的帮助自己和个案从最接近受困层级的地方确立更明确的目标，拿到资源，让自己或个案看到更多的可能性，并因此获得新的选择，从而走出受困状况！

而对于新的一些NLP思想，比如毒辣NLP，权谋等偏门NLP研究者来说，他们会更多的集中在信念和身份层次去影响他人，比如奸的好人和所谓泡学里常提到的“身份封赐”

因此传统NLP领域非常强调系统平衡，也会对这种刻意将NLP学问运用来影响他人的内容弱化!

下面我们一起来看一下，一些关于这个模型的实际的运用：

1、一句话就可以看透一个人！

例：有人告诉你：隔壁的人很吵，总是无法休息好！因此他觉得很烦

你就可以得知，这个人受困于环境层级，同时他的行为：是抱怨；能力：在有干扰状态下不能很好休息，也许也不具备良好的沟通说服能力，也许同时还不具备对环境的主导能力（搬家）信念：邻居应该自觉不应该在休息时间吵到别人 身份：有一个糟糕邻居的倒霉家伙或者一个饱受折磨的受害者

而当你已经把理解层次运用到纯熟的时候，你就会在一瞬间整合出类似上面我分析给你的信息，同时你可以挑选其中任何一个层级来决定如何影响对方。

这也即是NLP的魅力和巨大的威力所在，因为它让你看到你以前生活中，无时无刻都在你身边，而你却一直视而不见的重要资讯——深层结构！

2、瞬间解决销售领域中与客户无休止的价格争议！

例：客户告诉你：你的产品很贵！

很多销售就会机械化的反应，跟客户说：“这已经是最低价了”。 你认为客户会相信你么？除非他真的很想购买这个产品，同时只有你一家在卖，又或者的确你就是同类，同质产品的最低价，否则相对于客户来说这只是在环境领域进行纠缠，受困的可能性会很高！

而如果我们用这个模型来设计话术，那就会变成：“是的，我们的产品的确不便宜，因为这一款产品主要是设计给一些对生活品质要求非常高的人士的，因为这些人士一般都是一些成功人士，他们普遍倾向认为一个产品的耐用性和品质，也就像他们的人生和事业一样需要达到同样的稳定程度，当然，也有很多正在拼搏的人士也很喜欢这样的产品，因为他们同样也很注重稳定性！”

当然，我相信你看完了上面的案例呢，你也开始试图根据自己的实际经验，开发出更加优秀的源自于NLP理解层次的话术模型。而我也相信，你在看完这篇文章后，会和大多数人一样，的的确确的做到这一点。当有一天，你突然发现在你的生活中，你无意识的用出来这个模型的时候，也许你会给自己一个激励，并说：哇！原来NLP真的很神奇。

3、最后说一下在儿童教育领这个模型的运用，因为我很专注儿童早期教育所以这方面我也会特别关注

根据最上面的那个例子，我相信，你已经发现，我们大多数人，有可能在无意间也运用到了这个模式，只是大部分人是在错用这个模式，把自己的孩子和学生打造成失败者。

3、最后说一下在儿童教育领这个模型的运用，因为我很专注儿童早期教育所以这方面我也会特别关注

根据最上面的那个例子，我相信，你已经发现，我们大多数人，有可能在无意间也运用到了这个模式，只是大部分人是在错用这个模式，把自己的孩子和学生打造成失败者。

比如会有很多家长和老师跟孩子说：

你这个笨蛋 —— 这时候你就不断的在给这个这个孩子一个“身份”

你怎么这么蠢？ —— 这时候你在给孩子输入一个“信念”

你不好好读书，未来就毁了 —— 这时候你在给孩子灌输一个“限制性信念”同时你还成功的把痛苦这种东西和学习结合起来做成了一个心锚送给孩子

你怎么就是学不好？你怎么就是做不对？ —— 你开始直接认定孩子的能力！？在这样的认定下，他学不好到底责任归咎于谁呢？

当然也会有很多家长和老师说，他们会选择用鼓励性的方式教育孩子

比如他们会说：哇！你太棒了，你真聪明！你兼职就是天才！

而这样的直接判断，首先剥夺了孩子的体验权，同时呢，又给孩子输入了一个受限的信念和身份，因此孩子可能脱离现状，在未来的生活中表现得脆弱，抗挫性严重不足！

⑵ nlp算法是什么呢

1、nlp算法是自然语言处理算法。自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

2、自然语言处理（nlp）是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。

3、自然语言处理（nlp）并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

4、自然语言处理（nlp）主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

5、自然语言（nlp）的形式（字符串）与其意义之间是一种多对多的关系。其实这也正是自然语言的魅力所在。但从计算机处理的角度看，我们必须消除歧义，而且有人认为它正是自然语言理解中的中心问题，即要把带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示。

⑶ 没有采用自然语言处理技术的是

没有采用自然语言处理技术的是撰写新闻。

自然语言处理技术内容：

自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类(自然)语言之间的相互作用的领域。因此，自然语言处理是与人机交互的领域有关的。在自然语言处理面临很多挑战，包括自然语言理解，因此，自然语言处理涉及人机交互的面积。在NLP诸多挑战涉及自然语言理解，即计算机源于人为或自然语言输入的意思，和其他涉及到自然语言生成。

现代NLP算法是基于机器学习，特别是统计机器学习。机器学习范式是不同于一般之前的尝试语言处理。语言处理任务的实现，通常涉及直接用手的大套规则编码。

许多不同类的机器学习算法已应用于自然语言处理任务。这些算法的输入是一大组从输入数据生成的"特征"。一些最早使用的算法，如决策树，产生硬的if-then规则类似于手写的规则，是再普通的系统体系。然而，越来越多的研究集中于统计模型，这使得基于附加实数值的权重，每个输入要素柔软，概率的决策。

此类模型具有能够表达许多不同的可能的答案，而不是只有一个相对的确定性，产生更可靠的结果时，这种模型被包括作为较大系统的一个组成部分的优点。

自然语言处理研究逐渐从词汇语义成分的语义转移，进一步的，叙事的理解。然而人类水平的自然语言处理，是一个人工智能完全问题。它是相当于解决中央的人工智能问题使计算机和人一样聪明，或强大的AI。自然语言处理的未来一般也因此密切结合人工智能发展。

⑷ 自然语言处理基础知识

NLP 是什么？

NLP 是计算机科学领域与 人工智能 领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的学科。NLP 由两个主要的技术领域构成：自然语言理解和自然语言生成。

自然语言理解方向，主要目标是帮助机器更好理解人的语言，包括基础的词法、句法等语义理解，以及需求、篇章、情感层面的高层理解。

自然语言生成方向，主要目标是帮助机器生成人能够理解的语言，比如文本生成、自动文摘等。

NLP 技术基于大数据、知识图谱、 机器学习 、语言学等技术和资源，并可以形成机器翻译、深度问答、对话系统的具体应用系统，进而服务于各类实际业务和产品。

NLP在金融方面

金融行业因其与数据的高度相关性，成为人工智能最先应用的行业之一，而NLP与知识图谱作为人工智能技术的重要研究方向与组成部分，正在快速进入金融领域，并日益成为智能金融的基石。舆情分析舆情主要指民众对社会各种具体事物的情绪、意见、价值判断和愿望等。

事件(Event )：在特定时间、特定地点发生的事情。主题(Topic)：也称为话题，指一个种子事件或活动以及与它直接相关的事件和活动。专题(Subject)：涵盖多个类似的具体事件或根本不涉及任何具体事件。需要说明的是，国内新闻网站新浪、搜狐等所定义的“专题”概念大多数等同于我们的“主题”概念。热点：也可称为热点主题。热点和主题的概念比较接近，但有所区别。

1. 词干提取

什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。

2. 词形还原

什么是词形还原？ 词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了POS问题，即词语在句中的语义，词语对相邻语句的语义等。

3. 词向量化什么是词向量化？词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示，例如向量的长度可以为100。

4. 词性标注

什么是词性标注？简单来说，词性标注是对句子中的词语标注为名字、动词、形容词、副词等的过程。

5. 命名实体消歧

什么是命名实体消岐？命名实体消岐是对句子中的提到的实体识别的过程。例如，对句子“Apple earned a revenue of 200 Billion USD in 2016”，命名实体消岐会推断出句子中的Apple是苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。

6. 命名实体识别

体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的任务。   

7. 情感分析

什么是情感分析？情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等等。

8. 语义文本相似度

什么是语义文本相似度分析？语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。注意，相似性与相关性是不同的。

9.语言识别

什么是语言识别？语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。

10. 文本摘要

什么是文本摘要？文本摘要是通过识别文本的重点并使用这些要点创建摘要来缩短文本的过程。文本摘要的目的是在不改变文本含义的前提下最大限度地缩短文本。

11.评论观点抽取

自动分析评论关注点和评论观点，并输出评论观点标签及评论观点极性。目前支持 13 类产品用户评论的观点抽取，包括美食、酒店、汽车、景点等，可帮助商家进行产品分析，辅助用户进行消费决策。

11.DNN 语言模型

语言模型是通过计算给定词组成的句子的概率，从而判断所组成的句子是否符合客观语言表达习惯。在机器翻译、拼写纠错、语音识别、问答系统、词性标注、句法分析和信息检索等系统中都有广泛应用。

12.依存句法分析

利用句子中词与词之间的依存关系来表示词语的句法结构信息 (如主谓、动宾、定中等结构关系)，并用树状结构来表示整句的的结构 (如主谓宾、定状补等)。

1、NLTK

一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的 jieba 处理库

2、文本处理流程

大致将文本处理流程分为以下几个步骤：

Normalization

Tokenization

Stop words

Part-of-speech Tagging

Named Entity Recognition

Stemming and Lemmatization

下面是各个流程的具体介绍

Normalization

第一步通常要做就是Normalization。在英文中，所有句子第一个单词的首字母一般是大写，有的单词也会全部字母都大写用于表示强调和区分风格，这样更易于人类理解表达的意思。

Tokenization

Token是"符号"的高级表达， 一般值具有某种意义，无法再拆分的符号。在英文自然语言处理中，Tokens通常是单独的词，因此Tokenization就是将每个句子拆分为一系列的词。

Stop Word

Stop Word 是无含义的词，例如’is’/‘our’/‘the’/‘in’/'at’等。它们不会给句子增加太多含义，单停止词是频率非常多的词。 为了减少我们要处理的词汇量，从而降低后续程序的复杂度，需要清除停止词。

Named Entity

Named Entity 一般是名词短语，又来指代某些特定对象、人、或地点 可以使用 ne_chunk()方法标注文本中的命名实体。在进行这一步前，必须先进行 Tokenization 并进行 PoS Tagging。

Stemming and Lemmatization

为了进一步简化文本数据，我们可以将词的不同变化和变形标准化。Stemming 提取是将词还原成词干或词根的过程。

3、Word2vec

Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。

### 四、NLP前沿研究方向与算法

1、MultiBERT

2、XLNet

3、bert 模型

BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

BERT提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。BERT的主要特点以下几点：

使用了Transformer作为算法的主要框架，Trabsformer能更彻底的捕捉语句中的双向关系；

使用了Mask Language Model(MLM)和 Next Sentence Prediction(NSP) 的多任务训练目标；

使用更强大的机器训练更大规模的数据，使BERT的结果达到了全新的高度，并且Google开源了BERT模型，用户可以直接使用BERT作为Word2Vec的转换矩阵并高效的将其应用到自己的任务中。

BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。在以后特定的NLP任务中，我们可以直接使用BERT的特征表示作为该任务的词嵌入特征。所以BERT提供的是一个供其它任务迁移学习的模型，该模型可以根据任务微调或者固定之后作为特征提取器。

模型结构： 由于模型的构成元素Transformer已经解析过，就不多说了，BERT模型的结构如下图最左：

对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向rnn和双向rnn的区别，直觉上来讲效果会好一些。

优点： BERT是截至2018年10月的最新state of the art模型，通过预训练和精调横扫了11项NLP任务，这首先就是最大的优点了。而且它还用的是Transformer，也就是相对rnn更加高效、能捕捉更长距离的依赖。对比起之前的预训练模型，它捕捉到的是真正意义上的bidirectional context信息。

缺点： MLM预训练时的mask问题

[MASK]标记在实际预测中不会出现，训练时用过多[MASK]影响模型表现

每个batch只有15%的token被预测，所以BERT收敛得比left-to-right模型要慢（它们会预测每个token）

BERT火得一塌糊涂不是没有原因的：

使用Transformer的结构将已经走向瓶颈期的Word2Vec带向了一个新的方向，并再一次炒火了《Attention is All you Need》这篇论文；

11个NLP任务的精度大幅提升足以震惊整个深度学习领域；

无私的开源了多种语言的源码和模型，具有非常高的商业价值。

迁移学习又一次胜利，而且这次是在NLP领域的大胜，狂胜。

BERT算法还有很大的优化空间，例如我们在Transformer中讲的如何让模型有捕捉Token序列关系的能力，而不是简单依靠位置嵌入。BERT的训练在目前的计算资源下很难完成，论文中说的训练需要在64块TPU芯片上训练4天完成，而一块TPU的速度约是目前主流GPU的7-8倍。

⑸ NLP之文本分类

作为NLP领域最经典的使用场景之一，文本分类积累了许多的实现方法。这里我们根据是否使用深度学习方法将文本分类主要分为一下两个大类：

随着统计学习方法的发展，特别是在90年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典玩法，这个阶段的主要套路是人工特征工程+浅层分类模型。整个文本分类问题就拆分成了 特征工程 和 分类器 两部分。

这里的特征工程也就是将文本表示为计算机可以识别的、能够代表该文档特征的特征矩阵的过程。在基于传统机器学习的文本分类中，我们通常将特征工程分为 文本预处理、特征提取、文本表示 等三个部分。

文本预处理过程是提取文本中的关键词来表示文本的过程 。中文文本预处理主要包括 文本分词 和 去停用词 两个阶段。
文本分词 ，是因为很多研究表明特征粒度为词粒度远好于字粒度（其实很好理解，因为大部分分类算法不考虑词序信息，基于字粒度显然损失了过多“n-gram”信息）。具体到中文分词，不同于英文有天然的空格间隔，需要设计复杂的分词算法。传统分词算法主要有 基于字符串匹配的正向/逆向/双向最大匹配 ； 基于理解的句法和语义分析消歧 ； 基于统计的互信息/CRF方法 。近年来随着深度学习的应用， WordEmbedding + Bi-LSTM+CRF方法 逐渐成为主流，本文重点在文本分类，就不展开了。
而 停止词 是 文本中一些高频的代词、连词、介词等对文本分类无意义的词 ，通常维护一个停用词表，特征提取过程中删除停用表中出现的词，本质上属于特征选择的一部分。

特征提取包括 特征选择 和 特征权重计算 两部分。
特征选择的基本思路 是 根据某个评价指标独立的对原始特征项（词项）进行评分排序，从中选择得分最高的一些特征项，过滤掉其余的特征项 。常用的评价有：文档频率、互信息、信息增益、χ²统计量等。
特征权重计算 主要是经典的TF-IDF方法及其扩展方法。 TF-IDF的主要思想 是 一个词的重要度与在类别内的词频成正比，与所有类别出现的次数成反比 。

文本表示的目的是把文本预处理后的转换成计算机可理解的方式，是决定文本分类质量最重要的部分。传统做法常用 词袋模型 （BOW, Bag Of Words）或 向量空间模型 （Vector Space Model），最大的 不足 是忽略文本上下文关系，每个词之间彼此独立，并且无法表征语义信息。

大部分机器学习方法都在文本分类领域有所应用，比如朴素贝叶斯分类算法（Naïve Bayes）、KNN、SVM、最大熵和神经网络等等。

FastText 是Facebook AI Research在16年开源的一种文本分类器。 其 特点 就是 fast 。相对于其它文本分类模型，如 SVM ， Logistic Regression 等模型，fastText能够在保持分类效果的同时，大大缩短了训练时间。

FastText方法包含三部分， 模型架构 ， 层次SoftMax 和 N-gram特征 。

FastText模型架构和 Word2Vec 中的 CBOW 模型很类似，因为它们的作者都是Facebook的科学家Tomas Mikolov。不同之处在于，FastText 预测标签 ，而CBOW 模型 预测中间词 。

TextCNN 是利用卷积神经网络对文本进行分类的算法，它是由 Yoon Kim 在2014年在 “ Convolutional Neural Networks for Sentence Classification ” 一文中提出的。详细的原理图如下。

特征 ：这里的特征就是词向量，有 静态（static） 和 非静态（non-static） 方式。static方式采用比如word2vec预训练的词向量，训练过程不更新词向量，实质上属于迁移学习了，特别是数据量比较小的情况下，采用静态的词向量往往效果不错。non-static则是在训练过程中更新词向量。推荐的方式是 non-static 中的 fine-tunning方式，它是以预训练（pre-train）的word2vec向量初始化词向量，训练过程中调整词向量，能加速收敛，当然如果有充足的训练数据和资源，直接随机初始化词向量效果也是可以的。

通道（Channels） ：图像中可以利用 (R, G, B) 作为不同channel，而文本的输入的channel通常是不同方式的embedding方式（比如 word2vec或Glove），实践中也有利用静态词向量和fine-tunning词向量作为不同channel的做法。

一维卷积（conv-1d） ：图像是二维数据，经过词向量表达的文本为一维数据，因此在TextCNN卷积用的是一维卷积。一维卷积带来的问题是需要设计通过不同 filter_size 的 filter 获取不同宽度的视野。

Pooling层： 利用CNN解决文本分类问题的文章还是很多的，比如这篇 A Convolutional Neural Network for Modelling Sentences 最有意思的输入是在 pooling 改成 (dynamic) k-max pooling，pooling阶段保留 k 个最大的信息，保留了全局的序列信息。

参考文献

⑹ NLP和语言有关系吗

从这种分析可以看出，大部分的选题都是运用了国外的理论来研究中英文的语言问题，一个侧重教学或特殊语言现象，一个是面向NLP实际应用。在工具方面，也很相似，都是用国外的工具包和算法为主。NLP领域的算法看似高大上，但一眼望去，神经网络、深度学习都是舶来品。语言学的报告质量显得略高，大概是文科的口才更好哈。在审稿制度上差别比较大，语言学的会议大都是邀请制或者摘要评审，录用率一般高于50%，主要讲究同行交流。NLP的会议则采用国际惯例，采用双盲投稿评审制度，录用率只有30%左右。从研究成果来看，语言学的应用性比不了NLP，研究所得的往往是更多的问题，而非问题的解决方案。NLP力求更高、更好的自动分析处理效果。但是在会场氛围上很有趣，语言学的更专注与热烈。300多人的会议，分了12个平行会场，每个会场都坐满了，而且发言讨论热烈，对各种语言现象乐此不疲。相比之下，计算语言学会议之前都分多个并行session，但分布极不平均，所以去年开始改为了单会场运作。即便如此，在很多时候大家听会也并不太认真，因为深度学习的框架差不多，区别是处理任务不同和实验细节略有差异。

总的来说，复杂多样的语言现象是语言学界的口香糖，越嚼越香；对NLP领域来说，语言现象没啥要紧，关键是要更强大的硬件和机器学习算法来刷分。为什么就不能结合起来呢，用机器学习的牛刀来分析和解决语言问题。

⑺ 产品经理如何入门自然语言处理（NLP）

自然语言处理，顾名思义即自然语言处理的技术，通常用缩写NLP指代。各类产品经理日常的工作中，会遇到大量自然语言处理的应用场景。以智能推荐为例，在待推荐物文本分类、主题分类等场景中都会用到。本篇以产品经理的视角，谈谈如何入门自然语言处理。

统计模型

很多大牛对人工智能的抨击在于，认为人工智能只是统计学，并不是真正的具有“智能”。在当前“弱人工智能”的时代背景下，学习统计模型仍然有非常重要的价值。

拿经常用于分类场景的贝叶斯模型为例，在已经拿到用于训练集的语料中，可以通过统计得出A出现的概率、B出现的概率、在A出现的前提下B出现的概率，计算如果B出现同时A出现的概率（即给定B样本计算出现A的概率），就可以直接从前面三个统计概率计算得出。

当然以上贝叶斯模型成立并且表现良好的前提是 数据量足够大，满足大数定律 。不难发现统计模型的精髓在于，假设数据量足够大后，可以用已有样本的统计情况，来做判别或预测。

闭环流程

NLP技术应用场景广泛且松散，且在很多情况下，作为中间处理技术流程，不被最终用户所感知。再加上近些年新的自然语言处理技术不断出现，给想入门自然语言处理的产品经理眼花缭乱，不知如何入手的困惑。

入门自然语言处理也需要讲究MVP，以最小可行性的闭环，建立起初步认知，再不断扩展和丰富NLP的知识体系，逐步建立大的框架和认知。

通常的自然语言处理任务可从“分词”—>“构建特征”—>“训练模型”—>“分类或预测应用”。

以上流程中，除了分词外，与机器学习通常流程一样。英文一个个单词本身就是分开的，是不需要分词的。但对于中文来讲，词与词之间是连接在一起的，需要将文本内容，切分成一个个词再处理。

完成分词后，计算机无法直接理解汉字，需要通过将一个个词，编码成计算机可以理解的数字再做处理，这个阶段即构建特征阶段。

特征完成后，再根据自然语言处理任务类型，决定采用哪种算法训练模型，最后将训练好的模型应用于特定的分类或预测任务上。一个自然语言处理任务就完成了。

标注与预处理

前几年从事的智能推荐产品中，推荐系统本身以CTR作为优化目标，实际是将点击与否作为label，相当于用户帮着做了分布式的标注工作。

传统基于统计的自然语言处理任务中，大部分任务类型是有监督学习，需要人在已有语料上做大量的标注工作，才能保证任务的正常进行。

例如情感识别是否为正向情感，就需要人在语料上，将一条条信息标出是否为正向情感。再将此语料作为训练集训练模型，生成情感识别的分类模型用于情感识别。

文档的预处理通常是将拿到的语料做去除标点符号、停用词、数字等处理，去除自然语言无关内容，加快计算机计算和模型生成速度。

在完成以上处理后，可将文档做分词处理，再将词作编码处理即可。

常见任务及算法原理

自然语言处理通常有以下应用场景：分词、词性标注、主题识别、情感识别、文本分类、机器翻译等。下面将主要应用及背后算法原理作简要介绍。

有监督的分类问题。 无论情感识别还是垃圾邮件分类，本质上都可以转化为几个目标类型的分类问题。按照贝叶斯公式的逻辑，将已有语料数据进行类型标注，基于统计模型的逻辑，训练得到分类模型，将待识别内容通过模型计算打分，根据阈值即可完成识别。例如二分类的情感识别，可以将0-0.5区间归为消极情感，0.5-1区间归为积极情感。多分类则是计算待分类样本离哪个区间更近，即识别为哪种类型。

无监督的分类问题 。自然语言处理中，经常会有主题识别任务，这类任务通常是采用LDA主题模型，核心逻辑是将文章划分为“文档”—“主题”—“词”的三层逻辑，以无监督学习自动完成按照主题的词聚类。由于是无监督学习，需要根据实际情况指定学习出的主题个数，最终选择主题个数最合理的结果。依赖人的主观判断和理解一系列词背后组成的主题。

生成问题 。生成问题常见的有文本纠错、词生成、句子生成、机器翻译等。生成问题从统计学逻辑上讲，是基于已有语料的统计，计算出接下来要生成内容的概率。拿机器翻译举例，需要事先准备好中英文对照的大量语料，基于语料，机器学习到中英文词对照、短语对照的知识，最终在翻译场景下，输出中文或英文相应的翻译内容。

再拿隐马尔可夫模型做词性标注举例，基于已经标注的语料，隐马尔可夫模型可以学习到词与词之间词性的状态转移概率，基于这个概率可以计算出一个词属于哪种词性。

深度学习的应用。 CNN构建的神经网络，比较适合解决NLP分类问题，但由于没有记忆，无法解决生成问题。RNN相较于CNN可以解决一定长度记忆问题，适合解决NLP领域一定长度的生成问题，例如词生成，但无法保留长期记忆。LSTM具有长期记忆的手段，可以做生成句子的任务。

NLP 应用价值

文本是最常见的生产资料，产品经理学习NLP的原理及应用，可以开阔解决问题的视野。

拿在线教育行业举例，利用自然语言处理能力，可以自动识别出学生评论的情感倾向，可以辅助老师进行作文批改、自动出题、自动解题。

不难看出，自然语言处理的应用场景，并非人做不了，而是可以替代人类的手工劳动，大大提升任务的效率，将人解放出来，做更有价值的工作。

小乐帝，一线AI产品经理、科技优秀作者、产品经理读书会创始人。

“产品经理读书会”

专注于爱读书爱思考的产品人提供读书推荐、产品思考、以书会友的环境

⑻ nlp算法是什么

nlp算法是自然语言处理。

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。

它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

nlp算法发展：

在一般情况下，用户可能不熟悉机器语言，所以自然语言处理技术可以帮助这样的用户使用自然语言和机器交流。从建模的角度看，为了方便计算机处理，自然语言可以被定义为一组规则或符号的集合，我们组合集合中的符号来传递各种信息。

这些年，NLP研究取得了长足的进步，逐渐发展成为一门独立的学科，从自然语言的角度出发，NLP基本可以分为两个部分：自然语言处理以及自然语言生成，演化为理解和生成文本的任务。

⑼ nlp算法是什么

nlp算法是自然语言处理。

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

相关信息：

自然语言处理是指利用人类交流所使用的自然语言与机器进行交互通讯的技术。通过人为的对自然语言的处理，使得计算机对其能够可读并理解。自然语言处理的相关研究始于人类对机器翻译的探索。

虽然自然语言处理涉及语音、语法、语义、语用等多维度的操作，但简单而言，自然语言处理的基本任务是基于本体词典、词频统计、上下文语义分析等方式对待处理语料进行分词，形成以最小词性为单位，且富含语义的词项单元。

⑽ 自然语言处理（NLP）的基础难点：分词算法

自然语言处理（NLP，Natural Language Processing）是人工智能领域中的一个重要方向，主要研究人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包括词性标注和命名实体识别）中最基本的任务，也是众多NLP算法中必不可少的第一步，其切分准确与否往往与整体结果息息相关。

金融领域分词的难点

分词既简单又复杂。简单是因为分词的算法研究已经很成熟了，大部分的算法（如HMM分词、CRF分词）准确率都可以达到95%以上；复杂则是因为剩下的5%很难有突破，主要可以归结于三点：

▲粒度，即切分时的最小单位，不同应用对粒度的要求不一样，比如“融资融券”可以是一个词也可以是两个词

▲歧义，比如“恒生”一词，既可指恒生公司，又可指恒生指数

▲未登录词，即未出现在算法使用的词典中的词，比如不常见的专业金融术语，以及各种上市公司的名称

在金融领域中，分词也具有上述三个难点，并且在未登录词方面的难点更为突出，这是因为金融类词汇本来就多，再加上一些专有名词不仅有全称还有简称，这就进一步增大了难度。

在实际应用中，以上难点时常会造成分词效果欠佳，进而影响之后的任务。尤其是在一些金融业务中，有许多需要与用户交互的场景，某些用户会用口语化的词汇描述业务，如果分词错误会影响用户意图的解析，这对分词的准确性提出了更高的要求。因此在进行NLP上层应用开发时，需要对分词算法有一定的了解，从而在效果优化时有能力对分词器进行调整。接下来，我们介绍几种常用的分词算法及其应用在金融中的优劣。

几种常见的分词算法

分词算法根据其核心思想主要分为两种：

第一种是基于字典的分词，先把句子按照字典切分成词，再寻找词的最佳组合方式，包括最大匹配分词算法、最短路径分词算法、基于N-Gram model的分词算法等；

第二种是基于字的分词，即由字构词，先把句子分成一个个字，再将字组合成词，寻找最优的切分策略，同时也可以转化成序列标注问题，包括生成式模型分词算法、判别式模型分词算法、神经网络分词算法等。

最大匹配分词寻找最优组合的方式是将匹配到的最长词组合在一起，主要的思路是先将词典构造成一棵Trie树（也称为字典树），Trie树由词的公共前缀构成节点，降低了存储空间的同时可以提升查找效率。

最大匹配分词将句子与Trie树进行匹配，在匹配到根结点时由下一个字重新开始进行查找。比如正向（从左至右）匹配“他说的确实在理”，得出的结果为“他／说／的确／实在／理”。如果进行反向最大匹配，则为“他／说／的／确实／在理”。

这种方式虽然可以在O(n)时间对句子进行分词，但是只单向匹配太过绝对，尤其是金融这种词汇较丰富的场景，会出现例如“交易费/用”、“报价单/位”等情况，所以除非某些词的优先级很高，否则要尽量避免使用此算法。

最短路径分词算法首先将一句话中的所有词匹配出来，构成词图（有向无环图DAG），之后寻找从起始点到终点的最短路径作为最佳组合方式，例：

我们认为图中每个词的权重都是相等的，因此每条边的权重都为1。

在求解DAG图的最短路径问题时，总是要利用到一种性质：即两点之间的最短路径也包含了路径上其他顶点间的最短路径。比如S->A->B->E为S到E到最短路径，那S->A->B一定是S到B到最短路径，否则会存在一点C使得d(S->C->B)<d(S->A->B)，那S到E的最短路径也会变为S->C->B->E，这就与假设矛盾了。利用上述的最优子结构性质，可以利用贪心算法或动态规划两种求解算法：

（1）基于Dijkstra算法求解最短路径，该算法适用于所有带权有向图，求解源节点到其他所有节点的最短路径，并可以求得全局最优解；

（2）N-最短路径分词算法，该方法是对Dijkstra算法的扩展，在每一步保存最短的N条路径，并记录这些路径上当前节点的前驱，在最后求得最优解时回溯得到最短路径。这种方法的准确率优于Dijkstra算法，但在时间和空间复杂度上都更大。

相较于最大匹配分词算法，最短路径分词算法更加灵活，可以更好地把词典中的词组合起来，能更好地解决有歧义的场景。比如上述“他说的确实在理”这句话，用最短路径算法的计算结果为“他／说／的／确实／在理”，避免了正向最大匹配的错误。但是对于词典中未存在的词基本没有识别能力，无法解决金融领域分词中的“未登录词”难点。

N-Gram（又称N元语法模型）是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关。在此种假设下，可以简化词的条件概率，进而求解整个句子出现的概率。

现实中，常用词的出现频率或者概率肯定比罕见词要大。因此，可以将求解词图最短路径的问题转化为求解最大概率路径的问题，即分词结果为“最有可能的词的组合“。

计算词出现的概率，仅有词典是不够的，还需要充足的语料，所以分词任务已经从单纯的“算法”上升到了“建模”，即利用统计学方法结合大数据挖掘，对“语言”（句子出现的概率）进行建模。

我们将基于N-gram模型所统计出的概率分布应用到词图中，可以得到词的概率图。对该词图用最短路径分词算法求解最大概率的路径，即可得到分词结果。

相较于前两种分词算法，基于N-Gram model的分词算法对词频进行了统计建模，在切分有歧义的时候力求得到全局最优值，比如在切分方案“证券/自营/业务”和“证券/自/营业/务”中，统计出“证券/自营/业务”出现的概率更大，因此结果有更高的准确率。但也依然无法解决金融场景中未登录词的问题。

生成式模型主要有隐马尔可夫模型（HMM，Hidden Markov Model）、朴素贝叶斯分类等。HMM是常用的分词模型，基于Python的jieba分词器和基于Java的HanLP分词器都使用了HMM。

HMM模型认为在解决序列标注问题时存在两种序列，一种是观测序列，即人们显性观察到的句子，另一种是隐状态序列，即观测序列的标签。假设观测序列为X，隐状态序列是Y，则因果关系为Y->X。因此要得到标注结果Y，必须对X的概率、Y的概率、P(X|Y)进行计算，即建立P(X,Y)的概率分布模型。

HMM算法可以在一定程度上解决未登录词的问题，但生成式模型的准确率往往没有接下来要谈到的判别式模型高。

判别式模型主要有感知机、支持向量机（SVM，Support Vector Machine）、条件随机场（CRF，Conditional Random Field）、最大熵模型等，其中感知机模型和CRF模型是常用的分词模型。

（1）平均感知机分词算法

感知机是一种简单的二分类线性模型，通过构造超平面，将特征空间（输入空间）中的样本分为正负两类。通过组合，感知机也可以处理多分类问题。但由于每次迭代都会更新模型的所有权重，被误分类的样本会造成很大影响，因此采用平均的方法，在处理完一部分样本后对更新的权重进行平均。

（2）CRF分词算法

CRF可以看作一个无向图模型，假设给定的标注序列为Y，观测序列为X，CRF对条件概率P(Y|X)进行定义，而不是对联合概率建模。

平均感知机算法虽然速度快，但仍不够准确。适合一些对速度要求高、对准确性要求相对不那么高的场景。CRF分词算法可以说是目前最常用的分词、词性标注和实体识别算法，它对未登陆词也有很好的识别能力，是目前在速度、准确率以及未登录词识别上综合表现最突出的算法，也是我们目前所采用的解决方案，但速度会比感知机慢一些。

在NLP中，最常用的神经网络为循环神经网络（RNN，Recurrent Neural Network），它在处理变长输入和序列输入问题中有着巨大的优势。LSTM（Long Short-Term Memory，长短期记忆网络）为RNN变种的一种，在一定程度上解决了RNN在训练过程中梯度消失和梯度爆炸的问题。

目前对于序列标注任务，业内公认效果最好的模型是BiLSTM+CRF。相比于上述其它模型，双向循环神经网络BiLSTM，可以更好地编码当前字等上下文信息，并在最终增加CRF层，核心是用Viterbi算法进行解码，以得到全局最优解，避免B,S,E这种不可能的标记结果的出现，提高准确率。

神经网络分词虽然能在准确率、未登录词识别上有更好的表现，但RNN无法并行计算，在速度上没有优势，所以该算法通常在算法研究、句子精确解析等对速度要求不高的场景下使用。

分词作为NLP底层任务之一，既简单又重要，很多时候上层算法的错误都是由分词结果导致的。因此，对于底层实现的算法工程师，不仅需要深入理解分词算法，更需要懂得如何高效地实现和调试。

而对于上层应用的算法工程师，在实际分词时，需要根据业务场景有选择地应用上述算法，比如在搜索引擎对大规模网页进行内容解析时，对分词对速度要求大于精度，而在智能问答中由于句子较短，对分词的精度要求大于速度。