自然语言分析——利用NLTK进行文本预处理
本文作者：方 言，中南财经政法大学金融学院 文字编辑：戴 雯 技术总编：张馨月
爬虫俱乐部云端课程
导读
一、安装
NLTK的安装可以直接通过pip install 完成：
pip install nltkNLTK中包含非常多的语料和模型，我们可以通过NLTK Downloader进行下载：
import nltknltk.download()运行上方的代码可以获取NLTK Downloader窗口：
点击Download，如果出现报错，可以通过点击 File里的 ChangeServerIndex将 service index改为 http://nltk.org/nltk_data/，再点击 Download。
如果这种方法依然报错，我们可以先输入下面这行代码查看nltk_data文件可以存放的路径：
nltk.data.find(".")接下来，到官网https://github.com/nltk/nltkdata/tree/gh-pages下载packages文件到相应的路径，并对nltk_data进行解压（文件里很多个压缩包，注意要全部解压完成），我们可以测试一下是否安装成功：
from nltk.book import *如果运行结果如下所示，则表明安装成功：
但是，在测试运行中还可能出现错误，比如这里利用NLTK进行分词，运行代码后出现如下报错：
import nltkfrom nltk import word_tokenizetext = "NLTK is a great text analysis tool. We can make use of it."sentence = nltk.sent_tokenize(text)print(sentence)这时是因为NLTK路径下的 tokenizers\punkt 里多了个PY3文件夹，将这个文件夹的内容放置到punkt文件夹中，删除PY3文件夹即可。完成了NLTK的安装以后，我们来进行一下简单的操作。
二、常用功能（以句子为例）
1.分词
在分词时，由于NLTK是先分句再分词的，我们需要先通过 nltk.sent_tokenize(text)将文本按照句子进行划分，然后通过 nltk.word_tokenize(sent)实现对每个句子进行分词。下面我们来举个例子：
import nltktext = "NLTK is a great text analysis tool. We can make use of it."sentence = nltk.sent_tokenize(text)print(sentence)运行结果如下所示，这里将text分成了两句话，结果以单引号进行分隔，所以一句话就是列表中的一个元素。
在写这个程序的时候一定要注意的是，每个英文句号的后面一定要加一个空格，否则在进行分句的时候是无法将句子进行分离的。
然后再对分离的每句话进行分词：
words = []for sent in sentence : words.append(nltk.word_tokenize(sent))print(words)结果如下所示，NLTK将每句话的每个单词都进行了拆分，拆分后的每个单词都用单引号标识，但是这里有一个问题，标点符号也被作为一个单词单独进行拆分了，那么怎么解决这个问题呢？往下看就知道啦~
2.去除停用词和标点符号
所谓停用词，就是在理解一个句子的时候没什么必要去理解的单词，它们的意思对理解整个句子的语义没有太大影响。尤其是在英文中，"a"，"the"，"to"，"their"等冠词，借词，代词等，这些词语对文本分析起不到任何的帮助，因此我们在做文本分析的时候希望将这些单词去掉。想要去除停用词，就要知道NLTK库中有哪些停用词，我们可以直接用NLTK中提供的英文停用词表。
from nltk.corpus import stopwordsstop = set(stopwords.words('english'))print(stop)如下展示的就是NLTK词库中的停用词，由于NLTK库只支持英文的停用词库，因此在进行中文分词的时候还需要构造中文的停用词词库，这个会在以后的推文中进行介绍~
在了解了NLTK的停用词库后，我们把句子中的停用词去掉，结果运行如图所示：
filter_text = [word for word in sentence.split(' ') if word not in stopwords.words('english') ]print(filter_text)对于标点符号的去除，其实大可不必利用NLTK去除，在Python中的re.sub()函数就可以实现标点符号的全部去除，程序如下，这里我们需要用到正则表达式的相关内容：
import refilter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text1)print(filter_text)运行结果如图所示，可以看到所有的标点符号都被删除了：
在进行分词的时候，我们是希望将标点符号以及停用词都去除的，因此直接替换掉所有的标点符号并进行停用词去除的程序如下所示，在进行文本整理以后，去除不必要的符号可以让我们在文本分析时更能突出重点。
import restop = set(stopwords.words('english'))filter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text)filter_text = [word for word in filter_text.split(' ') if word not in stop]print(filter_text)结果如图，可以看到结果只针对有用的单词进行了分词：
3.词频统计
词频统计有利于我们在做文本分析时了解文本的重点和核心，我们可以使用NLTK中的 FreqDist() 函数帮助我们对去除停用词后的文本进行词频统计。
from nltk import FreqDistfdist = FreqDist(filter_text)print(fdist)for a,b in fdist.items(): print(str(a)+":"+str(b))上图的运行结果显示出当前文本中有8个样本和8个结果，因为每个样本都只出现了一次，因此8个样本出现的频数也就是8。
4.词性标注
在分词过程中，对词性进行分析有助于我们更好的把握文本的核心和重点。这一功能可以通过NLTK中的 pos_tag() 函数实现，下面我们来操作一下：
from nltk import pos_tagtext = "NLTK is a great text analysis tool.We can make use of it."tokens = nltk.word_tokenize(text)tags = pos_tag(tokens)print(tags)三、简单应用（以NLTK自带的古腾堡语料库为例）
通过第二部分我们掌握了比较简单的句子的分析，那么我们利用第二部分介绍的内容来简单以NLTK自带的古腾堡语料库应用一下。
首先，我们需要调用NLTK的古腾堡语料库，并在该语料库中获取一个文本对象。在进入应用之前，先简单介绍一下古腾堡语料库。古腾堡项目大约有36000本免费电子图书，NLTK中只包含了其中的一小部分，NLTK的古腾堡语料库收集的都是不同作家的书，并且都是英文的，通过下述命令可以查看NLTK中包含的相关文本文档：
from nltk.corpus import gutenberggutenberg.fileids()运行结果如图，这里展示的就是NLTK古腾堡语料库包含的所有文档：
这里以莎士比亚的著作《哈姆雷特》为例进行简单的文本分析，首先，我们需要先获取《哈姆雷特》的文本内容，键入以下命令即可获取语料库中的文本内容：
hamlet = gutenberg.words('shakespeare-hamlet.txt') # 获取shakespeare-hamlet.txt这个文件的单词print(hamlet)hamlets = gutenberg.sents('shakespeare-hamlet.txt') # 获取shakespeare-hamlet.txt这个文件的句子print(hamlets)运行结果如图所示：
通过运行的结果可以看到，直接引用语料库的文本内容，不同于自己构建的文本内容，原因是NLTK的古腾堡语料库已经将这些作品分好词、分好句，因此我们直接对语料库中的内容进行后续文本处理，去停用词、去标点、词频统计以及词性标注：
1.去停用词
#去除停用词from nltk.corpus import stopwordsfilter_text = [word for word in hamlet if word not in stopwords.words('english') ]print(filter_text)运行结果如图所示：
由于《哈姆雷特》的内容较长，所以在前面没办法完全展开显示，但是从图中可以明显看到，《哈姆雷特》的第一句话中of这个单词被去除掉了，这也说明我们这个去除停用词是成功实现了的。
2.去标点
在去除停用词的基础上，对标点进行去除，可以键入以下命令：
import refilter_texts = re.sub(r'[^a-zA-Z0-9\s]','',str(filter_text))print(filter_texts)运行结果如图所示：
这就是一个干干净净的文本内容，既没有停用词，也没有标点符号的文本，是不是看上去特别清爽！
3.进行词频统计
由于词频统计必须要在分词的基础上进行，所以我们需要对去除标点符号以后的清爽的文本内容再进行分词，可以键入以下命令：
text=nltk.word_tokenize(filter_texts)print(text)运行结果如图所示：
在分词之后，我们就可以进行词频统计啦，键入以下命令：
from nltk import FreqDistfdist = FreqDist(text)print(fdist)for a,b in fdist.items(): print(str(a)+":"+str(b))运行结果如图所示：
可以看到结果中显示了《哈姆雷特》中共有18814个单词，剔除重复的单词后，共用到了5324个单词。
4.词性标注
同词频统计一样，词性标注也是必须在分句和分词的基础上才能进行的，因此我们也是可以直接对分词后的文本进行词性标注：
from nltk import pos_tagprint(nltk.pos_tag(text))结果如图：
以上就是我们今天给大家简单介绍的自然语言处理工具NLTK以及进行简单的文本预处理，NLTK还有很多语料库可以供大家使用,详情可以继续关注我们后续的推文内容哦~
寻找B站的最爱--8月B站全站榜爬虫
cnaddress命令——实现经纬度转换为中文地址
Python入门—Spyder的简单使用
追踪命令set trace on——解你燃眉之急
爬虫大杀器 | “手把手”教你配置Selenium
小白必看！Anaconda安装全攻略
用WordStat看中国日报新闻（二）
一招轻松合并文件——openall命令介绍
微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。