5个Python库可以帮你轻松的进行自然语言预处理

自然语言是指人类相互交流的语言,而自然语言处理是将数据以可理解的形式进行预处理,使计算机能够理解的一

自然语言处理是比较广泛的研究领域之一。许多大公司在这个领域投资很大。NLP为公司提供了机会,让他们能够根据消费者的情绪和文本很好地了解他们。NLP的一些最佳用例是检测假电子邮件、对假新闻进行分类、情感分析、预测你的下一个单词、自动更正、聊天机器人、个人助理等等。

个Python库可以帮你轻松的进行自然语言预处理"

解决任何NLP任务前要知道的7个术语

标记:它是将整个文本分割成小标x ~ x 1记的过程。占卜是根据句子和单词两个基础来完成的。

  1. text="Hellothere,howareyoudoingtoday?Theweatherisgreattoday.pythonisawsome"
  2. ##sentecetokenize(Separatedbysentence)
  3. ['Hellothere,howareyoudoingtoday?n P k i w','Thewf X C O |eatherisgrg t =ea\ z 1 +ttoA = , Hday.',S l i'pythonisawsome']
  4. ##wordtokenizer(Separatedbywords)
  5. ['Hello','there',',','how','are','you','doing','today','?','TX v n 4 P + Yhe','weather','is','great','today','.','pytho! z v ~ L Z Y # Gn','is','awsod y a H 4 P c Ome']

停止词:5 , Z t T一般来说,这些词不会给句子增加太多的意义。在NL_ R R q 8 e KP中,我们删除了所有3 _ 4 F s的停止词,因为它们对分析数据不重要。英语中总共有179个停止词。

词干提取:它是通过去掉c 6 t ? =后缀和前缀将一个单词还原为词根l q T s p A的过程。

词形还原:它的工作原理与词干法相同,但关键的区别@ ) G q =是它返回一个有意义的单词。主要是开发聊天机器人、问答机器人、文本预测等。

WordNet:它是英语语言名词、动词、形容词和副词的词汇数据库或词# Q 4 C $ v典,这些词被分组为专门为自然语言e . v K处理设计的集合。

词性标注:它是将一个句子转换为一个元组列表的过程。每个元组都有一个形式(单词、标记)。这里的标签表示该m 7 Y )单词是名词、形容词还是动词等等。

  1. text='Ans: Z H B { h T & kincg 6 0 } -eritysoextremityheadditions.'
  2. -------------( e *-------------------
  3. ('An','DT'),('sincerity','NN'),('so','RB'),('extremity','NN'),('he','PRP'),('additions','VBZ')]

词袋:它是一个将文本转换成某种数字表示的过程。比如独热编码等。

  1. sent1=heisagoodboy
  2. sent2=sheisagoodgirl
  3. |
  4. |
  5. girln S 0 6 h & p Sgoodboy
  6. sent1011
  7. sent2101

现在,让我们回到我们的主题,看看可以帮助您轻松预处理数据的库。

NLTK

毫无疑问,它是自然语言处理最好和使用最多的库之一。NLTK是自然语言工具包的缩写。由Steven Bird 和Edward Loper开发的。它带有许多内置的模块,用于标记化、词元化、_ _ r S 4 B词干化、解析、分块和词性标记。它提供超过50个语料库和词b f 4汇资源。

安装:pip install nltk

让我们使用NLTK对给定的文本执行预处理

  1. importnltk
  2. #nlt= n = l % \ tk.download('punkt')
  3. frT D ^ a : , } s 0omnltk.tokenizeimportword_tokenize
  4. fromnltk.corpusimportstopwords
  5. fromnltk.stemimportPorterStemmer
  6. importre
  7. ps=PorterStemmer()
  8. ts u W 0ext='Hellothere,howareyoudoingtoday?IamLearningPython.'
  9. text=re} 1 & L q 0 @.sub("[^a-zA-Z0-9]","",text)
  10. text=word_tokenize(text)
  11. text_with_no_stopwords=[ps.stem(word)f6 Z A 0 ` aorwordintextifwordnotinstopwords.words('english')]
  12. text="".join(text_with_no_stopwords)
  13. text
  14. -----D d a $ ?------------------------------------------OUTPUT--------% 9 a I @ @----------------------------
  15. 'helloto, 6 V g 1dayIlearnpython'

TextBlob

Textblob是一个简化的文本处理库。它提/ \ H j供了一个简单的API,用于执行常见的NLP任务,如词性标记、情感分析、分类、翻译等。

安装:pip install textblo* – G 4 u 1 T 0 Kb

spacy

这是python中最好用的自然语言处理库之一,它z { q是用cpython编写的。它提供了一些预训练的统计模型,并支持多达49种以上的语言进行标记化。它以卷积神经网络为特征,用T _ & r [ h于标记、解析和命名实体识别。

安装:pip install spacy

  1. importspacy
  2. nlp=spacy.load('en_core_web_sm')
  3. text="IamLearningPythonNowdw L Fays"
  4. text2=nlp(text)
  5. fortokenintext2:
  6. print(token,tokec 0 f : F 2 S un.idx)
  7. ------------------o U z / C u i I------------OUTPUT---Y { A ~----------_ J 1 \----------
  8. I0
  9. am2
  10. Learning5
  11. Pytz s } \ ; Thon14
  12. Nowdays21

Gensim

它是一个Python库,专门用于识别两个文档之间的语义相似性。它使用向量空间建模和主题建模工具包来寻/ 7 0 E /找文档之间的相似之处。它是设计用来处理大型文本语料库的算m \ F / b M法。

安装:pip install gen\ e ksim

CoreNLP

Stanford Co@ ; 8 1reNLP的目标是简化对一段文本应用不同语言工具的过程。这个库运行速度非常快,并且在开发中工作得很好。

安装:pip install stanford-corenlp

上一篇 2021年5月15日 下午10:51
下一篇 2021年5月15日 下午10:51