本篇文章给大家分享的是有关怎么在Python中利用Spacy进行分词，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言，其最初的设计是用于编写自动化脚本，随着版本的不断更新和新功能的添加，常用于用于开发独立的项目和大型项目。
1、说明
Spacy语言模型包含一些强大的文本分析功能，如词性标记和命名实体识别。
导入spacy相关模块后，需要加载中文处理包。然后读小说数据，nlp处理天龙八部小说，包括分词、定量、词性标注、语法分析、命名实体识别，用符号/分隔小说。最后，通过is_stop函数判断单词中的单词是否为无效单词，删除无效单词后，将结果写入txt文件。
2、实例
计算
安全
数据库
网络和加速
企业服务
import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
nlp = spacy.load('zh_core_web_sm')
def fenci_stopwords(data,newdata1):
fenci = []
qc_stopwords =[]
article = pd.read_table(data,encoding="utf-8")
start1 = time.time()
with open(newdata1,'w',encoding='utf-8') as f1:
for i in article["天龙八部"]:#分词
doc = nlp(i)
result1 = '/'.join([t.text for t in doc])
fenci.append(result1)
for j in fenci:#去除停用词
words = nlp.vocab[j]
if words.is_stop == False:
qc_stopwords.append(j)
result2 = '/'.join(qc_stopwords)
f1.write(result2)
end1 = time.time()
return end1-start1以上就是怎么在Python中利用Spacy进行分词，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://www.py.cn/jishu/jichu/29680.html
