温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python怎么使用Spacy进行分词

发布时间:2022-05-12 11:14:36 来源:亿速云 阅读:361 作者:iii 栏目:编程语言

这篇文章主要介绍“Python怎么使用Spacy进行分词”,在日常操作中,相信很多人在Python怎么使用Spacy进行分词问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python怎么使用Spacy进行分词”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

说明

1、Spacy语言模型包含一些强大的文本分析功能,如词性标记和命名实体识别。

2、导入spacy相关模块后,需要加载中文处理包。然后读小说数据,nlp处理天龙八部小说,包括分词、定量、词性标注、语法分析、命名实体识别,用符号/分隔小说。最后,通过is_stop函数判断单词中的单词是否为无效单词,删除无效单词后,将结果写入txt文件。

实例

import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
 
nlp = spacy.load('zh_core_web_sm')
 
def fenci_stopwords(data,newdata1):
    fenci = []
    qc_stopwords =[]
 
    article = pd.read_table(data,encoding="utf-8")
    start1 = time.time()
    with open(newdata1,'w',encoding='utf-8') as f1:
        for i in article["天龙八部"]:#分词
            doc = nlp(i)
            result1 = '/'.join([t.text for t in doc])
            fenci.append(result1)
 
  for j in fenci:#去除停用词   
            words = nlp.vocab[j]    
            if words.is_stop == False:        
                qc_stopwords.append(j)
                result2 = '/'.join(qc_stopwords)
                f1.write(result2)
    end1 = time.time()
    return end1-start1

到此,关于“Python怎么使用Spacy进行分词”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI