温馨提示×

python如何对文本进行分词

小亿
213
2024-05-25 16:58:09
栏目: 编程语言
Python开发者专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

在Python中,可以使用nltk(Natural Language Toolkit)或jieba库来对文本进行分词。以下是使用这两个库对文本进行分词的示例代码:

使用nltk库:

import nltk
from nltk.tokenize import word_tokenize

text = "This is a sample text for tokenization."

tokens = word_tokenize(text)
print(tokens)

使用jieba库:

import jieba

text = "这是一个用于分词的示例文本。"

tokens = jieba.cut(text)
print(list(tokens))

以上代码分别使用nltk和jieba库对文本进行分词,并输出分词结果。根据文本的语言和需求,可以选择合适的库进行分词操作。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读:python怎么对文本进行分词

0