温馨提示×

怎么使用NLTK库实现文本分词

小亿
222
2024-05-11 17:24:47
栏目: 编程语言

在NLTK库中,可以使用自带的分词器来实现文本分词。以下是一个简单的示例代码:

import nltk
from nltk.tokenize import word_tokenize

# 定义文本
text = "Hello, how are you today?"

# 使用NLTK的word_tokenize函数进行分词
tokens = word_tokenize(text)

# 打印分词结果
print(tokens)

运行以上代码,将会输出以下结果:

['Hello', ',', 'how', 'are', 'you', 'today', '?']

在NLTK中还有其他不同类型的分词器,可以根据需要选择合适的分词器来实现文本分词。

0