在NLTK库中,可以使用自带的分词器来实现文本分词。以下是一个简单的示例代码:
import nltk
from nltk.tokenize import word_tokenize
# 定义文本
text = "Hello, how are you today?"
# 使用NLTK的word_tokenize函数进行分词
tokens = word_tokenize(text)
# 打印分词结果
print(tokens)
运行以上代码,将会输出以下结果:
['Hello', ',', 'how', 'are', 'you', 'today', '?']
在NLTK中还有其他不同类型的分词器,可以根据需要选择合适的分词器来实现文本分词。