温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么用Python编写一个拼写纠错器

发布时间:2022-01-18 15:50:48 来源:亿速云 阅读:195 作者:iii 栏目:编程语言

这篇文章主要介绍“怎么用Python编写一个拼写纠错器”,在日常操作中,相信很多人在怎么用Python编写一个拼写纠错器问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么用Python编写一个拼写纠错器”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

代码如下:

Python

# coding:utf-8

 

import re

from collections import Counter

 

 

def words(text):

    return re.findall(r'\w+', text.lower())

 

# 统计词频

WORDS = Counter(words(open('big.txt').read()))

 

 

def P(word, N=sum(WORDS.values())):

    """词'word'的概率"""

    return float(WORDS[word]) / N

 

 

def correction(word):

    """最有可能的纠正候选词"""

    return max(candidates(word), key=P)

 

 

def candidates(word):

    """生成拼写纠正词的候选集合"""

    return (known([word]) or known(edits1(word)) or known(edits2(word)) or [word])

 

 

def known(words):

    """'words'中出现在WORDS集合的元素子集"""

    return set(w for w in words if w in WORDS)

 

 

def edits1(word):

    """与'word'的编辑距离为1的全部结果"""

    letters    = 'abcdefghijklmnopqrstuvwxyz'

    splits     = [(word[:i], word[i:])     for i in range(len(word) + 1)]

    deletes    = [L + R[1:]                for L, R in splits if R]

    transposes = [L + R[1] + R[0] + R[2:]  for L, R in splits if len(R) > 1]

    replaces   = [L + c + R[1:]            for L, R in splits for c in letters]

    inserts    = [L + c + R                for L, R in splits for c in letters]

    return set(deletes + transposes + replaces + inserts)

 

 

def edits2(word):

    """与'word'的编辑距离为2的全部结果"""

    return (e2 for e1 in edits1(word) for e2 in edits1(e1))

函数correction(word)返回一个最有可能的纠错还原单词:

Python

>>>correction('speling')

'spelling'

>>>correction('korrectud')

'corrected'

它是如何工作的:Python部分

该程序的4个部分:
1.选择机制:在Python中,带key的max()函数即可实现argmax的功能。
2.候选模型:先介绍一个新概念:对一个单词的简单编辑是指:删除(移除一个字母)、置换(单词内两字母互换)、替换(单词内一个字母改变)、插入(增加一个字母)。函数edits1(word)返回一个单词的所有简单编辑(译者:称其编辑距离为1)的集合,不考虑编辑后是否是合法单词:

Python

def edits1(word):

    """与'word'的编辑距离为1的全部结果"""

    letters    = 'abcdefghijklmnopqrstuvwxyz'

    splits     = [(word[:i], word[i:])     for i in range(len(word) + 1)]

    deletes    = [L + R[1:]                for L, R in splits if R]

    transposes = [L + R[1] + R[0] + R[2:]  for L, R in splits if len(R) > 1]

    replaces   = [L + c + R[1:]            for L, R in splits for c in letters]

    inserts    = [L + c + R                for L, R in splits for c in letters]

    return set(deletes + transposes + replaces + inserts)

这个集合可能非常大。一个长度为n的单词,有n个删除编辑,n?1个置换编辑,26n个替换编辑,26(n+1)的插入编辑,总共54n+25个简单编辑(其中存在重复)。例如:

Python

>>>len(edits1('something'))

442

然而,如果我们限制单词为已知(known,译者:即存在于WORDS字典中的单词),那么这个单词集合将显著缩小:

Python

def known(words):

    """'words'中出现在WORDS集合的元素子集"""

    return set(w for w in words if w in WORDS)

 

>>>known(edits1('something'))

['something', 'soothing']

我们也需要考虑经过二次编辑得到的单词(译者:“二次编辑”即编辑距离为2,此处作者巧妙运用递归思想,将函数edits1返回集合里的每个元素再次经过edits1处理即可得到),这个集合更大,但仍然只有很少一部分是已知单词:

Python

def edits2(word):

    """与'word'的编辑距离为2的全部结果"""

    return (e2 for e1 in edits1(word) for e2 in edits1(e1))

 

>>> len(set(edits2('something'))

90902

 

>>> known(edits2('something'))

{'seething', 'smoothing', 'something', 'soothing'}

 

>>> known(edits2('somthing'))

{'loathing', 'nothing', 'scathing', 'seething', 'smoothing', 'something', 'soothing', 'sorting'}

我们称edits2(w)结果中的每个单词与w的距离为2。

3.语言模型:我们通过统计一个百万级词条的文本big.txt中各单词出现的频率来估计P(w),它的数据来源于古腾堡项目中公共领域的书摘,以及维基词典中频率最高的词汇,还有英国国家语料库,函数words(text)将文本分割为词组,并统计每个词出现的频率保存在变量WORDS中,P基于该统计评估每个词的概率:

Python

def words(text):

    return re.findall(r'\w+', text.lower())

 

 

# 统计词频

WORDS = Counter(words(open('big.txt').read()))

 

 

def P(word, N=sum(WORDS.values())):

    """词'word'的概率"""

    return float(WORDS[word]) / N

可以看到,去重后有32,192个单词,它们一共出现1,115,504次,”the”是出现频率最高的单词,共出现79,808次(约占7%),其他词概率低一些。

Python

>>> len(WORDS)

32192

 

>>> sum(WORDS.values())

1115504

 

>>> WORDS.most_common(10)

[('the', 79808),

('of', 40024),

('and', 38311),

('to', 28765),

('in', 22020),

('a', 21124),

('that', 12512),

('he', 12401),

('was', 11410),

('it', 10681),

('his', 10034),

('is', 9773),

('with', 9739),

('as', 8064),

('i', 7679),

('had', 7383),

('for', 6938),

('at', 6789),

('by', 6735),

('on', 6639)]

 

>>> max(WORDS, key=P)

'the'

 

>>> P('the')

0.07154434228832886

 

>>> P('outrivaled')

8.9645577245801e-07

 

>>> P('unmentioned')

0.0

4.错误模型:2007年坐在机舱内写这个程序时,我没有拼写错误的相关数据,也没有网络连接(我知道这在今天可能难以想象)。没有数据就不能构建拼写错误模型,因此我采用了一个捷径,定义了这么一个简单的、有缺陷的模型:认定对所有已知词距离为1的编辑必定比距离为2的编辑概率更高,且概率一定低于距离为0的单词(即原单词)。因此函数candidates(word)的优先级如下:
1. 原始单词(如果已知),否则到2。
2. 所有距离为1的单词,如果为空到3。
3. 所有距离为2的单词,如果为空到4。
4. 原始单词,即使它不是已知单词。

到此,关于“怎么用Python编写一个拼写纠错器”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI