这篇文章主要讲解了“Python如何实现模拟锟斤拷等各类乱码”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python如何实现模拟锟斤拷等各类乱码”吧!
说到乱码问题就不得不提到锟斤拷,这算是非常常见的一种乱码形式,那么它到底是经过何种错误操作产生的呢?下面我们一步步探究。
看一个基本示例:
"��".encode("u8").decode("gbk")
'锟斤拷'
我们将�字符以UTF-8编码后,以GBK编码解码就可以得到 锟斤拷 的乱码。
那么为什么 锟斤拷 为什么如此常见呢?这是因为大部分编程语言在使用UNICODE系列的编码去解码时,会将不识别的字节编码为0xFFFD(65533)即�字符表示未知字符进行占位:
"\uFFFD"
'�'
注意:UNICODE系列包括UTF-8、UTF-16、UTF-32编码,一般UNICODE编码指UTF-16编码。在python中unicode_escape编码表示UNICODE编码的的转义形式:
"\uFFFD".encode("unicode_escape").decode()
'\\ufffd'
对于Python,默认情况下解码碰到未知字符时会直接抛出异常,但是如果设置errors参数为replace时,则会将未知字符解码为�占位。
将汉字用GBK编码:
"小小明".encode("gbk")
b'\xd0\xa1\xd0\xa1\xc3\xf7'
将上述编码结果用UTF-8编码解码,并设置为替换模式:
"小小明".encode("gbk").decode("u8", "replace")
'СС��'
0xd0a1被解码成С,但是0xc3和0xf7无法被UTF-8编码识别,只能用占位符�替换,于是就得到了上面的结果。
此时我们再编码并解码:
"小小明".encode("gbk").decode("u8", "replace") \ .encode("u8").decode("gbk", "replace")
'小小锟斤拷'
这是因为�被编码成了0xEFBFBD
"��".encode("u8")
b'\xef\xbf\xbd\xef\xbf\xbd'
而0xEFBFBDEFBFBD被GBK解码时,正好就是锟(0xEFBF),斤(0xBDEF),拷(0xBFBD)。
上述以�为主的乱码字符就是口字码,原因是以UTF-8编码读取了GBK编码的中文。
而锟拷体则是大部分都是锟斤拷的全中文字符,原因是用GBK编码读取了UTF-8编码的口字码中文。
问句码产生的核心原因在于GBK对于无法编码的字符会使用?填充:
"�????".encode("gbk", "replace")
b'??'
古文码则与前面的口字码产生原因相反,使用GBK编码读取以UTF-8编码的中文:
"小小明".encode("u8").decode("gbk", "replace")
'灏忓皬鏄�'
此时的 灏忓皬鏄 就非常像古文,gbk解码对于不识别的字节也使用�占位。
此时gbk编码对于�编码失败,使用?替代:
'灏忓皬鏄�'.encode("gbk", "replace")
b'\xe5\xb0\x8f\xe5\xb0\x8f\xe6\x98?'
此时再用UTF-8解码就得到了问句码:
b'\xe5\xb0\x8f\xe5\xb0\x8f\xe6\x98?'.decode("u8", "ignore")
'小小?'
不过问句码只在原始字符串为奇数时产生,如果原始字符串长度为偶数,使用上述编码方式则可以原样还原字符串:
"小小明月".encode("u8").decode("gbk", "replace") \ .encode("gbk", "replace").decode("u8", "ignore")
'小小明月'
这样说明只要我们将原始汉字字符串填充到偶数,就可以使用古文码实现可逆的数据传输,而锟拷体则是一种不可逆的乱码。
还有两种可逆的乱码,我们先看看符号码:
"小小明".encode("u8").decode("iso8859-1")
'å°\x8få°\x8fæ\x98\x8e'
像这种大部分字符为各种符号的乱码就称为符号码,符号码可以直接还原为原始的文本:
'å°\x8få°\x8fæ\x98\x8e'.encode("iso8859-1").decode("u8")
'小小明'
再看看拼音码:
"小小明".encode("gbk").decode("iso8859-1")
'ССÃ÷'
这种大部分字符都是带有声调的字母称为拼音码,同样可以直接还原:
'ССÃ÷'.encode("iso8859-1").decode("gbk")
'小小明'
感谢各位的阅读,以上就是“Python如何实现模拟锟斤拷等各类乱码”的内容了,经过本文的学习后,相信大家对Python如何实现模拟锟斤拷等各类乱码这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。