这篇文章主要介绍“python怎么实现MD5进行文件去重”，在日常操作中，相信很多人在python怎么实现MD5进行文件去重问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”python怎么实现MD5进行文件去重”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
脚本会检查你给出的文件路径下的所有文件，然后计算每个文件的MD5值，并将其加入到一个列表中。
如果某文件的MD5值不在列表中，就认定其是我们需要的文件，脚本会在桌面新建一个名为“去重结果”的文件夹，并将其复制到里面去。
如果某文件的MD5值在列表中，就认定其不是我们需要的文件，不对其做任何处理。
代码可以直接运行，无需做任何修改（除了安装可能缺少的库文件）
计算
安全
数据库
网络和加速
企业服务
import os
import shutil
import hashlib
# 对文件去重
# 计算每个文件的md5值，据此进行去重
def only_one(test_path):
md5_list = []
count = 0
for current_folder, list_folders, files in os.walk(test_path):
for file in files:
file_path = current_folder + '\\' + file # 获取每个文件的路径
f = open(file_path, 'rb') # 开始计算每个文件的md5值
md5obj = hashlib.md5()
md5obj.update(f.read())
get_hash = md5obj.hexdigest()
f.close()
md5_value = str(get_hash).upper()
# 开始去重
if md5_value in md5_list: # 如果这个文件的md5值曾经出现过，就不对它做任何处理
count += 1
print('\033[31m[-] 发现重复文件：\033[0m' + str(file))
else:
md5_list.append(md5_value) # 如果这个文件的md5值不存在列表中，就添加进列表中
shutil.copy(file_path, path2)
print('\033[31m[-] 共发现重复文件：{}个\033[0m'.format(count))
if __name__ == '__main__':
print('\033[4;33m[+] 此脚本会检查指定路径下的所有文件，通过计算文件的MD5值进行去重\033[0m')
print('\033[4;33m[+] 去重后的文件会复制到桌面新文件夹中，源文件不会丢失\033[0m')
path = input('\033[34m[+] 请输入文件夹地址：\033[0m')
os.chdir(path)
# path2 用来存放所有的去重结果
desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop') # 获取桌面路径
path2 = os.path.join(desktop_path, '去重结果')
os.makedirs(path2)
only_one(path)
print('\033[32m[-] 现有非重复文件共计：{}个\033[0m'.format(len(os.listdir(path2))))
到此，关于“python怎么实现MD5进行文件去重”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/u/3888073/blog/4411210
