Python中如何遍历特定目录下的文件提取指定信息

这篇文章给大家分享的是有关Python中如何遍历特定目录下的文件提取指定信息的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

需求

需要遍历某目录下的文件（文本/csv，里面包含带有http/https协议的url）提取其中所包含的域名并去重输出

代码

#coding:utf-8
#author: Duckweeds7
import re
import os
import csv
import codecs
import urllib

def splitSign(str1): # 去掉多余符号且提取域名部分 可进行自行修改适应需求
    str2 = str1.replace(',','')
    proto, rest = urllib.splittype(str2) # 这里用到了urllib库中方法，详情可自行搜索
    res, rest = urllib.splithost(rest)
    return res

def text_save(filename, data):#filename为写入CSV文件的路径，data为要写入数据列表.
    file = open(filename,'a') # a为追加 w为覆盖
    for i in range(len(data)):
        s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按数据不同，可以选择
        s = s.replace("'",'').replace(',','') +'\n'   #去除单引号，逗号，每行末尾追加换行符
        file.write(s)
    file.close()
    print("Complete")

def walkFile(file):
    regex = re.compile('[a-zA-z]+://[^\s]*')
    all_urls = []
    for root, dirs, files in os.walk(file):
        # root 表示当前正在访问的文件夹路径
        # dirs 表示该文件夹下的子目录名list
        # files 表示该文件夹下的文件list
        # 遍历目录下的文件
        for f in files:
            f_obj = open(os.path.join(root, f)) # 由于files是文件名需要与os.path拼接为绝对路径
            get_urls = regex.findall(f_obj.read()) # 正则提取其中的url
            all_urls.extend(map(splitSign, get_urls)) # map函数对get_urls中的每一项进行splitSign函数处理
    set_urls = set(all_urls) # set集合去重处理
    text_save('E:\\test\\test.csv',list(set_urls)) # 输出的文件名 需要是绝对路径

if __name__ == '__main__':
    walkFile('E:\\test') # 输入需要处理的文件夹路径

感谢各位的阅读！关于“Python中如何遍历特定目录下的文件提取指定信息”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！