这篇文章主要介绍“python清洗文件中数据的方法”,在日常操作中,相信很多人在python清洗文件中数据的方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”python清洗文件中数据的方法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
使用filter
清洗数据同时记录订单号并排序
直接打开日志文件,往另外一个文件中按照要过滤的要求进行过滤
import io; with open('a.txt', 'w') as f: for line in open('c:/201509.txt'): if line.find('更改项目')>0 and line.find('500')>0: f.write(line+"\n"); print("输出完成");
注意.find返回的是字符串在目标的第几位,要和0作比较 另外使用and而不是&&作为"和",使用or而不是||作为"或" w是写,r是读,a是追加
import io; def isData(s): return s.find('更改项目')>0 and s.find('500')>0; with open('a.txt', 'w') as f: list1=list(filter(isData,open('c:/201509.txt'))); for (offset,item) in enumerate(list1): f.write(str(offset)+":"+item);
微软会在在 UTF-8 文件中放置 BOM头(顺便提一下:把带有 BOM 的小端序 UTF-16 称作「Unicode」而又不详细说明,这也是微软的习惯。不含BOM的UTF-8才是标准形式,UTF-8不需要BOM,带BOM的UTF-8文件的开头会有U+FEFF,所以Windows新建的空文件会有3字节的大小。
import codecs with codecs.open('c:/20160907205.log', encoding='utf_8_sig') as f: for line in f: print(line)
注意编码格式是utf_8_sig
对多个文件进行过滤,可以借助其名称的规律,遍历文件之后
import codecs with codecs.open('a.txt','a', encoding='utf_8_sig') as f: for i in range(205,210): f.write(str(i)+"\r\n"); print(str(i)); for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): if line.find('url为')>=0 : print(line); f.write(line+"\r\n"); print("输出完成");
import codecs a=0; List=[]; with codecs.open('a.txt','a', encoding='utf_8_sig') as f: for i in range(205,210): for line in open('c:/20160907'+str(i)+'.log', encoding='utf_8_sig'): if line.find('url为')>=0 : ind=line.find("XFLucky"); if ind>=0: nums=line[ind:ind+22]; print(nums); List.append(nums); a=a+1; print(line); f.write(str(i)+line+"\r\n"); List.sort(); for item in List: print(item); print("输出完成"+str(a));
安装openpyxl
pip install openpyxl
安装之后就可以进行sql建表语句的过滤了,将所有的表名和注释写入我们的excel文件中。
import re import openpyxl data = [] temp = [] wb = openpyxl.load_workbook('data.xlsx') ws2 = wb.create_sheet(index=2, title='addSheet_test') for line in open('wlzcool.sql', encoding='utf-8'): if line.find('CREATE TABLE') >= 0: matchObj1 = re.search('`(.*?)`', line, re.M | re.I) if matchObj1: # print("matchObj.group(1) : ", matchObj1.group(1)) print(matchObj1.group(1)) temp.append(matchObj1.group(1)) if line.find('ROW_FORMAT = Dynamic') >= 0: matchObj2 = re.search('\'(.*?)\'', line, re.M | re.I) if matchObj2: # print("matchObj.group(1) : ", matchObj2.group(1)) print(matchObj2.group(1)) temp.append(matchObj2.group(1)) else: print("no comment") temp.append("no comment") data.append(temp) temp = [] for row in data: ws2.append(row) wb.save('data.xlsx') print("输出完成")
人生苦短,我用 Python,在强大的第三方库帮助下,我们只需很少的代码就可以实现很大数据量的文件的清洗。
到此,关于“python清洗文件中数据的方法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。