本篇文章为大家展示了Python中怎么将CSV文件导入MySQL数据库,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
CSV文件导入数据库一般有两种方法:
1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。
2、通过load data方法导入,速度快,适合大数据文件,也是本文的重点。
样本CSV文件如下:
总体工作分为3步:
1、用python连接mysql数据库,可参考如何使用python连接数据库?
2、基于CSV文件表格字段创建表
3、使用load data方法导入CSV文件内容
load data语法简介:
LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES
csv_file_path 指文件绝对路径
table_name 指表名称
FIELDS TERMINATED BY ',' 指以逗号分隔
LINES TERMINATED BY '\\r\\n' 指换行
IGNORE 1 LINES 指跳过第一行,因为第一行是表的字段名
下面给出全部代码:
下面给出全部代码:#导入pymysql方法import pymysql#连接数据库config = {'host':'', 'port':3306, 'user':'evdata', 'passwd':'', 'charset':'utf8mb4', 'local_infile':1 }conn = pymysql.connect(**config)cur = conn.cursor()#load_csv函数,参数分别为csv文件路径,表名称,数据库名称def load_csv(csv_file_path,table_name,database='evdata'): #打开csv文件 file = open(csv_file_path, 'r',encoding='utf-8') #读取csv文件第一行字段名,创建表 reader = file.readline() b = reader.split(',') colum = '' for a in b: colum = colum + a + ' varchar(255),' colum = colum[:-1] #编写sql,create_sql负责创建表,data_sql负责导入数据 create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8' data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name) #使用数据库 cur.execute('use %s' % database) #设置编码格式 cur.execute('SET NAMES utf8;') cur.execute('SET character_set_connection=utf8;') #执行create_sql,创建表 cur.execute(create_sql) #执行data_sql,导入数据 cur.execute(data_sql) conn.commit() #关闭连接 conn.close() cur.close()
出现的问题:
我是用win10系统,代码执行时会出现以下错误
ERROR 1148 (42000): The used command is not allowed with this MySQL version.
原因是不支持命令 load data
解决方法:
需要更改下配置文件
在mysql安装目录中找到my.ini配置文件,复制以下内容到文件中
[mysqld] #服务端配置local-infle = 1 [mysql] #客户端配置local-infile = 1
上述内容就是Python中怎么将CSV文件导入MySQL数据库,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。
亿速云「云数据库 MySQL」免部署即开即用,比自行安装部署数据库高出1倍以上的性能,双节点冗余防止单节点故障,数据自动定期备份随时恢复。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/u/4604431/blog/4476378