这篇文章给大家分享的是有关python如何爬取古诗文存入mysql数据库的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
使用正则提取数据，请求库requests,看代码，在存入数据库时，报错ERROR 1054 (42S22): Unknown column ‘title' in ‘field list'。原来是我写sql 有问题，sql = “insert into poem(title,author,content,create_time) values({},{},{},{})”.format(title, author,content,crate_time)应该写成sql = “insert into poem(title,author,content,create_time) values('{}','{}','{}','{}')”.format(title, author,content,crate_time)。
把插入的值放入引号中。
计算
安全
数据库
网络和加速
企业服务
import datetime
import re
import pymysql
import requests
url = "https://www.gushiwen.org/"
headers = {
'User-Agent': "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}
class Spiderpoem(object):
conn = pymysql.Connect(host="localhost", port=3306, user="root", password='mysql', database='poem_data',
charset="utf8")
cs1 = conn.cursor()
def get_requests(self, url, headers=None):
"""发送请求"""
resp = requests.get(url, headers=headers)
if resp.status_code == 200:
# print(resp.request.headers)
return resp.text
return None
def get_parse(self, response):
"""解析网页"""
re_data = {
"title": r'<div\sclass="sons">.*?<b>(.*?)</b>.*?</div>',
"author": r'<p>.*?class="source">.*?<a.*?>(.*?)</a>.*?<a.*?>(.*?)</a>.*?</p>',
"content": r'<div\sclass="contson".*?>(.*?)</div>'
}
titles = self.reg_con(re_data["title"], response)
authors = self.reg_con(re_data["author"], response)
poems_list = self.reg_con(re_data["content"], response)
contents = list()
for item in poems_list:
ite = re.sub(r'<.*?>|\s', "", item)
contents.append(ite.strip())
for value in zip(titles, authors, contents):
title, author, content = value
author = "".join([author[0], '.', author[1]])
poem = {
"title": title,
"author": author,
"content": content
}
yield poem
def reg_con(self, params, response):
"""正则匹配"""
if not response:
return "请求错误"
param = re.compile(params, re.DOTALL) # re.DOTALL 匹配换行等价于re.S
result = re.findall(param, response)
return result
@classmethod
def save_data(cls, poem):
title = poem.get("title")
author = poem.get("author")
content = poem.get("content")
crate_time = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
sql = "insert into poem(title,author,content,create_time) values('{}','{}','{}','{}')".format(title, author,
content,
crate_time)
count = cls.cs1.execute(sql)
print(count)
cls.conn.commit()
def main(self):
resp = self.get_requests(url, headers)
for it in self.get_parse(resp):
self.save_data(it)
self.cs1.close()
self.conn.close()
if __name__ == '__main__':
Spiderpoem().main()感谢各位的阅读！关于“python如何爬取古诗文存入mysql数据库”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
亿速云「云数据库 MySQL」免部署即开即用，比自行安装部署数据库高出1倍以上的性能，双节点冗余防止单节点故障，数据自动定期备份随时恢复。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
