这篇文章给大家分享的是有关python爬虫怎么定时获取网页数据的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。
在代码方面，我们用time函数表明想要查取的时间间隔和截止时间就可以了。
计算
安全
数据库
网络和加速
企业服务
#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime
#请求数据
def get_data():
#Headers 里面大小写均可
url = ''
headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
data=requests.get(url,headers=headers)
# print(data.text)
#解析数据
soup=BeautifulSoup(data.text,'html.parser')
print(datetime.now(),soup)
return soup
if __name__ == '__main__':
get_data()
while True:
if datetime.now() < datetime(2018, 9,8, 23, 59, 59): # 查询截止时间为2018-9-8 23:59:59
get_data()
time.sleep(600) # 每隔一个小时查询一次
else:
print("已到截止时间，停止取数。")
break感谢各位的阅读！关于python爬虫怎么定时获取网页数据就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://www.py.cn/jishu/jichu/21258.html
