这篇文章主要介绍了python爬虫框架中有哪些模块，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
1、Python标准库——urllib模块
功能：打开URL和http协议之类
实例代码：
计算
安全
数据库
网络和加速
企业服务
#coding:utf-8
import urllib.request
import time
import platform
#清屏函数(无关紧要 可以不写)
def clear():
print(u"内容过多 3秒后清屏")
time.sleep(3)
OS = platform.system()
if (OS == u'Windows'):
os.system('cls')
else:
os.system('clear')
#访问函数
def linkbaidu():
url = ''
try:
response = urllib.request.urlopen(url,timeout=3)
except urllib.URLError:
print(u'网络地址错误')
exit()
with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:
response = urllib.request.urlopen(url,timeout=3)
fp.write(response.read())
print(u'获取url信息，response.geturl()\n:%s'%response.getrul())
print(u'获取返回代码，response.getcode()\n:%s' % response.getcode())
print(u'获取返回信息，response.info()\n:%s' % response.info())
print(u"获取的网页信息经存与baidu.txt")
if __name__ =='main':
linkbaidu()2、Python标准库–logging模块
logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug
3、re模块
正则表达式
4、sys模块
系统相关模块
实际应用：
sys.argv(返回一个列表，包含所有的命令行)
sys.exit(退出程序)
5、Scrapy框架
感谢你能够认真阅读完这篇文章，希望小编分享python爬虫框架中有哪些模块内容对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，遇到问题就找亿速云，详细的解决方法等着你来学习!
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://www.py.cn/jishu/jichu/20713.html
