python中urllib库如何使用，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
urllib.request 用于发起网络请求
urllib.parse 用于操作url
urllib.errer 用于处理网络请求错误
urllib.robotparser 用于解析网站robots.txt文件
计算
安全
数据库
网络和加速
企业服务
import urllib.request
import user_agent # 用于生成User-Agent
import re
import lxml.etree as le # 用xpath 匹配数据
import tool
import pandas as pd
keywords = input('keywords>')
page = input('page>')
data_best = []
header = {'User-Agent':user_agent.get_user_agent_pc()}
request = urllib.request.Request( #构造请求头
url='https://search.51job.com/list/170200,000000,0000,00,9,99,{keywords},2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='.format(keywords=keywords,page=page),
headers=header
)
response = urllib.request.urlopen(request)
pattern = 'window.__SEARCH_RESULT__ =(.*?)</script'
search_value = re.findall(pattern,response.read().decode('gbk'))
datas = eval(search_value[0])["engine_search_result"]
for data in datas:
temp_data = {}
temp_data['job_name'] = data['job_name']
temp_data['company_name']=data['company_name']
temp_data['providesalary_text']=data['providesalary_text']
temp_data['workarea_text']=data['workarea_text']
job_href = re.sub('\\\\','',data['job_href'])
sub_request = urllib.request.Request(
url = job_href,
headers={'User-Agent':user_agent.get_user_agent_pc()}
)
sub_response = urllib.request.urlopen(sub_request)
sub_datas = tool.xpath_union(le.HTML(sub_response.read()),'//div[@class="tCompany_main"]/div[@class="tBorderTop_box"][1]//text()',split='\n',default=None)
temp_data['job_zw']=sub_datas
data_best.append(temp_data)
pd.DataFrame(data_best).to_csv('works.csv',encoding='utf8') #保存为csv文件打开链接可以用urllib.request.urlopen()直接打开，也可以用urllib.request.Request()构造更隐蔽的请求，urllib.request.Request() 传入url、data、headers参数，data是bytes类型
urllib.parse.urlencode()方法可以构造url
关于python中urllib库如何使用问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注亿速云行业资讯频道了解更多相关知识。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/weisuomm/blog/4969630
