本博客会记录博主在使用爬虫过程中遇到的问题，不断更新，希望以后再遇到这些问题的时候，可以快速解决。
1、在爬取和讯博客的时候发现阅读数和评论数无法正常读取。通过抓包工具抓取到了阅读数和评论数的URL，但是复制到浏览器上打开发现一片空白。在抓包工具Raw里发现，有一项Refere，后面将此项加到headers信息里，数据可以正常显示出来了。代码如下：
import urllib.request
url='http://click.tool.hexun.com/click.aspx?articleid=116367158&blogid=19050645'
data={
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
"Referer":"http://27783968.blog.hexun.com/116367158_d.html",
}
request=urllib.request.Request(url,headers = data)
data=urllib.request.urlopen(request).read().decode("utf-8","ignore")
print(data)
此次难点在于不熟悉urllib库是如何添加更多的请求信息到heagers里，在以上代码中，data里还可以添加更加多的请求，比如cookie等信息，记录此次代码的目的在于熟悉urllib.request.Reques的用法
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
