这篇文章主要介绍了怎么绕过python反爬虫获取租房信息，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
python爬虫试了一下，但是遇到了反爬虫的阻拦，不过最终还是通过修改代码解决了。接下来我们就一起看看绕过python反爬虫获取租房信息的方法吧。
在有的页面后面会出现一段代码，通过禁用浏览器JavaScript发现每页其实初始界面是一段JS代码，然后跳转至目标页
百度了一下这种反爬虫的绕过措施都是Python加载JS代码，自己感觉比较麻烦就没有实施，但是在查看网页源代码时发现了下面这段代码，其目的应该是检测到移动端跳转至移动端网页
既然使用了Ajax，抓包抓一下浏览时传输的数据就得到了下面的URL
上图黄色画出的就是每次向下浏览加载的页面，通过修改后面的数字可以定位不同的页面，构造URL，那么剩下的就是爬取数据了，下面贴一下简略代码
计算
安全
数据库
网络和加速
企业服务
import requests
from lxml import etree
import xlwt
import time
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
'/70.0.3538.110 Safari/537.36'
}
all_info_list = []
def get_photo(url):
res = requests.get(url, headers=headers)
selector = etree.HTML(res.text)
divs = selector.xpath('//div[@class="list_con"]')
for div in divs:
names = div.xpath('div[2]/h4/text()')[0].strip()
types = div.xpath('div[2]/p[1]/text()[1]')[0]
area = div.xpath('div[2]/p[1]/text()[2]')[0]
direction = div.xpath('div[2]/p[1]/text()[3]')[0]
price = div.xpath('div[2]/div/p/text()')[0]
info_list = [names, types, area, direction, price]
all_info_list.append(info_list)
time.sleep(1)
if __name__=='__main__':
urls = ['https://m.5i5j.com/bj/zufang/index-_%E6%9C%9B%E4%BA%AC/n{}'.format(str(i)) for i in range(1,4)]
for url in urls:
get_photo(url)
xls_header = ['地点', '户型', '面积', '朝向', '价格']
book = xlwt.Workbook(encoding='utf-8')
sheet = book.add_sheet('5i5j')
for h in range(len(xls_header)):
sheet.write(0,h,xls_header[h])
i = 1
for list in all_info_list:
j = 0
for data in list:
sheet.write(i, j, data)
j += 1
i += 1
book.save('5i5j.xls')感谢你能够认真阅读完这篇文章，希望小编分享怎么绕过python反爬虫获取租房信息内容对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，遇到问题就找亿速云，详细的解决方法等着你来学习!
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://www.py.cn/jishu/jichu/21247.html
