温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何用python进行静态爬虫及地址经纬度转换

发布时间:2021-12-04 17:27:56 来源:亿速云 阅读:283 作者:柒染 栏目:大数据

如何用python进行静态爬虫及地址经纬度转换,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

 下面通过一个小例子,展示了用python进行静态爬虫的方法,并且将爬取下来的城市列表,通过调用百度地图api,返回对应经纬度。



  • requests和bs4

1,requests.get():将网页上的数据全部抓取下来。

2,BeautifulSoup():在调用了requests.get()以后,可以通过调用BeautifulSoup()来对代码进行解析。此时生成一个BeautifulSoup对象,针对这个对象,find_all函数可以帮助查找相应标签,get_text函数可以返回对象中文字内容。

  • 百度地图api申请

调用百度地图api接口,输入地址信息,得到对应经纬度坐标。申请接口AK操作如下:

1,进入百度地图开放平台官网并注册,网站地址:http://lbsyun.baidu.com/

2,点击“申请密钥”,填写个人信息,注册邮箱

3,在控制台中,点击“创建应用”,自定义应用名称,选择合适的“应用类型”,本例中通过浏览器调用,因此选择“浏览器端”。IP白名单中,如不想对IP进行限制,可写0.0.0.0/0

4,提交后,应用列表里,“访问应用(AK)”一栏,就是申请的密钥

  • 代码实例

python2与python3语法上略有不同,本例为python3下运行代码。

1,加载相应模块

如何用python进行静态爬虫及地址经纬度转换

 2,定义爬虫函数

打开我们要爬取的网页,如下图:

如何用python进行静态爬虫及地址经纬度转换

页面上点击右键查看网页源码,发现城市列表都记录在p标签中,因此我们可以通过找到p标签,来获得相应文字位置。

如何用python进行静态爬虫及地址经纬度转换

本例中,我们抓取一、二线城市,爬虫函数代码如下:

如何用python进行静态爬虫及地址经纬度转换

3,定义地址转经纬度函数

首先观察,通过api调用,返回地址经纬度的格式:

如何用python进行静态爬虫及地址经纬度转换

可见,经纬度信息存放在p标签内。接下来,通过对api调用结果内容的爬取,定义地址转换经纬度函数:

如何用python进行静态爬虫及地址经纬度转换

4,定义程序入口

如何用python进行静态爬虫及地址经纬度转换

最终,部分返回结果如下:

如何用python进行静态爬虫及地址经纬度转换

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI