温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何用R语言和Python爬取知乎美图

发布时间:2021-10-11 17:47:18 来源:亿速云 阅读:130 作者:柒染 栏目:大数据

如何用R语言和Python爬取知乎美图,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

学习Python已有两月有余,是时候检验下学习效果了,之前练习了不少R语言数据爬取,Python的爬虫模块还没有来得及认真入门,乱拼乱凑就匆忙的开始了,今天就尝试着使用R+Python来进行图片爬取,完成一个简单得小爬虫。

目标网址在这里:

https://www.zhihu.com/question/35931586/answer/206258333

如何用R语言和Python爬取知乎美图

R语言版:

library(rvest)

library(downloader)

url<-"https://www.zhihu.com/question/35931586/answer/206258333"

link<- read_html(url)%>% html_nodes("div.RichContent-inner>span")%>%

html_nodes("img")%>%html_attr("data-original")%>%na.omit   

#借助Chrome的审查元素功能,借助其路径copy功能精准定位图片所在节点

如何用R语言和Python爬取知乎美图

link<-link[seq(1,length(link),by=2)]                 #剔除无效网址

Name<-sub("https://pic\\d.zhimg.com/v2-","",link)    #提取图片名称

dir.create("D:/R/Image/zhihu/zhihu0807")             #建立存储文件夹

setwd("D:/R/Image/zhihu/zhihu0807")                  #锁定临时目录

for(i in 1:length(link)){

download(link[i],Name[i], mode = "wb")

}  #下载过程:

-----------

Python:

---------

import requests

from bs4 import BeautifulSoup

import os

import re

import urllib 

目标网址:

url="https://www.zhihu.com/question/35931586/answer/206258333"

header = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36'}

page=requests.get(url,headers=header)   #读取网址

soup=BeautifulSoup(page.text,'lxml')      #解析地址

link_list=soup.select("div[class='RichContent-inner'] span img")[::2]

#使用CSS选择器提取图片 地址所在节点

os.makedirs("D:/Python/Image/zhihu0807")

os.chdir('D:/Python/Image/zhihu0807')

for link in link_list:

    mylink=link.get('data-original')   #使用get方法提取图片地址:

    name=re.findall(r"v2-.*?\.jpg",mylink)[0]   #匹配图片名称

    urllib.request.urlretrieve(mylink,name)    #下载

如何用R语言和Python爬取知乎美图

完整代码:

R语言版:

library(rvest)

library(downloader)

url<-"https://www.zhihu.com/question/35931586/answer/206258333"

link<- read_html(url)%>% html_nodes("div.RichContent-inner>span")%>%html_nodes("img")%>%html_attr("data-original")%>%na.omit   

link<-link[seq(1,length(link),by=2)]                 #剔除无效网址

Name<-sub("https://pic\\d.zhimg.com/v2-","",link)    #提取图片名称

dir.create("D:/R/Image/zhihu/zhihu0807")             #建立存储文件夹

setwd("D:/R/Image/zhihu/zhihu0807")                  #锁定临时目录

for(i in 1:length(link)){

download(link[i],Name[i], mode = "wb")

}  #下载过程:


Python版:

import requests

from bs4 import BeautifulSoup

import os

import re

import urllib 

url="https://www.zhihu.com/question/35931586/answer/206258333"

header = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36'}

page=requests.get(url,headers=header)

soup=BeautifulSoup(page.text,'lxml')

link_list=soup.select("div[class='RichContent-inner'] span img")[::2]

os.makedirs("D:/Python/Image/zhihu0807")

os.chdir('D:/Python/Image/zhihu0807')

for link in link_list:

    mylink=link.get('data-original')

    name=re.findall(r"v2-.*?\.jpg",mylink)[0]

    urllib.request.urlretrieve(mylink,name)

关于如何用R语言和Python爬取知乎美图问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI