接前面的博文,前面不好控制抓取的页数,现在可以较好的控制~~看看代码
#coding=utf-8 import urllib,urllib2 import re from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefaultencoding('utf-8') #获取要下载图片的整个页面的信息 def getHtml(url): page=urllib2.urlopen(url) html=page.read() # print html return html #筛选数据并打印到本地 def getImg(html): soup=BeautifulSoup(html,'html.parser') dls=soup.find_all('dl',attrs={'class':'feed_list'}) for index in range(len(dls)): p=dls[index].find_all('p')[0] print p.text f=open("testname.txt","a") for index in range(len(dls)): nicheng=dls[index].find_all('p')[0].text f.write(nicheng) f.write('\r\n') f.close() user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' headers={"User-Agent":user_agent} page=59 length=0 while page<100000: url='http://www.qzone.cc/wangming/day/list_'+str(page)+'.html' print "正在爬取第"+str(page)+"页......." # print "这里呢" request=urllib2.Request(url,headers=headers) html=getHtml(request) # soup=BeautifulSoup(open('nextmingzi.html'),"html.parser") soup=BeautifulSoup(html,"html.parser") li=soup.find_all('li',attrs={'class':'next'})[0] a=li.find_all('a')[0]['href'] print str(a) getImg(html) if(str(a)=='javascript:;'): print "最后一页啦........" break else: page=page+1 continue time.sleep(0.5) f=open('testname.txt','r') lines=f.readlines() print "当前一共"+str(len(lines))+"条昵称" f.close()
就是以前说的,分析一下前面几页的“下一页”和最后一页的“下一页”的href,就可以看到区别了。。。。感觉我这个比较low~~不过也能实现,嘿嘿
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。