设为首页收藏本站
开启辅助访问

在路上

 找回密码
 立即注册
在路上 › 站点首页 ›学习 › 查看内容

爬取某图片网站多页图片的python爬虫

2016-12-20 13:14| 发布者: zhangjf| 查看: 450| 评论: 0

摘要: 爬取某图片网站多页图片的python爬虫 # coding=utf-8import requestsimport refrom lxml import etreeimport timeimport sysreload(sys)sys.setdefaultencoding(utf-8)#定义一个爬虫class spider ...
爬取某图片网站多页图片的python爬虫
  1. # coding=utf-8
  2. import requests
  3. import re
  4. from lxml import etree
  5. import time
  6. import sys
  7. reload(sys)
  8. sys.setdefaultencoding("utf-8")
  10. #定义一个爬虫
  11. class spider(object):
  12. def __init__(self):
  13. print u'开始爬取内容。。。'
  15. #getsource用来获取网页源代码
  16. def getsource(self,url):
  17. html = requests.get(url)
  18. return html.text
  20. #changepage用来生产不同页数的链接
  21. def changepage(self,url,total_page):
  22. now_page = int(re.search('index_(d+)',url,re.S).group(1)) #可修改
  23. page_group = []
  24. for i in range(now_page,total_page+1):
  25. link = re.sub('index_d+','index_%s'%i,url,re.S) #可修改
  26. page_group.append(link)
  27. return page_group
  29. #getpic用来爬取一个网页图片
  30. def getpic(self,source):
  31. selector = etree.HTML(source)
  32. pic_url = selector.xpath('//ul[@class="ali"]/li/div/a/img/@src') #可修改
  33. return pic_url
  35. #savepic用来保存结果到pic文件夹中
  36. def savepic(self,pic_url):
  37. picname=re.findall('(d+)',link,re.S) #可修改
  38. picnamestr = ''.join(picname)
  39. i=0
  40. for each in pic_url:
  41. print 'now downloading:' + each
  42. pic = requests.get(each)
  43. fp = open('pic\'+picnamestr +'-'+str(i)+ '.jpg', 'wb')
  44. fp.write(pic.content)
  45. fp.close()
  46. i += 1
  48. #ppic集合类的方法
  49. def ppic(self, link):
  50. print u'正在处理页面：' + link
  51. html = picspider.getsource(link)
  52. pic_url = picspider.getpic(html)
  53. picspider.savepic(pic_url)
  55. time1=time.time()
  56. if __name__ == '__main__':
  57. url = 'http://www.ivsky.com/tupian/ziranfengguang/index_1.html' #可修改
  58. picspider = spider()
  59. all_links = picspider.changepage(url,3) #可修改
  60. for link in all_links:
  61. picspider.ppic(link)
  62. time2=time.time()
  63. print u'耗时:'+str(time2-time1)
复制代码
  1. # coding=utf-8
  2. import requests
  3. import re
  4. from lxml import etree
  5. import time
  6. import sys
  7. reload(sys)
  8. sys.setdefaultencoding("utf-8")
  10. #定义一个爬虫
  11. class spider(object):
  12. def __init__(self):
  13. print u'开始爬取内容。。。'
  15. #getsource用来获取网页源代码
  16. def getsource(self,url):
  17. html = requests.get(url)
  18. return html.text
  20. #changepage用来生产不同页数的链接
  21. def changepage(self,url,total_page):
  22. now_page = int(re.search('index_(d+)',url,re.S).group(1)) #可修改
  23. page_group = []
  24. for i in range(now_page,total_page+1):
  25. link = re.sub('index_d+','index_%s'%i,url,re.S) #可修改
  26. page_group.append(link)
  27. return page_group
  29. #getpic用来爬取一个网页图片
  30. def getpic(self,source):
  31. selector = etree.HTML(source)
  32. pic_url = selector.xpath('//ul[@class="ali"]/li/div/a/img/@src') #可修改
  33. return pic_url
  35. #savepic用来保存结果到pic文件夹中
  36. def savepic(self,pic_url):
  37. picname=re.findall('(d+)',link,re.S) #可修改
  38. picnamestr = ''.join(picname)
  39. i=0
  40. for each in pic_url:
  41. print 'now downloading:' + each
  42. pic = requests.get(each)
  43. fp = open('pic\'+picnamestr +'-'+str(i)+ '.jpg', 'wb')
  44. fp.write(pic.content)
  45. fp.close()
  46. i += 1
  48. #ppic集合类的方法
  49. def ppic(self, link):
  50. print u'正在处理页面：' + link
  51. html = picspider.getsource(link)
  52. pic_url = picspider.getpic(html)
  53. picspider.savepic(pic_url)
  55. time1=time.time()
  56. if __name__ == '__main__':
  57. url = 'http://www.ivsky.com/tupian/ziranfengguang/index_1.html' #可修改
  58. picspider = spider()
  59. all_links = picspider.changepage(url,3) #可修改
  60. for link in all_links:
  61. picspider.ppic(link)
  62. time2=time.time()
  63. print u'耗时:'+str(time2-time1)
复制代码
收藏 邀请
上一篇：HTML5 File API +JavaSevlet 实现文件上传实时更新进度下一篇：斐波那契数列

最新评论

相关分类

小黑屋|在路上 ( 蜀ICP备15035742号-1 )  

;

GMT+8, 2025-7-8 03:06

Copyright 2015-2025 djqfx

返回顶部