python批量抓取的方法

今天小编给大家分享一下python批量抓取的方法的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。

其中用到urllib2模块和正则表达式模块。下面直接上代码：

1 用python批量抓取

2

3 #!/usr/bin/env python

4 #-*- coding: utf-8 -*-

5 #通过urllib(2)模块下载网络内容

6 import urllib,urllib2,gevent

7 #引入正则表达式模块，时间模块

8 import re,time

9 from gevent import monkey

15 monkey.patch_all()

16

17 def geturllist(url):

18 url_list=[]

19 print url

20 s = urllib2.urlopen(url)

21 text = s.read()

22 #正则匹配，匹配其中的图片

23 html = re.search(r'', text, re.S)

24 urls = re.finditer(r'

25 for i in urls:

26 url=i.group(1).strip()+str("jpg")

27 url_list.append(url)

28 return url_list

29

30 def download(down_url):

31 name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)

32 print name

33 urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

34

35 def getpageurl():

36 page_list = []

37 #进行列表页循环

38 for page in range(1,700):

39 url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

40 #把生成的url加入到page_list中

41 page_list.append(url)

42 print page_list

43 return page_list

44 if __name__ == '__main__':

45 jobs = []

46 pageurl = getpageurl()[::-1]

47 #进行图片下载

48 for i in pageurl:

49 for (downurl) in geturllist(i):

50 jobs.append(gevent.spawn(download, downurl))

51 gevent.joinall(jobs)

以上就是"python批量抓取的方法"这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注行业资讯频道。