本文转载自微信公众号「菜J学Python」,作者游世九黎。转载本文请联系菜J学Python公众号。

大家好,我是J哥,本文来自我的好友游世久黎的投稿。

相信很多设计小伙伴有好的灵感,但是没有好的设计素材,今天它来了。摄图网4000张设计素材,取之不尽,如下图所示:

好了,废话/ K 0 U不多说,开始用Python采集。

01需求分析

采集摄图网的素材图片,目标网址–>请求数据–>解析数据1 S X G ! [ w U &–>提取数据–&gt| p o z & 0;保存数据。

02技术栈

首先我们用到的技术包括:urllib,reques? H _ ) dts,bs4等。

03采集流程

1、分析网页结构

打开网址:https://699pic.com} t R/paihang/tupian.html,分析网页结构,我们可以看到首页图片数据杂论,这里我们爬取的是”今日热门”的图片,点击发现更多:来到目标页面,拖动滚轮滑到底部,发i 8 f t 2 P ) \现有40个分页,也就是我们今天要爬取的4000张设计图片:

2、发起请求

接着对列表中的每一条url进行遍历{ G ; n 7 =,然后发起请求:

  1. forurlinurllist:
  2. resp=requests.get(url,headers=s ( + xhd)
  3. html=resp.content.decode('utf-8')

3、数据解析

得到了一r $ @ G z个html对象,爬取页面数据信息后,需要对页面进行解析,这里我使用到的解析库是b+ 2 Rs4(偏爱),当然xpath也是可以的。通过分析页面元素,我们发现每个翻页里面的# 5 * c V 1 # 3图片都有这样的规律:

因此可以通过bs4的select方法抓取所有class=’lazy’的img标签,得到一个列表& b Z X D I +,然后通过测试发现图片的链接存放在img标签的data-original属性里,通过img.attrs[‘data-original’]得到,再与’https:’进行字符串拼接,得到完G + P | 0整图片链接。

  1. fori$ b = y k 6 | +mginimgs:
  2. img_url=img.attrs, H \ P['data-ori. + f ( % C Nginal']
  3. totW & M U P * , Nal_url=b0 S o n ^ t b Iase_http_str+img_url
  4. pK b : ! + L $rint(total_url)
  5. #a 7 U _ fprint('--'*60)
  6. imgurll= 2 ~ist.append(total_url)

4.提取保存数据

最后运用um | H Yrllib中的urlretrive方法,把图片保存到本地。

  1. defwriteData(imgurllist)Z V e 2 Z n ):
  2. forinde} n J f 6 / 7 Ix,urli? N XnenuR J t 4merate(imguv _ j ?rllist):
  3. urllib.request.urlretrieve(url,'image/'+'%s.png'%index)
  4. print('第%s张图片下载完成` 4 j 1 \'%index)

04运行爬虫

运行爬虫代码,效果如下:

图片就下载完成了,不过运用传统方法有点慢,下次试试多线程,提升爬虫效率。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注