DDR爱好者之家

Python 3实战爬虫之爬取京东图书的图片详解
站长资源 2024/11/26 佚名
22 1538
DDR爱好者之家 Design By 杰米

前言

最近工作中遇到一个需求，需要将京东上图书的图片下载下来，假如我们想把京东商城图书类的图片类商品图片全部下载到本地，通过手工复制粘贴将是一项非常庞大的工程，此时，可以用Python网络爬虫实现，这类爬虫称为图片爬虫，接下来，我们将实现该爬虫。

实现分析

首先，打开要爬取的第一个网页，这个网页将作为要爬取的起始页面。我们打开京东，选择图书分类，由于图书所有种类的图书有很多，我们选择爬取所有编程语言的图书图片吧，网址为：https://list.jd.com/list.html"text-align: center">Python 3实战爬虫之爬取京东图书的图片详解

进去后，我们会发现总共有251页。

那么我们怎么才能自动爬取第一页以外的其他页面呢？

可以单击“下一页”，观察网址的变化。在单击了下一页之后，发现网址变成了https://list.jd.com/list.html"text-align: center">Python 3实战爬虫之爬取京东图书的图片详解

可以通过商品列表中的第一个商品名为“JAVA从入门到精通”快速定位到源码中的对应位置，然后观察其商品列表部分的特殊标识，可以看到，其上方有处“<div id="plist”代码，然后我们在源码中搜索该代码，发现只有一个地方有，随后打开其他页的对应页面，发现仍然具有这个规律，说明该特殊标识可以作为有效信息的起始过滤位置。当然，你可以使用其他的代码作为特殊标识，但是该特殊标识要满足唯一性，并且要包含要爬取的信息。

那么，有效信息到什么代码位置结束呢？

同样，我们通过在源码中查找该页商品列表中最后一个图书，快速定位到源码位置，进行分析，我们可以找到一个这样的代码作为标识，如图：

Python 3实战爬虫之爬取京东图书的图片详解

所以，如果要进行第一次过滤，我们的正则表达式可以构造为：

<div id="plist".+"page clearfix">

进行了第一次信息过滤后，留下来的图片链接就是我们想爬取的图片了，下一步需要在第一次过滤的基础上，再将图片链接信息过滤出来。

此时，需要观察网页中对应图片的源代码，我们观察到其中两张图片的对应源码：

图片1：

 <img width="200" height="200" data-img="1" src="/UploadFiles/2021-04-08/592bf167Naf49f7f6.jpg">


图片2：







<img width="200" height="200" data-img="1" src="/UploadFiles/2021-04-08/rBEhV1Im1n8IAAAAAAcHltD_3_8AAC0FgC-1WoABweu831.jpg">


对比两张图片代码，发现其基本格式是一样的，只是图片的链接网址不一样，所以此时，我们根据该规律构造出提取图片链接的正则表达式：





<img width="200" height="200" data-img="1" src="/UploadFiles/2021-04-08/(.+">


刚开始到这里，我以为就结束了，后来在爬取的过程中我发现每一页都少爬取了很多图片，再次查看源码发现，每页后面的几十张图片又是另一种格式：





<img width="200" height="200" data-img="1" data-lazy-img="//img10.360buyimg.com/n7/jfs/t3226/230/618950227/110172/7749a8bc/57bb23ebNfe011bfe.jpg">





所以，完整的正则表达式应该是这两种格式的或：





<img width="200" height="200" data-img="1" src="/UploadFiles/2021-04-08/(.+">


到这里，我们根据该正则表达式，就可以提取出一个页面中所有想要爬取的图片链接。


所以，根据上面的分析，我们可以得到该爬虫的编写思路与过程，具体如下：


    
  
  • 建立一个爬取图片的自定义函数，该函数负责爬取一个页面下的我们想爬取的图片，爬取过程为：首先通过urllib.request.utlopen(url).read()读取对应网页的全部源代码，然后根据上面的第一个正则表达式进行第一次信息过滤，过滤完成之后，在第一次过滤结果的基础上，根据上面的第二个正则表达式进行第二次信息过滤，提取出该网页上所有的目标图片的链接，并将这些链接地址存储的一个列表中，随后遍历该列表，分别将对应链接通过urllib.request.urlretrieve(imageurl,filename=imagename)存储到本地，为了避免程序中途异常崩溃，我们可以建立异常处理。
    • 
  
  • 通过for循环将该分类下的所有网页都爬取一遍，链接可以构造为url='https://list.jd.com/list.html"color: #ff0000">完整的代码如下：
    


    

    #!/usr/bin/env python3
# -*- coding: utf-8 -*-

import re
import urllib.request
import urllib.error
import urllib.parse


sum = 0
def craw(url,page):
 html1=urllib.request.urlopen(url).read()
 html1=str(html1)
 pat1=r'<div id="plist".+"page clearfix">'
 result1=re.compile(pat1).findall(html1)
 result1=result1[0]
 pat2=r'<img width="200" height="200" data-img="1" src="/UploadFiles/2021-04-08/(.+">Python 3实战爬虫之爬取京东图书的图片详解
    

    Python 3实战爬虫之爬取京东图书的图片详解
    

    总结
    

    以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。
    

                                

                                

                                     

                                
DDR爱好者之家 Design By 杰米

                            

                        

                        

                            

                                广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）

                                免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
                            

                        

                        

                            
                            
                        

                        
                        
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！

昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。

这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。

而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米