DDR爱好者之家

快速一键生成Python爬虫请求头
站长资源 2024/12/28 佚名
3 1538
DDR爱好者之家 Design By 杰米

今天介绍个神奇的网站！堪称爬虫偷懒的神器！

我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头( headers )，以 mdn 学习区为例，我们的请求头是这样的：

快速一键生成Python爬虫请求头

一般来说，我们只要添加 user-agent 就能满足绝大部分需求了，Python 代码如下：

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些请求，我们要把特定的 headers 参数添加上才能获得正确的网络响应，不知道哪个参数是必要的情况下，就要先把所有参数都添加上，再逐个排除。

但是手动复制粘贴 headers 字典里的每一个键值对太费事了

一个不那么方便的解决方案：

用正则表达式或者直接字符串替换，把 headers 字符串直接转化为字典，封装成函数方便以后反复调用。

有的人喜欢用这种方法，每次复制headers信息，然后调用自己封装好的函数，但我觉得还是挺麻烦的。

那么还有没有快速一键生成 Python 爬虫请求头的方法呢？
这里给大家介绍两个：

  • 网站在线转换
  • Postman

实战演练

抓取网站：https://developer.mozilla.org...

网站在线转换

1，Chrome 打开开发者选项（ f12 ）---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

快速一键生成Python爬虫请求头

2，右键，copy ---> copy as cURL (bash)，注意不是【copy as cURL (cmd)】

快速一键生成Python爬虫请求头

3，打开网站，https://curl.trillworks.com/，粘贴 cURL (bash) 到左边 curl command，右边会自动出 Python 代码

快速一键生成Python爬虫请求头

4，生成代码如下图

快速一键生成Python爬虫请求头

5，print ( response.text ) 就可以直接打印网页源代码啦！

Postman

1，下载 postman ( Chrome 也有个 postman 的插件，操作应该差不多)

2，打开 postman，弹出的界面可以直接关掉

快速一键生成Python爬虫请求头

3，import --> paste raw text，在 Chrome 里复制 curl (bash)，粘贴到下面的对话框里，点击 import 按钮

快速一键生成Python爬虫请求头

4，点击 send，模拟网络请求，下方可查看源代码

快速一键生成Python爬虫请求头

5，确保源代码正常后，点击 code

快速一键生成Python爬虫请求头

6，左上角可以选择编程语言，右上角复制到剪贴板

快速一键生成Python爬虫请求头

大功告成！

其实我本人平时都是用第一种，网站比较稳定，基本没出现过异常；有了这个神器就不用自己再构造请求头了，先一键生成，然后再根据需求调一调就好了，几秒钟就搞定了。

以上就是快速一键生成Python爬虫请求头的详细内容，更多关于快速一键生成Python爬虫请求头的资料请关注其它相关文章！

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。

据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米