DDR爱好者之家

python分布式爬虫中消息队列知识点详解
站长资源 2024/11/24 佚名
72 1538
DDR爱好者之家 Design By 杰米

当排队等待人数过多的时候，我们需要设置一个等待区防止秩序混乱，同时再有新来的想要排队也可以呆在这个地方。那么在python分布式爬虫中，消息队列就相当于这样的一个区域，爬虫要进入这个区域找寻自己想要的资源，当然这个是一定的次序的，不然数据获取就会出现重复。就下来我们就python分布式爬虫中的消息队列进行详细解释，小伙伴们可以进一步了解一下。

实现分布式爬取的关键是消息队列，这个问题以消费端为视角更容易理解。你的爬虫程序部署到很多台机器上，那么他们怎么知道自己要爬什么呢？总要有一个地方存储了他们需要爬取的url吧，这样他们才能工作。

假设有1万个url需要爬取，而你有100个爬虫程序部署在10台机器上，每台10个爬虫程序在运行，一个url被分给爬虫程序后，其他爬虫不能再获得这个url，不然，就重复爬取了，理解吧，分布式爬虫的关键是怎么把任务分给这些爬虫。

有些促销活动的现场会进行抽奖活动，工作人员捧着一个透明的箱子，参与活动的人从箱子的小口处把手伸进去随机拿出一张折叠的纸条，这种模式与消息队列十分相似。消息队列就好比这个抽奖的箱子，消费端的爬虫程序就好比参与活动的顾客，爬虫从消息队列里拿出一个url任务，然后进行爬取，不同于抽奖活动时一个人只能拿一次，分布式爬虫允许爬虫在结束一个爬虫任务后继续从消息队列里获取任务。

使用redis的队列做消息队列

如果你只是简单的写一个分布式爬虫，那么使用redis的队列就可以了，它完全可以作为消息队列来使用，下面的代码是生产端的代码示例

import redis
r = redis.Redis(host='127.0.0.1', port=6379,
        password='yourpassword', db=1)
# 生产10个url任务
for i in range(10):
  r.lpush('url_queue', i)

相信看完以上的代码示例后，小伙伴们已经学会用redis创造一个消息队列，用来方便爬虫的获取数据。本篇是以生产段的角度写的代码

DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米