Skip to main content
 Web开发网 » 编程语言 » Python语言

一台windows电脑可以实现分布式爬虫(python编写)吗?

2021年11月27日6880百度已收录

可以的,分布式本来就是多台电脑共同协作。但是你要是想在一台电脑上模拟分布式也可以。通常分布式都是通过进程之间的socket来交换数据,或者访问一个公共的Queue数据库等。所以你只需要在一台电脑开多个进程,并且使用分布式的策略来编写代码,把他们当成是在不同的机器上运行的进程就好了。对于Python来讲,没多大差别。因为一个Python进程就是一个Python解释器,他们不会共享内存数据等等,必须使用某种方式来交流,也就和分布式没差别了。

评论列表暂无评论
发表评论
微信