写在前面

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。

上篇博客相信你已经可以简单的将分布式爬虫运行起来，你可能会发现分布式爬虫是思想上的一个调整，从代码的写法上并没有过多的改变，但是要知道我们是使用scrapy-redis直接构建的分布式爬虫，相当于是站在了前辈的肩膀上去爬分布式那堵墙，不过作为了解分布式爬虫的第一步“构建”，这个里程碑我们已经实现，接下来我们要把这个里程碑砸的更夯实一些，方便后面的攀爬。

接下来我将用3篇左右的案例，不断的重复分布式爬虫写法，直到无招。

今天找个网站做参考，人人都是产品经理 ，声明下不好意思，学习目的，爬来的数据会及时的删除滴。

构建分布式爬虫

创建一个scrapy爬虫工程

scrapy.exe startproject woshipm

通过上述命令创建一个爬虫工程，注意如果你的scrapy.exe没有配置环境变量，请通过完整的路径定位到scrapy.exe然后在执行命令

创建一个基于CrawlSpider的爬虫文件

D:\python100\venv\Scripts\scrapy.exe genspider -t crawl pm xxx.com

通过上述命令创建爬虫文件的时候，一定要注意进入到爬虫工程中的spider文件夹内部，如果没有，需要拷贝一下生成的pm.py文件，粘贴到spider文件夹内部

上述两个步骤实施完毕，现在的目录结构如下