本篇博客和上一篇内容呈连续性,注意哦~
scrapydweb模块安装
上篇博客中提及到了一款美化scrapyd
的模块,名字叫做scrapydweb
今天我们就把它配置起来吧
本篇博客内容相对简单,篇幅较少,大家可以快速阅览
scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/master/scrapydweb
安装命令也比较简单
pip install scrapydweb -i https://pypi.douban.com/simple
运行scrapydweb
,运行前注意你的scrapyd
必须处在运行状态
运行效果如图,运行完毕,会在当前目录生成一个scrapydweb_settings_v10.py
文件
1. 配置scrapyd
服务器节点
然后打开文件, 注释一些内容。具体如下
SCRAPYD_SERVERS = [