今天给大家分享一个之前完成的爬虫实例，利用Scrapy库和docker爬取股票信息。
这个案例的目标是爬取股票的信息并存放到SQL Server当中。
这应该算是爬虫入门必学的案例了，话不多说，直接上干货。
首先看一下我们今天要用到的库和工具：
from scrapy import Spider, Request
from scrapy_splash import SplashRequest
import scrapy
import re
from getStock.items import GetstockItem
用到的库有：
scrapy 爬虫库
re 用于匹配我们需要的网站信息
scrapy_splash 帮助我们爬取动态网站的信息
(如果不知道什么是动态网站的话，最简单的说法就是不能直接用request库爬取的网站)
需要注意scrapy_splash是要额外安装的
pip install scrapy_splash
用到的工具：
Docker
SQL Server2019
相信大家对sql已经很熟悉了，可能对docker比较陌生。
Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。
它的应用场景主要是：
1、Web 应用的自动化打包和发布。
2、自动化测试和持续集成、发布。
3、在服务型环境中部署和调整数据库或其他的后台应用。
4、从头编译或者扩展现有的 OpenShift 或 Cloud Foundry 平台来搭建自己的 PaaS 环境。
大家可以点击下面的链接去对docker进行更深入的了解和学习。
Docker简易教程
Win10下安装Docker
SqlServer2019安装教程
接下来就进入到我们的代码部分吧
headers = {
'User-Agent': 'User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'
}
#给我们的爬虫加一个伪装的header防止被网站检测到
我们的目标是要首先要去到东方财富网中获取我们所有股票的代码,再去到搜狐股票网中获取对应股票我们需要的信息。
对着我们的代码右键检查，可以跳转到代码这个元素在网站中的位置
我们的目标是提取到圈圈中的股票代码，使用re和css可以很简单的完成这个目标
class StockSpider(scrapy.Spider):
name = 'stock'
start_urls = ['http://quote.eastmoney.com']
def start_requests(self):
url = 'http://quote.eastmoney.com/stock_list.html'
yield SplashRequest(url, self.parse, headers=headers)
def parse(self, response):
for href in response.css('a::attr(href)').extract():
try:
stock = re.findall(r"\d{6}", href)[0]
url = 'http://q.stock.sohu.com/cn/' + stock
yield SplashRequest(url, self.parse1,args={ 'wait':5}, headers=headers )
except:
continue
注意我们这里在parse中返回的URL是搜狐网站的链接加上我们的股票代码所形成的URL，这个url可以帮助我们跳转到每一个股票所在的信息页面。
例如平安银行(000001)的URL链接就是:https://q.stock.sohu.com/cn/000001
那么接下来我们就要取出每一个股票中我们所需要的信息了。在这里博主提取了的是每一个股票的：股票代码,股票名称,现时价格,昨收价格,开盘价格,最高价格,最低价格,总交易额,所属行业,日期,初步建议
同样的我们右键检查跳转到我们需要提取的元素位置
在这里可以找到我们所需要的股票信息，接下来就可以用简单粗暴的xpath进行提取。
def parse1(self, response):
item = GetstockItem()
try:
stockinfo = response.xpath('// *[ @ id = "contentA"] / div[2] / div / div[1]')
item['name'] = stockinfo.xpath('//*[@class="name"]/a/text()').extract()[0]
item['code'] = stockinfo.xpath('//*[@class="code"]/text()').extract()[0].replace('(','').replace(')','')
item['date'] = stockinfo.xpath('//*[@class="date"]/text()').extract()[0]
item['nprice'] = float(stockinfo.xpath('//li[starts-with(@class,"e1 ")]/text()').extract()[0])
item['high'] = float(response.xpath('//*[@id="FT_priceA2"]/tbody/tr[1]/td[5]/span/text()').extract()[0])
item['low'] = float(response.xpath('//*[@id="FT_priceA2"]/tbody/tr[2]/td[5]/span/text()').extract()[0])
item['ed'] = float(response.xpath('//*[@id="FT_priceA2"]/tbody/tr[1]/td[7]/span/text()').extract()[0])
item['op'] = float(response.xpath('//*[@id="FT_priceA2"]/tbody/tr[2]/td[7]/span/text()').extract()[0])
item['volume'] = float(response.xpath('//*[@id="FT_priceA2"]/tbody/tr[2]/td[3]/span/text()').extract()[0].replace('亿',''))
item['hangye'] = response.xpath('//*[@id="FT_sector"] / div / ul / li[1]/a/text()').extract()[0]
suggests = response.xpath('//*[@id="contentA"]/div[2]/div/div[3]/div[2]/div[2]/div[1]/div[2]/table/tbody/tr[1]')
item['suggest'] = suggests.xpath('//td[starts-with(@class,"td1 ")]/span/text()').extract()[0]
except:
pass
yield item
这就是我们爬虫部分所有代码了，看起来是不是很简单。但是scrapy库要完成这个功能，还需要设置它本身包含的配置文件。
Settings.py设置：
ROBOTSTXT_OBEY = False #原本为True
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810
}
#更改DOWNLOADER_MIDDLEWARES中的配置
ITEM_PIPELINES = {
'getStock.pipelines.GetstockPipeline': 300,
}
#这里的ITEM要对应item.py中的item类的名字，否则会报错
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
SPLASH_URL = "http://192.168.5.185:8050/"
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 404, 408]
#SPLASH_URL要改成自己电脑的docker默认地址
item.py设置：
import scrapy
class GetstockItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
name = scrapy.Field()
code = scrapy.Field()
nprice = scrapy.Field()
op = scrapy.Field()
ed = scrapy.Field()
high = scrapy.Field()
low = scrapy.Field()
volume = scrapy.Field()
date = scrapy.Field()
hangye = scrapy.Field()
suggest = scrapy.Field()
#你在网站中要取多少个信息，就要有相应的item，不然信息无法返回给爬虫
最后的配置是pipelines.py。要实现将我们得到的信息存入到数据库中，就要在这里进行配置。大家在自己实现的时候要记得将信息调整为自己的数据库信息。
先在我们的SQL中创建一个用来存放的表
import pyodbc
class GetstockPipeline(object):
def __init__(self):
self.conn = pyodbc.connect("DRIVER={SQL SERVER};SERVER=服务器名;UID=用户名;PWD=密码;DATABASE=数据库名")
self.cursor = self.conn.cursor()
def process_item(self,item,spider):
try:
sql = "INSERT INTO dbo.stock_data(股票代码,股票名称,现时价格,昨收价格,开盘价格,最高价格,最低价格,总交易额,所属行业,日期) VALUES('%s','%s','%.2f','%.2f','%.2f','%.2f','%.2f','%.2f','%s','%s')"
data = (item['code'],item['name'],item['nprice'],item['ed'],item['op'],item['high'],item['low'],item['volume'],item['hangye'],item['date'])
self.cursor.execute(sql % data)
try:
sql = "update dbo.stock_data set 初步建议='%s' where dbo.stock_data.股票代码=%s"
data = (item['suggest'],item['code'])
self.cursor.execute(sql % data)
print('success')
except:
sql = "update dbo.stock_data set 初步建议='该股票暂无初步建议' where dbo.stock_data.股票代码=%s"
data = item['code']
self.cursor.execute(sql % data)
print("该股票暂无初步建议")
self.conn.commit()
print('信息写入成功')
#这里填入初步建议的时候使用了try和expect，因为有的股票没有这个初步建议，爬虫爬取不到会报错
except Exception as ex:
print(ex)
return item
以上就是代码部分的所有内容了，接下来我们只需要运行我们的爬虫就可以了！
scrapy crawl stock
成功地爬取了所有的股票信息，来看看我们是否能在数据库中看到这些信息吧。
所有信息都已经成功的存放到数据库当中了！
以上就是这个案例的所有内容了。主要的难点其实在docker的安装实现当中，博主当时弄了很长一段时间才将docker成功跑起来。大家如果有疑问或者有更好的做法的话可以在评论区提出，博主看到的话会及时回复的。
