今天接到一个新的粉丝诉求,让我爬双色球的历史记录,有点意思,瞬间想到的就是他想用这个数据来预测双色球的结果呢?如果他成功了,那梦想橡皮擦也可以顺带着走上人生的巅峰了。嘿…
写在前面
对于这种需求来说,其实不需要引入太复杂的框架,熟悉爬虫编码流程的大佬们清楚,好多爬虫其实用 requests
就可以搞定了,根本不用上爬虫框架。
爬虫第一步,找数据源,找到可用好用的数据源,解决了 90% 的问题,剩下的抓取与分析就是技术熟练度的问题了,在我的一番查找下,找到了这么一个页面,简单、干净,看到之后就知道今天的午饭有着落了,哈哈哈。
http://kaijiang.zhcw.com/zhcw/html/ssq/list.html
该页面没有数据的接口返回,直接是在页面进行渲染的,并且数据量不大,数据从 2003 年开始到 2020 年结束,合计 130+页面&#