梦想橡皮擦:2020年B站知名度越来越高,用户数量越来越多,作为一个爬虫爱好者,爬取一些用户信息过来做测试,美滋滋~ 声明一下,用户在我电脑存储2个小时就删除了,只供学习使用。
定个小目标,先用Python爬个一亿B站用户目录
-
- 写在前面
- 编码时间
-
- sqlite3简单使用
- 多线程爬取B站用户
- 写在后面
- 广宣时间
写在前面
今天这篇博客单纯练习爬虫的点不多,就是requests
抓取数据,顺带增加一个切换IP的操作,对于我们坚持到现在的学习者来说,非常简单,不过本篇博客,顺带着练习使用一下sqlite3
数据存储。
思路的来源依旧是Web爬取不了就爬取移动端网页,B站的个人中心页在手机端打开如下图所示