爬虫实战01--小说
- 01、运行环境
- 02、开始爬虫
- 02-1、分析要点
- 02-1-1、页面之间处理：
- 02-1-2、页面内内容提取
- 02-2、开始页面处理
- 02-2-1、文章目录链接地址：
- 02-2-2、第一个页面链接地址：
- 02-2-3、第2-5个页面链接地址：
- 02-2-4、最后一个页面链接地址：
- 02-2-5、分析结果
- 02-2-6、获取全部页面的code
- 02-3、页面内处理
- 02-3-1、页面分析1
- 02-3-2、文章标题分析：
- 02-3-3、获取标题代码实现：
- 02-3-4、获取内容分析：
- 02-3-5、内容获取代码描述
- 03、其他内容分析：
- 03-1、headers请求头
- 03-2、param代理池
- 使用原因：
- 解决方案
- 03-3、其他
- 04、完整代码
- 05、结语：
01、运行环境
# 操作系统：win10 专业版
pycharm professional 2019.1
python 3.8
beautifulsoup4 == 4.9.0
requests == 2.23.0
random # 内置的
02、开始爬虫
02-1、分析要点
对于其他就两个点，就是首先获取页面，进而获取页面内的内容
02-1-1、页面之间处理：
- 找到爬虫的第一个页面
- 找到前面一个页面和后面一个页面的规律是什么，或者，怎么从跳转到下一个页面
- 找到最后一个页面的
总的来说就是：确定开始条件和结束条件，找到跳转到下一个页面的规律！(有始有终有过程)
02-1-2、页面内内容提取
- 找到数据内容所在，(标题，内容。。。)(重点找到内容的共同之处，方便提取)
- 提取所在标签，进而提取文字
- 保存提取的数据
02-2、开始页面处理
02-2-1、文章目录链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/xiaoshuo.html
这一个地址是我们要去爬取的小说的目录页面地址，这一个页面有全部我们要爬取的页面的链接地址，方便我们难道第一个页面和最后一个页面，以及页面之间的地址规律。
02-2-2、第一个页面链接地址：
# 第一个页面链接地址
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html
02-2-3、第2-5个页面链接地址：
# 第二个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17483.html
# 第三个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17484.html
# 第四个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17485.html
# 第五个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17486.html
02-2-4、最后一个页面链接地址：
# 最后一个页面链接地址：
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html
02-2-5、分析结果
从上面的链接地址，我们可以看出来，这一个小说的全部网页地址是从
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17482.html 到
http://www.quanben5.com/n/chuimianbuhanyangliufeng/17649.html结束的，我们可以对比一哈，就是前面的
http://www.quanben5.com/n/chuimianbuhanyangliufeng/*****.html都是一样的，只有最后的五个数值是不一样的，而且页面与页面之间是 +1 的变化规律，所以这样的话我们就知道了全部页面的规律和开始，结束的条件。
02-2-6、获取全部页面的code
urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17644,17650)]
这一个列表推导式就把全部的页面保存在了urllist的列表里面了。
02-3、页面内处理
02-3-1、页面分析1
打开一篇文章，右键检查！
知道文章的内容所在标签，点击代码取余左上角的，那个小箭头，然后在网页内，选择自己想要看的内容所在区域，找到之后，进而分析
02-3-2、文章标题分析：
经过分析，标题是页面内唯一一个<h1></h1>标签，而且class='title'我们通过标题的这两个特点获取到标题，进而获取到标题的内容。(获取标题，是内容需要，也可以作为保存文件的文件名)
02-3-3、获取标题代码实现：
response = requests.get(url=pageurl,headers=headers,params=params)
reshtml = response.content.decode()
soup = BeautifulSoup(reshtml,'lxml')
# 获取页面的标题所在标签，用到了***层级选择器****
titlelist = soup.select('.content h1')
# 获取标签里面的标题内容，因为标签是保存的一个列表里面，要先取出来，
# 然后用`.get_text()`获取到其中的内容
title_text = titlelist[0].get_text()
# 替换到标题里面的一些特殊符号，后面保存为文件名的时候，不允许，
# 这一个是后面代码运行之中出的错误，后面加上的。
title_text =title_text.replace('*','')
02-3-4、获取内容分析：
通过分析，（看图），发现了以下一些点：
1、小说的全部内容都在
p标签里面
2、这一个内容的p标签在id=''content'的div标签里面。
基于以上两点，我们就可以唯一确定的获取到全部的内容的p标签,进而获取里面的内容。
02-3-5、内容获取代码描述
response = requests.get(url=pageurl,headers=headers,params=params)
reshtml = response.content.decode()
soup = BeautifulSoup(reshtml,'lxml')
# 获取到全部存在内容的标签，返回的是一个列表
# 用到了***层级选择器***
restextlist = soup.select('#content p')
# 用for循环可以取出全部的标签，然后用.get_text()取出全部内容。
for article_text in restextlist:
article_text.get_text()
03、其他内容分析：
03-1、headers请求头
在网页里面，
右键检查
-----> 点击上面的Network
-----> 勾选Preserve Log
-----> 然后刷新网页
-----> 找到Name里面刷新出来的一个信息(大概率是的)（就是这一个网页，找到就ok了），
-----> 点击右边的headers头信息
-----> 翻到最下面的Request Headers请求头信息
-----> 找到里面的User-Agent信息，然后复制粘贴到代码里面。这里存放着很多信息，不携带的话，大概率会请求不到网页。
03-2、param代理池
使用原因：
同一个ip地址，快速，频繁的请求一个网站，会被网站认为是恶意请求，爬虫等等异常情况，然后就会被ip封禁等等的限制。让你爬取不到信息。
解决方案
使用代理池，（这一个是正向代理。反向代理使用Nginx可以自己去了解一哈。前者是对浏览器的代理，后者是对服务器的代理。）然后从代理池里面随机选择一个ip去访问，每次的请求ip都不一样，这样的话，对方就不可检测异常。
快代理https://www.kuaidaili.com/free/
这一个网站包含大量免费的高秘代理，可以使用，对方无法察觉追踪到ip！
03-3、其他
如果以上还是无法请求到页面，那你就继续把Resquest Headers请求头里面的信息，尽量携带。让对方以为你是浏览器。
04、完整代码
import requests
from bs4 import BeautifulSoup
import random
# 全部网页列表，后面进行循环取出页面，然后处理
urllist = ['http://www.quanben5.com/n/chuimianbuhanyangliufeng/{}.html'.format(page) for page in range(17482,17650)]
# 请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36"
}
# 正向代理，代理池。
# 如果一个ip地址，快速，一直请求的话，会被网页认为是爬虫，然后把你的ip地址封禁了。。所以用正向代理。。然后在下面用random模块，随机取出一个ip地址进行请求！
paramslist = ['121.232.199.237:9000','125.108.67.254:9000','123.163.118.102:9999',
'125.108.67.254:9000','171.35.172.151:9999','123.101.231.234:9999',
'125.108.67.254:9000','123.163.118.102:9999','171.35.172.151:9999',
'123.101.231.234:9999','113.195.16.16:9999','175.44.109.145:9999',
'125.108.85.141:9000','175.43.32.21:9999','183.166.103.22:9999',
'125.110.96.80:9000','123.160.69.100:9999','112.111.217.69:9999',
'1.199.30.133:9999','123.55.102.150:9999','120.83.104.196:9999',
'180.118.128.138:9000','163.204.95.253:9999','113.195.18.89:9999',
'113.195.16.191:9999','175.42.129.76:9999','125.110.124.214:9000',
'125.110.102.54:9000','36.249.119.16:9999','125.110.89.240:9000',
'171.35.146.70:9999','124.93.201.59:42672','171.35.173.112:9999']
# 从代理池里面，随机取出一个ip地址，进行访问
httpindex = random.randint(0,len(paramslist)-1)
params = {
'HTTP': paramslist[httpindex]
}
# for循环每一个列表，进行处理
for pageurl in urllist:
# 下面的两行就是看一个下载进度提示，没有意义
index1 = urllist.index(pageurl)+1
print("第{}下载".format(index1))
# 发送请求，获取页面
response = requests.get(url=pageurl,headers=headers,params=params)
reshtml = response.content.decode()
# 用bs4解析页面
soup = BeautifulSoup(reshtml,'lxml')
# 获取小说全部内容的标签
restextlist = soup.select('#content p')
# 获取小说标题的标签
titlelist = soup.select('.content h1')
# 获取标题的文字，然后进行特殊符号的替换，以免很后面文章命名文件出错
title_text = titlelist[0].get_text()
title_text =title_text.replace('*','')
print("正在下载---{}---".format(title_text))
# 打开文件，进行写入文章的全部的小说，文件命名就是“标题.txt”，写的方式'w',编码方式是'utf-8'
with open("./08novel/{}.txt".format(title_text),'w',encoding='utf-8') as f:
f.write(title_text+"\n")
# for循环获取的article_text 是带有内容的p标签
for article_text in restextlist:
# article_text.get_text()这一个才是p标签，获取其中的内容。换行
f.write(article_text.get_text()+"\n")
print("下载完成---{}---".format(title_text))
print("全部下载完成！")
05、结语：
个人记录，新手入门，多多学习，欢迎大家交流探讨！
个人网站： http://106.54.78.238/
song_of _sea的个人网站 http://106.54.78.238/
