Python 爬虫进阶篇-利用beautifulsoup库爬取网页文章内容实战演示

   日期:2020-09-15     浏览:107    评论:0    
核心提示:Python 爬虫进阶篇-利用beautifulsoup爬取网页文章内容实战演示。我们以 fox新闻 网的文章来举例子,把整篇文章爬取出来。首先是标题,通过结构可以看出来 class 为 article-header 的节点下的 h1 里的内容即是标题,通过 string 可以获取 dom 节点里的文本内容。然后是正文,通过结构可以看出来 class 为 article-body 的节点下的 p 元素组成了正文内容,通过 contents 可以获取 body 下所有的节点。

我们以 fox新闻 网的文章来举例子,把整篇文章爬取出来。

首先是标题,通过结构可以看出来 classarticle-header 的节点下的 h1 里的内容即是标题,通过 string 可以获取 dom 节点里的文本内容。

# 获取文章标题
alert_header = soup.find('header', class_="article-header").find('h1')
print(alert_header.string)


然后是正文,通过结构可以看出来 classarticle-body 的节点下的 p 元素组成了正文内容,通过 contents 可以获取 body 下所有的节点。再遍历所有的节点,把所有 p 元素的下的内容打印出来。

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = urlopen('https://www.foxnews.com/tech/mom-received-dirty-diapers-amazon')
soup = BeautifulSoup(url, 'html.parser')   # parser 解析

# 获取文章标题
alert_header = soup.find('header', class_="article-header").find('h1')
print("标题如下:")
print(alert_header.string)

# 获取文章正文
alert_body = soup.find('div', class_="article-body").contents   # 所有body里的p节点

# 打印文章正文
print("正文如下:")
for i in alert_body:
    if(i.name == "p"):
        print(i.getText())
        print()

运行效果图:
如果中间夹杂了广告,可以看看文章正文跟广告在结构上有什么区别,然后进一步把广告剔除。

喜欢的点个赞吧!

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服