python3爬虫入门(正则+requests 糗事百科多页图片爬取)

   日期:2020-09-03     浏览:117    评论:0    
核心提示:import requestsimport reimport osdef get_data(): global header url = https://www.qiushibaike.com/imgrank/page/%d/ number = int(input(输入需要爬取的总页数:)) for ye in range(1, number + 1): new_url = format(url % ye) page_text
import requests
import re
import os


def get_data():
    global header
    url = "https://www.qiushibaike.com/imgrank/page/%d/"
    number = int(input("输入需要爬取的总页数:"))
    for ye in range(1, number + 1):
        new_url = format(url % ye)
        page_text = requests.get(url=new_url, headers=header).text
        # print(page_text)
        rex = '<img.*?src="(.*?)" alt=.*? width.*?'
        list = re.findall(rex, page_text)
        for link in list:
            link = "https:" + link
            data = requests.get(url=link, headers=header).content
            filename = link.split("/")[-1]
            pathname = "./tu/" + filename
            with open(pathname, "wb") as f:
                f.write(data)
                print("图片下载成功", pathname)
                print("图片下载地址为", link)


if __name__ == "__main__":
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/84.0.4147.105 Safari/537.36 "
    }
    if not os.path.exists("./tu") :
        os.mkdir("./tu")
    else:
        os.rmdir("./tu")
    get_data()

笔记思路入门参考

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服