Python爬虫:数学建模中获取全球COVID-19数据

   日期:2020-09-02     浏览:153    评论:0    
核心提示:好几天没有更新博客,参加了个疫情预测数学建模发现爬虫获取数据是真的很舒服不需要很多时间就可以得到你想要的数据,还可保存成你想要的格式,下边就记录一下。在分享一个数据的网址自己认为是非常全也可以到处全球数据:Sources - Worldwide data on COVID-19环境准备准备好Anaconda3和PyCharm3准备需要爬取的网址、反爬虫头部信息、国家信息、保存结果的excel文件路径导入爬虫需要的包pip install openpyxlpip install reques

好几天没有更新博客,参加了个疫情预测数学建模发现爬虫获取数据是真的很舒服不需要很多时间就可以得到你想要的数据,还可保存成你想要的格式,下边就记录一下。
在分享一个数据的网址自己认为是非常全也可以到处全球数据:Sources - Worldwide data on COVID-19

环境准备

  • 准备好Anaconda3和PyCharm3
  • 准备需要爬取的网址、反爬虫头部信息、国家信息、保存结果的excel文件路径
  • 导入爬虫需要的包
pip install openpyxl
pip install requests

爬虫代码

# 导入相关模块
import openpyxl
import requests
import time

# 记录爬虫开始的时间
start = time.time()
# 需要爬取的网址、反爬虫头部信息、国家信息、保存结果的excel文件路径
urlList = [
    # 美国疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E7%BE%8E%E5%9B%BD&",
    # 意大利疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%84%8F%E5%A4%A7%E5%88%A9&",
    # 法国疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%B3%95%E5%9B%BD&",
    # 澳大利亚疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%BE%B3%E5%A4%A7%E5%88%A9%E4%BA%9A&",
    # 韩国疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E9%9F%A9%E5%9B%BD&",
    # 印度疫情网址
    "https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E5%8D%B0%E5%BA%A6&"
]
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/83.0.4103.61 Safari/537.36 "
}
countryNameList = ["American",
                   "Italy",
                   "France",
                   "Australia",
                   "Korea",
                   "India"
                   ]


# 爬取数据并将数据进行保存
def dataSavedFunction(url):
    # 获取json文件并将文件转化为列表/字典格式
    response = requests.get(url, headers=headers)
    jsonResponse = response.json()
    # 遍历json处理后的数据并将相关数据添加到相应的空列表
    dataCollection = []
    for result in jsonResponse["data"]:
        dataCollection.append([
            result["date"],
            result["confirm"],
            result["dead"],
            result["heal"],
            result["confirm_add"]
        ])
    return dataCollection


# 将数据写入excel表格中
def dataToExcel():
   #try:
       # 读入一个空白excel文件
       wb = openpyxl.Workbook()
       for name in countryNameList:
           wb_sheet = wb.create_sheet(name)
           wb_sheet.append(["日期", "累积确诊", "累积死亡", "累计治愈", "现有新增确诊"])
           # 获取name的索引
           nameIndex = countryNameList.index(name)
           rows = dataSavedFunction(urlList[nameIndex])
           for j in rows:
               wb_sheet.append(j)
       # 保存相关文件内容
       wb.save("totalCrawlResult.xlsx")
       wb.close()
	#except PermissionError:
	   	#print("文件读写错误!该文件已经被打开,请关掉文件再试")

# 主函数调用
if __name__ == "__main__":
    dataToExcel()
    end = time.time()
    print("本次爬虫历时:", end - start, "秒")


执行程序3-4s就可以得到你需要的结果!

爬虫结果

在你的项目目录就可以看你需要的数据:

数据格式:
冲冲冲!!!!!!!!!!!!!

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服