网页获取一般使用requests库。
requests库
1、定义：requests库是个简洁而且简单的处理HTTP请求的第三方库。
2、requests库中的网页请求函数：
| 函数 | 描述 |
| get(url,[,timeout = n]) |
对应HTTP的GET方式，获取网页的最常用的方法，可增加timeout=n参数，设定每次请求超时时间为n秒 |
| post(url,data = {'key':'value'}) | 对应HTTP的POST方式，其中字典用于传递客户数据 |
| delete(url) | 对应HTTP的DELETE方式 |
| head(url) | 对应HTTP的HEAD方式 |
| options(url) | 对应HTTP的OPTIONS方式 |
| put(url,data = {'key':'value'}) | 对应HTTP的PUT方式，其中字典用于传递客户数据 |
注：get()是获取网页的最常用的方法，在调用requests.get()函数后，返回的网页内容会保存为一个Response对象，其中，get()函数的参数url必须链接采用HTTP或HTTPS方式访问。
3、Response对象的属性：
| 属性 | 描述 |
| status_code | HTTP请求的返回状态，整数，200表连接成功，404表失败 |
| text | HTTP响应内容的字符串形式，即，也是url对应的页面内容 |
| encoding | HTTP响应内容的编码形式 |
| content | HTTP响应内容的二进制形式 |
例1：
4、Response对象的方法：
| 方法 | 描述 |
| json() | 如果HTTP响应内容包含json格式数据，该方法解析JSON数据 |
| raise_for_status() | 如果不是200，该方法就会产生异常 |
5、网页获取
import requests
def gethtml(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
return ""
url = "http://www.baidu.com"
print(gethtml(url))
结果如下：
