Requests库方法和参数
精华
小牛编辑
136浏览
2023-03-14
Requests 库中定义了七个常用的请求方法,这些方法各自有着不同的作用,在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示:
上述方法都提供了相同的参数,其中某些参数已经使用过,比如
代理 IP 就是解决上述问题的,它突破了 IP 地址的访问限制,隐藏了本地网络的真实 IP,而使用第三方 IP 代替自己去访问网站。
付费代理 IP 按照资源类型可划分为:开发代理、私密代理、隧道代理、独享代理,其中最常使用的是开放代理与私密代理。
开放代理:开放代理是从公网收集的代理服务器,具有 IP 数量大,使用成本低的特点,全年超过 80% 的时间都能有 3000 个以上的代理 IP 可供提取使用。
私密代理:私密代理是基于云主机构建的高品质代理服务器,为您提供高速、可信赖的网络代理服务。私密代理每天可用 IP 数量超过 20 万个,可用率在 95 %以上,1 次可提取 IP 数量超过 700 个,可以为爬虫业务提供强大的助力。
付费代理的收费标准根据 IP 使用的时间长短,以及 IP 的质量高低,从几元到几百元不等。 89 免费代理( http://www.89ip.cn/ )是一个专门提供免费代理 IP 的网站,不过想找到一个质量较高的免费代理好比大海捞针。
方法 | 说明 |
---|---|
requests.request() | 构造一个请求对象,该方法是实现以下各个方法的基础。 |
requests.get() | 获取HTML网页的主要方法,对应于 HTTP 的 GET 方法。 |
requests.head() | 获取HTML网页头信息的方法,对应于 HTTP 的 HEAD 方法。 |
requests.post() | 获取 HTML 网页提交 POST请求方法,对应于 HTTP 的 POST。 |
requests.put() | 获取HTML网页提交PUT请求方法,对应于 HTTP 的 PUT。 |
requests.patch() | 获取HTML网页提交局部修改请求,对应于 HTTP 的 PATCH。 |
requests.delete() | 获取HTML页面提交删除请求,对应于 HTTP 的 DELETE。 |
上述方法都提供了相同的参数,其中某些参数已经使用过,比如
headers
和
params
,前者用来构造请求头,后者用来构建查询字符串。这些参数对于编写爬虫程序有着至关重要的作用。本节对其他常用参数做重点介绍。
SSL认证-verify参数
SSL 证书是数字证书的一种,类似于驾驶证、护照和营业执照。因为配置在服务器上,也称为 SSL 服务器证书。SSL 证书遵守 SSL 协议,由受信任的数字证书颁发机构 CA(电子认证服务)颁发。 SSL 具有服务器身份验证和数据传输加密功能。verify
参数的作用是检查 SSL 证书认证,参数的默认值为 True,如果设置为 False 则表示不检查 SSL证书,此参数适用于没有经过 CA 机构认证的 HTTPS 类型的网站。其使用格式如下:
response = requests.get( url=url, params=params, headers=headers, verify=False )
代理IP-proxies参数
一些网站为了限制爬虫从而设置了很多反爬策略,其中一项就是针对 IP 地址设置的。比如,访问网站超过规定次数导致流量异常,或者某个时间段内频繁地更换浏览器访问,存在上述行为的 IP 极有可能被网站封杀掉。代理 IP 就是解决上述问题的,它突破了 IP 地址的访问限制,隐藏了本地网络的真实 IP,而使用第三方 IP 代替自己去访问网站。
1) 代理IP池
通过构建代理 IP 池可以让你编写的爬虫程序更加稳定,从 IP 池中随机选择一个 IP 去访问网站,而不使用固定的真实 IP。总之将爬虫程序伪装的越像人,它就越不容易被网站封杀。当然代理 IP 也不是完全不能被察觉,通过端口探测技等术识仍然可以辨别。其实爬虫与反爬虫永远相互斗争的,就看谁的技术更加厉害。2) proxies参数
Requests 提供了一个代理 IP 参数proxies
,该参数的语法结构如下:
proxies = { '协议类型(http/https)':'协议类型://IP地址:端口号' }下面构建了两个协议版本的代理 IP,示例如下:
proxies = { 'http':'http://IP:端口号', 'https':'https://IP:端口号' }
3) 代理IP使用
下面通过简单演示如何使用proxies
参数,示例如下:
import requests url = 'http://httpbin.org/get' headers = { 'User-Agent':'Mozilla/5.0' } # 网上找的免费代理ip proxies = { 'http':'http://191.231.62.142:8000', 'https':'https://191.231.62.142:8000' } html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text print(html)输出结果:
{ "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Cache-Control": "max-age=259200", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0", "X-Amzn-Trace-Id": "Root=1-605073b0-4f54db1b2d2cfc0c074a1193" }, # 注意此处显示两个IP,第一个是你自己的真实IP,另外一个是对外展示的IP "origin": "121.17.25.194, 191.235.72.144", "url": "http://httpbin.org/get" }由于上述示例使用的是免费代理 IP,因此其质量、稳定性较差,可能会随时失效。如果想构建一个稳定的代理 IP 池,就需要花费成本。
4) 付费代理IP
网上有许多提供代理 IP 服务的网 站,比如快代理、代理精灵、齐云代理等。这些网站也提供了相关文档说明,以及 API 接口,爬虫程序通过访问 API 接口,就可以构建自己的代理 IP 池。付费代理 IP 按照资源类型可划分为:开发代理、私密代理、隧道代理、独享代理,其中最常使用的是开放代理与私密代理。
开放代理:开放代理是从公网收集的代理服务器,具有 IP 数量大,使用成本低的特点,全年超过 80% 的时间都能有 3000 个以上的代理 IP 可供提取使用。
私密代理:私密代理是基于云主机构建的高品质代理服务器,为您提供高速、可信赖的网络代理服务。私密代理每天可用 IP 数量超过 20 万个,可用率在 95 %以上,1 次可提取 IP 数量超过 700 个,可以为爬虫业务提供强大的助力。
付费代理的收费标准根据 IP 使用的时间长短,以及 IP 的质量高低,从几元到几百元不等。 89 免费代理( http://www.89ip.cn/ )是一个专门提供免费代理 IP 的网站,不过想找到一个质量较高的免费代理好比大海捞针。
用户认证-auth参数
Requests 提供了一个auth
参数,该参数的支持用户认证功能,也就是适合那些需要验证用户名、密码的网站。auth 的参数形式是一个元组,其格式如下:
auth = ('username','password')其使用示例如下所示:
class xxxSpider(object): def __init__(self): self.url = 'http://code.tarena.com.cn/AIDCode/aid1906/13Redis/' # 网站使用的用户名,密码 self.auth = ('小牛知识库','www.xnip.cn') def get_headers(self): headers = {'User-Agent':"Mozilla/5.0"} return headers def get_html(self,url): res = requests.get(url,headers=self.get_headers(),auth=self.auth) html = res.content return html ...如果想更多地了解关于 Requests 库的参数,可以参考官方文档: https://requests.readthedocs.io/zh_CN/latest/