Python爬虫(三)Requests库

什么是Requests

Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库。与urllib相比,Requests更加方便,可以节约我们大量的工作,建议爬虫使用Requests库。

requests请求方式

requests提供的请求各个请求方式:

import requests
requests.get(url)
requests.post(url)
requests.put(url)
requests.delete(url)
requests.head(url)
requests.options(url)
get请求

get请求核心代码是requests.get(url),具体例子如下:

import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response)

打印出来的结果是:<Response [200]>。<>表示这是一个对象,也就是我们这里获取的是一个response的对象,200表示状态码。

requests get 请求.png
post请求

post请求核心代码是requests.post(url,data={请求体的字典}),具体例子(百度翻译)如下:

import requests
url = 'https://fanyi.baidu.com'
data = {'from': 'zh',
        'to': 'en',
        'query': '人生苦短,我用python'
        }
response = requests.post(url, data=data)
print(response)

data部分的参数,取自于页面NetWork→Headers→Form Data。打印出来的结果是:<Response [200]>。

requests post 请求.png

response方法

获取网页的解码字符串

通过上述例子我们可以看到,不管是get请求还是post请求,我们得到的返回都是一个Response[200]的对象,但是我们想要得到的,应该是与网页response下一样的字符串对象,这时就需要用到response的方法了。

  • response.text。获取网页的HTML字符串,该方式往往会出现乱码,出现乱码使用response.encoding=’utf-8′
import requests
url = 'http://baidu.com'
response = requests.get(url)
response.encoding = 'utf-8'
print(response.text)
  • response.content.decode()。把相应的二进制字节流转化为str类型。
import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response.content.decode('gbk'))

在这里我总结了一下三种获取网页源码的三种方式,通过这三种方式,一定可以获取到网页正确解码之后的字符串:

  • response.content.decode()
  • response.content.decode(‘gbk’)
  • response.text
获取其他属性
import requests
response = requests.get("http://www.baidu.com") 
print(type(response.requests.headers),response.requests.headers) #获取请求头
print(type(response.headers),response.headers) #获取响应头
print(type(response.cookies),response.cookies)#获取响应cookie
print(type(response.url),response.url) #获取响应url
print(type(response.requests.url),response.requests.url) #获取请求url

小礼物走一走,来简书关注我

作者:咸甜怪
链接:https://www.jianshu.com/p/fb6ee6cc5c1c
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。