python爬虫教程视频教程最新的python爬虫教程requests百度云网盘
下载地址 https://share.weiyun.com/0UhC6msn
资料目录
30个小时搞定Python网络爬虫视频课程（全套详细版）
Python网络爬虫工程师系列培训视频课程（65集全）
廖雪峰商业爬虫（含课件、案例和练习）
零基础Python实战 四周实现爬虫网站
《Python 3网络爬虫开发实战 》崔庆才著.pdf
《Python网络爬虫从入门到实践》 庄培杰编著.pdf
Python 3爬虫、数据清洗与可视化实战_零一等编著.pdf
Python3网络爬虫数据采集 陶俊杰 翻译.pdf
Python爬虫开发与项目实战 范传辉 编著.pdf
Python爬虫大数据采集与挖掘-微课视频版 曹剑平 编著.pdf
python网络爬虫从入门到实践 唐松等.pdf
网络爬虫－Python和数据分析 王澎著.pdf
用Python写网络爬虫 李斌 翻译.pdf
自己动手写网络爬虫 罗刚等 编著.pdf
Python项目案例开发从入门到实战：爬虫、游戏和机器学习 by 郑秋生 夏敏捷
举例 Requests 请求常用设置
Requests 请求的相关设置如下：
设置请求头：headers={'xxx':'yyy'}
代理：proxies={'https':'xxx'}
超时(单位秒)：timeout=15
Requests 处理返回结果
Requests 请求会返回一个 requests.models.Response 对象，可以通过调用表 3.2 中的字段获取响应信息。
表 3.2 可获取响应信息的相关字段
字 段 描 述
status_code 获取状态码
reason 状态信息
url 获取请求的 URL
content 获取 byte 类型的返回结果，相当于 urllib.urlopen().read
raw 获得原始的返回结果，请求里需要设置 stream=True
text
获取 str 类型的返回结果，会自动根据响应头部的字符编码进行解码；可以调用 r.encoding 获得编码方式，或者在调用 text 之前先用 r.encoding='编码'来设置编码类型，text 就会按照对应的编码进行解析json
解析序列化为 JSON 格式的数据，可以直接通过['xxx']获取数据。如果解析错误，则会抛出异常：
ValueError: No JSON object could be decoded
除此之外，还可以使用 headers 获得响应头，代码示例如下：
r = requests.get('http://gank.io/api/data/Android/50/1')
# 直接根据键获得值
print(r.headers.get('Date'))
# 遍历获得请求头里所有键值
for key, value in r.headers.items():
print(key + " : " + value)
如果想获取请求头信息，可以调用 r.request.headers。除此之外，还可调用
raise_for_status()，当响应码不是 200 时，会抛出 HTTPError 异常，可用于响应码校验。另外，由 Requests 发起的请求，当相应内容经过 gzip 或 deflate 压缩时，Requests 会自动解包，可以通过 content 获得 byte 方式的响应结果。
Requests 处理 Cookie
通过r.cookies即可获得RequestsCookieJar对象，其行为与字典类似；如果想带着Cookies去访问，可以在请求里添加 cookies={'xxx':'yyy'}参数；也可以通过 requests.cookies.
RequestsCookieJar()调用 set 方法进行构造，比如：
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
# 遍历cookies：
for c in r.cookies:
print(c.name + ":" + c.value)
CookieJar 与字典间互转的代码示例如下：
# 字典 -> CookieJar
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)
# CookieJar-> 字典
cookies = requests.utils.dict_from_cookiejar(r.cookies)
|