python网页爬虫教程代码用python爬虫爬取网页信息抓取网站数据
下载地址 https://share.weiyun.com/0UhC6msn
资料目录
30个小时搞定Python网络爬虫视频课程（全套详细版）
Python网络爬虫工程师系列培训视频课程（65集全）
廖雪峰商业爬虫（含课件、案例和练习）
零基础Python实战 四周实现爬虫网站
《Python 3网络爬虫开发实战 》崔庆才著.pdf
《Python网络爬虫从入门到实践》 庄培杰编著.pdf
Python 3爬虫、数据清洗与可视化实战_零一等编著.pdf
Python3网络爬虫数据采集 陶俊杰 翻译.pdf
Python爬虫开发与项目实战 范传辉 编著.pdf
Python爬虫大数据采集与挖掘-微课视频版 曹剑平 编著.pdf
python网络爬虫从入门到实践 唐松等.pdf
网络爬虫－Python和数据分析 王澎著.pdf
用Python写网络爬虫 李斌 翻译.pdf
自己动手写网络爬虫 罗刚等 编著.pdf
Python项目案例开发从入门到实战：爬虫、游戏和机器学习 by 郑秋生 夏敏捷
举例 爬取图片
成功拿到标题后，接下来获取图片，找到网页中的一张图片，查看对应的节点代码：
<img data-copyright="0" data-s="300,640" data-src="https://mmbiz.qpic.cn/mmbiz_jpg/NA
BMxhzNpHmBGic739hianMP0E8tdohibpJ6icAROLQqq4ghBo1oP3mAwSLVibJ4FgP7bAQ
NI1HmOQ2L23rzEOTGI1A/640?wx_fmt=jpeg" data-type="jpeg" style="width: 802px !important;
height: auto !important; visibility: visible !important;" class="" data-ratio="0.5620370370370
37" data-w="1080" _width="802px" src="https://mmbiz.qpic.cn/mmbiz_jpg/NABMxhzNpHmB
Gic739hianMP0E8tdohibpJ6icAROLQqq4ghBo1oP3mAwSLVibJ4FgP7bAQNI1HmOQ2L23r
zEOTGI1A/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1" data-fail="0">
图片对应的节点为 img，图片链接属性为 data-src，我们只要编写代码遍历这样的节点，获得图片链接，然后下载保存即可，对应部分代码如下：
# 解析下载图片
def get_pic(content):
img_list = content.xpath("//img/@data-src")
for img in img_list:
download_pic(img)
# 下载图片的方法
def download_pic(url):
print("下载图片：" + url)
try:
pic_name = url.split("/")[-2]
fmt = url.split('=')[-1] # 图片格式
img_resp = requests.get(url).content
with open(pic_name + "." + fmt, "wb+") as f:
f.write(img_resp)
except Exception as reason:
print(str(reason))
代码执行结果如图 3.27 所示。
图 3.27 图片下载成功
3.3.3
...
|