廖雪峰python视频教程百度云廖雪峰python3商业爬虫案例实
下载地址 https://share.weiyun.com/RS9A6Xk6
资料目录 廖雪峰python视频教程1 爬虫的基本框架及知识（day1-day15）
廖雪峰python视频教程2 scapy框架及爬虫进阶（day16-day20）
廖雪峰python视频教程3 爬虫高级知识及就业培训（day21-day28）
廖雪峰python教程官网doc
廖雪峰 2018年官方最新Python3教程（一）pdf
廖雪峰 2018官方Python3教程（二）pdf
廖雪峰2018官方Python3教程（三）pdf
廖雪峰python学习笔记（入门+进阶）.doc
Python3高级教程（开课吧）pdf
Python3零基础教程（开课吧）pdf
利用Python进行数据分析(中文版)pdf
廖雪峰商业爬虫案例
廖雪峰商业爬虫课件
廖雪峰商业爬虫练习答案
爬虫第一节-爬虫第十四节
Python爬虫预习书籍
python环境和pychram
举例 创建爬虫脚本
逻辑弄清楚了，接下来新建一个 Scrapy 项目进行爬虫的辨析。Scrapy 创建项目需要通过命令行，这里我们新建一个爬虫项目 bing，命令如下：
scrapy startproject bing
执行后，输出创建成功的信息：
New Scrapy project 'bing', using template directory
'c:\\users\\coderpig\\appdata\\local\\programs\\python\\python37-32\\lib\\site-packages\\scra
py\\templates\\project', created in:
E:\Code\Python\bing
You can start your first spider with:
cd bing
scrapy genspider example example.com
在命令行输入命令 tree /f，可以自动生成项目结构，如下所示：
E:.
│ scrapy.cfg # 项目的配置文件
└─bing # 项目的Python模块，会从这里引用代码
│ items.py # 项目的目标文件
│ middlewares.p # 中间件文件
│ pipelines.py # 项目的管道文件
│ settings.py # 项目的设置文件
│ __init__.py
├─spiders # 存储爬虫代码目录
│ │ __init__.py
│ │
│ └─__pycache__
└─__pycache__
每个文件都有具体的作用，我们先执行下述命令生成一个爬虫，而不用自己手写：
scrapy genspider BingWallpaper "cn.bing.com"
运行后，控制台输出成功创建的信息：
Created spider 'BingWallpaper' using template 'basic' in module:
bing.spiders.BingWallpaper
可以看到在 spiders 下生成了一个文件 BingSpider.py，里面定义了一个 BingWallpaper
Spider 类，内容如下：
# -*- coding: utf-8 -*-
import scrapy
class BingWallpaperSpider(scrapy.Spider):
name = 'BingWallpaper'
allowed_domains = ['cn.bing.com']
start_urls = ['http://cn.bing.com/']
def parse(self, response):
pass
从上面的代码，我们知道生成的 BingWallpaperSpider 类继承了 scrapy.Spider 类，默认实现下述三个属性和一个函数。
name：爬虫的识别名称必须唯一，每个爬虫必须定义不同的名字。
allowed_domains：搜索的域名范围，或者说是爬虫的约束范围，只爬取该域名下的网页，不存在的 URL 会被忽略。
start_urls：爬取的 URL 元组，爬虫会从这里开始抓取数据。
parse：解析函数。默认情况下，初始 URL 请求完成下载后执行，参数是每个 URL传回的 Response 对象，主要作用是解析返回的网页数据（response.body）、提取结构化数据（生成 item）和生成下一页 URL 请求。
|