python编程题及答案整数求和有关字典100道python编程题代码
下载地址 https://share.weiyun.com/oKXAf8Zh
资料目录 Python编程基础教学视频 51CTO学院（60集）
python编程基础教学视频 乾颐盾系列
Python编程基础 张健 张良均 人民邮电出版社.pdf
Phthon编程金典.pdf
Python 编程指南.pdf
《Python 编程基础》 教学大纲.pdf
《Python编程入门指南（上下册）》 明日科技.pdf
《小小的Python编程故事》毛雪涛，丁毓峰编著.pdf
Python编程初学者指南.pdf
Python编程入门经典.pdf
树莓派Python编程入门与实战 第2版.pdf
Python编程实战__运用设计模式、并发和程序库创建高质量程序.pdf
《Python编程基础》复习资料.pdf
Python编程基础与应用-题库大全.doc
Python编程基础张健 , 张良均课后习题及答案.pdf
Python程序设计基础及实践（慕课版）郭炜习题答案.pdf
《Python程序设计基础与应用》习题答案.pdf
《Python快速编程入门》——课后题答案.doc
Python程序设计基础习题答案与分析.doc
python基础试题(含答案).doc
Python考试题复习知识点试卷试题.doc
Python编程基础.pptx
《Python编程之美：最佳实践指南》by Kenneth Reitz.pdf
《Python编程基础与HTTP接口测试》阿奎 编著.pdf
Python编程 从入门到实践 by Eric Matthes.pdf
Python编程导论第2版_2018 翻译 陈光欣.pdf
Python编程快速上手—让繁琐工作自动化_[美] Al Sweigart 著.pdf
趣学python编程中文版.pdf
举例 创建爬虫
在创建爬虫之前，需要先创建一个存放爬虫模块的文件，该文件需要放置在 spiders 文件夹下。爬虫模块是用于从一个或多个网站中爬取数据的类，它需要继承 scrapy.Spider 类。下面通过一个爬虫示例，实现爬取网页后，将网页的代码以 HTML 文件保存至项目文件夹下。示例代码如下：
01 import scrapy # 导入框架
02
03
04 class QuotesSpider(scrapy.Spider):
05 name = "quotes" # 定义爬虫名称
06
07 def start_requests(self):
08 # 设置爬取目标的地址
09 urls = [
10 'http://quotes.toscrape.com/page/1/',
11 'http://quotes.toscrape.com/page/2/',
12 ]
13 # 获取所有地址，有几个地址发送几次请求
14 for url in urls:
15 # 发送网络请求
16 yield scrapy.Request(url=url, callback=self.parse)
17
18 def parse(self, response):
19 # 获取页数
20 page = response.url.split("/")[-2]
21 # 根据页数设置文件名称
22 filename = 'quotes-%s.html' % page
23 # 以写入文件的模式打开文件。如果没有该文件，则创建该文件
24 with open(filename, 'wb') as f:
25 # 向文件中写入获取的 HTML 代码
26 f.write(response.body)
27 # 输出保存文件的名称
28 self.log('Saved file %s' % filename)
在运行 Scrapy 所创建的爬虫项目时，需要在命令行窗口中输入“scrapy crawl quotes”命令，其中“quotes”是自己定义的爬虫名称。由于笔者使用了第三方开发工具 PyCharm，所以需要在底部的 Terminal 窗口中输入运行爬虫的命令行，运行完成以后，将显示如图 16.17 所示的信息。
图 16.17 显示启动爬虫后的信息
说明：除在命令行窗口中输入命令“scrapy crawl quotes”启动爬虫以外，Scrapy 还提供了可以在程序中启动爬虫的 API，也就是 CrawlerProcess 类。首先在 CrawlerProcess初始化时传入项目的 settings 信息，然后在 crawl()方法中传入爬虫的名称，最后通过start()方法启动爬虫。代码如下：
01 # 导入 CrawlerProcess 类
02 from scrapy.crawler import CrawlerProcess
03 # 导入获取项目设置信息
04 from scrapy.utils.project import get_project_settings
05
06
07 # 程序入口
08 if __name__=='__main__':
09 # 创建 CrawlerProcess 类对象并传入项目设置信息参数
10 process = CrawlerProcess(get_project_settings())
11 # 设置需要启动的爬虫名称
12 process.crawl('quotes')
13 # 启动爬虫
14 process.start()
|