scrapy-1.jpg

框架架构

 - Engine(引擎):用来处理整个系统的数据流处理,触发事务 
   Scheduler(调度器):用来接受引擎发过来的请求并加入队列中,并在引擎再次请求的时候提供给引擎。
   Downloader(下载器):用于下载网页内容,并将网页内容返回给spider
   Spiders:爬取的逻辑和网页的解析规则,负责解析响应并生成提取结果和新的请求 
   Item Pipeline(项目管道):负责处理由spider从网页中抽取的项目,主要任务是清洗、验证和存储数据 Downloader
   Item(项目):定义爬取结果的数据结构
   Middlewares(下载器中间件):位于引擎和下载器之间的钩子框架,主要是处理引擎与下载器之间的请求及响应

运行过程

 1. Engine 首先打开一个网站,找到处理该网站的 Spider 并向该 Spider 请求第一个要爬取的 URL
 2. Engine 从Spider 中获取到第一个要爬取的 URL 并通过 Scheduler 以 Request 的形式调度
 3. Engine 向Scheduler 请求下一个要爬取的 URL
 4. Scheduler 返回下一个要爬取的 URL 给 Engine,Engine 将 URL 通过 Downloader Middlewares 转发给Downloader 下载
 5. 一旦页面下载完毕, Downloader 生成一个该页面的 Response,并将其通过 Downloader Middlewares 发送给 Engine
 6. Engine 从下载器中接收到 Response 并通过 Spider Middlewares 发送给 Spider 处理
 7. Spider 处理 Response 并返回爬取到的 Item 及新的 Request 给 Engine
 8. Engine 将 Spider 返回的 Item 给 Item Pipeline,将新的 Request 给 Scheduler
 9. 重复第二步到最后一步,直到 Scheduler 中没有更多的 Request,Engine 关闭该网站,爬取结束

项目结构

scrapy.cfg: Scrapy 项目的配置文件,其内定义了项目的配置文件路径、部署相关信息等内容。
items.py:定义 Item 数据结构,所有的 Item 的定义都可以放这里
pipelines.py:定义 Item Pipeline 的实现,所有的 Item Pipeline 的实现都可以放这里
settings.py:定义项目的全局配置
middlewares.py:定义 Spider Middlewares 和 Downloader Middlewares 的实现
spiders:其内包含一个个 Spider 的实现,每个 Spider 都有一个文件
最后修改:2021 年 09 月 27 日 10 : 30 AM