锐客网

  1. 首页 > it技术 > >

python|Python爬虫框架Scrapy工作流程

Pythonscrapy爬虫

Scrapy工作流程图 【python|Python爬虫框架Scrapy工作流程】python|Python爬虫框架Scrapy工作流程
文章图片

具体流程步骤:

  1. 爬虫(spiders)将需要发送请求的url(request)交给引擎(engin);
  2. 引擎(engine)将request对象交给调度器(scheduler);
  3. 调度器(scheduler)经过(排队、入队等)处理后,重新把request对象交给引擎(engine);
  4. 引擎将request对象交给下载器(downloader),中间可能会经过中间件(downloaderMiddlewares);
  5. downloader向internet发送请求, 并接受下载响应(response);
  6. 下载器将响应response返回给engine;
  7. 引擎将其交给爬虫spiders,中间可能经过中间件(spiderMiddlewares);
  8. spiders处理响应response,提取数据(接着爬取的url或者item)返还给引擎(engine);
  9. 提取的数据交给ItemPipeline保存(本地或数据库); 提取的url交给调度器重复同样流程.

    推荐阅读


    上一篇：父母被10岁孩子嫌弃了

    下一篇：vue|vue基础知识入门级总结