百度360必应搜狗淘宝本站头条
分布式事务框架grpc框架shiro框架java日志框架框架图
当前位置：网站首页 > 技术文章 > 正文

用 Python 代码构建一个爬虫框架（编写一段python爬虫代码）

ccwgpt 2024-10-13 01:34 33 浏览 0 评论

点击头像看历史

xcrawler 是最开始构建的一个轻量级的爬虫框架

既然有了像 Scrapy 这样好的爬虫框架，那为何还要造轮子呢？

嗯是将 Python 知识综合起来

xcrawler

https://github.com/ChrisLeeGit/xcrawler

Scrapy

https://github.com/scrapy

Features

简单、易用

易于定制的 Spider

多线程实现并发下载

xcrawler 介绍

项目的结构

框架

Crawler engine （生产者+消费者模型）

配置介绍

Spider 基类关键方法介绍

  1. 1spider_started：该方法会在引擎启动时被触发调用，你可以通过继承该方法进行一些初始化工作，比如配置 pipeline 输出文件或者数据库连接等等；

  2. 2spider_idle：该方法会在引擎处理空闲状态（即没有任何 requests 在队列）时被触发调用，你可以通过继承该方法给引擎添加新的请求等（使用 3self.crawler.crawl(new_request, spider=self) 即可）；

  3. spider_stopped：该方法会在引擎关闭时触发调用，你可以通过继承该方法并在 Spider 结束工作前做一些清理工作，如关闭文件管道、关闭数据库连接等；

  4. 4start_requests：该方法会为引擎提该 Spider 的对应种子请求；

  5. 5make_requests_from_url：该方法会为你的 URL 创建一个 Request 对象；

  6. 6parse：该方法为请求的默认解析函数回调，当然你可以可以在创建 Request 时指定其它的回调函数；

  7. 7process_request：每当引擎处理一个 Spider 对应的请求时，该方法会被触发调用，你可以通过继承该方法对 request 做些设置，比如更换随机的 User-Agent，替换 Cookies 或者代理等；当然，你可以将 request 设置为 None 从而忽略该请求；

  8. 8proccess_response：每当引擎处理一个 Spider 对应的响应时，该方法会被触发调用；

  9. 9process_item：每当引擎处理一个 Spider 对应的 item 时，该方法会被触发调用，你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

安装

  1. 在xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码

    请保证你的安装环境为 Python 3.4+

  2. 请使用 pip3 setup.py install 安装即可。

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入学习交流群

626062078，我们一起学Python！

示例





相关推荐

RACI矩阵:项目管理中的角色与责任分配利器

作者：赵小燕RACI矩阵RACI矩阵是项目管理中的一种重要工具，旨在明确团队在各个任务中的角色和职责。通过将每个角色划分为负责人、最终责任人、咨询人和知情人四种类型，RACI矩阵确保每个人都清楚自己...

在弱矩阵组织中，如何做好项目管理工作?「慕哲制图」

慕哲出品必属精品系列在弱矩阵组织中，如何做好项目管理工作？【慕哲制图】-------------------------------慕哲制图系列0：一图掌握项目、项目集、项目组合、P2、商业分析和NP...

Scrum模式:每日站会(Daily Scrum)

定义每日站会（DailyScrum）是一个Scrum团队在进行Sprint期间的日常会议。这个会议的主要目的是为了应对Sprint计划中的不断变化，确保团队能够有效应对挑战并达成Sprint目标。为...

大家都在谈论的敏捷开发&Scrum，到底是什么?

敏捷开发作为一种开发模式，近年来深受研发团队欢迎，与瀑布式开发相比，敏捷开发更轻量，灵活性更高，在当下多变环境下，越来越多团队选择敏捷开发。什么是敏捷?敏捷是一种在不确定和变化的环境中，通过创造和响应...

敏捷与Scrum是什么?（scrum敏捷开发是什么）

敏捷是一种思维模式和哲学，它描述了敏捷宣言中的一系列原则。另一方面，Scrum是一个框架，规定了实现这种思维方式的角色，事件，工件和规则/指南。换句话说，敏捷是思维方式，Scrum是规定实施敏捷哲学的...

敏捷项目管理与敏捷:Scrum流程图一览

敏捷开发中的Scrum流程通常可以用一个简单的流程图来表示，以便更清晰地展示Scrum框架的各个阶段和活动。以下是一个常见的Scrum流程图示例：这个流程图涵盖了Scrum框架的主要阶段和活动，其中包...

一张图掌握项目生命周期模型及Scrum框架

Mockito 的最佳实践（mock方法）

记得以前面试的时候，面试官问我，平常开发过程中自己会不会测试？我回答当然会呀，自己写的代码怎么不测呢。现在想想我好像误会他的意思了，他应该是想问我关于单元测试，集成测试以及背后相关的知识，然而当时说到...

EffectiveJava-5-枚举和注解（java枚举的作用与好处）

用enum代替int常量1.int枚举：引入枚举前，一般是声明一组具名的int常量，每个常量代表一个类型成员，这种方法叫做int枚举模式。int枚举模式是类型不安全的，例如下面两组常量：性别和动物种...

Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!

Maven简介Maven这个词可以翻译为“知识的积累”，也可以翻译为“专家”或“内行”。Maven是一个跨平台的项目管理工具。主要服务于基于Java平台的项目构建、依赖管理和项目信息管理。仔...

Java单元测试框架PowerMock学习（java单元测试是什么意思）

前言高德的技术大佬在谈论方法论时说到：“复杂的问题要简单化，简单的问题要深入化。”这句话让我感触颇深，这何尝不是一套编写代码的方法——把一个复杂逻辑拆分为许多简单逻辑，然后把每一个简单逻辑进行深入实现...

Spring框架基础知识-第六节内容(Spring高级话题)

Spring高级话题SpringAware基本概念Spring的依赖注入的最大亮点是你所有的Bean对Spring容器的存在是没有意识的。但是在实际的项目中，你的Bean必须要意识到Spring容器...

Java单元测试浅析(JUnit+Mockito)

作者：京东物流秦彪1.什么是单元测试（1）单元测试环节：测试过程按照阶段划分分为：单元测试、集成测试、系统测试、验收测试等。相关含义如下：1)单元测试：针对计算机程序模块进行输出正确性检验工作...

揭秘Java代码背后的质检双侠:JUnit与Mockito!

你有没有发现，现在我们用的手机App、逛的网站，甚至各种智能设备，功能越来越复杂，但用起来却越来越顺畅，很少遇到那种崩溃、卡顿的闹心事儿？这背后可不是程序员一拍脑袋写完代码就完事儿了！他们需要一套严谨...

单元测试框架哪家强?Junit来帮忙!

大家好，在前面的文章中，给大家介绍了以注解和XML的方式分别实现IOC和依赖注入。并且我们定义了一个测试类，通过测试类来获取到了容器中的Bean，具体的测试类定义如下：@Testpublicvoid...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表