Python常用的几个高效率的爬虫框架

1.Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

项目地址：https://scrapy.org/

2.PySpider

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

主要特性如下：

1、强大的WebUI，包含：脚本编辑器、任务监控器，项目管理器和结果查看器；

2、多数据库支持，包括：MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL with SQLAlchemy等；

3、使用RabbitMQ, Beanstalk, Redis 和Kombu作为消息队列；

4、支持任务优先级设定、定时任务、失败后重试等；

5、支持分布式爬虫

项目地址：https://github.com/binux/pyspider

3.Crawley

Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

crawley也是使用python开发出来的一款爬虫框架，该框架致力于改变人们从互联网中提取数据的方式，让大家可以更高效地从互联网中爬取对应内容。

crawley框架的主要特点有：

1>高速爬取对应网站内容

2> 可以将爬取到内容轻松地存储到数据库中，比如：postgres，mysql，oracle，sqlite等数据库

3>可以将爬取到的数据导出为json，xml等格式

4>支持非关系型数据库，比如：mongodb，couchdb等

5>支持使用命令行工具

6>可以使用你喜欢的工具提取数据，比如使用xpath或者pyquery等工具

7>支持使用cookie登陆并访问哪些只有登陆才能够访问的网页

项目地址：http://project.crawley-cloud.com/

4.Portia

Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。

portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架，给出你要爬取的网页中感兴趣的数据内容，通过portia框架，可以将你所需要的信息从相似的网页中自动提取出来。

项目地址：https://github.com/scrapinghub/portia

5.Newspaper

Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。

newspaper框架是一种用来提取新闻、文章以及内容分析的python爬虫框架。更准确地说，newspaper是一个python的库，只不过这个库是由第三方开发的，可以归为一种框架。

newspaper框架在的主要特点：

1>比较简单

2>速度比较快

3>支持多线程

4>支持十多种语言

由此我们可以知道newspaper框架是轻量级框架，并且就爬取文章信息这一功能来说，使用起来很方便

项目地址：https://github.com/codelucas/newspaper

6.Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。

项目地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

7.Grab

Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。

项目地址：http://docs.grablib.org/en/latest/#grab-spider-user-manual

8.Cola

Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。

项目地址：https://github.com/chineking/cola

9、mechanize

优点：可以加载JS。缺点：文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

10、selenium

这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码