最火爆的python爬虫scrapy框架项目实战，带你走进scrapy爬虫世界

ccwgpt 2024-09-27 07:29 100 浏览 0 评论

说在前面：

我们前面学习的基础爬虫的功能也是非常强大的，几乎可以处理所有想要收集的数据，那我们为什么还要学习现在最火爆的爬虫scrapy框架呢？因为基础爬虫有一点不好的地方，就是基础重复的代码量太多了，这样就显得过于繁杂了，而scrapy把一些不是很关键的部分代码封装成了框架，这样我们就不用写那些次要的代码了，只着重我们要处理数据的那一部分重点代码就可以实现功能了。

课题：爬取韦玮老师的文章标题、链接和作者名

爬虫scrapy框架一个简单例子实现的全过程主要有4个方面：

创建爬虫项目——设置items.py文件——创建爬虫文件——启动运行爬虫

下面进行最火爆爬虫scrapy框架实例的讲解：

（为了让读者更好的理解知识，小编采用了截图每一步的操作步骤来方便读者学习和掌握）

1.创建爬虫项目文件夹

两种方式：

第一种：没有安装了pycharm软件的朋友，可以按【win】+R 键进入window运行终端有页面，具体命令操作也与第二种一样，这里不详讲了，用这种方法的朋友请看第二种方法的具体操作。

第二种：安装了pycharm软件的朋友，可以直接进入终端Terminal的命令下，比如笔者的终端如下图所示，并且我在D:\1.PCshizhan的目录下，也就是说，我创建的爬虫项目文件夹就在D:\1.PCshizhan的目录下。

（1）创建爬虫项目的命令是：scrapy startproject 自定义项目的名称，比如笔者创建的项目名为myxml。

（2）如上图出现的字样，代表创建项目myxml成功，其项目目录情况如下图所示：

2.设置items.py文件

items文件有什么用处呢？items主要用于设置要提取的内容结构，例如我们要提取【标题】+【链接】+【作者】这三个信息，可以对items文件进行修改，如下图：

（1）还没修改前默认的代码情况：

（2）进行修改后的代码：（在pass的位置按照别人的提示进行自定义修改）

3.创建爬虫文件（作用相当于c语言中的main函数的作用）

注意：在这一步要先进入到刚刚创建的项目文件夹目录下，才可以创建爬虫文件

（1）先查看有什么类型的爬虫文件：输入命令：scrapy genspider -l（L小写），如下图，类型有：basic、crawl、csvfeed、xmlfeed四种类型。

（2）我们选择xmlfeed类型来创建爬虫文件，名称自定义为myxmlspider，创建爬虫文件的格式：scrapy genspider -t 类型爬虫文件名域名(域名可以为百度或者其他都行)，如下图所示：

如图所示已创建成功，其所在位置如下图所示：可以在spiders目录下找到爬虫文件myxmlspider

（3）创建爬虫文件成功之后，就要进行代码编写或者说修改了：

还没有修改前的爬虫文件myxmlspider代码如下：

进行修改之后，实现我们要爬取的数据信息如下：

到这里，所有的代码都修改好了，下面要启动爬虫了。

4.启动运行爬虫得出结果：

格式：scrapy crawl 爬虫文件名 --nolog

如下图所示，运行结果已经打印出来了：（部分结果截图）

今天的内容到此就结束了，学会了这一篇scrapy实例、熟记和理解我所说的几个scrapy项目的思路，基本上可以解决一般的框架爬虫的问题了，喜欢的朋友可以关注一下、也可以转发给需要学习scrapy的朋友学习，希望今晚的内容能对读者有所受益。

scrapy框架

上一篇：Scrapy爬虫框架新手入门教程（爬虫框架 python）
下一篇：Python爬虫第八讲:Scrapy爬虫框架详解(2)

最火爆的python爬虫scrapy框架项目实战，带你走进scrapy爬虫世界

说在前面：

课题：爬取韦玮老师的文章标题、链接和作者名

爬虫scrapy框架一个简单例子实现的全过程主要有4个方面：

下面进行最火爆爬虫scrapy框架实例的讲解：

1.创建爬虫项目文件夹

（1）创建爬虫项目的命令是：scrapy startproject 自定义项目的名称，比如笔者创建的项目名为myxml。

（2）如上图出现的字样，代表创建项目myxml成功，其项目目录情况如下图所示：

2.设置items.py文件

（1）还没修改前默认的代码情况：

（2）进行修改后的代码：（在pass的位置按照别人的提示进行自定义修改）

3.创建爬虫文件（作用相当于c语言中的main函数的作用）

（1）先查看有什么类型的爬虫文件：输入命令：scrapy genspider -l（L小写），如下图，类型有：basic、crawl、csvfeed、xmlfeed四种类型。

（2）我们选择xmlfeed类型来创建爬虫文件，名称自定义为myxmlspider，创建爬虫文件的格式：scrapy genspider -t 类型爬虫文件名域名(域名可以为百度或者其他都行)，如下图所示：

（3）创建爬虫文件成功之后，就要进行代码编写或者说修改了：

还没有修改前的爬虫文件myxmlspider代码如下：

进行修改之后，实现我们要爬取的数据信息如下：

4.启动运行爬虫得出结果：

如下图所示，运行结果已经打印出来了：（部分结果截图）

相关推荐

取消回复欢迎你发表评论:

使用cheat engine修改unity游戏（cheat engine教程）

1分钟了解Tableau

钉钉打卡虚拟定位赶快点赞收藏吧!

(转载)Python爬虫框架Scrapy入门与实践

项目使用 Jfrog Artifactory 制品库

6米跨度柱子一般多大?框架结构的柱子应该设置多大?

SpringBoot的starter到底是什么?

重庆大学携手XSKY搭建智慧校园大数据&AI底座

超级硬核的钉钉模拟wifi，定位，远程打卡教程

.NET 多版本 WinForm 开源控件库 SunnyUI 技术解析与示例代码

最火爆的python爬虫scrapy框架项目实战，带你走进scrapy爬虫世界

说在前面：

课题：爬取韦玮老师的文章标题、链接和作者名

爬虫scrapy框架一个简单例子实现的全过程主要有4个方面：

下面进行最火爆爬虫scrapy框架实例的讲解：

1.创建爬虫项目文件夹

（1）创建爬虫项目的命令是：scrapy startproject 自定义项目的名称，比如笔者创建的项目名为myxml。

（2）如上图出现的字样，代表创建项目myxml成功，其项目目录情况如下图所示：

2.设置items.py文件

（1）还没修改前默认的代码情况：

（2）进行修改后的代码：（在pass的位置按照别人的提示进行自定义修改）

3.创建爬虫文件（作用相当于c语言中的main函数的作用）

（1）先查看有什么类型的爬虫文件：输入命令：scrapy genspider -l（L小写），如下图，类型有：basic、crawl、csvfeed、xmlfeed四种类型。

（2）我们选择xmlfeed类型来创建爬虫文件，名称自定义为myxmlspider，创建爬虫文件的格式：scrapy genspider -t 类型 爬虫文件名 域名(域名可以为百度或者其他都行)，如下图所示：

（3）创建爬虫文件成功之后，就要进行代码编写或者说修改了：

还没有修改前的爬虫文件myxmlspider代码如下：

进行修改之后，实现我们要爬取的数据信息如下：

4.启动运行爬虫得出结果：

如下图所示，运行结果已经打印出来了：（部分结果截图）

相关推荐

取消回复欢迎 你 发表评论:

使用cheat engine修改unity游戏（cheat engine教程）

1分钟了解Tableau

钉钉打卡虚拟定位赶快点赞收藏吧!

(转载)Python爬虫框架Scrapy入门与实践

项目使用 Jfrog Artifactory 制品库

6米跨度柱子一般多大?框架结构的柱子应该设置多大?

SpringBoot的starter到底是什么?

重庆大学携手XSKY搭建智慧校园大数据&amp;AI底座

超级硬核的钉钉模拟wifi，定位，远程打卡教程

.NET 多版本 WinForm 开源控件库 SunnyUI 技术解析与示例代码

（2）我们选择xmlfeed类型来创建爬虫文件，名称自定义为myxmlspider，创建爬虫文件的格式：scrapy genspider -t 类型爬虫文件名域名(域名可以为百度或者其他都行)，如下图所示：

取消回复欢迎你发表评论:

重庆大学携手XSKY搭建智慧校园大数据&AI底座