今天来讲解关于scrapy框架爬虫的数据存储。数据存储分为两大类，一类是存储到文件系统中，也就是存储到我们的磁盘当中，另一类是存储到数据库当中。今天笔者先讲解如何在基于scrapy框架中使用文件系统来存储所爬取的数据。下一次再写关于数据库存储的方法，需要学习朋友的可以关注我，就可以看到更多的干货了。

下面开始讲解基于scrapy框架爬虫用文件系统保存数据的方法：

讲解存储数据到文件系统的两种方法，一是存储到.txt文件，二是存储到json文件

今天的内容主要有两个方面：

在settings.py文件中开启管道——在pipelines.py文件中编写保存数据的代码

提示：因为代码在手机上阅读时，会显得很乱，所以笔者以截图的方式让读者有更好的阅读效果。

1.在settings.py文件中开启管道

首先，先在settings.py中找到如下图的代码：

然后，将注释去掉，开启管道文件的使用，如下图所示：

到这里就完成了第一步了。

2.在pipelines.py文件中编写保存数据的代码：

（1）导入模块

（2）先初始化，也就是创建文件和保存文件到指定路径。（笔者保存文件的路径是直接保存在pycharm软件下的文件夹的）

（3）数据存储的主要方法，默认会自动调用

将数据保存到记事本data.txt中，如下图是实现功能的代码：

将数据保存到data.json文件中，如下图是实现功能的代码：

（4）关闭打开的.txt和.json文件，如下图所示：

到这里，所有代码就编写完成了，即使小编的代码示例与读者的不同，但是影响不大，只要读者对item['键的名称']这个做一下修改就可以了，今天的这个方法可作为文件系统存储文件的通用模板。

运行结果如下图所示：

保存到data.txt文件中：

保存到data.json文件中：

今晚的内容到此就结束了，更多更精彩的内容请关注小编。

预告：下一期编写基于scrapy框架使用数据库的方法来储存爬取的数据，需要的朋友可以关注一下我。希望笔者的文章对读者有所帮助、能提高读者的编程思维。