自己平时工作已经很忙了，但是在闲暇之余还是想要搞点自己的项目，活着总得有点自己的乐趣吧。

项目一

之前自己对几个网站的公示名单比较感兴趣，官网上的这些公示页面一般是有有效期的，就是这些网页可能过了一周左右就下掉了，访问就是404了。我自己就想把这数据给记录下来到自己的数据库，方便自己后期查询。

有个相关的QQ群里面有部分年份范围内的数据统计excel，并且最新公示的也会及时收录。excel就比较简单了，可以直接用个npmxlsx包解析excel然后存储，但是总觉得没什么意思，还是希望自己做个项目直接爬取官网的数据，不用每次等群主（或自己）将数据复制到excel，然后再让项目跑一遍。

这是一个类似于爬虫的项目吧，里面用到了superagent、cheerio，前者是根据URL抓取到HMTL内容，后者是将HTML内容转换成查询的结构，这样我们可以使用类似$('tr td')的查询语法获取数据。

把项目的设计成下面几个步骤然后事件驱动串联起来

请求url -- 爬取 -- 解析 -- 数据整理 -- 存储

请求url

列表

1. 列表页需要找到分页器的位置，然后获取对应的A标签并获取url

这种在从列表首页开始后，还需要配合抓取解析到下一页的入口。流程是 请求 -- 爬取 -- 解析 -- 请求 -- 爬取 -- 解析 -- 交替进行

2. 直接通过url来直接知道对应页码的url的，比如index_2.html、index_3.html
3. SPA页面直接发送ajax请求的，直接根据动态参数调用接口

详情

这种公示数据一般是以表格形式发布的，获取对应的tr td数据。

同时通过title获取详情页其它位置获取到当前公示名单类别、日期等信息。

爬取

主要负责爬取指定url的内容，再将数据告知下一个流程解析，但是需要告知当前爬取的结果是列表页数据还是详情页数据，方便解析时安装不同的选择器解析目标数据

解析

根据不同官网的配置获取不同的详情、列表（可选）选择器。

1. 列表数据的话，解析到url，直接告知爬取流程继续爬取
2. 详情数据的话将解析数据告知数据整理流程

数据整理

将数据根据不同官网整理成统一的数据结构，交付下一个流程存储

存储

将整理好的数据存入数据库，做好唯一索引数据的更新

鉴于大部分官网的结构较为类似，可以抽象公共的基类，部分官网继承基类。

项目二

提交自己网站的sitemap里面的所有url，sitemap是博客插件自行生成的的，应该也是直接根据查询数据库数据获得的，这部分我就没有自行实现了，现状就是，我能知道自己网站的网页的sitemap，里面有对应的url，但是sitemap是xml结构（有chrome插件可以把xml转成html接口查看），我没法简单的用docuemnt.querySelectAll

所以就直接复用项目一里面的流程即可

因为这部分数据不需要保存至数据库，主要是提交给各大搜索引擎接口，所以可以直接打印在控制台，或者是写入文件即可。

可以将项目一中的五大流程中的数据整理直接打印数据或者生成文件即可，数据停止流转。

总结

前期整个项目流程的启动没有做控制，也就是node项目运行起来就开始了第一流程，然后经由事件驱动后续的四个流程，然后流程完结。 为了减少自己手动触发，后面将项目进行了调整：启动服务器，经由前端调用接口后触发第一流程。这样方便将项目部署在服务器上，需要获取最新数据的时候，直接访问指定路由即可。