《人民日报》爬虫

[PirateBook1]

@CiangCing14
请求帮助制作爬虫解析《人民日报》数据
有两处数据源：
https://www.laoziliao.net/rmrb/
https://cn.govopendata.com/renminribao/

就数据源数据质量来看，解析出的单篇文稿只要求三个字段：title、date 和 content，不需要 author（难以解析）

@banned-historical-archives

[banned-historical-archives]

https://github.com/banned-historical-archives/rmrb

[PirateBook1]

两报一刊还是完全收录吧，收到 76 年就好，目前的数据量已经开始影响性能了吗

[PirateBook1]

可以想一些折中的办法

[banned-historical-archives]

现在差不多两万篇 页面2mb的样子

[PirateBook1]

或者看看还有没有性能优化的空间，数据压缩什么的

[banned-historical-archives]

可以加个按钮，列出包括人民日报的所有文稿

[PirateBook1]

@banned-historical-archives 1946-1976.10 解析出了 1.44 GB 的数据，五十多万篇，如何处理

[banned-historical-archives]

过段时间我来录入吧，你先录别的

[banned-historical-archives]

这个数据量构建肯定超过6小时了，只能在本地部署时解析人民日报

[PirateBook1]

@banned-historical-archives 对于本地部署时解析，有没有一些流程化步骤可以供我参考（在已经构建好现成文本对象的情况下），我想录一些网络材料

[PirateBook1]

郭建波，《伟大的理论 光辉的实践》

[banned-historical-archives]

@PirateBook1 不懂

[PirateBook1]

@banned-historical-archives 就是比如我有一个新的 xxx.ts，怎么录进数据库，像 GPCRv3 那样

[banned-historical-archives]

创建

books/GPCRv3.ts
parser/GPCR_v3/index.ts

books.ts 增加

import * as GPCRv3 from './parser/GPCR_v3';

const parsers: { [key: string]: any } = { // 在这里注册新的解析器
  jinghuo,
  wansui,
  wenji,
  GPCRv3,
  jqjianghua,
  xuanji,
  jimi,
  wenku,
  maoquanji,
  wanghongwen,
  yaowenyuan,
  zhangchunqiao,
  zzj1,
  automation,
};

[PirateBook1]

@banned-historical-archives 发现一些四人的讲话，在人民日报里有但是目前没有收录

[banned-historical-archives]

晚点我来录入

[banned-historical-archives]

已录入