不存数据库的新闻站:抓取在构建期,运行期只剩 JSON

16 家公开媒体、四类各 15 条、跨源去重、热度可解释;没有数据库、没有服务端,任何静态托管都能跑


一、为什么不做「新闻 App」

做过聚合站的人大概都踩过同一串坑:数据库要维护、抓取服务要常驻、某个源改版就整站挂掉、服务器到期忘了续费。

所以这个站的第一条约束是:运行期不跑任何代码。

新闻内容在构建期抓完,落地成一个 latest.json;运行期站点只是一堆静态文件,CDN 直接吐。这个选择带来三个直接好处:抗流量(因为根本没有服务端可压垮)、零运维(没有进程要看守)、可回滚(数据就是 Git 里的一个文件)。

代价是「实时性」——数据只能跟到上一次构建。这一点后面用三层机制补。

二、规模与构成

项 数值
信源 16 家(中文 11 + 英文 5)
榜单 60 条,国内 / 国际 / 科技 / 游戏 各 15
时间窗口 48 小时
代码量 2,701 行(含前端)
npm 依赖 0
前端首屏 HTML + CSS + JS < 50 KB
榜单接口 GET /data/latest.json

信源分布:

  • 国内:中国新闻网(综合 / 国内 / 国际)、界面新闻
  • 国际:France 24、Indian Express、Korea Times
  • 科技:IT之家、少数派、极客公园、钛媒体、Ars Technica
  • 游戏:机核 GCORES、IGN 中国、GameSpot、Gematsu

全部来自公开 RSS / Atom,只取标题、链接、摘要、时间,不抓正文。这一条既是技术选择,也是版权边界——正文永远留在原媒体,点标题跳过去读。

三、热度分:可解释,比准确更重要

推荐系统最容易变成黑箱。这个站的做法是把每一分拆开,悬停就能看到四个因子的明细:

1
heat = 0.36 × 时效 + 0.24 × 权重 + 0.18 × 交叉 + 0.22 × 信号
因子 计算方式 说明
时效 6 + 94 × exp(-age / halfLife) 半衰期按分类不同:国内 8h、国际 10h、科技 12h、游戏 14h
权重 min(100, 信源权重 / 4 × 100) 权重写在配置里,可调
交叉 100 × (1 - e^-(源数-1)/1.2) 多家媒体同时报道,加成明显
信号 热词命中 + 数字 / 引号 / 标点启发式 「突发 / 重磅 / 官宣 / 发售 / 公测」等词表可配

几个设计判断:

半衰期为什么按分类不同。 国内的突发新闻八小时后就该往下掉;游戏资讯的生命周期长得多,一条发售消息一天后还有意义。同一个衰减曲线套所有分类,游戏板块会永远垫底。

交叉因子为什么用指数饱和。 两家源印证加分很多,第五家再加就没那么重要了——信息增量递减。用 1 - e^-x 而不是线性,正好表达这个直觉。

信号因子为什么保留启发式。 模型打分需要推理成本,而这个站的目标是「每两小时跑一次、几百毫秒完成」。词表 + 标点特征粗糙,但可解释、可调、不依赖任何外部服务。

结果:最新一批快照里,60 条热度分布在 31–61 之间。这个区间不算宽,是有意的——如果头部动辄 95、尾部只有 5,榜单一周就会固化,读者永远看到同样几条。

四、跨源去重:同一件事只出现一次

同一件事,中新网、界面、IT之家可能各报一条。直接列 60 条原稿,榜单会变成「同一新闻的三次重复」。

去重分两级:

  1. URL 精确去重:同一链接直接合并。
  2. 标题聚类:字符 bigram + Jaccard 相似度,配合前缀包含判断,把「XX 发布 YY」和「XX 正式发布 YY 系列」归为同一 topic,并标注「N 源印证」。

为什么不直接上语义向量?因为要跑在 CI 的 Node 环境里,零依赖。bigram 相似度对中文标题的效果意外地好——中文标题通常短、信息密度高,字面重合度就能反映事件重合度。

顺带说:最新这批快照的 60 条里,多源合并数为 0。这并不说明去重失效,而是说明这批时间里各家报道的主题比较分散。合并逻辑在 rank.mjs 里有单测覆盖。

五、三层保鲜

静态站最大的软肋是新鲜度。这个站用三层兜:

层 机制 频率
第一层 GitHub Actions 定时跑 node scripts/fetch.mjs --archive,有变化就提交数据 每 2 小时
第二层 各托管平台的构建命令都包含抓取,部署即刷新 每次 push
第三层 前端静默轮询 latest.json 每 5 分钟

第一层保证数据在动,第二层保证部署跟上,第三层保证读者打开的页面不会停在两小时前。

六、自研 200 行 XML 解析器

这个决定值得单独说。Node 生态里解析 RSS 有一堆现成库,但每一个都会给项目带进依赖树。而 RSS 的格式其实很有限:

  • RSS 2.0、Atom、RDF 三种格式,归一化成 {title, url, summary, publishedAt}
  • 需要处理 CDATA(很多中文源的摘要整段包在 CDATA 里)
  • 需要处理 命名空间前缀(content:encoded、dc:date)
  • 需要处理 常见实体(&nbsp; &amp; &#8217;)
  • 需要处理 字符集:部分源返回 GBK,按 Content-Type 与 XML 声明嗅探

200 行写完,零依赖,出错时可以打日志到具体行。相比「引一个库然后猜它为什么解析空」,这个投入是划算的。

抓取层还有几个细节:5 路并发上限(别把人家服务器打挂)、超时 15 秒 + 退避重试 1 次、单源失败不影响整体(失败原因写进 latest.json 的 sourceStatus,前端有「信源状态」卡片实时展示)。

最后一次快照里,16 个源有 15 个正常——那 1 个失败就是常态,不需要报警,只需要展示。

七、失败时怎么办

这是聚合站的核心可靠性问题。策略是三段式:

  1. 单源失败:跳过,记录原因,其余正常出榜。
  2. 多数失败:仍然出榜,但前端显示信源状态异常。
  3. 全部失败:保留上一份数据,并以非 0 退出码通知 CI——让流水线红,而不是让站点空。

第 3 条是刻意设计的:一个空白的新闻站比一个两小时前的新闻站糟糕得多。宁可数据旧,不要页面空。

八、部署:一套契约,六个平台

抓取在构建期这个设计,让部署变得很简单:不管什么平台,契约都一样——**构建命令跑一次 fetch.mjs,输出目录指向 public**。

平台 配置
EdgeOne Makers edgeone.json 已声明构建 / 输出 / Node 版本 / 分级缓存头
GitHub Pages .github/workflows/pages.yml 内置
Vercel vercel.json
Netlify netlify.toml
Cloudflare Pages 构建命令 node scripts/fetch.mjs || true,输出 public
自托管 Dockerfile + nginx,构建期抓取、运行期纯静态

缓存策略也分了级:/data/* 不缓存(榜单要实时),/assets/* 长缓存(资源可复用)。这个区分在静态站上很容易被忽略,结果就是要么数据不更新,要么每次刷新都重下 CSS。

九、这个站的边界

做得对的:把「不可能三角」(实时、零运维、低成本)里放弃了一角——放弃实时,换到另外两个。而且放弃得很诚实:三层保鲜把延迟压到 5 分钟级,对读新闻来说已经够用。

做得不够的:只有 60 条,覆盖不了真正的「全量热点」;没有个性化,也没有「我已读过」的本地标记;归档只保留 30 天。这些都是刻意的小,因为每加一项复杂度,运维成本就会回来一点。

一点体会:做聚合站最容易沉迷在「抓更多源」上,但真正决定好不好用的,是去重准不准、排序有没有道理。抓 50 个源然后按时间倒序,和一个体育新闻 App 没有区别。可解释的热度分,是这个小站唯一拿得出手的设计。


  • 数据接口:/data/latest.json、/data/archive/YYYY-MM-DD.json
  • 版权:仅聚合公开 RSS 的标题与摘要,版权归原媒体所有