不存数据库的新闻站:抓取在构建期,运行期只剩 JSON
不存数据库的新闻站:抓取在构建期,运行期只剩 JSON
16 家公开媒体、四类各 15 条、跨源去重、热度可解释;没有数据库、没有服务端,任何静态托管都能跑
一、为什么不做「新闻 App」
做过聚合站的人大概都踩过同一串坑:数据库要维护、抓取服务要常驻、某个源改版就整站挂掉、服务器到期忘了续费。
所以这个站的第一条约束是:运行期不跑任何代码。
新闻内容在构建期抓完,落地成一个 latest.json;运行期站点只是一堆静态文件,CDN 直接吐。这个选择带来三个直接好处:抗流量(因为根本没有服务端可压垮)、零运维(没有进程要看守)、可回滚(数据就是 Git 里的一个文件)。
代价是「实时性」——数据只能跟到上一次构建。这一点后面用三层机制补。
二、规模与构成
| 项 | 数值 |
|---|---|
| 信源 | 16 家(中文 11 + 英文 5) |
| 榜单 | 60 条,国内 / 国际 / 科技 / 游戏 各 15 |
| 时间窗口 | 48 小时 |
| 代码量 | 2,701 行(含前端) |
| npm 依赖 | 0 |
| 前端首屏 | HTML + CSS + JS < 50 KB |
| 榜单接口 | GET /data/latest.json |
信源分布:
- 国内:中国新闻网(综合 / 国内 / 国际)、界面新闻
- 国际:France 24、Indian Express、Korea Times
- 科技:IT之家、少数派、极客公园、钛媒体、Ars Technica
- 游戏:机核 GCORES、IGN 中国、GameSpot、Gematsu
全部来自公开 RSS / Atom,只取标题、链接、摘要、时间,不抓正文。这一条既是技术选择,也是版权边界——正文永远留在原媒体,点标题跳过去读。
三、热度分:可解释,比准确更重要
推荐系统最容易变成黑箱。这个站的做法是把每一分拆开,悬停就能看到四个因子的明细:
1 | heat = 0.36 × 时效 + 0.24 × 权重 + 0.18 × 交叉 + 0.22 × 信号 |
| 因子 | 计算方式 | 说明 |
|---|---|---|
| 时效 | 6 + 94 × exp(-age / halfLife) |
半衰期按分类不同:国内 8h、国际 10h、科技 12h、游戏 14h |
| 权重 | min(100, 信源权重 / 4 × 100) |
权重写在配置里,可调 |
| 交叉 | 100 × (1 - e^-(源数-1)/1.2) |
多家媒体同时报道,加成明显 |
| 信号 | 热词命中 + 数字 / 引号 / 标点启发式 | 「突发 / 重磅 / 官宣 / 发售 / 公测」等词表可配 |
几个设计判断:
半衰期为什么按分类不同。 国内的突发新闻八小时后就该往下掉;游戏资讯的生命周期长得多,一条发售消息一天后还有意义。同一个衰减曲线套所有分类,游戏板块会永远垫底。
交叉因子为什么用指数饱和。 两家源印证加分很多,第五家再加就没那么重要了——信息增量递减。用 1 - e^-x 而不是线性,正好表达这个直觉。
信号因子为什么保留启发式。 模型打分需要推理成本,而这个站的目标是「每两小时跑一次、几百毫秒完成」。词表 + 标点特征粗糙,但可解释、可调、不依赖任何外部服务。
结果:最新一批快照里,60 条热度分布在 31–61 之间。这个区间不算宽,是有意的——如果头部动辄 95、尾部只有 5,榜单一周就会固化,读者永远看到同样几条。
四、跨源去重:同一件事只出现一次
同一件事,中新网、界面、IT之家可能各报一条。直接列 60 条原稿,榜单会变成「同一新闻的三次重复」。
去重分两级:
- URL 精确去重:同一链接直接合并。
- 标题聚类:字符 bigram + Jaccard 相似度,配合前缀包含判断,把「XX 发布 YY」和「XX 正式发布 YY 系列」归为同一 topic,并标注「N 源印证」。
为什么不直接上语义向量?因为要跑在 CI 的 Node 环境里,零依赖。bigram 相似度对中文标题的效果意外地好——中文标题通常短、信息密度高,字面重合度就能反映事件重合度。
顺带说:最新这批快照的 60 条里,多源合并数为 0。这并不说明去重失效,而是说明这批时间里各家报道的主题比较分散。合并逻辑在 rank.mjs 里有单测覆盖。
五、三层保鲜
静态站最大的软肋是新鲜度。这个站用三层兜:
| 层 | 机制 | 频率 |
|---|---|---|
| 第一层 | GitHub Actions 定时跑 node scripts/fetch.mjs --archive,有变化就提交数据 |
每 2 小时 |
| 第二层 | 各托管平台的构建命令都包含抓取,部署即刷新 | 每次 push |
| 第三层 | 前端静默轮询 latest.json |
每 5 分钟 |
第一层保证数据在动,第二层保证部署跟上,第三层保证读者打开的页面不会停在两小时前。
六、自研 200 行 XML 解析器
这个决定值得单独说。Node 生态里解析 RSS 有一堆现成库,但每一个都会给项目带进依赖树。而 RSS 的格式其实很有限:
- RSS 2.0、Atom、RDF 三种格式,归一化成
{title, url, summary, publishedAt} - 需要处理 CDATA(很多中文源的摘要整段包在 CDATA 里)
- 需要处理 命名空间前缀(
content:encoded、dc:date) - 需要处理 常见实体(
&’) - 需要处理 字符集:部分源返回 GBK,按
Content-Type与 XML 声明嗅探
200 行写完,零依赖,出错时可以打日志到具体行。相比「引一个库然后猜它为什么解析空」,这个投入是划算的。
抓取层还有几个细节:5 路并发上限(别把人家服务器打挂)、超时 15 秒 + 退避重试 1 次、单源失败不影响整体(失败原因写进 latest.json 的 sourceStatus,前端有「信源状态」卡片实时展示)。
最后一次快照里,16 个源有 15 个正常——那 1 个失败就是常态,不需要报警,只需要展示。
七、失败时怎么办
这是聚合站的核心可靠性问题。策略是三段式:
- 单源失败:跳过,记录原因,其余正常出榜。
- 多数失败:仍然出榜,但前端显示信源状态异常。
- 全部失败:保留上一份数据,并以非 0 退出码通知 CI——让流水线红,而不是让站点空。
第 3 条是刻意设计的:一个空白的新闻站比一个两小时前的新闻站糟糕得多。宁可数据旧,不要页面空。
八、部署:一套契约,六个平台
抓取在构建期这个设计,让部署变得很简单:不管什么平台,契约都一样——**构建命令跑一次 fetch.mjs,输出目录指向 public**。
| 平台 | 配置 |
|---|---|
| EdgeOne Makers | edgeone.json 已声明构建 / 输出 / Node 版本 / 分级缓存头 |
| GitHub Pages | .github/workflows/pages.yml 内置 |
| Vercel | vercel.json |
| Netlify | netlify.toml |
| Cloudflare Pages | 构建命令 node scripts/fetch.mjs || true,输出 public |
| 自托管 | Dockerfile + nginx,构建期抓取、运行期纯静态 |
缓存策略也分了级:/data/* 不缓存(榜单要实时),/assets/* 长缓存(资源可复用)。这个区分在静态站上很容易被忽略,结果就是要么数据不更新,要么每次刷新都重下 CSS。
九、这个站的边界
做得对的:把「不可能三角」(实时、零运维、低成本)里放弃了一角——放弃实时,换到另外两个。而且放弃得很诚实:三层保鲜把延迟压到 5 分钟级,对读新闻来说已经够用。
做得不够的:只有 60 条,覆盖不了真正的「全量热点」;没有个性化,也没有「我已读过」的本地标记;归档只保留 30 天。这些都是刻意的小,因为每加一项复杂度,运维成本就会回来一点。
一点体会:做聚合站最容易沉迷在「抓更多源」上,但真正决定好不好用的,是去重准不准、排序有没有道理。抓 50 个源然后按时间倒序,和一个体育新闻 App 没有区别。可解释的热度分,是这个小站唯一拿得出手的设计。
- 数据接口:
/data/latest.json、/data/archive/YYYY-MM-DD.json - 版权:仅聚合公开 RSS 的标题与摘要,版权归原媒体所有
评论