从 RSS 到知识库:信息聚合的工程实践

数据源

RSS/Atom 仍是高质量结构化信息的主要入口。给每个源配好展示名与主页,前端就能直接复用。

去重的两层

• 硬去重:同一链接/标题哈希,避免重复入库。
• 软聚类:标题词重叠高的报道,归到同一个事件下,呈现「多方报道」。

存储取舍

原型阶段用 JSON 文件足够;等数据量与并发上来,再迁移到 Postgres + pgvector,检索与向量化一并解决。

合规底线

聚合只展示标题、摘要、来源署名与原文链接,不搬运全文。原创栏目(文章、一页)与聚合流严格分开。