↑↓ 选择↵ 打开⌫ 切换范围完整搜索

PG.CENTER 连接 PostgreSQL 文档、百科与生态知识。由 Pigsty 维护。

pg-cdc 把 WAL 直接写成 S3 上的 Iceberg 表 RSS

burnside project 开源的 pg-cdc 读取 PostgreSQL 的 WAL,把变更以 Apache Iceberg 表的形式写入 AWS S3,并自动在 Glue Catalog 注册表,用 Lake Formation 的标签控制读取,消费方走 IAM 认证,不需要数据库账号密码。工具只有一个二进制,不依赖 JVM;数据流严格单向,架构上不存在回写生产库的路径。每次刷新生成一个 Iceberg 快照,可以对 CDC 历史做时间旅行查询。

发布于 2026-09-10T10:59:45.17451Z · burnside project · PostgreSQL 新闻
CDC Iceberg S3

burnside project 开源的 pg-cdc 读取 PostgreSQL 的 WAL,把变更以 Apache Iceberg 表的形式写入 AWS S3,并自动在 Glue Catalog 注册表,用 Lake Formation 的标签控制读取,消费方走 IAM 认证,不需要数据库账号密码。工具只有一个二进制,不依赖 JVM;数据流严格单向,架构上不存在回写生产库的路径。每次刷新生成一个 Iceberg 快照,可以对 CDC 历史做时间旅行查询。

burnside project 开源的 pg-cdc 读取 PostgreSQL 的 WAL,把变更以 Apache Iceberg 表的形式写入 AWS S3,并自动在 Glue Catalog 注册表,用 Lake Formation 的标签控制读取,消费方走 IAM 认证,不需要数据库账号密码。工具只有一个二进制,不依赖 JVM;数据流严格单向,架构上不存在回写生产库的路径。每次刷新生成一个 Iceberg 快照,可以对 CDC 历史做时间旅行查询。

原始来源 ↗

来源记录
  • center.info_item · 637a257200cc8aa1 · 2026-10-03T04:08:35.169032Z
  • pgweb.info_item · 637a257200cc8aa1 · 2026-10-03T04:08:55.967155Z