ClickHouse 开源 WalShadow:从物理 WAL 亚秒级同步 Postgres 到 ClickHouse
ClickHouse 发布开源引擎 WalShadow,直接消费 Postgres 物理 WAL,绕开逻辑复制,在基准测试中约 200ms 可见、约 28.9 万行/秒吞吐。
ClickHouse 宣布开源 WalShadow:从 Postgres 物理 WAL 直接复制数据到 ClickHouse,而不是走传统逻辑 CDC。
官方基准显示,事务在 Postgres 提交后约 200ms 可在 ClickHouse 可见(物理备库基线约 50ms;其逻辑复制工具 PeerDB 约 10 秒),并可持续约 28.9 万行/秒,基本跟上源库插入速度。流程在源库外解码 WAL,再写成 ClickHouse 原生 block;支持初始全量、持续复制、schema 变更、重启恢复与计划切换。ClickHouse Managed Postgres 也提供私有预览集成。
项目已在 GitHub 开源,面向希望降低逻辑复制槽与源库开销、又要近实时分析的场景。