Moovit 按负载重划 Redshift 与 Spark 分工
Moovit 的数据平台改造从逐条核算查询 CPU 消耗开始,把大规模转换迁往 EMR 上的 Spark,稳定报表保留在 Redshift,探索查询交给独立的无服务器资源。团队先清理无效任务,再改写重度去重与数据交换步骤,并用行数、用户数和业务指标验证迁移前后的结果。厂商称,这套分工使整体成本降低 33%,而不是依靠一次性扩大集群。案例也展示了逐步缩容和逐轮性能检查的过程,适合已有数仓出现转换任务与查询争抢资源时参考。
保留原始来源与发布日期的新闻、博客和活动。
Moovit 的数据平台改造从逐条核算查询 CPU 消耗开始,把大规模转换迁往 EMR 上的 Spark,稳定报表保留在 Redshift,探索查询交给独立的无服务器资源。团队先清理无效任务,再改写重度去重与数据交换步骤,并用行数、用户数和业务指标验证迁移前后的结果。厂商称,这套分工使整体成本降低 33%,而不是依靠一次性扩大集群。案例也展示了逐步缩容和逐轮性能检查的过程,适合已有数仓出现转换任务与查询争抢资源时参考。
ClickHouse 26.8 是新的长期支持版本,除了查询性能优化,还处理了物化视图初始化时容易遗漏的并发写入。默认启用的原子 POPULATE 会协调快照与后续订阅,填补历史数据装载和增量接收之间的空隙。新版本同时提供后台查询、更完整的中文分词及流水线式 SQL。已有服务升级时,可重点回归并发插入下的视图结果、后台任务生命周期和分词后的检索效果;发布说明中的基准提升仍需结合自身数据分布验证。
低写入负载下,等待 WAL 归档段触发传输可能拉长跨区复制延迟。Oracle 介绍了 OCI PostgreSQL Warm Standby 场景的替代路径:通过 pglogical 扩展持续传递变更,避免仅靠缩短归档超时增加小批量传输成本。厂商称,在跨三个大洲的案例中,变更约 1–2 秒可见。这里仍是异步逻辑复制,应用必须规划写入归属、冲突处理和最终一致性,不能把该数字理解为同步提交保证或所有跨区部署的固定表现。
Query.Farm 在 DuckDB 2.0 开发分支上测试 ADBC 整体查询下推:同一远端数据库中的连接、过滤和聚合可交给远端一次执行,DuckDB 只接收结果的 Arrow 数据流。厂商称,在五百万行 PostgreSQL 数据上,两类查询约快 10–11 倍,收益主要来自减少数据搬运。该能力仍依赖开发版本和测试分支,只有通过语义检查的查询才下推,不支持的部分回退本地执行;使用前也要评估远端数据库增加的计算负载。
PostgreSQL 19 分支已提交回退,移除 pg_get_role_ddl()、pg_get_tablespace_ddl()、pg_get_database_ddl() 及对应发布说明。此前审查仍在讨论权限边界、输出完整性与 pg_dump 的一致性,如今已从设计争论变成明确的版本变更。开发主分支继续保留这项工作,社区将在后续周期重做权限与测试。正在试用 19 测试版的管理工具,应撤掉对这三个接口的依赖。
以 PKCE 保护授权码交换,避免向每台机器分发共享客户端密钥,再将身份提供方的用户组映射到 RBAC 权限。
每日探测支持的算法,优先使用后量子混合密钥交换,并逐步放量、监测重试率;兼容的源站可少一次握手往返。
插件以签名令牌映射用户组和角色,权限变化须重连才生效;文章对应的 8.4.11-11 与 9.7.2-2 版本当时尚未发布。
工具记录变更及修改前镜像,再逆序撤销增删改;需要 MongoDB 6.0 以上的复制集或分片部署,不能替代备份。
次级区域读端点无法自动识别全局拓扑;误用区域方言会导致连接初始化超时,故障转移插件与主机模式也须匹配。