Moovit 按负载重划 Redshift 与 Spark 分工 RSS

Moovit 的数据平台改造从逐条核算查询 CPU 消耗开始，把大规模转换迁往 EMR 上的 Spark，稳定报表保留在 Redshift，探索查询交给独立的无服务器资源。团队先清理无效任务，再改写重度去重与数据交换步骤，并用行数、用户数和业务指标验证迁移前后的结果。厂商称，这套分工使整体成本降低 33%，而不是依靠一次性扩大集群。案例也展示了逐步缩容和逐轮性能检查的过程，适合已有数仓出现转换任务与查询争抢资源时参考。

发布于 2026-09-14T07:01:14.158338Z · Saar Porat、Vova Nevski · AWS Big Data Blog

数据工程 架构

Moovit 的数据平台改造从逐条核算查询 CPU 消耗开始，把大规模转换迁往 EMR 上的 Spark，稳定报表保留在 Redshift，探索查询交给独立的无服务器资源。团队先清理无效任务，再改写重度去重与数据交换步骤，并用行数、用户数和业务指标验证迁移前后的结果。厂商称，这套分工使整体成本降低 33%，而不是依靠一次性扩大集群。案例也展示了逐步缩容和逐轮性能检查的过程，适合已有数仓出现转换任务与查询争抢资源时参考。

Moovit 的数据平台改造从逐条核算查询 CPU 消耗开始，把大规模转换迁往 EMR 上的 Spark，稳定报表保留在 Redshift，探索查询交给独立的无服务器资源。团队先清理无效任务，再改写重度去重与数据交换步骤，并用行数、用户数和业务指标验证迁移前后的结果。厂商称，这套分工使整体成本降低 33%，而不是依靠一次性扩大集群。案例也展示了逐步缩容和逐轮性能检查的过程，适合已有数仓出现转换任务与查询争抢资源时参考。

原始来源 ↗

来源记录

• center.info_item · ed0ec08266ec3740 · 2026-10-03T04:08:35.169032Z
• pgweb.info_item · ed0ec08266ec3740 · 2026-10-03T04:08:55.967155Z