S3 Vectors 加 Aurora 用 SQL 查十亿级向量
AWS 给出一种把十亿级向量放在 Amazon S3 Vectors、再用 Aurora PostgreSQL 的标准 SQL 查询的做法。中间靠 Lambda 做转换层,由 Aurora 的 aws_lambda 扩展调用 S3 Vectors 接口,关系数据留在 Aurora,大规模向量存在 S3,一条 SQL 里就能把向量检索与关系过滤、连接写在一起。官方给的成本对照是每 GB 0.06 美元对 0.10 美元。
保留原始来源与发布日期的新闻、博客和活动。
AWS 给出一种把十亿级向量放在 Amazon S3 Vectors、再用 Aurora PostgreSQL 的标准 SQL 查询的做法。中间靠 Lambda 做转换层,由 Aurora 的 aws_lambda 扩展调用 S3 Vectors 接口,关系数据留在 Aurora,大规模向量存在 S3,一条 SQL 里就能把向量检索与关系过滤、连接写在一起。官方给的成本对照是每 GB 0.06 美元对 0.10 美元。
Christophe Pettus 盘点了 PostgreSQL 的可选存储引擎,分四类。堆替代品里 OrioleDB 用 undo 日志加写时复制检查点,仍在公开测试、不建议上生产,EDB 的 ZHeap 自 2019 年就停了。列存类有只能追加、压缩三到十倍的 Citus columnar 及其分支 Hydra。湖仓类包括 pg_mooncake、pg_duckdb 与 ParadeDB。他的结论是可选项比宣传材料显示的少得多。
两个都叫 Postgres 加湖仓,路子完全不同。pg_lake 出自 Snowflake,是一组开源扩展加托管服务:堆表、MVCC 和本地 WAL 照旧,只在旁边接一层湖仓访问,分析查询交给 DuckDB 边车去读 Iceberg 表。Lakebase 是 Databricks 基于 Neon 引擎的托管服务,保留 PostgreSQL 的编程界面,但把存储子系统整个换掉,页面按需从 pageserver 取。
Jan Kristof Nidzwetzki 演示了用硬件断点而不是 uprobe 追踪 PostgreSQL。做法是让 CPU 监视某个内存地址,被访问时触发 eBPF 程序,不必替换指令,适合盯高频访问的变量。文中的例子是用 bpftrace 的 watchpoint 探针盯住事务 ID 生成用的 nextXid,每次写入就打印进程号和新值。他测得硬件断点约有三成开销、uprobe 约三成八,两者都因 CPU 模式切换而不便宜。
REPACK 并发执行依赖的按数据库划分快照,问题清单又长了一截。Antonin Houska 指出 COMMIT 记录可能出现在比运行事务记录更高的 LSN 上,会破坏清理机制。Amit Kapila 补了几条:按库解码器处理集群级记录时会触发过多 WAL 写入,重排序缓冲区的清理阈值太保守造成内存压力,这项优化还与槽位同步用的故障转移槽冲突。Alvaro Herrera 认为这些不算根本性问题,但必须在 19 里解决,否则回退。
给所有分支加 OpenSSL 4.0.0 支持的方案定了下来,包括最老的 REL_14_STABLE。Daniel Gustafsson 的补丁在所有受支持的 OpenSSL 与 LibreSSL 版本上都能无告警编译并通过测试。此前的顾虑是把仍在用旧 OpenSSL 的用户逼着升级,确认 PostgreSQL 14 还剩八月和十一月两个小版本之后,团队同意把 14 也带上。Tom Lane 建议下周发布之后不久动手,留三个月暴露问题。
Jake Hertz 讲了实时仪表板在规模上来之后为什么会塌。表超过五亿行时,原本正常的多表连接开始明显变慢,简单查询从 100 毫秒涨到 1.5 秒,原因是规范化模式带来的连接爆炸:数据库要遍历多个 B-tree 索引再把仪表板视图拼起来。他给的解法是把连接成本从读时移到写时,在摄入阶段预先把元数据拍平,文中有建表、批量迁移和触发器的完整写法,并建议用缓冲区命中数衡量效果。
Dirtyfrag 公开了一条链式利用路径,把两个与 Linux page cache 写入相关的问题串起来拿到 root,Cloudflare 同日发布 Copy Fail 的缓解复盘。这类漏洞不是远程 RCE,但在多租户主机、CI runner、开发沙箱、Kubernetes 节点和共享工作站上很危险:有了公开 PoC,发行版补丁又不同步,本地用户提权到 root 的窗口就变得现实。应立刻盘点内核版本、模块加载策略与 CI 隔离。
Cloudflare 汇总了多条 React 与 Next.js 的高危公告,建议升级到 React 19.0.6、19.1.7 或 19.2.6,以及 Next.js 15.5.16 或 16.2.5。它说明自家托管规则集对部分拒绝服务类问题已有覆盖,但中间件绕过和 SSRF 一类问题不能只靠 WAF 挡住。框架层的漏洞会横跨前端、服务端与边缘部署,不是打个 npm 补丁那么简单。
Alexander Korotkov 主张回迁到引入问题的 17,Michael Paquier 无异议,但认为本轮小版本不急。
James Locke 的概念验证加了 heap_relocate 原语,在页间搬元组不必走完整 UPDATE 的开销。
谓词在 SQL 层为真、在索引评估时为假,于是重复行得以存在;是否只限虚拟列仍在争论。
评审建议分开处理 WHERE 与连接树,并质疑重复调用 canonicalize_qual() 的必要性。
检查的是 pg_tablespace 的 SELECT 权限,报错却说表空间无权限,Chao Li 给了一行修复。
GUC 系列讲插入触发的两个阈值,提醒别按死元组比例给所有表配同一套参数。
Google 称它已是基础设施优化的常规工具,还参与下一代 TPU 设计与 LSM 合并策略调优。
敏感字段可以在驱动层加密,但索引能力、查询方式和密钥轮换都要重新盘算。
Mozilla 称四月共修 423 个安全缺陷,关键是配套的验证、去重、分级与补丁交付流水线。
预览版支持会话级消费上限、钱包鉴权和稳定币支付凭证,支付权限要按云权限同等看待。