高性能 SQL 集群引擎 PGSpider 2.0.0 发布

发布于 2021-12-27,Toshiba
相关开源软件

我们刚刚发布了 PGSpider v2.0.0。

PGSpider 是面向分布式大数据的高性能 SQL 集群引擎。PGSpider 可以通过外部数据包装器(FDW)访问多种数据源,并对分布式数据源进行纵向检索。

PGSpider 的使用方式与 PostgreSQL 相同。你可以使用任何客户端应用程序,如 libpq 和 psql。

本版本改进了以下内容:

  • 发布完整源代码

  • 旧版本需要对 PostgreSQL 打补丁

  • 基于 PostgreSQL 14.0

  • 支持目标列表中 SQL 函数的下推

  • 当查询中的所有表位于同一数据源时,支持 JOIN 下推

  • 更改了程序名称('pgspider')和默认端口号(4813)

PGSpider 支持以下功能:

多租户:

用户可以通过一条 SQL 语句轻松获取多个表中的记录。如果各数据源中存在具有相似结构的表,PGSpider 可以将它们视为一张虚拟表:我们称之为多租户表。

并行处理:

PGSpider 并行执行查询并从子节点获取结果。

PGSpider 将多租户表展开为子表,并为每个子表创建新线程以访问对应的数据源。

下推:

WHERE 子句和聚合函数被下推到子节点。对多租户表使用 AVG、STDDEV 和 VARIANCE 时会产生错误。PGSpider 解决了此问题,可以正常执行这些操作。当查询中的所有表位于同一数据源时,JOIN 也会被下推。

本项目由东芝软件工程与技术中心开发。

详情请参阅代码仓库,欢迎反馈。

源代码仓库:https://github.com/pgspider/pgspider

此致敬意,

TAIGA Katayama