我们刚刚发布了用于 Amazon S3 上 Parquet 文件的外部数据包装器 0.3.0 版本。
此版本支持 PostgreSQL 13 和 14。
此版本(相比 0.2.1)改进了以下内容:
支持无模式功能
合并 parquet_fdw 变更(截至 2021 年 12 月 17 日)
该 FDW 支持以下功能:
支持对本地文件系统或 Amazon S3 上的 Parquet 文件进行 SELECT 操作
支持使用 MinIO 替代 Amazon S3 进行访问。
允许控制外部服务器在事务完成后是否保持连接打开。这通过 keep_connections 控制,默认为开启。
支持 parquet_s3_fdw 函数 parquet_s3_fdw_get_connections() 以报告已打开的外部服务器连接。
支持通过指定目录路径为目录中的多个文件创建外部表。
支持无模式模式,允许使用 jsonb 类型列访问数据文件中的元素,无需更改表定义。
此项目由东芝软件工程与技术中心开发。
详情请参阅仓库。
源代码仓库:https://github.com/pgspider/parquet_s3_fdw