PGSpider调查

2 年 ago

韵, 科

1 minute

随着边缘计算使边缘设备获得了更高的性能，人们希望直接检索边缘设备的数据，而不是将数据收集到云服务中。在物联网（IoT）系统中，为了快速检索分散在广域的边缘设备数据，人们需要能够访问多个数据库的分布式SQL引擎。因此，我们总结了我们正在开发的大规模分布式SQL引擎PGSpider，从基本信息如运行环境和许可证，到功能信息如支持的编程语言、可用性、可扩展性以及安全性。

請列出關於PGSpider的本地化中文解釋。

PGSpider是一个SQL引擎，通过将多个分布式数据源连接为各自的子节点，实现数据的跨越式搜索。通过将PGSpider连接到子节点并将其转换为中间节点，可以构建广域和大规模的分布式环境，实现数据搜索的加速。具体来说，它具有可以将分布式表作为一个虚拟表来处理的多租户功能，以及可以以相同方式访问不同数据源的功能，还有实现数据搜索加速的并行查询和有效的推送下推功能。PGSpider是基于开源的关系型数据库管理系统 PostgreSQL开发的。

借鉴：根据《东芝评论74卷1号R＆D前沿：支持边缘计算的大规模分散数据快速搜索框架PGSpider》及其在PGConf.ASIA 2019和FOSDEM PGDay 2020上展示的高性能集群引擎PGSpider的情况。

基本信息

項目内容URLhttps://github.com/pgspiderデータモデルリレーショナルデータ・モデル動作環境CPU：x86系、IA64、ARM
メモリ：512MB以上(Shared Bufferの4倍の物理メモリが必要)
ストレージ :
OS：Linux系
Software : ビルドするために最低限、Cコンパイラ以外にmake, tar, gzip, zlib, Readlineが必要
参照 : Supported Platforms実装言語主にC言語で開発ライセンスMITライセンスで公開予定主なバージョン2020-01-30 : Version 1.0をリリース開発元東芝ソフトウェア技術センター開発体制参照 : https://github.com/orgs/pgspider/people[PGSpider people]活動状況関係するFDWを公開していますが、本体は2020年1月に公開予定です。国内サポート体制東芝ソフトウェア技術センターがサポート予定その他PostgreSQLとして RDBMS を利用も可能です。

功能信息

項目内容対応プログラム言語C/C++、pyhton、.NET、Go、Perl、JavaScript、.NET、TCL
また、ODBC、JDBC ドライバを利用可能なプログラム言語であればアクセス可能です
参照 : PostgreSQL Documentation : H.1. Client Interfacesアクセス可能なDBPostgreSQL、Oracle、MySQL、Infomix、Firebird、SQLite、Sybase、MS SQL Server、MonetDB、HBase、Cassandra、ClickHouse、CouchDB、GridDB、InfluxDB、Kafka、Kyoto Tycoon、MongoDB、Neo4j、Quasar、Redis、RethinkDB、Riak、WhiteDB、CSV、JSON、Parquet、XML、LDAP、DynamoDB、Elastic Search
参照 : PostgreSQL Wiki : Foreign data wrappersクエリ言語SQLマルチテナント各ノードで同じテーブル名があれば、1つのテーブルとして扱うマルチテナント機能がある。また、ノード列でどのノードから取得したレコードかを知ることができます。インデックスなしトランザクション単一子ノードであれば、PostgreSQLのトランザクションをサポートします。アイソレーション・レベルはRead uncommitted、Read committed、Repeatable read、Serializableがある。デフォルトは Read Committed。これはMVCCで実装されています。ストアドプロシジャPostgreSQLのストアドプロシージャ、ストアドファンクションをサポートします。dockerコンテナ2020/3にリリース予定性能拡張PGSpiderでは、スループットを向上させたい場合、pgpool-IIというクラスタ管理ツールを組み合わせることで、スケールアウト・クラスタリングを実現します。大量のノードが存在し、レイテンシを向上させたい場合、PGSpiderで木構造で構築することでクエリ処理を分割させることが可能です。
参照 : Pgpool Wiki高可用性PGSpiderでは、PostgreSQLの各種レプリケーション機能を利用します。
参照 : PostgreSQL Documentation : Chapter 26. High Availability, Load Balancing, and Replication
また、子ノードとのネットワーク接続が遮断された時の接続リカバリー機能を追加したことで可用性も向上しさせています。運用PGSpiderでは、カタログ情報などのバックアップ/リストアでPostgreSQLバックアップ/リストア機能(pg_basebackup, pg_dump, pg_restore)を利用します。オフラインバックアップはDBを停止して、ファイルシステムバックアップを実施します。
参照 : [PostgreSQL Documentation : Chapter 25. Backup and Restore]出来ないこと複数ノードでのトランザクション処理が出来ません

安全

項目内容通信暗号化SSLでクライアントとDBサーバ間の通信を暗号化していますDB格納領域の暗号化透過的暗号化でDB格納領域を暗号化することが可能です認証機能証明書、trust/reject、scram-sha-256、md5、ident/peer、LDAPなど、さまざまなクライアント認証方法が利用可能です。権限管理DBオブジェクトに操作権限をロールまたはユーザに付与することで権限管理ができますDB監査監査ログ機能有(pgaudit)

参考：深入理解PostgreSQL的安全性

总结

PGSpider的优势在于它是基于PostgreSQL，具有丰富的数据库功能和工具，除了分布式搜索。它还支持分布式搜索和多租户功能，适用于时序数据库。此外，高可用性、运维、以及安全性功能也是不可忽视的要点。

以下内容是东芝数字创新技术中心和软件技术中心的观点。如能广泛提供意见和评论，将不胜感激。
同时，如果有任何错误或疑问，请通过编辑请求或评论提供反馈，将不胜感激。

如果您想与我们一起开发 PGSpider，请点击这里或者这里进行了解。