Presto的调查
随着边缘计算使边缘设备变得更加高性能,人们希望数据能够存储在边缘设备中,而不是收集到云服务中,并且希望能够直接搜索边缘设备的数据。在物联网(IoT)系统中,为了快速搜索分布在广域范围内的分布式边缘设备的数据,需要一种能够访问多个数据库的分布式 SQL 引擎。因此,我们总结了关于分布式 SQL 引擎 Presto 的详细信息,包括操作环境、许可证等基本信息,以及支持的编程语言、可用性、可扩展性和安全性等功能信息。
咔嚓
Presto是一个开源的分布式SQL查询引擎,可以对任何大小的数据源执行交互式分析查询,包括达到Petabyte级别的数据大小。
Presto具有一个Presto Coordinator和多个Presto Worker。查询通过像Presto CLI这样的客户端发送。
Presto Coordinator负责解析、分析和查询执行计划,并将任务分配给Presto Worker进行处理。
通过Connector插件,Presto可以访问多个数据源并执行查询。
基本信息
項目 内容URLhttps://prestosql.io/データモデルリレーショナルデータモデル動作環境CPU: 64 bit CPU
メモリ: 512MB以上 ( 要 Shared Bufferの4倍の物理メモリ )
ストレージ:
OS: Linux、Mac OS X
Software : Java 8 Update 161 以上, Oracle JDK, OpenJDK、Maven 3.3.9(ビルド用)、 Python 2.4(実行用)実装言語JavaライセンスApache License, Version 2.0
https://github.com/prestosql/presto/blob/master/LICENSE主なバージョンRelease 316 (2019-07-09) : data_formatでマルチバイト文字をサポート、UNNESTを使ったクエリの性能改善
Release 315 (2019-06-15) : FETCH FIRST … WITH TIES 構文のサポート追加、format() 関数の追加
Release 314 (2019-06-08) : json_parse() 関数の性能改善、EXPLAINコマンドのプラン出力の可視化
参照 : Presto Documentation 12. Release Notes開発元Presto Software Foundation開発体制Contributorは、304名
Contributorは、Presto Software Foundation Contributor License Agreementsを締結する必要があります。活動状況GitHub issuesの投稿月間 平均約 600件、GitHub でソースコード・コミット月間約80件
参照 : GitHub issues、GitHub Commits国内サポート体制日本テラデータ、Think Bigのビッグデータ・コンサルティング・サービス を国内で販売開始
参照 : 日本テラデータ・プレスリリースその他開発の主体が、Facebook Open Source community をベースとする Presto Foundation と 2019年1月に発足した Presto Software Foundation に二分されています。主要メンバーは Presto Software Foundation に移り、開発を進めているため、今後は、Presto Software Foundation の動向をキャッチアップする方が良いと思われます。
メモリ: 512MB以上 ( 要 Shared Bufferの4倍の物理メモリ )
ストレージ:
OS: Linux、Mac OS X
Software : Java 8 Update 161 以上, Oracle JDK, OpenJDK、Maven 3.3.9(ビルド用)、 Python 2.4(実行用)実装言語JavaライセンスApache License, Version 2.0
https://github.com/prestosql/presto/blob/master/LICENSE主なバージョンRelease 316 (2019-07-09) : data_formatでマルチバイト文字をサポート、UNNESTを使ったクエリの性能改善
Release 315 (2019-06-15) : FETCH FIRST … WITH TIES 構文のサポート追加、format() 関数の追加
Release 314 (2019-06-08) : json_parse() 関数の性能改善、EXPLAINコマンドのプラン出力の可視化
参照 : Presto Documentation 12. Release Notes開発元Presto Software Foundation開発体制Contributorは、304名
Contributorは、Presto Software Foundation Contributor License Agreementsを締結する必要があります。活動状況GitHub issuesの投稿月間 平均約 600件、GitHub でソースコード・コミット月間約80件
参照 : GitHub issues、GitHub Commits国内サポート体制日本テラデータ、Think Bigのビッグデータ・コンサルティング・サービス を国内で販売開始
参照 : 日本テラデータ・プレスリリースその他開発の主体が、Facebook Open Source community をベースとする Presto Foundation と 2019年1月に発足した Presto Software Foundation に二分されています。主要メンバーは Presto Software Foundation に移り、開発を進めているため、今後は、Presto Software Foundation の動向をキャッチアップする方が良いと思われます。
功能信息
項目 内容対応プログラム言語C、Go、Java、Node.js、Python、R、Ruby
参照 : Presto Resourcesアクセス可能なDBApache Accumulo、Cassandra、Elasticsearch、Hive、Kafka、Kudu、Local File、Memory、MongoDB、MySQL、PostgreSQL、Redis、Redshift、SQL Server
参照 : Presto Documentation 6. Connectorsクエリ言語SQL(ANSI SQLに準拠)マルチテナントなしインデックスなしトランザクションPrestoでオンライントランザクション処理(OLTP)を扱えるように設計されていません。
参照 : Presto Documentation 1.1. Use Cases -> What Presto Is NotストアドプロシジャOracleのようなストアドプロシージャはありませんが、コネクタによってストアドプロシージャ相当を実現することが可能です。使用する際には、CALLコマンドでプロシージャを実行することが可能です。
参照 : Presto Documentation 9.4 CALLdockerコンテナdockerhubでPrestoのDocker Containerイメージが公開されている。
https://hub.docker.com/r/prestosql/presto性能拡張workerの台数を増やせばスループットも比例して上がります。ただし、データを分割できないデータソースがあると、特定のworkerに負荷が集中して台数を増やしてもスループットもが上がらないことがあります。高可用性Prestoは、現時点でCoordinator、またはWorkerのための有効なフォールト・トレランスを持っていません。現在、改善中である。
参照 : Presto: SQL on Everything、High Availability #391運用バックアップや監視ツールはありません出来ないことメモリに収まらないデータは処理できません。
参照 : Presto Resourcesアクセス可能なDBApache Accumulo、Cassandra、Elasticsearch、Hive、Kafka、Kudu、Local File、Memory、MongoDB、MySQL、PostgreSQL、Redis、Redshift、SQL Server
参照 : Presto Documentation 6. Connectorsクエリ言語SQL(ANSI SQLに準拠)マルチテナントなしインデックスなしトランザクションPrestoでオンライントランザクション処理(OLTP)を扱えるように設計されていません。
参照 : Presto Documentation 1.1. Use Cases -> What Presto Is NotストアドプロシジャOracleのようなストアドプロシージャはありませんが、コネクタによってストアドプロシージャ相当を実現することが可能です。使用する際には、CALLコマンドでプロシージャを実行することが可能です。
参照 : Presto Documentation 9.4 CALLdockerコンテナdockerhubでPrestoのDocker Containerイメージが公開されている。
https://hub.docker.com/r/prestosql/presto性能拡張workerの台数を増やせばスループットも比例して上がります。ただし、データを分割できないデータソースがあると、特定のworkerに負荷が集中して台数を増やしてもスループットもが上がらないことがあります。高可用性Prestoは、現時点でCoordinator、またはWorkerのための有効なフォールト・トレランスを持っていません。現在、改善中である。
参照 : Presto: SQL on Everything、High Availability #391運用バックアップや監視ツールはありません出来ないことメモリに収まらないデータは処理できません。
安全
項目 内容通信暗号化すべての通信は、SSL/TLSに対応可能ですDB格納領域の暗号化なし認証機能Kerberos認証、LDAP認証、ダイジェスト認証が使用可能です。また、Password Authenticatorの仕組みを利用して、認証部分を実装することも可能です。実装例権限管理権限管理は可能ですDB監査Auditロギングがあります
参考:Presto 文档 3. 安全
总结
由于Presto专注于分布式SQL查询引擎,因此不支持常规的数据库功能。特别是在高可用性和运营方面需要采取措施。缺乏多租户功能被认为是一个负面因素。
然而,日本Teradata在国内支持Presto是一个重要的亮点。
请提供广泛意见是(株)东芝 数码创新技术中心和软件技术中心的观点。
此外,如果有任何描述上的错误或者你有任何疑问,希望你能够通过编辑请求或者评论给予反馈,那将非常感激。