Kubernetes 兼容的分析框架等

Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。

Kubernetes本地环境

Kubeflow—-藉由一個整合的開源平台,加速機器學習模型在Kubernetes上的部署和管理。

GitHub kubeflow – Kubernetes上的机器学习工具包

Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。

Kubernetes 上的 Spark

Apache Spark 在 k8s 上的支持已经 officially 纳入 Spark 项目。

Apache Airflow是一种开源的任务调度和工作流管理平台。

Apache Airflow
Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ(パイプライン)を提供。

GKE上的图形处理单元(GPUs)。

在谷歌的Kubernetes上使用GPU节点来运行机器学习等任务。

开源

思齐敦核心

Seldon Core – 在Kubernetes上部署的機器學習。

Polyaxon: 多元化的龙头

Polyaxon是用于构建大规模深度学习环境的实现。

商业使用

RiseML 的中文翻译

RiseM L- 基于Kubernetes的深度学习平台
可在GPU集群上部署的简单深度学习解决方案。

机器学习 Lambda

ML Lambda – 机器学习服务集群
在实时集群环境中实现了Spark ML、Tensor Flow、shikit Learn等。

广告
将在 10 秒后关闭
bannerAds