Kubernetes 兼容的分析框架等
Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。
Kubernetes本地环境
Kubeflow—-藉由一個整合的開源平台,加速機器學習模型在Kubernetes上的部署和管理。
GitHub kubeflow – Kubernetes上的机器学习工具包
Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。
Kubernetes 上的 Spark
Apache Spark 在 k8s 上的支持已经 officially 纳入 Spark 项目。
Apache Airflow是一种开源的任务调度和工作流管理平台。
Apache Airflow
Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ(パイプライン)を提供。
GKE上的图形处理单元(GPUs)。
在谷歌的Kubernetes上使用GPU节点来运行机器学习等任务。
开源
思齐敦核心
Seldon Core – 在Kubernetes上部署的機器學習。
Polyaxon: 多元化的龙头
Polyaxon是用于构建大规模深度学习环境的实现。
商业使用
RiseML 的中文翻译
RiseM L- 基于Kubernetes的深度学习平台
可在GPU集群上部署的简单深度学习解决方案。
机器学习 Lambda
ML Lambda – 机器学习服务集群
在实时集群环境中实现了Spark ML、Tensor Flow、shikit Learn等。