試著入門 Apache Mesos
Mesos是什么
听说Spark与加州大学伯克利分校AMPLab研究机构的项目有着同样的起源。
Apache Mesos 是一种集群管理软件,用于构建高效的分布式应用或框架,提供有效的资源隔离和共享。使用 Mesos,可在动态共享池上运行 Hadoop、MPI、Hypertable、Spark 和其他应用程序。通过 Mesos,可以轻松创建高资源效率的分布式系统。
[特徴]
ZooKeeper を使ったフォールトトレラントな複製マスター
10,000 ノードのスケーラビリティ
Linux コンテナとタスク間の分離
マルチリソーススケジューリング (メモリとCPU)
新しい並列アプリケーションを開発するための Java, Python, C++ のAPI
クラスタの状態を表示するためのWeb UI
YARN和Mesos的区别是什么?
Mesos通过使用Linux容器(LXC)来实现资源分配。
而YARN仅仅控制Linux进程而已。
当考虑到Immutable Infrastructure时,我会觉得Mesos可能更好一些。
不可变基础设施
http://www.publickey1.jp/blog/14/immutable_infrastructure_1.html
这个网址是关于“不可变基础设施”的文章。
这个网址是一个关于2013年11月26日的博客文章。
Windows出问题时,我们会重新安装系统来使其恢复正常。当我们安装各种软件或自定义操作系统时,系统容易出现问题,但是重新安装则可以解决。所以,如果我们每次都重新建立系统,那系统就会保持整洁。这就是简单的不可变基础设施(Immutable Infrastructure)的解释。
架构 (jià
Mesos的高性能计算
Mesos 是一个由Apache社区开发的开源项目,被定位为群集管理系统软件。在日本,一听到”群集”这个词,可能会想到数据库等与共享存储一起运行的高可用性(HA)群集,但是在Mesos中,群集不是指高可用性群集,而是指将分布式异构环境的计算资源整合在一起的群集。
(*1):高可用性(こうかようせい、英: High Availability; ハイ・アベイラビリティ、HA)は可用性が高いことを示すIT用語。
システムなどにおいて、サービス提供が出来なくなる事態の発生頻度が少ないことを指す。
また、そのようなシステムをHA構成などと呼称する。
Mesos × Spark:Mesos与Spark
环境搭建
Note: The provided text appears to be in Japanese, not in Chinese. Hence, I have provided the Chinese translation of the given text.