7.6.3 Apache Mesos

Apache Mesos 是一个通用集群管理器,既可以运行分析型工作负载又可以运行长期运行的服务(比如网页服务或者键值对存储)。

要在 Mesos 上使用 Spark,需要把一个 mesos:// 的URI 传给 spark-submit :

spark-submit --master mesos://masternode:5050 yourapp

在运行多个主节点时,你可以使用 ZooKeeper 来为 Mesos 集群选出一个主节点。
在这种情况下,应该使用 mesos://zk:// 的 URI 来指向一个 ZooKeeper 节点列表。

mesos://zk://node1:2181/mesos,node2:2181/mesos,node3:2181/mesos

Mesos调度模式

Mesos 提供了两种模式来在一个集群内的执行器进程间共享资:

配置资源用量

可以通过 spark-submit 的两个参数来控制运行在 Mesos 上的资源用量:

如果你不设置 –total-executor-cores 参数,Mesos 会尝试使用集群中所有可用的核心。