7.5 Spark应用内与应用间调度
在调度多用户集群时,Spark 主要依赖集群管理器来在 Spark 应用间共享资源。
当 Spark 应用向集群管理器申请执行器节点时,应用收到的执行器节点个数可能比它申请的更多或者更少,这取决于集群的可用性与争用。
许多集群管理器支持队列,可以为队列定义不同优先级或容量限制,这样 Spark 就可以把作业提交到相应的队列中。
在调度多用户集群时,Spark 主要依赖集群管理器来在 Spark 应用间共享资源。
当 Spark 应用向集群管理器申请执行器节点时,应用收到的执行器节点个数可能比它申请的更多或者更少,这取决于集群的可用性与争用。
许多集群管理器支持队列,可以为队列定义不同优先级或容量限制,这样 Spark 就可以把作业提交到相应的队列中。