怎么在Yarn集群中分配Container

21次阅读
没有评论

本篇内容介绍了“怎么在 Yarn 集群中分配 Container”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让丸趣 TV 小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

YarnAllocator 从字面意思来看,也应该知道是在 Yarn 集群中分配 Container 的。

private[yarn] class YarnAllocator(
 driverUrl: String,
 driverRef: RpcEndpointRef,
 conf: YarnConfiguration,
 sparkConf: SparkConf,
 amClient: AMRMClient[ContainerRequest],
 appAttemptId: ApplicationAttemptId,
 securityMgr: SecurityManager,
 localResources: Map[String, LocalResource],
 resolver: SparkRackResolver,
 clock: Clock = new SystemClock)

其中 driverUrl 就是 Driver 的地址。当用 YarnAllocator 分配 Container 来运行 Executors 时,这些 Executors 要联系的 Driver 地址就是构造函数里的 driverRef 参数。

requestTotalExecutorsWithPreferredLocalities 方法是分配多个 Executor 的,先将分配请求保存在队列里,然后在守护线程中异步的创建 Executor。

def requestTotalExecutorsWithPreferredLocalities(
 requestedTotal: Int,
 localityAwareTasks: Int,
 hostToLocalTaskCount: Map[String, Int],
 nodeBlacklist: Set[String]): Boolean = synchronized {
 this.numLocalityAwareTasks = localityAwareTasks
 this.hostToLocalTaskCounts = hostToLocalTaskCount
 if (requestedTotal != targetNumExecutors) { logInfo(s Driver requested a total number of $requestedTotal executor(s). )
 targetNumExecutors = requestedTotal
 allocatorBlacklistTracker.setSchedulerBlacklistedNodes(nodeBlacklist)
 true
 } else {
 false
 }
 }

targetNumExecutors 就是说明要申请创建多少个 Executor 的意思。具体的实际创建动作是在 runAllocatedContainers 中执行的。

 launcherPool.execute(() =  {
 try {
 new ExecutorRunnable( Some(container),
 conf,
 sparkConf,
 driverUrl,
 executorId,
 executorHostname,
 executorMemory,
 executorCores,
 appAttemptId.getApplicationId.toString,
 securityMgr,
 localResources
 ).run()
 updateInternalState()
 } catch {
 
 }

这一段就是在分配的 Container 上创建 Executor 的过程,用 ExecutorRunner 来包装的。其中的 driverUrl 就是构造函数中带过来的 driver 的地址。

可见每个 driver 都会创建一个属于自己的单独的 YarnAllocator。

顺便说一句,很多人以前 Spark 是集群,实际上 Spark 本身只是一种计算方式,可以看成它只是 jar 包。Spark 的 driver 运行时才会去申请 Executor,向 Yarn 申请或者向 Standalone 集群申请。Standalone 集群是指 Master 和 Worker,不是指 Spark core,更不是指 SparkContext。

“怎么在 Yarn 集群中分配 Container”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注丸趣 TV 网站,丸趣 TV 小编将为大家输出更多高质量的实用文章!