1. 首页
  2. 大数据
  3. Spark

Spark 应用程序的执行过程是什么?



1)构建 Spark Application 的运行环境(启动 SparkContext),SparkContext 向资源管理器(可以是 Standalone、Mesos 或 YARN)注册并申请运行 Executor 资源;
2)资源管理器分配 Executor 资源并启动 StandaloneExecutorBackend,Executor 运行情况将随着心跳发送到资源管理器上;
3)SparkContext 构建成 DAG 图,将 DAG 图分解成 Stage,并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task,Task Scheduler 将 Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor;
4)Task 在 Executor 上运行,运行完毕释放所有资源。

发布者:admin,如若转载,请注明出处:https://ai1024.vip/38818.html

QR code
//