1. 首页
  2. 大数据
  3. Spark教程

【Spark教程】(四)Spark架构原理和简单调优

Spark术语


  • Application:用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码

  • Driver:运行Application的main()函数并且创建SparkContext(Spark应用程序的运行环境)。Driver负责和ClusterManager通信,进行资源的申请、任务的分配和监控等。

  • Cluster Manager:集群上获取资源的外部服务,比如Standalone(由Master负责资源的分配)和Yarn(由ResourceManager负责资源的分配)

  • Worker:从节点,负责控制计算节点,启动Executor或者Driver。在Standalone模式中指的就是通过Slave文件配置的Worker节点,在Spark on Yarn模式中指的就是NodeManager节点。

  • Executor:运行在Worker 节点上的进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。

  • Job:包含多个Task组成的并行计算,往往由Spark Action催生,一个JOB包含多个RDD及作用于相应RDD上的各种Operation;

  • Stage:每个Job会被拆分很多Stage(根据宽依赖和窄依赖划分),而每个Stage又包含多个Task;

  • Task: 被送到某个Executor上的工作任务

Spark运行架构

Standalone架构


Spark运行架构

  • (1)Driver驱动器程序初始化Spark的运行环境(启动SparkContext)
    【Driver进程本身会根据我们设置的参数,占有一定数量的内存(根据driver-memory)和CPU core(根据driver-cores)】
  • (2)Driver向资源管理器注册和申请运行Executor的资源
  • (3)资源管理器分配Executor ,分配Executor 的个数,内存,CPU核数等
    【根据我们为Spark作业设置的资源参数,在各个工作节点上,启动一定数量(根据num-executors)的Executor进程,每个Executor进程都占有一定数量的内存(根据executor-memory)和CPU core(根据executor-cores),而Executor的内存主要分为三块:task执行我们自己编写的代码时使用,存放算子函数创建的对象,默认是占Executor总内存的20%;task通过shuffle过程拉取了上一个stage的task的输出后,进行聚合等操作时使用,也是占Executor总内存的20%;(spark.shuffle.memoryFraction);RDD持久化时使用,默认占Executor总内存的60%。(spark.storage.memoryFraction)
  • (4)Driver开始调度执行我们编写的作业代码,RDD的依赖关系会组成DAG图,而DAG Scheduler将DAG图分解成Stage(每个Stage执行一部分程序代码,而Stage又分为多个Task(根据spark.default.parallelism))
  • (5)DAG Scheduler把Stage以TaskSet的形式提交给TaskScheduler
  • (6)TaskScheduler分配相应的Task给Executor
  • (7)(8)Task在Executor上运行完毕后释放所有资源。

Yarn Client架构

原理与上面的相近,只不过ClusterManager为Yarn的ResourceManager WorkerNode为NodeManager,其实掌握了Yarn的架构原理就不难得出下面这张图。
无标题.png

Yarn Cluster架构

和Client的区别在于,Client模式下,SparkContext在本地,只是任务分给集群运行,而Cluster模式下,SparkContext也会分给某个NodeManager
因此,Cluster模式下当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业。而YARN-Client模式下,Application Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度他们工作,也就是说Client不能离开。因此在公司里,如果需要看到交互信息,用于交互调试,则选用Client模式,如果实际生产环境那么就用Cluster
无标题1.png

Spark调优

Spark调优涉及到的东西特别多,这里只是基于上面所讲的架构所涉及到的地方做一个简单的调优小结,在Spark进阶中还会详细讲解Spark调优


上面我加粗标注的driver-memory、 driver-cores 、num-executors 、executor-memory 、executor-cores,不仅是架构原理,其实也是我们调优的参数。

  • Driver-memory:该参数设置Driver进程的内存。Driver的内存通常来说不设置,或者设置1G左右应该就够了。唯一需要注意的一点是,如果需要使用collect算子将RDD的数据全部拉取到Driver上进行处理,那么必须确保Driver的内存足够大,否则会出现OOM内存溢出的问题。

  • num-executors:该参数用于设置Spark作业总共要多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常重要,如果不设置的话,默认只会给你启动少量的Executor进程,此时你的Spark作业的运行速度是非常慢的。
    **参数调优建议:每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适,设置太少或太多的Executor进程都不好。设置的太少,无法充分利用集群资源;设置的太多的话,大部分队列可能无法给予充分的资源。

  • executor-memory:该参数用于设置每个Executor进程的内存。Executor内存的大小,很多时候直接决定了Spark作业的性能,而且跟常见的JVM OOM异常,也有直接的关联。
    **参数调优建议:每个Executor进程的内存设置4G-8G较为合适。但是这只是一个参考值,具体的设置还是得根据不同部门的资源队列来定。可以看看自己团队的资源队列的最大内存限制是多少,num-executors乘以executor-memory,是不能超过队列的最大内存量的。此外,如果你是跟团队里其他人共享这个资源队列,那么申请的内存量最好不要超过资源队列最大总内存的1/2,避免你自己的Spark作业占用了队列所有的资源,导致别的同学的作业无法运行。

  • executor-cores:该参数用于设置每个Executor进程的CPU core数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程,因此每个Executor进程的CPU core数量越多,越能够快速地执行完分配给自己的所有task线程。
    **参数调优建议:Executor的CPU core数量设置为2~4个较为合适。同样得根据不同部门的资源队列来定,可以看看自己的资源队列的最大CPU core限制是多少,再依据设置的Executor数量,来决定每个Executor进程可以分配到几个CPU core。同样建议,如果是跟他人共享这个队列,那么num-executors * executor-cores不要超过队列总CPU core的1/3~1/2左右比较合适,也是避免影响其他同学的作业运行。

  • spark.default.parallelism:该参数用于设置每个stage的默认task数量。这个参数极为重要,如果不设置可能会直接影响你的Spark作业性能。
    **参数调优建议:Spark作业的默认task数量为500~1000个较为合适。如果不设置这个参数Spark是根据底层HDFS的block数量来设置task的数量,即一个HDFS block对应一个task。这样task数量是偏少的,如果task数量偏少的话,就会导致你前面设置好的Executor的参数都前功尽弃。试想一下,无论你的Executor进程有多少个,内存和CPU有多大,但是task只有1个或者10个,那么90%的Executor进程可能根本就没有task执行,也就是白白浪费了资源!因此Spark官网建议的设置原则是,设置该参数为num-executors * executor-cores的2~3倍较为合适,比如Executor的总CPU core数量为300个,那么设置1000个task是可以的,此时可以充分地利用Spark集群的资源。
    除此之外还有关于持久化和shuffle的参数调优:

  • spark.storage.memoryFraction:该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。也就是说,默认Executor 60%的内存可以用来保存持久化的RDD数据。如果内存不够时数据就不会持久化,或者数据会写入磁盘。
    **参数调优建议:如果Spark作业中,有较多的RDD持久化操作,该参数的值可以适当提高一些,。避免内存不够缓存所有的数据,导致数据只能写入磁盘中,降低了性能。但是如果Spark作业中的shuffle类操作比较多,而持久化操作比较少,那么这个参数的值适当降低一些比较合适。此外,如果发现作业由于频繁的gc导致运行缓慢(通过spark web ui可以观察到作业的gc耗时),意味着task执行用户代码的内存不够用,那么同样建议调低这个参数的值。

  • spark.shuffle.memoryFraction:该参数用于设置shuffle过程中一个task拉取到上个stage的task的输出后,进行聚合操作时能够使用的Executor内存的比例,默认是0.2。也就是说,Executor默认只有20%的内存用来进行该操作。shuffle操作在进行聚合时,如果发现使用的内存超出了这个20%的限制,那么多余的数据就会溢写到磁盘文件中去,此时就会极大地降低性能。
    **参数调优建议:如果Spark作业中的RDD持久化操作较少,shuffle操作较多时,建议降低持久化操作的内存占比,提高shuffle操作的内存占比比例,避免shuffle过程中数据过多时内存不够用,必须溢写到磁盘上,降低了性能。此外,如果发现作业由于频繁的gc导致运行缓慢,意味着task执行用户代码的内存不够用,那么同样建议调低这个参数的值。

总结:资源参数的调优,没有一个固定的值,需要根据自己的机器和作业的实际情况(包括机器的配置,任务的大小,Spark作业中的shuffle操作数量、RDD持久化操作数量以及spark web ui中显示的作业gc情况),合理地设置上述参数。

BDStar原创文章。发布者:Liuyanling,转载请注明出处:http://bigdata-star.com/archives/846

发表评论

登录后才能评论

联系我们

562373081

在线咨询:点击这里给我发消息

邮件:562373081@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code