Spark performance optimization[repost]

Posted on | Post modified | In | | Visitors
Words count in article 36 | Reading time 0
Spark性能调优。从四个方面着手：开发调优、资源调优、数据倾斜调优、shuffle调优.。开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对Spark的原理有较深层次掌握和研究的同学，主要讲解了如何对Spark作业的shuffle运行过程以及细节进行调优。

调优文章：

下面几篇是spark网络上自己学习过程中遇到的总结比较到位，从原理、源码分析以及案例讲解，理解透彻，spark基础和进阶应算是合格吧。

热情洋溢的程序员欢迎您以任何形式转载！