SparkFastDataAnalysis

第 8 章 Spark 调优与调试

• 总结 Spark 的配置机制。
• 涵盖了理解 Spark 应用性能表现的必备基础知识，以及设置相关配置项、编写高性能应用的设计模式等。
  我们也会讨论 Spark 的用户界面、执行的组成部分、日志机制等相关内容。
  这些信息在进行性能调优和问题追踪时都是非常有用的。

  本章目录

  1. 使用 SparkConf 配置 Spark
  2. Spark 执行的组成部分：作业、任务和步骤
  3. 查找信息
     3.1 Spark 网页用户界面
     3.2 驱动器进程和执行器进程的日志
  4. 关键性能考量
     4.1 并行度
     4.2 序列化格式
     4.3 内存管理
     4.4 硬件供给

     本章总结

• Spark 的配置项管理、执行的组成部分、用户界面中的相关指标。
• 生产环境中的工作负载常用的调优技巧。