电子工业出版社-网上书店

Spark是业界主流的大数据计算框架。本书通过一系列大数据应用案例和实践项目贯穿始终，使用Python详细阐述了 Spark 大数据环境的搭建、Spark RDD 离线数据计算、Spark SQL 离线数据处理、Spark Streaming实时数据计算等一系列常见的大数据处理问题，并在此基础上对Spark的核心概念及技术原理进行了详细分析，最后以两个综合案例分别展示了Spark离线数据处理和实时数据处理的具体应用与部署。本书践行“做中学”的设计理念，内容编排符合学习与认知规律，从简单细小案例入手，辅以大量配图对学习过程中涉及的枯燥数据、抽象概念和复杂原理进行图示化说明，语言浅显易懂，技术体系清晰，逻辑衔接合理。在本书最后两个综合案例中，分别从需求分析、技术准备、数据清洗、需求实现、数据可视化等几个关键环节展开叙述，便于读者对Spark大数据项目的整体开发流程有一个比较清晰的认识。

第1章  Spark大数据平台与环境搭建	1
1.1　引言	2
1.2　Spark大数据平台介绍	2
1.2.1  Spark是什么	2
1.2.2  Spark与大数据的应用场景	4
1.2.3  Spark编程环境（PySpark）	5
1.2.4  Spark应用程序原理	7
1.3　Spark大数据环境搭建	8
1.3.1  Linux操作系统安装和配置	8
1.3.2  Hadoop伪分布集群环境搭建	23
1.3.3  Spark单机运行环境搭建	35
1.4　Python核心语法概览	47
1.5　单元训练	49
第2章  Spark RDD离线数据计算	50
2.1　引言	51
2.2　RDD基本原理	51
2.3　RDD编程模型	53
2.4　Spark RDD常用操作	55
2.4.1  RDD的创建	55
2.4.2  RDD的转换操作	60
2.4.3  RDD的行动操作	87
2.5　Spark RDD数据计算实例	90
2.5.1  词频统计案例	90
2.5.2  基本TopN问题案例	92
2.5.3  用户消费数据处理案例	95
2.6　Spark文件的读/写	96
2.6.1  文本文件的读/写	96
2.6.2  SequenceFile文件的读/写	99
2.7　单元训练	99
第3章  Spark SQL离线数据处理	101
3.1　引言	101
3.2　DataFrame基本原理	102
3.3　Spark SQL常用操作	103
3.3.1  DataFrame的基本创建	103
3.3.2  DataFrame的查看	108
3.3.3  DataFrame的数据操作（DSL）	111
3.3.4  DataFrame的数据操作（SQL）	123
3.4　Spark SQL数据处理实例	136
3.4.1  词频统计案例	136
3.4.2  人口信息统计案例	137
3.4.3  电影评分数据分析案例	139
3.5　Spark SQL访问数据库	143
3.5.1  在Linux操作系统上安装MySQL	143
3.5.2  DataFrame写入MySQL	145
3.5.3  从MySQL中创建DataFrame	147
3.6　DataFrame创建和保存	147
3.6.1  创建DataFrame	148
3.6.2  保存DataFrame	149
3.7　Spark的数据类型转换	150
3.8　单元训练	152
第4章  Spark Streaming实时数据计算	155
4.1　引言	156
4.2　Spark Streaming基本原理	156
4.3　Spark Streaming词频统计	157
4.3.1  Netcat网络工具测试	157
4.3.2  DStream词频统计	158
4.4　DStream数据转换操作	161
4.4.1  DStream无状态转换操作	161
4.4.2  DStream基于状态更新的转换	162
4.4.3  DStream基于滑动窗口的转换	164
4.5　DStream输出操作	166
4.6　DStream数据源读取	168
4.6.1  读取文件数据流	168
4.6.2  读取Kafka数据流	169
4.7　单元训练	176
第5章  Spark编程进阶	177
5.1　引言	177
5.2　搭建PySpark开发环境	178
5.2.1  PySpark交互式编程环境	178
5.2.2  Jupyter Notebook编程环境	180
5.2.3  PyCharm集成开发环境	183
5.3　理解RDD	188
5.3.1  RDD基本概念	188
5.3.2  RDD的分区	190
5.3.3  RDD的依赖关系	191
5.3.4  RDD的计算调度	193
5.4　RDD缓存机制	199
5.5　广播变量和累加器	201
5.5.1  广播变量	201
5.5.2  累加器	203
5.6　Spark生态和应用架构	206
5.6.1  Spark生态架构	206
5.6.2  Spark应用架构	208
5.7　Spark集群和应用部署	211
5.7.1  Spark伪分布集群的搭建	211
 5.7.2  Spark应用部署模式	216
5.7.3  Spark应用部署实例	219
5.8　单元训练	227
第6章  Spark大数据分析项目实例	228
6.1　引言	228
6.2　CentOS7+JDK8虚拟机安装	229
6.3　Hadoop+Spark分布式集群环境	235
6.3.1  Hadoop+Spark Standalone分布式集群环境搭建	235
6.3.2  Hadoop+Spark on YARN分布式集群环境搭建	239
6.4　Spark离线数据处理实例	244
6.4.1  需求分析	244
6.4.2  准备工作	246
6.4.3  美妆商品订单数据分析	263
6.4.4  美妆商品订单数据可视化	280
6.5　Spark实时数据处理实例	286
6.5.1  需求分析	286
6.5.2  准备工作	287
6.5.3  通话记录生产者模拟	289
6.5.4  消息接收者测试	291
6.5.5  Spark Streaming通话记录消息处理	294
6.6　Spark数据分析案例部署	298

Spark大数据平台目前已成为大数据技术领域的佼佼者，同类竞争者还包括Flink、Storm等。Spark是一个基于内存计算的大数据框架，支持离线处理和实时计算，它的设计思想最初来源于Hadoop的MapReduce，但在性能上得到了大幅提高，可以轻松访问HDFS、Hive、HBase、MySQL等各种不同类型的数据源，提供了上百种的功能API访问接口，支持Scala、Java、Python、R等主流的编程语言，对Python的支持是通过PySpark封装底层的API编程接口实现的。除此之外，Spark还是一个“一站式”的大数据统一计算分析引擎，支持RDD、Spark SQL离线数据处理技术、Spark Streaming流计算技术，还包含GraphX（图计算）、MLlib（机器学习）等功能，自带一个Spark Standalone集群资源管理器，具有非常强的适应性，可应用到各种不同的大数据计算场合中。
本书的目的是带领读者快速进入Spark的大数据世界。首先，Python是一门简单易用的编程语言，也是大数据和人工智能领域的首选编程语言，通过Python来驾驭Spark的大数据处理功能，可有效避免因Scala的不熟练导致对Spark本身的技术学习受到影响，同时能充分利用Python的丰富编程库（如Pandas、NumPy及各类机器学习算法库等）来实现不同需求的开发工作。其次，对于Spark的初学者来说，本书最重要的是如何将一些枯燥抽象的数据、概念和原理讲清楚，为此书中设计了大量的原理配图，在文字描述上辅以比喻、类比等各种必要的手段进行说明，以尽量使读者达到形象化的理解。最后，项目化的教学方法近年来在实践中得到了大量应用，相比传统的理论教学确实更加有效，但在教学实践过程中发现，过度项目化也很容易导致一些问题，比如知识凌乱，容易关注项目细节导致对一些复杂知识的理解不深等问题。因此，本书尝试以案例和项目相结合的方式，通过各种细小的案例推进零碎知识点的学习，最后将相关知识整合到项目中进行综合应用，以培养读者的相关技能。
全书共6章，具体内容如下。
第1章主要介绍Spark大数据平台的功能、应用场景、编程环境以及Spark应用程序基本原理，并阐述了Spark大数据环境的搭建，包括Linux操作系统安装和配置、Hadoop伪分布集群环境搭建、Spark单机运行环境搭建内容。
第2章主要介绍Spark RDD的基本原理和编程模型，重点阐述RDD的常用操作，包括RDD的创建，以及RDD的转换（Transformation）操作和行动（Action）操作，并通过3个综合案例对RDD的常用操作进行实际运用，还介绍了Spark读/写不同类型文件的内容。
第 3 章主要介绍DataFrame的基本原理，重点分析Spark SQL的常用操作，包括DataFrame的基本创建、DataFrame的查看、DataFrame的数据操作（DSL和SQL两大类），同样通过3个综合案例展示如何使用Spark SQL来解决实际问题，还阐述了Spark SQL访问数据库、DataFrame创建和保存、Spark的数据类型转换内容。
第4章主要介绍Spark Streaming实时数据计算的基本技术，包括Spark Streaming基本原理、Spark Streaming词频统计、DStream数据转换和输出操作、DStream数据源读取内容。
第5章主要介绍PySpark开发环境的搭建，以及Spark几大核心技术，包括RDD的概念、分区机制、依赖关系、计算调度（Job/Stage/Task）和缓存机制，阐述了Spark的广播变量和累加器的基本使用方法，以及Spark生态和应用架构、Spark伪分布集群环境的搭建、Spark应用部署方面的内容。
第6章主要介绍CentOS+Hadoop+Spark完全分布式集群环境的搭建方法，通过两个不同类型（离线数据处理、实时数据处理）的项目案例，展示了如何将Spark大数据技术运用到实际的项目中。
本书深入学习贯彻党的二十大精神，实施科教兴国战略，强化现代化建设人才支撑。坚持党管人才原则，坚持尊重劳动、尊重知识、尊重人才、尊重创造，实施更加积极、更加开放、更加有效的人才政策，引导广大人才爱党报国、敬业奉献、服务人民。本书以企业人才岗位需求为目标，突出知识与技能的有机融合，让学生在学习过程中举一反三，培养创新思维，以适应高等职业教育人才的建设需求。
本书由杭州职业技术学院的李新辉策划并组织编写，由李新辉、冯霞、吴功才担任主编，由杨乃如、徐思、徐丽珍担任副主编，书中部分项目素材由杭州时课智能科技有限公司提供，在编写本书中过程编者参考了部分网络资源，在此一并对提供这些资源的作者表示感谢。
为了方便教师教学，本书配有电子课件及相关资源，包括虚拟机、源代码、PPT、教学视频、教学设计、习题答案等，读者可登录华信教育资源网（www.hxedu.com.cn）注册后免费下载，如果有问题可在网站留言板留言或与电子工业出版社联系（E-mail：hxedu@phei. com.cn），也可与编者直接联系（E-mail：lxh2002@126.com）。
本书案例所选用的数据均为假设，并非真实数据，无实际意义，所有数据没有单位，不影响案例讲解。
教材建设是一项系统工程，需要在实践中不断加以完善及改进，由于编者水平有限，书中难免存在疏漏和不足之处，敬请同行专家和广大读者批评与指正。

编  者

本书配套资源下载

对不起，暂无音视频资源！

Spark大数据分析与实战（Python+PySpark）（微课版）