QQ在线客服
免费咨询热线
400-615-1233
工作时间-工作日
8:30-17:30
获得更多惊喜
1立封
1平封

Spark技术与应用

意见反馈 分享 阅读 0
需要更多信息,请联系杨　洋 
校企合作，以“电量统计”为主线
  • 类　　别：计算机系列
  • 书　　名：Spark技术与应用
  • 主　　编：王晓燕 袁帅
  • 定　　价：55
  • 开　　本：16开
  • 印刷方式：双色
  • 页　　数：276
  • 时　　间：2025年2月
  • 出  版  社：中国矿业大学出版社
  • 书　　号：978-7-5646-6599-9

内容摘要

        全书共分为九个任务，分别是搭建Spark开发环境、项目数据采集、探索Scala编程方法、揭秘弹性分布式数据集、Spark SQL——数据融合分析、Spark Streaming——实时智能分析、数据可视化——让数据说话、基于Spark GraphX 与MLlib 的智能化场景应用以及综合实践——区域用电分析项目。
        本书可作为大数据专业相关课程的教材，也可供大数据爱好者和从业者学习参考。

目录

任务一 搭建Spark 开发环境
一、任务说明 1
（一）学习目标 1
（二）思维导图 2
二、知识引入 2
（一）Spark 概述 2
（二）Spark 整体架构 3
（三）Spark 运行流程 4
（四）Spark 和Hadoop 的对比 5
（五）Spark 发展历程 6
三、任务实现 7
（一）安装虚拟机软件与虚拟机 7
（二）安装远程服务器管理工具 14
（三）安装JDK 17
（四）搭建Hive 环境 19
（五）安装Spark 分布式独立集群 24
四、知识拓展——基于Spark 技术的国家数字化发展战略引擎 31
五、任务考评 32
六、任务实训 33
 
任务二 项目数据采集
一、任务说明 35
（一）学习目标 35
（二）思维导图 36
 二、知识引入 36
（一）数据采集的概念和常用工具 36
（二）数据采集的多元视角与深度实践 37
（三）Sqoop 概述 38
（四）Flume 概述 39
三、任务实现 40
（一）Sqoop 安装 40
（二）获取电力离线数据 42
（三）Flume 安装 45
（四）准备电力实时数据 46
四、知识拓展——数据采集是大数据平台建设的关键数据入口 49
五、任务考评 50
六、任务实训 51
 
任务三 探索Scala 编程方法
一、任务说明 53
（一）学习目标 53
（二）思维导图 54
二、知识引入 54
（一）Scala 简介 54
（二）Scala 基础语法 56
（三）Scala 数据结构 61
（四）面向对象编程 62
（五）模式匹配与样例类 64
三、任务实现 67
（一）Scala 的下载安装 67
（二）统计某日某省电量使用总量 76
（三） 按日对电量使用量分组 78
（四）按照指定日期查询电量使用量 79
四、知识拓展——Scala 语言在大数据开发领域的广泛应用 80
五、任务考评 81
六、任务实训 82
 
任务四 揭秘弹性分布式数据集
一、任务说明 85
（一）学习目标 85
（二）思维导图 86
二、知识引入 86
（一）RDD 技术介绍 86
（二）RDD 算子处理 90
（三） RDD 分区和依赖 96
（四）持久化与容错 101
三、任务实现 104
（一） 以电力数据创建RDD 106
（二） 查询电力使用最多的5 个日期 108
（三）输出电力使用数据的总使用量 111
（四）输出每个日期电力的平均使用量 113
（五） 将汇总后的电力统计数据存储为文本文件 117
四、知识拓展——RDD 作为Spark 架构的基础支持各类应用场景 120
五、任务考评 121
六、任务实训 122
 
任务五 Spark SQL——数据融合分析
一、任务说明 125
（一）学习目标 125
（二）思维导图 126
 二、知识引入 126
（一）Spark SQL 基础 126
（二）DataFrame 基础 128
（三）DataSet 基础 138
（四）常用操作 142
三、任务实现 143
（一）以电力数据创建DataFrame，按字段查询数据 143
（二）使用电力按日使用数据创建DataSet，分组统计省份用电量 146
（三）使用Spark-sql 对电力数据按日期计算用电量，并按日期倒序 149
（四）使用Spark-sql 对电力数据计算单日地市用电量最小值 152
（五）使用Spark-sql 对电力数据计算月份电力使用量，并求出最大使用量 155
（六）使用Spark-sql 对电力数据按地市和日期求和，并保存结果到HIVE 中 158
（七）使用Spark-sql 对电力数据计算按省份月电力使用，并保存到MySQL 161
四、知识拓展——Spark SQL 是大数据离线批量处理的有力工具 165
五、任务考评 165
六、任务实训 167
 
任务六 Spark Streaming——实时智能分析
一、任务说明 169
（一）学习目标 169
（二）思维导图 170
二、知识引入 170
（一）Spark Streaming 基础 170
（二）DStream 基础 172
三、任务实现 180
（一）使用DStream 处理电力使用数据 180
（二）Spark Streaming 对每5 分钟窗口内的实时用电量求和 184
（三）Spark Streaming 接收实时电力数据流，并将处理后的数据保存到HIVE 187
四、知识拓展——国内大厂在实时处理领域大量使用Spark Streaming 实现 192
五、任务考评 192
六、任务实训 193
 
任务七 数据可视化——让数据说话
一、任务说明 195
（一）学习目标 195
（二）思维导图 196
二、知识引入 196
（一）数据可视化基础 196
（二）数据可视化的图表类型 197
（三）图表设计原则 198
（四）数据可视化的常见工具 200
三、任务实现 201
（一）可视化环境搭建 201
（二）各省月度用电量的趋势对比 205
四、知识拓展——数据可视化是国家和企业数据驱动决策的重要手段 212
五、任务考评 213
六、任务实训 214
 
任务八 基于Spark GraphX 与MLlib 的智能化场景应用
一、任务说明 217
（一）学习目标 217
（二）思维导图 218
二、知识引入 218
（一）初识Spark GraphX 218
（二）初识Spark MLlib 221
三、任务实现 223
（一）Spark GraphX 基于人物数据构建人物关系 223
（二）Spark MLlib 之随机森林及其案例 235
四、知识拓展——图计算和机器学习是大数据处理的高级应用方向 239
五、任务考评 241
六、任务实训 242
 
任务九 综合实践——区域用电分析项目
（一）需求分析 245
（二）模拟数据的生成 245
（三）模型设计 251
（四）数据抽取 252
（五）数据计算 253
（六）数据可视化实现 256
 
参考文献

主编信息

◎王晓燕，副教授，郑州电力高等专科学校，曾多次荣获河南省骨干教师,河南文明教师。获得2021年河南省教学能力大赛二等奖，第二作者身份获得河南省教学成果二等奖1项，主持省级教研项目1项，厅局级科研项目3项，河南省信息化成果获奖8项，发表论文12篇，出版教材多部。

◎袁帅，副教授，郑州电力高等专科学校副院长，全国职业技能大赛裁判、河南省技术能手、河南省青年岗位能手、河南省骨干教师、河南省“双师型”教师。发表论文20余篇，省级、校级教科研课题立结项10余项，获得河南省教学成果二等奖、全国电力职业教育教学成果奖二等奖，主编、参编教材3本。指导学生参加职业技能竞赛、一带一路暨金砖国家技能发展与技术创新大赛、“互联网+”和“挑战杯”创新创业大赛，获国家级、省级以上奖项10余项。

相关图书

  • 新一代信息技术概论

    新一代信息技术概论

    主编：王英让 赵京丹

    本书系统地介绍了新一代信息技术的主要领域，并探讨了这些技术在不同行业中的实际应用和发展前景。全书共分为9个模块，主要内容包

    ￥59.9
  • Web前端技术

    Web前端技术

    主编：任清华 宋文敏

    本书以Web前端开发为主线组织内容，对 Web前端技术的基本知识、使用方法、应用技巧进行了讲解。全书共10个模块，依次讲解了前端开

    ￥59.9
  • 大数据技术基础

    大数据技术基础

    主编：袁帅 冯明卿

    全书共包括12个模块，分别是大数据概论、Hadoop基础知识、HDFS分布式文件系统、YARN资源管理调度框架、MapReduce分布式并行计算框

    ￥45
  • 办公自动化技术可视化教程 （第2版）（Windows 7+Office 2010）

    办公自动化技术可视化教程 （第2版）（Windows 7+Office 2010）

    主编：邵杰

    本书全面介绍办公自动化工作中所需要掌握的常用办公软件的操作、常用办公设备的使用与维护，以及网络的有关知识。全书采用详实的图

    ￥66
  • 智能网联汽车技术

    智能网联汽车技术

    主编：李海斌 李昊

    本书由8个项目组成，主要内容包括智能网联汽车认知、智能网联汽车环境感知系统认知、智能网联汽车高精度地图与导航定位系统、智能

    ￥55
  • 数字化教育技术应用

    数字化教育技术应用

    主编：陈享振

    本教材以党的二十大精神为指导，牢记为党育人、为国育才的使命，满足新时代社会发展对人才培养的要求。以培养师范生数字化教育技术

    ￥43
  • 电力电子技术

    电力电子技术

    主编：张建国

    本书除绪论外共7章，内容包括晶闸管及单相可控整流电路的应用、三相可控整流电路的应用、有源逆变电路的应用、全控型电力电子器件

    ￥42
  • 单片机技术及应用

    单片机技术及应用

    主编：曹月真

    本书共9个课题，包括单片机的初步认知、交通信号灯设计与制作、按键与数码管应用设计、中断系统的应用、LED点阵显示设计、你来我往

    ￥48
  • 数控机床电气控制技术

    数控机床电气控制技术

    主编：高艳平 陈甫

    本书共6个项目，主要内容包括数控机床常用低压电器、数控机床典型控制线路、数控系统及其接口应用、数控机床主传动系统的控制、数

    ￥49
  • 模拟电子技术

    模拟电子技术

    主编：张俊才

    本书按照理实一体化的思想进行编写完善，突出技能训练，更适合职业教育教学需要，以实际项目为中心，以实际工作为引导。全书共分为

    ￥45