电子工业出版社-网上书店

本书是作者在物联网大数据平台等企业合作项目及国家级项目中多年实践的结晶。本书首先对物联网大数据技术体系进行了系统归纳，阐述了物联网环境下感知数据的特性、数据模型、事务模型及调度处理方法等核心概念与关键技术，并对物联网大数据存储、管理、计算及分析的基本概念与关键技术进行了剖析；其次介绍了物联网大数据管理与应用的感知数据库和平台产品，所介绍的产品来自作者所在团队的实际应用项目，大部分在物联网项目中得到了实践应用；最后给出了适合读者在开源软件上动手实践的相关案例。

第1篇  缘起与发展趋势篇
第1章  物联网与产业发展	3
1.1  物联网产业的发展	3
1.1.1  传感器与智能硬件	4
1.1.2  物联网服务平台	5
1.1.3  工业4.0与CPS	6
1.2  物联网与大数据	7
1.3  物联网产业的挑战与机遇	9
1.3.1  物联网产业面临的挑战	9
1.3.2  物联网操作系统与数据库	10
1.3.3  物联网大数据处理与应用	11
第2章  大数据处理技术的发展	12
2.1  大数据存储和管理技术	12
2.1.1  面向大数据的文件系统	13
2.1.2  面向大数据的数据库系统	15
2.2  大数据计算技术	18
2.2.1  批处理计算模式	19
2.2.2  交互式查询计算模式	20
2.2.3  流处理计算模式	21
2.2.4  大数据实时处理架构：Lambda及Kappa	23
2.3  大数据分析技术	25
2.3.1  传统结构化数据分析	26
2.3.2  文本数据分析	26
2.3.3  多媒体数据分析	27
2.3.4  社交网络数据分析	27
2.3.5  物联网传感数据分析	28
2.3.6  大数据分析技术的发展趋势	28
第2篇  技术解析篇
第3章  物联网大数据技术体系	31
3.1  物联网中的大数据挑战	31
3.1.1  互联网大数据的特征	31
3.1.2  物联网大数据的特征	34
3.2  技术体系	37
3.2.1  感知数据采集与传输	37
3.2.2  感知数据管理与实时计算	41
3.2.3  物联网平台与大数据中心	42
第4章  感知数据特性与模型	43
4.1  感知数据的特性分析	43
4.1.1  常用的感知数据类型	43
4.1.2  感知数据的主要特征	45
4.2  感知数据的表示与组织	48
4.2.1  物联网数据模型	48
4.2.2  时态对象模型	49
4.3  感知数据库的定位与特征	51
4.3.1  感知数据库的定位	51
4.3.2  感知数据库的特征	51
4.4  感知数据库与传统数据库	52
4.4.1  感知数据库与关系数据库	52
4.4.2  感知数据库与实时数据库	53
4.4.3  感知数据库与工厂历史数据库	53
4.4.4  感知数据库与流数据处理系统	54
第5章  感知数据库系统	55
5.1  感知数据库的总体设计	55
5.1.1  总体设计的主要原则	55
5.1.2  感知数据库的设计框架	56
5.2  感知数据库的分布部署体系	60
5.2.1  系统的集群部署模式	60
5.2.2  多层级的系统部署体系	62
5.2.3  服务分布部署体系	64
5.3  感知数据库中的关键技术	65
5.3.1  智能设备及传感器接口技术	65
5.3.2  流数据实时在线处理技术	66
5.3.3  事件驱动的高效处理机制	67
5.3.4  感知数据的压缩存储技术	72
第6章  实时事务调度处理技术	77
6.1  常见事务特性分析	77
6.1.1  感知事务	78
6.1.2  触发事务	78
6.1.3  用户事务	79
6.2  事务调度与并发控制	79
6.2.1  事务的调度方法	79
6.2.2  并发控制策略	80
6.3  服务器与操作系统	81
6.3.1  服务器体系结构与发展	81
6.3.2  操作系统的多任务机制	84
6.4  事务的执行框架与模式	87
6.4.1  通用系统模型与调度方法	88
6.4.2  事务调度处理框架的设计模式	88
6.5  系统框架的分析与性能优化	91
第7章  物联网大数据存储与管理	94
7.1  云文件系统的关键技术	96
7.1.1  HDFS的目标和基本假设条件	96
7.1.2  HDFS体系结构	97
7.1.3  性能保障	99
7.2  NoSQL数据库关键技术	103
7.2.1  NoSQL数据库概述	103
7.2.2  基于NoSQL数据库的物联网大数据存储与管理	115
第8章  物联网大数据计算与分析	120
8.1  物联网大数据批处理计算	120
8.1.1  MapReduce的设计思想	121
8.1.2  MapReduce的工作机制	123
8.1.3  MapReduce在物联网大数据中的应用	125
8.2  物联网大数据交互式查询	127
8.2.1  原生SQL on HBase	127
8.2.2  SQL on Hadoop	129
8.2.3  基于HBase的交互式查询	130
8.3  物联网大数据流计算	131
8.3.1  流计算的需求特点	131
8.3.2  流数据基本概念	132
8.3.3  流数据查询操作	137
8.3.4  流数据定制化服务	138
8.3.5  评测基准	141
8.3.6  Spark Streaming及其在物联网大数据中的应用	142
8.4  物联网大数据分析	146
8.4.1  物联网大数据OLAP多维分析	146
8.4.2  物联网大数据深层次分析	152
第3篇  产品研发篇
第9章  物联网网关CubeOne	169
9.1  工业物联网网关	169
9.1.1  CubeOne产品概述	169
9.1.2  CubeOne的功能特点	170
9.1.3  CubeOne的应用领域	172
9.2  无线传感器网络网关	172
9.2.1  无线传感器网络概述	172
9.2.2  ZigBee-WiFi网关	174
9.2.3  ZigBee网络应用案例	176
第10章  ChinDB感知数据库系统	179
10.1  ChinDB系统概述	179
10.2  ChinDB系统组成与功能特点	180
10.3  ChinDB系统的数据组织管理	182
10.3.1  标签点及其属性	182
10.3.2  标签点的组织方式	183
10.3.3  关系数据管理	184
10.3.4  历史数据管理	184
10.4  ECA规则与实时计算	185
10.5  ChinDB的高可用方案	186
10.5.1  高可用概述及模式分类	186
10.5.2  ChinDB高可用的部署模式	187
10.6  物联网应用平台	189
10.6.1  物联网应用平台概述	189
10.6.2  物联网应用平台主要特点	190
10.6.3  应用案例	191
第11章  DeCloud物联网大数据云平台	196
11.1  DeCloud组成	196
11.1.1  软件概述	196
11.1.2  通信服务	198
11.1.3  计算服务	200
11.1.4  大规模NoSQL存储服务	201
11.1.5  数据发布/订阅服务	202
11.2  DeCloud在智能交通领域的应用	203
11.3  DeCloud在教育物联网云服务平台中的应用	207
11.4  DeCloud在电厂设备故障预警中的应用	209
11.5  DeCloud在电梯安全监控中的应用	212
11.6  DeCloud在高精度位置服务中的应用	215
第4篇  编程实践篇
第12章  基于Kafka进行物联网大数据实时采集的编程实践	221
12.1  相关准备知识	221
12.1.1  分布式消息队列Kafka回顾	221
12.1.2  Kafka生产者消息发送的实现	225
12.1.3  Kafka消费者消息接收的实现	226
12.2  模拟物联网大数据采集和接收的实验设计	228
12.2.1  物联网大数据的采集	228
12.2.2  物联网大数据的接收	229
12.3  实验环境搭建	229
12.3.1  VMware注意事项	230
12.3.2  安装虚拟机	232
12.3.3  复制虚拟机	234
12.3.4  修改配置文件	234
12.3.5  关闭防火墙及生成公钥	236
12.3.6  时钟同步	236
12.3.7  JDK安装	236
12.3.8  ZooKeeper安装	237
12.3.9  Kafka安装	239
12.3.10  Kafka安装验证	241
12.4  实验步骤	241
12.4.1  基于Java模拟物联网大数据的采集与接收	241
12.4.2  基于Python模拟物联网大数据的采集与接收	247
第13章  基于Kafka Connect进行物联网大数据采集的编程实践	252
13.1  Kafka Connect介绍	252
13.2  Kafka Connector的开发	253
13.2.1  Kafka SourceConnector实现	253
13.2.2  Kafka SinkConnector实现	264
13.3  实验步骤	267
13.3.1  Kafka Connector的打包与部署	267
13.3.2  Kafka Connect的独立模式应用	268
13.3.3  Kafka Connect的分布式模式应用	269
13.3.4  使用Kafka Connect接收数据并存入文件	272
第14章  基于Flink进行物联网大数据实时处理的编程实践	275
14.1  相关准备知识	275
14.1.1  流数据处理的基本术语	275
14.1.2  流数据处理工具Flink概述	278
14.1.3  复合事件流处理工具Flink CEP概述	296
14.2  物联网大数据处理实验设计	300
14.2.1  实验目的	300
14.2.2  实验设计思路	302
14.3  实验环境搭建	303
14.3.1  部署Flink集群	303
14.3.2  创建项目	305
14.4  实验步骤	307
14.4.1  自定义事件类	307
14.4.2  自定义输入映射算子	308
14.4.3  自定义去重过滤算子	309
14.4.4  自定义窗口处理算子	311
14.4.5  配置运行环境及并行度	311
14.4.6  编写Flink流数据处理程序	312
14.4.7  基于Flink CEP编写复合事件处理程序	313
14.4.8  编写Kafka生产者客户端程序	316
14.4.9  打包到集群中运行程序	317
总结与展望	321

《物联网大数据处理技术与实践》于2017年出版，介绍了物联网大数据的技术体系，主要分为缘起与发展趋势篇、技术解析篇和产品研发篇三部分。本书第2版修订了第1版书稿的内容，并增加了编程实践篇，作为第四部分。
自《物联网大数据处理技术与实践》出版之后，作者很荣幸收到了出版社和广大读者的一些反馈——不少学校的教师选择本书作为教材或参考书，更荣幸有一些省份还将此书选作自学考试等考试用参考教材。在此向关心此书的专家、教师、学生和其他读者致以诚挚的谢意！
在收到的反馈中，有不少教师提出希望能够将本书和学生的上机实践课或实践作业结合起来。为此，本书第2版增加了编程实践篇，一方面希望能够方便教师丰富课程和作业练习内容；另一方面也希望帮助广大读者通过动手搭建物联网大数据处理环境、编程实现相关案例，进一步掌握和体会物联网大数据处理的相关概念、原理和技术。
本书第2版新增的编程实践篇分为三章：第12章、第13章和第14章。其中，第12章介绍了基于Kafka进行物联网大数据采集的环境搭建和编程实践；第13章介绍了如何基于Kafka Connect进行物联网大数据采集；第14章介绍了如何利用分布式流数据处理框架和引擎Apache Flink对采集与接收的数据进行一些简单的实时处理。
本书第2版增加的三章内容由王桂玲编写。北方工业大学信息学院、大规模流数据集成与分析技术北京市重点实验室的硕士研究生李俊华、孙鹏飞、郑鑫协助做了内容整理和实验代码实现工作，在此对他们表示衷心的感谢。
本书内容是作者在承担和作为主要参与者参与国家自然科学基金重点项目《大数据环境下的大服务理论与方法研究》（No. 61832004）课题、国家自然科学基金国际合作与交流项目（NSFC-DFG中德）《融合业务过程和物联大数据的服务抽象与编程机制研究》（No. 62061136006）等课题及项目研究过程中的产物。本书第2版的写作离不开项目负责人哈尔滨工业大学徐晓飞教授的支持和帮助，在此对他们表示衷心的感谢！本书的写作还得益于复旦大学张亮教授的指导和帮助，在此对他表示衷心的感谢！
本书的写作和出版得到了浙江大学尹建伟教授、浙江大学邓水光教授及哈尔滨工业大学王忠杰教授的关心、指导和帮助，在此对他们表示衷心的感谢！
本书的写作还得到了北方工业大学王菁老师、房俊老师、高晶老师等项目合作伙伴的帮助，在此向他们表示衷心的感谢！
在本书写作过程中，硕士研究生张浩然、钱宏瑛、敖定鹏、杨建业、李志强等作为本书部分内容的第一批读者，对本书提出了宝贵的意见，在此向他们表示衷心的感谢！
电子工业出版社的董亚峰编辑、米俊萍编辑对本书的写作给予了专业的指导和帮助，在此对二位表示衷心的感谢！还有其他许多为此书再版辛苦工作的电子工业出版社工作人员，在此表示衷心的感谢！
本书的写作还得到了许多其他师友、读者的帮助，在此无法一一列举，谨向他们表示真挚的感谢。
由于作者水平有限，本书难免存在不足，恳请各位读者批评指正。

作  者   
2023年10月

本书配套资源下载

对不起，暂无音视频资源！

物联网大数据处理技术与实践（第2版）