电子工业出版社-网上书店

本书基于作者多年的研究成果，详细介绍了跨数据中心机器学习的训练系统设计和通信优化技术。本书面向多数据中心间的分布式机器学习系统，针对多数据中心间有限的传输带宽、动态异构资源，以及异构数据分布三重挑战，自底向上讨论梯度传输协议、流量传送调度、高效通信架构、压缩传输机制、同步优化算法、异构数据优化算法六个层次的优化技术，旨在提升分布式机器学习系统的训练效率和模型性能，突破跨数据中心机器学习的通信瓶颈和数据壁垒，实现多数据中心算力和数据资源的高效整合。本书可作为跨数据中心机器学习的参考资料，供人工智能及分布式计算领域的科研和工程人员阅读。

第1章  跨数据中心机器学习概述	1
1.1  分布式机器学习	5
1.1.1  基本概念	5
1.1.2  国内外发展现状	7
1.1.3  并行模式	10
1.1.4  通信范式	21
1.1.5  通信优化技术	32
1.2  跨数据中心分布式机器学习	39
1.2.1  产业发展背景及需求	39
1.2.2  基本架构	41
1.2.3  面临的关键挑战	43
1.3  本书的章节结构	46
本章参考文献	47
第2章  高效通信架构	58
2.1  分层参数服务器通信架构	59
2.1.1  架构设计方案	59
2.1.2  运行流程与通信模型	61
2.1.3  主要操作原语	64
2.2  部署模式与适用场景	65
2.3  实验与性能评估	67
2.4  本章小结	70
本章参考文献	70
第3章  同步优化算法	72
3.1  系统模型与基础同步优化算法	73
3.1.1  系统模型	73
3.1.2  全同步通信算法	73
3.1.3  实验与性能评估	76
3.2  面向受限域间通信资源的同步算法	78
3.2.1  研究现状	79
3.2.2  内同步累积的低频同步通信算法	80
3.2.3  实验与性能评估	83
3.3  面向异构计算与通信资源的同步算法	84
3.3.1  研究现状	85
3.3.2  延迟补偿的混合同步算法	88
3.3.3  迭代次数自适应的同步算法	91
3.3.4  实验与性能评估	109
3.4  本章小结	119
本章参考文献	120
第4章  压缩传输机制	123
4.1  稀疏化与量化基本概念	124
4.2  双向梯度稀疏化技术	127
4.2.1  梯度稀疏化技术	127
4.2.2  稀疏同步技术	128
4.2.3  冗余梯度修正技术	129
4.3  混合精度传输技术	132
4.4  实验与性能评估	133
4.5  本章小结	139
本章参考文献	139
第5章  梯度传输协议	142
5.1  研究动机	143
5.2  协议设计及其挑战	145
5.3  近似梯度分类算法	146
5.3.1  算法设计	146
5.3.2  分类阈值动态衰减技术	149
5.4  差异化梯度传输协议的设计	149
5.4.1  基于优先级的差异化传输	150
5.4.2  差异化接收方法	151
5.5  实现和部署	152
5.5.1  DGT通信中间件的功能实现	152
5.5.2  DGT通信中间件的跨数据中心部署	154
5.6  实验与性能评估	155
5.7  本章小结	165
本章参考文献	165
第6章  流量传送调度	168
6.1  基于动态通信调度的通信覆盖机制	170
6.1.1  研究动机	170
6.1.2  问题建模	173
6.1.3  通信覆盖机制设计	175
6.1.4  实现和部署	183
6.1.5  实验与性能评估	185
6.2  光广域网中的在线流量调度	192
6.2.1  研究动机	194
6.2.2  任务内调度	195
6.2.3  任务间调度	199
6.2.4  算法性能分析	203
6.2.5  仿真结果与分析	205
6.3  本章小结	211
本章参考文献	211
第7章  异构数据优化算法	214
7.1  研究现状	216
7.2  系统模型	220
7.3  联邦组同步算法设计与实现	221
7.3.1  算法设计动机	221
7.3.2  算法设计与实现	223
7.4  组节点选择算法设计与实现	226
7.4.1  问题建模与分析	226
7.4.2  算法设计与实现	228
7.5  算法的收敛性与效率分析	231
7.5.1  算法收敛性分析	232
7.5.2  算法效率分析	233
7.6  实验与性能评估	235
7.7  本章小结	245
本章参考文献	245
第8章  总结与展望	249
附录A  缩略语对照表	250

随着硬件算力的持续提升，以及云计算、边缘计算、物联网、大数据、人工智能等一系列技术的发展成熟，人类正在加速迈入万物互联的泛在智慧社会，甚至是元宇宙的全新智能时代，这将引发生产生活方式、社会组织形态、产业发展模式、国家治理体系、全球竞争格局等方面的全方位变革。基于机器学习的人工智能能够从海量数据中凝练有用信息，并在实际生产生活中实现智能识别、检测、控制、生成和预测等能力，在计算机视觉、自然语言处理、自动化控制众多领域占据举足轻重的地位，是推动变革的主要动力之一。
从本质来看，第二代人工智能的成功离不开大模型、大数据和大算力。其中，大模型赋予人工智能更大的知识容量，大数据是人工智能的知识源泉，大算力使能人工智能更快速地学习。数据中心作为企业业务数据的大型存储库，以及容纳核心计算服务的高可靠集群，积累了体量庞大的数字资源和大规模的硬件算力，为训练人工智能模型提供丰富的算力和数字资源池。分布式机器学习起源于业界充分利用数据中心资源加速人工智能训练的迫切需求，已成为各个主流机器学习系统必备的核心能力，并受到谷歌、腾讯、阿里巴巴等国内外巨头企业的追捧。
2022年，“东数西算”工程全面启动实施，在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等八地启动建设国家算力枢纽节点，并规划了十个国家数据中心集群。在产业界，随着机构和业务规模的持续扩大，中大型企业和研究院在多地扩建新型数据中心。例如，谷歌在全球各地建设有23个大型数据中心，涵盖北美、南美、欧洲、亚洲；腾讯在27个地理区域运营有71个可用区。又如，大型研究院鹏城实验室于2019年的湾区网项目正式开通六个算力云节点。这些广泛分布的新型数据中心不仅满足了企业自身和行业用户对大数据存储、智能云边计算、高速网络互联等服务的需要，也为附近地区的用户提供了数据就近存储、服务就近访问的优质服务。
尽管新型数据中心的算力算效已经得到空前提升，但是业界仍不满足于单数据中心的局限算力，还需要推动异地数据中心之间的组网互联，促进国家枢纽节点、企业算力节点等之间跨网、跨地区、跨企业的数据交互。2021年，国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发了《全国一体化大数据中心协同创新体系算力枢纽实施方案》，要求“支持政府部门和企事业单位整合内部算力资源，对集群和城区内部的数据中心进行一体化调度”，实现“进一步打通跨行业、跨地区、跨层级的算力资源，构建算力服务资源池”。这一系列举措将有效整合多数据中心的算力和数字资源，有力推动构建数据中心、云计算、大数据一体化的新型算力网络体系。
为整合异地数据中心分散的数据资源和算力，跨数据中心分布式机器学习应运而生。这是一种面向多个异地分散计算机集群的分布式机器学习技术，在不迁移用户数据的前提下，联合多个数据中心的本地训练数据和本地算力集群协同进行数据挖掘，数据中心之间交换模型参数信息实现知识共享。跨数据中心分布式机器学习旨在为政企研用户提供高性能的分布式联合数据挖掘平台，通过攻克跨数据中心训练加速等核心关键技术，突破数据中心之间的数据屏障和通信壁垒，是当今以及未来基于机器学习的多云智能计算的关键技术。
本书向读者介绍跨数据中心分布式机器学习的发展背景与技术价值，展示适合该场景的系统架构和优化技术，并针对其面临的三大挑战给出解决方案，实现逼近甚至超越高速局域网互联下的分布式机器学习系统的训练效率。本书共8章，第1章概述分布式机器学习及其在跨数据中心场景下的基本概念及架构。第2章介绍适用于数据中心内外差异网络环境的高效通信架构。第3章介绍受限域间传输带宽和动态异构资源下的四种同步优化算法。第4章介绍数据压缩传输机制，给出两种相互兼容的稀疏和量化方案。第5章针对跨域数据传输的长尾流延迟，介绍一种新型差异化传输协议。第6章面向通用广域网互联和光广域网互联两种场景，分别介绍适用的流量传送调度机制。第7章针对来自不同数据中心的数据的统计异构性问题，介绍一种有效的异构数据优化方法。第8章总结全文内容，展望应用前景。本书既可以作为相关研究方向研究生的参考书籍，也可以作为从事人工智能及其分布式系统设计相关人员的学习资料。
回顾写作历程，从排期到书成，博士生周华漫、刘玲、曹行健、蔡青青，以及硕士生张兆丰、何易虹、计开来、冯博泉、张弛、李晴参与了全书资料整理、图表绘制和文字校对等工作。李乐民院士对课题的研究工作给予了很多指导与帮助，徐增林、邵俊明教授以及罗寿西讲师在本书的编写过程中提出了很多宝贵的意见和建议。李树林编辑在本书手稿的润色方面提供了很多专业建议和帮助。且夫水之积也不厚，则其负大舟也无力，饮水当思源。没有他们焚膏继晷，就没有今天著为成书。“物换星移几度秋”，本书集结了众人的智慧与心血，但从写作到成书略显仓促，稍显缺憾。文中如有疏漏或言不达意之处，望读者海涵，不吝指正，以裨补阙漏，不胜感激。
最后，还要特别感谢国家重点研发计划“支持5G/B5G巨连接、大流量、低延迟快速演进的新型网络技术研究与实验”（2019YFB1802800）、国家自然科学基金项目“跨广域网分布式机器学习参数交换的自适应传输技术研究”（62102066）、之江实验室开放课题“面向地理分布机器学习的数据传输加速技术研究”（2022QA0AB02）、中兴通讯股份有限公司“算力网络与新型通信原语项目”（201075）、鹏城实验室大湾区未来网络试验与应用环境项目“跨域多方协同学习平台的通信优化技术”（LZC0019）的大力资助。在他们的支持下，本书所描述的系统及技术得以顺利进行并圆满完成。

编著者

本书配套资源下载

对不起，暂无音视频资源！

跨数据中心机器学习：赋能多云智能数算融合