电子工业出版社-网上书店

本书是一本面向机器学习实务的专业指南，通过系统化的工程学视角帮助读者将机器学习理论转化为实际应用。全书共九章。内容从基础知识到模型标准化、部署模式、扩展规模及深度学习应用，层层深入，逐步构建机器学习工程的完整知识体系。书中特别强调如何在Python中高效编码与设计，如何在大规模数据集上开发，以及当下热门的大型语言模型（LLM）构建与运营方法。本书不仅传播技术，更传递了工程学的严谨与实践精神，旨在培养能够解决复杂技术问题并引领数据科学发展的专业人才。无论是初学者，还是行业从业者，本书对读者来说都是一次深入机器学习工程的宝贵探索。

第1章  机器学习工程简介	1
技术要求	2
定义数据学科的分类	4
数据科学家	4
机器学习工程师	5
机器学习运维工程师	6
数据工程师	8
作为一个高效的团队进行协作	8
在现实世界中的机器学习工程	9
什么是机器学习解决方案？	12
为什么使用Python？	14
机器学习系统的高层设计	14
示例1：批量异常检测服务	15
示例2：预测API	21
示例3：分类流程	26
本章小结	30
第2章  机器学习开发流程	32
技术要求	33
配置我们的工具	34
设置AWS账户	38
从概念到解决方案的四个步骤	39
将这与CRISP-DM进行比较	41
发现	42
使用用户故事	43
运行	45
开发	46
部署	63
了解你的部署选项	63
理解DevOps和MLOps	65
使用GitHub Actions构建第一个CI/CD示例	68
持续模型性能测试	72
持续模型训练	74
本章小结	76
第3章  从模型到模型工厂	78
技术要求	79
定义模型工厂	80
掌握学习的方法	81
定义目标	81
减小损失	82
准备数据	83
为机器学习设计特征工程	84
设计分类特征工程	84
设计数值特征工程	86
设计训练系统	89
训练-系统设计选项	90
训练-运行模式	91
训练-持久化	92
模型重训练	93
检测数据漂移	95
检测概念漂移	98
设置限制	100
诊断漂移	101
修正数据漂移	103
其他监控工具	105
自动训练	109
自动化的层次结构	109
优化超参数	111
AutoML	118
持久化你的模型	121
构建模型工厂与管道	125
Scikit-learn管道	126
Spark ML管道	130
本章小结	133
第4章  打包封装	135
技术要求	136
编写优秀的Python代码	136
回顾基础知识	137
诀窍与技巧	139
坚持标准	142
编写高质量的PySpark代码	144
选择风格	145
面向对象编程	145
函数式编程	148
打包你的代码	150
为什么要打包？	151
选择打包的用例	152
设计你的包	153
构建你自己的包	158
使用Makefile管理你的环境	160
使用Poetry进行打包	165
测试、日志记录、安全性和错误处理	170
测试	170
保护你的解决方案	174
分析自己的代码以发现安全问题	175
分析依赖项以发现安全问题	177
记录日志	180
错误处理	183
不要重复发明轮子	191
本章小结	191
第5章  部署模式和工具	193
技术要求	194
设计系统	194
基于原则构建	196
探索一些标准的机器学习模式	199
在数据湖中畅游	199
微服务	200
基于事件的设计	202
批处理	203
容器化	204
在AWS上托管你自己的微服务	208
推送到ECR	209
在ECS上托管	211
使用Airflow构建通用管道	224
Airflow	224
构建高级机器学习管道	237
使用ZenML	237
使用Kubeflow	249
选择你的部署策略	259
本章小结	260
第6章  扩展规模	262
技术要求	263
使用Spark进行扩展	263
Spark技巧和窍门	265
云上的Spark	273
启动无服务器基础设施	283
使用Kubernetes实现大规模容器化	292
使用Ray进行扩展	294
开始使用Ray进行机器学习	298
设计大规模系统	305
本章小结	308
第7章  深度学习、生成人工智能和LLMOps	310
深入探讨深度学习	311
使用PyTorch	314
将深度学习扩展并投入生产实践	318
微调和迁移学习	322
使用LLM	331
理解LLM	332
通过API使用LLM	333
使用LLM进行编码	336
利用LLM构建未来	340
LLM验证	341
PromptOps	343
本章小结	344
第8章  构建ML微服务	345
技术要求	345
理解预测问题	346
设计我们的预测服务	348
选择工具	350
规模化训练	352
使用FastAPI提供模型服务	356
响应和请求模式	359
在微服务中管理模型	363
将所有内容整合在一起	366
容器化并部署到Kubernetes	371
将应用程序容器化	372
使用Kubernetes进行扩展	373
部署策略	376
本章小结	377
第9章  构建一个提取、转换、机器学习用例	379
技术要求	380
理解批处理问题	382
设计ETML解决方案	384
工具选择	386
接口和存储	386
模型的扩展	387
ETML管道的调度	388
执行构建	389
使用高级Airflow功能构建ETML管道	390
本章小结	403

软件正在吞噬世界，但人工智能将吞噬软件。”
——Jensen Huang，英伟达首席执行官

机器学习（ML），作为更广泛的人工智能（AI）领域的一部分，理所当然地被认为是组织从其数据中提取价值的最为强大的工具之一。多年来，随着ML算法能力的增长变得越来越明显，以可扩展、容错和自动化实施的方式这些算法需要创造新的学科。这些学科，即机器学习工程（MLE）和机器学习运维（MLOps），是本书的关注重点。
本书涵盖了广泛的主题，旨在帮助你理解可用于构建机器学习工程解决方案的工具、技术和流程。我们强调介绍关键概念，使你能够在今后的工作中更深入地应用这些概念。尽管我们在构建机器学习工程中确实涵盖了许多最新的工具，但我们的目标是，打下坚实的基础知识，并具有深入全面的理解，使其经得起时间的考验，而不仅仅是提供对最新工具的一连串介绍。
所有的代码示例都以Python编写，这是世界上最流行的编程语言（截至撰写时），也是数据应用的通用语言。Python是一种高级且面向对象的语言，拥有丰富的生态系统，专注于数据科学和机器学习。例如，诸如scikit-learn和pandas之类的包已经成为全球数据科学团队标配的一部分。本书的核心观点是，仅仅了解如何使用这些包是不够的。本书中，我们将使用这些工具，以及许多其他工具，但重点关注如何将它们整合到生产级流程中，并使用适当的云和开源工具进行部署。
我们将全面涵盖从如何组织你的机器学习团队，到软件开发方法论和最佳实践，再到自动化模型构建，以及打包你的机器学习代码，如何将你的机器学习流程部署到各种不同的目标，然后是如何扩展大规模批处理运行的各个方面。在这次更新的第2版中，我们还将在一个全新的章节中讨论将机器学习工程和MLOps应用于深度学习和生成式人工智能的激动人心的世界，包括如何开始使用大型语言模型（LLM）以及LLM Operations（LLMOps）这一新领域构建解决方案。
《Python机器学习工程（第2版）》的几乎每个章节都比第一版探讨得更深入，提供了更新的例子，并更详细地讨论了核心概念。涵盖的工具选择也更为广泛，更加注重开源工具和开发方面。尽管我们仍然坚持关注核心概念的理念，但我希望这种更宽泛的视角能使本书成为那些希望获取机器学习工程实际知识的人的卓越资源。
尽管更加强调使用开源工具，但许多示例也会利用AWS的服务和解决方案。我相信，伴随的解释和讨论将意味着你仍然可以将在这里学到的一切应用于任何云提供商，甚至是在本地环境中。
《Python机器学习工程（第2版）》将帮助你应对将机器学习引入生产环境所面临的挑战，并使你有信心开始在项目中应用MLOps。希望你喜欢！
本书的目标读者
本书面向机器学习工程师、数据科学家和软件开发人员，他们希望构建具有机器学习工程组件的健壮软件解决方案。对于任何管理或希望理解这些系统生产生命周期的人也是相关的。本书假设读者具备中级水平的Python知识，并对机器学习概念有一些基本了解。同时，对AWS的一些基础知识以及使用Unix工具（如bash或zsh）的经验也会有所帮助。
本书主要内容
第1章 “机器学习工程简介”介绍了机器学习工程和机器学习运营的核心概念。详细讨论了机器学习团队中的角色，并阐述了机器学习工程和MLOps所面临的挑战。
第2章 “机器学习开发流程”深入探讨了如何组织并成功执行机器学习工程项目。本章包括对Agile、Scrum、CRISP-DM等开发方法论的讨论，随后介绍了作者开发的一个项目方法论，该方法论贯穿于整本书中。除此之外，本章还引入了持续集成/持续部署（CI/CD）和开发者工具。
第3章 “从模型到模型工厂”展示了如何标准化、系统化和自动化机器学习模型的训练与部署过程。通过作者提出的模型工厂概念，实现了可重复创建和验证模型的方法论。本章还讨论了理解机器学习模型所需的关键理论概念，并涵盖了不同类型的漂移检测和触发模型重新训练的标准。
第4章 “打包封装”探讨了在Python中编码的最佳实践，以及如何将其与构建自己的包、库和组件相关联，以在多个项目中进行有效复用。本章详细介绍了基本的Python编程概念，随后深入讨论了更为高级的概念，并探讨了包和环境管理、测试、日志记录、错误处理以及安全性等关键方面。
第5章 “部署模式和工具”介绍了设计机器学习系统并将其投入生产的一些标准方法。在深入讨论体系结构、系统设计和部署模式的基础上，本章首先重点介绍使用更高级工具部署微服务的方法，包括容器化和AWS Lambda；接着，详细介绍了备受欢迎的ZenML和Kubeflow管道化以及部署平台，并提供了实例。
第6章 “扩展规模”专注于以大型数据集为基础进行开发。在此，我们将详细讨论Apache Spark和Ray框架，并提供了实际示例。本章的重点是在需要大规模计算的批处理工作负载方面进行扩展。
第7章 “深度学习、生成人工智能和LLMOps”涵盖了训练和部署深度学习模型的最新概念和技术，特别关注了生成模型的新浪潮，侧重介绍大语言模型（LLM）及ML工程师在将这些模型投入生产环境时面临的挑战。这使得我们开始定义LLM运营（LLMOps）的核心要素。
第8章 “构建ML微服务”详细讲解了如何使用FastAPI、Docker和Kubernetes构建一个机器学习微服务，该服务提供了一个基于预测的解决方案。这一章将整本书中之前介绍的许多概念进行了综合和实际应用。
第9章 “构建一个提取、转换、机器学习用例”展示了一个批处理机器学习系统的示例，该系统利用标准的机器学习算法，并结合了LLM的使用。这展示了LLM和LLMOps的具体应用，同时提供了对Airflow DAG更为深入的讨论。
充分利用本书
?	本书中，我们假设读者具备一些Python开发的经验。虽然为了完整性考虑涵盖了一些基础概念，但总体而言，如果你在阅读本书之前已经至少编写过一些Python程序，将更容易理解书中的示例。本书还假设读者对机器学习的主要概念有一些了解，比如什么是模型、训练，推理指的是什么，以及对类似概念的理解。虽然文中对这些概念进行了回顾，但如果你之前已经在建立机器学习模型的主要思想方面有所了解，即使是在基础水平上，阅读体验也会更加流畅。
?	在技术方面，为了充分利用本书中的示例，你需要访问一台计算机或服务器，确保你具有安装和运行Python以及其他软件包和应用程序的权限。对于许多示例，我们假定你能够使用类UNIX终端，比如Bash或ZSH。本书中的示例是在运行Ubuntu（LTS版）的Linux操作系统和M2 MacBook Pro的macOS操作系统上编写和测试的。如果你使用不同的系统，例如Windows操作系统，可能需要对示例进行一些调整，以适应你的计算机操作系统。请注意，使用M2 MacBook Pro意味着一些示例展示了额外的信息，以使示例在使用Apple芯片的设备上正常运行。如果你的系统不需要这些额外的设置，你可以舒适地跳过这些部分。
?	许多基于云的示例都利用了亚马逊云服务（AWS），因此需要拥有一个付费的AWS账户。大多数示例将使用AWS提供的免费层服务，但这并非总是可能的。请小心操作，以避免产生大额账单。如果有疑虑，建议查阅AWS文档以获取更多信息。具体来说，在第5章“部署模式和工具”中，我们使用了AWS中的Managed Workflows with Apache Spark的MWAA服务。MWAA是付费使用的，因此一旦启动示例，你将为环境和任何实例支付费用。在继续之前，请确保你已经确认并接受了这一点，并建议在完成后关闭MWAA实例。
?	本书中，我们一直使用Conda和Pip管理系统进行软件包和环境管理，但在许多情况下也使用了Poetry。为了便于在本书的GitHub存储库（https://github.com/PacktPublishing/ Machine-Learning-Engineering-with-Python-SecondEdition）中轻松复制每章的开发环境，本书的每一章都有一个对应的文件夹。该文件夹中，包含有requirements.txt和Conda environment.yml文件，以及README文件。本书中每一章的开头，都提供了复制环境和其他要求的命令，以确保读者能够轻松地重现开发环境。
?	如果你使用的是本书的电子版本，我仍然建议你亲自输入代码，或者从书的GitHub存储库（https://github.com/PacktPublishing/Machine-Learning-Engineering-with-Python-Second-
Edition）中获取代码。这样做可以帮助你避免与复制和粘贴代码相关的潜在错误。
下载示例代码文件
如上所述，本书的代码包托管在GitHubg平台上，链接为https://github.com/ PacktPublishing/Machine-Learning-Engineering-with-Python-Second-Edition。此外，我们还提供了其他图书和视频相关的代码包，可在https://github.com/PacktPublishing/上查看。欢迎探索！
下载本书彩图
我们还提供了一个PDF文件，其中包含本书中使用的截图/图表的彩色图像。你可以在此处下载：https://packt.link/LMqir。
关于本书排版
本书中使用了许多文本约定。
文本中的代码：在文本中表示代码字词、数据库表名、文件夹名、文件名、文件扩展名、路径名、虚拟URL、用户输入和Twitter句柄。例如：“首先，我们必须从alibi-detect包中导入TabularDrift检测器，以及用于加载和拆分数据的相关包”。
代码块的呈现方式如下：
 
 
任何命令行输入或输出都按照以下方式书写，并在正文主体中标示为命令行的命令：
 
粗体：表示一个新术语、重要单词或屏幕上显示的单词。例如，菜单或对话框中的单词在文本中以这种方式出现。又如：“选择部署按钮。这将提供一个下拉菜单，你可以在其中选择创建服务”。
 
对额外资源或背景信息的引用将以此形式出现。
 
实用提示和重要注意事项将以此形式出现。
保持联络
我们随时欢迎读者的反馈。
一般反馈：请通过电子邮箱feedback@packtpub.com与我们联系，并在邮件主题中注明书名。如果你对本书的任何方面有疑问，请通过电子邮箱questions@packtpub.com与我们联系。
勘误：尽管我们已经尽力确保内容的正确性，但错误仍有发生。如果你在本书中发现了错误，我们将非常感谢你的帮助。请发邮件lzhmails@163.com或者lzhmails@phei.com.cn联系。
盗版：如果你在互联网上以任何形式遇到我们作品的非法副本，我们将非常感谢你提供其位置地址或网站名称。请联系我们copyright@packtpub.com，并提供相关材料的链接。
如果你对成为作者感兴趣：如果你在某个领域拥有专业知识，并且有兴趣撰写或参与编写书籍，请访问http://authors.packtpub.com。
分享你的想法
在你阅读了《Python机器学习工程（第2版）》之后，我们非常希望听到你的反馈意见！请于本书在亚马逊的评论页面分享你的反馈。
你的评论对我们和技术社区至关重要，这将有助于确保我们提供的内容保持卓越的质量水平。

本书配套资源下载

对不起，暂无音视频资源！

Python机器学习工程实战（第2版）