电子工业出版社-网上书店

人工智能已在多个行业得到成功应用，大模型的应用已成为突破性进展的重要驱动力，而在特定垂直领域，如医疗、法律、金融等，大模型微调面临独特的挑战和需求。本书致力于大型语言模型微调与应用的关键技术，本书探讨两个热门应用方向：大模型的知识专业性和时效性。本书剖析了垂直领域大模型训练的背景及意义，探讨大模型在垂直领域的迁移学习、应用部署与效果评估等核心内容，结合实际案例，深入浅出地解析了每个环节的关键问题和解决方案，引领读者了解行业内最新研究成果与发展趋势，方便读者快捷地嫁接到各个行业。

目    录
第1章  从零开始大模型之旅	1
1.1  对话机器人历史	1
1.1.1  人机同频交流	1
1.1.2  人机对话发展历史	2
1.2  人工智能	4
1.2.1  从感知到创造	4
1.2.2  通用人工智能	7
1.2.3  发展方向	9
1.2.4  本书焦点	10
1.3  本章小结	11
第2章  大模型私有化部署	12
2.1  CUDA环境准备	12
2.1.1  基础环境	12
2.1.2  大模型运行环境	13
2.1.3  安装显卡驱动	14
2.1.4  安装CUDA	18
2.1.5  安装cuDNN	24
2.2  深度学习环境准备	26
2.2.1  安装Anaconda环境	26
2.2.2  服务器环境下的环境启动	30
2.2.3  安装PyTorch	32
 
2.3  GLM-3和GLM-4	34
2.3.1  GLM-3介绍	34
2.3.2  GLM-4介绍	36
2.4  GLM-4私有化部署	36
2.4.1  创建虚拟环境	37
2.4.2  下载GLM-4项目文件	37
2.4.3  安装项目依赖包	39
2.4.4  下载模型权重	40
2.5  运行GLM-4的方式	41
2.5.1  基于命令行的交互式对话	42
2.5.2  基于Gradio库的Web端对话应用	42
2.5.3  OpenAI风格的API调用方法	43
2.5.4  模型量化部署	45
2.6  本章小结	47
第3章  大模型理论基础	49
3.1  自然语言领域中的数据	49
3.1.1  时间序列数据	49
3.1.2  分词	50
3.1.3  Token	53
3.1.4  Embedding	53
3.1.5  语义向量空间	54
3.2  语言模型历史演进	55
3.2.1  语言模型历史演进	55
3.2.2  统计语言模型	57
3.2.3  神经网络语言模型	58
3.3  注意力机制	58
3.3.1  RNN模型	58
3.3.2  Seq2Seq模型	60
3.3.3  Attention注意力机制	62
3.4  Transformer架构	65
3.4.1  整体架构	65
3.4.2  Self-Attention	66
3.4.3  Multi-Head Attention	68
3.4.4  Encoder	68
3.4.5  Decoder	70
3.4.6  实验效果	71
3.5  本章小结	72
第4章  大模型开发工具	73
4.1  Huggingface	73
4.1.1  Huggingface介绍	73
4.1.2  安装Transformers库	77
4.2  大模型开发工具	79
4.2.1  开发范式	79
4.2.2  Transformers库核心设计	80
4.3  Transformers库详解	84
4.3.1  NLP任务处理全流程	84
4.3.2  数据转换形式	86
4.3.3  Tokenizer	88
4.3.4  模型加载和解读	92
4.3.5  模型的输出	94
4.3.6  模型的保存	97
4.4  全量微调训练方法	98
4.4.1  Datasets库和Accelerate库	98
4.4.2  数据格式	101
4.4.3  数据预处理	103
4.4.4  模型训练的参数	106
4.4.5  模型训练	108
4.4.6  模型评估	110
4.5  本章小结	115
第5章  高效微调方法	117
5.1  主流的高效微调方法介绍	117
5.1.1  微调方法介绍	117
5.1.2  Prompt的提出背景	119
5.2  PEFT库快速入门	121
5.2.1  介绍	121
5.2.2  设计理念	122
5.2.3  使用	125
5.3  Prefix Tuning	129
5.3.1  背景	129
5.3.2  核心技术解读	129
5.3.3  实现步骤	131
5.3.4  实验结果	134
5.4  Prompt Tuning	135
5.4.1  背景	135
5.4.2  核心技术解读	136
5.4.3  实现步骤	137
5.4.4  实验结果	139
5.5  P-Tuning	140
5.5.1  背景	140
5.5.2  核心技术解读	141
5.5.3  实现步骤	142
5.5.4  实验结果	144
5.6  P-Tuning V2	145
5.6.1  背景	145
5.6.2  核心技术解读	146
5.6.3  实现步骤	147
5.6.4  实验结果	149
5.7  本章小结	150
第6章  LoRA微调GLM-4实战	151
6.1  LoRA	151
6.1.1  背景	151
6.1.2  核心技术解读	152
6.1.3  LoRA的特点	153
6.1.4  实现步骤	155
6.1.5  实验结果	157
6.2  AdaLoRA	157
6.2.1  LoRA的缺陷	157
6.2.2  核心技术解读	158
6.2.3  实现步骤	160
6.2.4  实验结果	161
6.3  QLoRA	162
6.3.1  背景	162
6.3.2  技术原理解析	163
6.4  量化技术	165
6.4.1  背景	165
6.4.2  量化技术分类	165
6.4.3  BitsAndBytes库	166
6.4.4  实现步骤	166
6.4.5  实验结果	169
6.5  本章小结	169
第7章  提示工程入门与实践	170
7.1  探索大模型潜力边界	170
7.1.1  潜力的来源	170
7.1.2  Prompt的六个建议	171
7.2  Prompt实践	173
7.2.1  四个经典推理问题	173
7.2.2  大模型原始表现	175
7.3  提示工程	177
7.3.1  提示工程的概念	177
7.3.2  Few-shot	177
7.3.3  通过思维链提示法提升模型推理能力	180
7.3.4  Zero-shot-CoT提示方法	181
7.3.5  Few-shot-CoT提示方法	185
7.4  Least-to-Most Prompting（LtM提示方法）	188
7.4.1  Least-to-Most Prompting基本概念	188
7.4.2  Zero-shot-LtM提示过程	189
7.4.3  效果验证	191
7.5  提示使用技巧	192
7.5.1  B.R.O.K.E提示框架	193
7.5.2  C.O.A.S.T提示框架	195
7.5.3  R.O.S.E.S提示框架	196
7.6  本章小结	197
第8章  大模型与中间件	198
8.1  AI Agent	198
8.1.1  从AGI到Agent	198
8.1.2  Agent概念	199
8.1.3  AI Agent应用领域	200
8.2  大模型对话模式	201
8.2.1  模型分类	201
8.2.2  多角色对话模式	203
8.3  多角色对话模式实战	204
8.3.1  messages参数结构及功能解释	204
8.3.2  messages参数中的角色划分	205
8.4  Function Calling功能	207
8.4.1  发展历史	208
8.4.2  简单案例	209
8.5  实现多函数	214
8.5.1  定义多个工具函数	214
8.5.2  测试结果	217
8.6  Bing搜索嵌入LLM	217
8.6.1  昙花一现的Browsing with Bing	217
8.6.2  需求分析	218
8.6.3  Google搜索API的获取和使用	220
8.6.4  构建自动搜索问答机器人	223
8.7  本章小结	225
第9章  LangChain理论与实战	226
9.1  整体介绍	226
9.1.1  什么是LangChain	226
9.1.2  意义	227
9.1.3  架构	228
9.2  Model I/O	229
9.2.1  架构	229
9.2.2  LLM	230
9.2.3  ChatModel	233
9.2.4  Prompt Template	234
9.2.5  实战：LangChain接入本地GLM	237
9.2.6  Parser	239
9.3  Chain	240
9.3.1  基础概念	240
9.3.2  常用的Chain	241
9.4  Memory	249
9.4.1  基础概念	249
9.4.2  流程解读	250
9.4.3  常用Memory	251
9.5  Agents	257
9.5.1  理论	257
9.5.2  快速入门	259
9.5.3  架构	262
9.6  LangChain实现Function Calling	266
9.6.1  工具定义	266
9.6.2  OutputParser	267
9.6.3  使用	268
9.7  本章小结	269
第10章  实战：垂直领域大模型	270
10.1  QLoRA微调GLM-4	270
10.1.1  定义全局变量和参数	270
10.1.2  红十字会数据准备	271
10.1.3  训练模型	283
10.2  大模型接入数据库	291
10.2.1  大模型挑战	291
10.2.2  数据集准备	292
10.2.3  SQLite3	293
10.2.4  获取数据库信息	294
10.2.5  构建tools信息	297
10.2.6  模型选择	298
10.2.7  效果测试	299
10.3  LangChain重写查询	300
10.3.1  环境配置	300
10.3.2  工具使用	301
10.4  RAG检索增强	302
10.4.1  自动化数据生成	303
10.4.2  RAG搭建	303
10.5  本章小结	307
参考文献	308

前    言
我们需要什么样的大模型
面对未来的浪潮，我们不禁思考：何种大模型将引领时代？这是一个值得我们深入探讨的课题。随着AI（Artificial Intelligence，人工智能）技术的迅猛发展，AI是否会成为未来的主导力量？随着AI技术的飞速进步，一个常见的问题是：这股力量是否将取代人类的位置？
答案并非如此简单。AI的确在以惊人的速度学习和进步，它在各个行业中的应用也取得了显著的成功。大模型的应用已成为推动各领域突破性进展的关键动力。特别是在医疗、法律、金融等特定垂直领域，大模型的微调面临着独特的挑战和需求。
本书旨在深入探讨大模型的微调与应用的核心技术，为读者揭示行业前沿，重点关注两个热门的应用方向：大模型的知识专业性和时效性。我们将剖析垂直领域模型训练的背景及意义，探讨模型在垂直领域的迁移学习、应用部署与效果评估等核心内容。通过实际案例的深入浅出解析，我们将揭示每个环节的关键问题和解决方案，引领读者了解行业内最新的研究趋势，并便捷地将这些知识应用到各个行业中。
比尔·盖茨是微软的联合创始人，他预见性地指出，像ChatGPT这样的AI聊天机器人将与个人计算机和互联网一样，成为不可或缺的技术里程碑。
英伟达总裁黄仁勋则将ChatGPT比作AI领域的iPhone，它预示着更多伟大事物的开始。ChatGPT的诞生在社会上引起了巨大的轰动，因为它代表了大模型技术和预训练模型在自然语言处理领域的重要突破。它不仅提升了人机交互的能力，还为智能助手、虚拟智能人物和其他创新应用开启了新的可能性。
本书专为对AI感兴趣的读者而设计。即使读者没有深厚的计算机知识背景，但只要具备相关的基础知识，便能跟随本书中的步骤，在个人计算机上轻松实践案例操作。我们精心准备了完整的代码示例，旨在帮助读者将抽象的理论知识转化为手头的实际技能。
本书独树一帜的讲解风格，将深奥的技术术语转化为简洁明了的语言，案例叙述既严谨又充满趣味，确保读者在轻松愉快的阅读体验中自然而然地吸收和理解AI知识。
AI时代已经到来，取代我们的不会是AI，而是那些更擅长利用AI力量的人。让我们携手迈进这个新时代，共同揭开AI的无限潜能。
在本书的编写过程中，我们深感荣幸地获得了众多科研同行的鼎力相助与无私奉献。特别感谢中国科学院大学的刘宜松，他负责了本书代码的编写，并为代码的精确性与实用性付出了巨大努力。王凯、孙翔宇和张明哲对代码进行了细致入微的审阅，确保了代码的质量与可靠性。
中国矿业大学的刘威为本书的图文并茂贡献良多，他负责的图片制作工作极大地提升了读者的阅读体验。
我们还要感谢以下企事业单位的慷慨支持：东莞市科学技术协会的杨爱军为我们提供了宝贵的学术建议；东莞市红十字会分享了他们珍贵的行业数据，为本书的研究提供了实证支持；英特尔（中国）有限公司的张晶为我们提供了技术测试，确保了书中技术的先进性与实用性；广东创新科技职业学院的创始人方植麟提供了大模型数据，为本书的研究深度与广度提供了坚实基础。
在出版流程中，电子工业出版社的秦淑灵编辑给予了我们极大的帮助与支持，她的专业意见和辛勤工作使得本书得以顺利面世。
在此，我们对所有贡献者表示最诚挚的感谢！我们相信，这本书将成为一盏明灯，指引我们深入探索AI的奥妙，共同开启AI世界的无限可能。
我们诚挚地邀请读者和专家们不吝赐教，您的宝贵意见将帮助我们不断完善。欢迎您将建议发送至邮箱：aidg0769@sina.com。

作  者

庄建，中国科学院高能物理研究所研究员，中国散裂中子源实验分总体电气总工，CSNS实验控制研发团队负责人和学科带头人，主要负责组织中国散裂中子源中子谱仪的实验控制与数据获取方向的研究。其中包括分布式控制，大数据的获取、传输与处理，高精度分布式时间测量，人工智能技术在物理实验中的应用等方向。2020年出版《深度学习图像识别技术》一书，并荣获机械工业出版社计算机分社"20年优秀作者”称号。

本书配套资源下载

对不起，暂无音视频资源！

大模型实战：微调、优化与私有化部署