电子工业出版社-网上书店

本书是一本对人工智能小白读者非常友好的大语言模型应用指南，有两大特点：一是以通俗易懂的方式解释复杂概念，通过实例和案例讲解大语言模型的工作原理和工作流程、基本使用方法，包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆，以及外部工具等，使读者能够全面了解和掌握这一先进技术的应用和二次开发；二是紧跟当前大语言模型技术的更新动态，介绍GPTs的创建，以GPT-4V和Gemini为例讲述多模态模型的应用，还包括无梯度优化、自主Agent系统、大语言模型微调、RAG框架微调、大语言模型安全技术等。无论是学术研究者、工程师，还是对大语言模型感兴趣的普通读者，都可以通过本书获得大语言模型的前沿研究成果、技术进展和应用案例，从而更好地应用大语言模型解决实际问题。

第1篇  基础
第1章  从人工智能的起源到大语言模型	2
1.1  人工智能的起源	2
1.1.1  机器能思考吗	2
1.1.2  达特茅斯会议	3
1.2  什么是机器学习	4
1.2.1  演绎推理与归纳推理	4
1.2.2  人工编程与自动编程	5
1.2.3  机器学习的过程	5
1.2.4  机器学习的分类	8
1.3  什么是神经网络	9
1.3.1  还原论与涌现性	9
1.3.2  神经网络的发展历史	10
1.3.3  神经网络基础	11
1.3.4  神经网络的三要素	13
1.4  自然语言处理的发展历程	17
1.4.1  什么是自然语言处理	17
1.4.2  文本的向量化	18
1.4.3  神经网络中的自监督学习	21
1.5  大语言模型	24
1.5.1  什么是大语言模型	24
1.5.2  语言模型中的token	25
1.5.3  自回归模型与文本生成	33
1.5.4  统一自然语言任务	41
1.5.5  大语言模型的训练过程	44
1.5.6  大语言模型的局限性	46
第2篇  入门
第2章  交互格式	50
2.1  Completion交互格式	50
2.2  ChatML交互格式	52
2.3  Chat Completion交互格式	54
第3章  提示工程	57
3.1  什么是提示工程	57
3.2  提示的构成	58
3.3  提示的基础技巧	62
3.3.1  在提示的末尾重复关键指令	63
3.3.2  使用更清晰的语法	63
3.3.3  尽量使用示例	65
3.3.4  明确要求大语言模型回复高质量的响应	65
3.4  Chat Completion交互格式中的提示	65
3.5  提示模板与多轮对话	69
第4章  工作记忆与长短期记忆	72
4.1  什么是工作记忆	72
4.2  减轻工作记忆的负担	74
4.2.1  Chain-of-Thought	74
4.2.2  Self-Consistency	76
4.2.3  Least-to-Most	76
4.2.4  Tree-of-Tought和Graph -of-Tought	79
4.2.5  Algorithm-of-Tought	85
4.2.6  Chain-of-Density	88
4.3  关于大语言模型的思考能力	90
4.4  长短期记忆	91
4.4.1  什么是记忆	91
4.4.2  短期记忆	92
4.4.3  长期记忆	105
第5章  外部工具	122
5.1  为什么需要外部工具	122
5.2  什么是外部工具	122
5.3  使用外部工具的基本原理	124
5.4  基于提示的工具	126
5.4.1  Self-ask 框架	126
5.4.2  ReAct 框架	128
5.4.3  改进ReAct框架	134
5.5  基于微调的工具	137
5.5.1  Toolformer	137
5.5.2  Gorilla	140
5.5.3  function calling	141
第6章  ChatGPT接口与扩展功能详解	149
6.1  OpenAI大语言模型简介	149
6.2  ChatGPT扩展功能原理	151
6.2.1  网页实时浏览	152
6.2.2  执行Python代码	153
6.2.3  图像生成	154
6.2.4  本地文件浏览	157
6.3  Chat Completion接口参数详解	158
6.3.1  模型响应返回的参数	158
6.3.2  向模型发起请求的参数	159
6.4  Assistants API	162
6.4.1  工具	162
6.4.2  线程	163
6.4.3  运行	163
6.4.4  Assistants API整体执行过程	164
6.5  GPTs与GPT商店	164
6.5.1  GPTs功能详解	165
6.5.2  GPT商店介绍	172
6.5.3  案例：私人邮件助手	174
第3篇  进阶
第7章  无梯度优化	184
7.1  单步优化	184
7.2  强化学习入门	188
7.3  多步优化中的预测	191
7.4  多步优化中的训练	194
7.5  多步优化中的训练和预测	201
第8章  自主Agent系统	210
8.1  自主Agent系统简介	210
8.2  自主Agent系统的基本组成	211
8.3  自主Agent系统案例分析（一）	213
8.3.1  BabyAGI	213
8.3.2  AutoGPT	216
8.3.3  BeeBot	221
8.3.4  Open Interpreter	228
8.3.5  MemGPT	232
8.4  自主Agent系统案例分析（二）	243
8.4.1  CAMEL	243
8.4.2  ChatEval	246
8.4.3  Generative Agents	250
第9章  微调	262
9.1  三类微调方法	262
9.2  Transformer解码器详解	264
9.2.1  Transformer的原始输入	264
9.2.2  静态编码和位置编码	264
9.2.3  Transformer层	265
9.3  高效参数微调	268
9.3.1  Adapter高效微调	268
9.3.2  Prompt高效微调	269
9.3.3  LoRA高效微调	272
9.3.4  高效微调总结	274
9.4  微调RAG框架	275
9.4.1  RAG框架微调概述	275
9.4.2  数据准备和参数微调	276
9.4.3  效果评估	276
第10章  大语言模型的安全技术	280
10.1  提示注入攻击	280
10.1.1  攻击策略	281
10.1.2  防御策略	284
10.2  越狱攻击与数据投毒	285
10.2.1  冲突的目标与不匹配的泛化	285
10.2.2  对抗样本	286
10.2.3  数据投毒	289
10.3  幻觉和偏见问题	292
10.4  为大语言模型添加水印	294
第4篇  展望
第11章  大语言模型的生态与未来	298
11.1  多模态大语言模型	298
11.1.1  什么是多模态	298
11.1.2  GPT-4V简介	300
11.1.3  Gemini简介	303
11.2  大语言模型的生态系统	308
11.3  大语言模型的第一性原理：尺度定律	311
11.3.1  什么是尺度定律	312
11.3.2  尺度定律的性质	313
11.3.3  尺度定律的未来	320
11.4  通向通用人工智能：压缩即智能	321
11.4.1  编码与无损压缩	322
11.4.2  自回归与无损压缩	331
11.4.3  无损压缩的极限	336
11.5  图灵机与大语言模型：可计算性与时间复杂度	342
11.5.1  图灵机与神经网络	342
11.5.2  智能的可计算性	346
11.5.3  逻辑推理的时间复杂度	349
参考文献	352

推荐序
在当下这个迅猛发展的人工智能时代，我们有幸见证了无数技术从概念走向实践，从实验室中的奇思妙想转变为日常生活中不可或缺的工具。在众多领域中，大语言模型（Large Language Model，LLM）的崛起无疑是近年来最令人瞩目的技术进展之一。以ChatGPT为代表的大语言模型应用程序的出现，不仅让我们得以窥见未来人机交互的新范式，更重要的是，还为我们提供了一个强大的工具，帮助我们在这个复杂多变的世界找到自己的方向。在过去的一年中，大语言模型使用经验时刻提醒我们，我们必须努力跟上大语言模型的演化脚步，否则就会像那些消失在生物进化历程中的物种一样，被这个日新月异的时代和大语言模型不断强化的生产力无情抛弃。
与大语言模型本身的飞速发展相比，使用大语言模型的策略则相对琐碎、迟缓和被动。对于大多数用户而言，他们对AI的使用印象就像使用停车场的车牌自动识别系统，用户面对大语言模型给出的“面目全非”的回答只能“干着急”。在我们反复尝试使用这些大语言模型时，如果有一本“All-in-One”的工具书，帮助我们理顺大语言模型的运行逻辑和使用方法，让我们“知其然，知其所以然”，那就再好不过了。
本书很好地实现了这一点，它不仅深入浅出地解释了大语言模型的工作原理，更重要的是，还提供了一系列的应用技巧及对应的实践案例，引导读者有效地应用大语言模型解决实际问题。从ChatGPT的基本操作到进阶调优方法，每一步都充满了实战经验和作者的深入见解。本书不仅是一本技术手册，更像指引我们未来方向的指南针。
技术在持续演化，今日我们艰难学习和掌握的小技巧很可能会消失在一次平凡的模型优化中，而新的问题会继续涌现，明日面对的模型和今日又会有所不同。本书既是技术手册，也是技术发展方向的“指南针”，它阐明了一些恒久不变的本质问题，例如大语言模型的运行逻辑、交互策略等。如果你希望在这个快速变化的世界中保持竞争力和创新力，那么推荐你阅读本书。
我有幸在万俊大学期间给他上过课，那时候他就表现出超越他人的技术能力；同时，他乐于分享自己对这个世界的认知和理解，他的这份热情也感染了我。他的这两大特质也淋漓尽致地体现在本书中。
我相信，本书能够激发更多人对大语言模型应用的学习兴趣。衷心祝愿本书的每位读者都能够在使用大语言模型的过程中发现属于自己的新大陆，借助大语言模型前所未有的力量重塑自己的技能体系，畅享人生旅途。

南京大学软件学院副院长  副教授  刘嘉

推荐语
我与作者曾是蚂蚁集团的同事，他在相关领域持续探索、不断实践。在本书之前，我亦拜读过作者的专栏及其他著作，对作者深入的理解、丰富的经验，以及深入浅出的写作风格深感佩服。在本书的成书过程中，作者曾多次在公司的研发中心进行专题分享，引发深度交流与热烈讨论，有力推动了团队在大模型领域的认知与实践。
本书系统地解析大语言模型的内在原理与实战应用，内容由浅入深，兼顾理论性与实用性，无论是初学者还是专家，皆能有所收获。作者的无私分享，以及与读者的积极互动，必将激发读者对AI技术的探索热情与创新动力。
Stori技术副总裁  高澜

本书是全面深入探讨大语言模型的著作，不仅详细地介绍了人工智能的基本概念、原理和技术，还探讨了ChatGPT应用、优化的方法及技巧，与此同时，介绍了大语言模型进阶应用技巧，例如自主Agent系统，微调技术等，不仅适合初学者，也适合行业专家和领导作为参考。 
人工智能的发展趋势瞬息万变，希望本书能帮助大家打开人工智能的发展新思路，一起拥抱大语言模型的未来。 
欧加集团营销技术负责人  孟凡超

这是一本详实的大语言模型指南，深入浅出地讲解了大语言模型的结构原理、常见的训练方法、潜在的安全问题等，并对大语言模型领域的未来做出了展望。作为从业人员，我对部分技术已有较深的了解，但本书对相关技术清晰全面的梳理仍然让我觉得收获良多。无论您是大模型的开发者还是使用者，本书都不容错过，它将为您打开AI的黑盒，照亮通向智能未来的道路。  
Google AI资深研究员  李思扬
我有幸阅读过本书的初稿，在阅读过程中，收获颇多，不仅对大语言模型有了更深刻的理解，还从实践指导部分中得到了诸多启示。本书以通俗易懂的语言系统介绍了大语言模型的核心概念、技术要点和应用方法，对于希望探索人工智能前沿技术的读者来说，是不可多得的指南。我毫不犹豫地向所有对AI技术充满好奇心的同人们推荐这本书。
Meta资深机器学习工程师  邹方宇

本书为大语言模型提供了一幅清晰的技术蓝图，从基础背景、入门概念、进阶理论到未来展望，一应俱全。书中呈现的ChatGPT的案例分析和实操指南，能帮助大家系统、全方位地掌握大语言模型。本书如同一把钥匙，为追求AI深度或广度的学习者开启大语言模型新世界。 
哥伦比亚大学博士  深度学习专家  华东师范大学计算机系教授  王骏 

本书不仅详细阐述了大语言模型如何在各行各业中发挥关键作用，还提供了丰富的案例帮助读者理解这些复杂技术如何应用于现实世界中。本书的内容经过精心打磨，语言通俗易懂，不仅适合专业人士阅读，也可以帮助对技术不甚了解的读者轻松掌握大语言模型的核心概念和应用方法。身为一名互联网教育公司的CTO，我对教育技术的应用和发展保持着持续的关注。本书不仅为我提供了宝贵的知识资源，也启发了我思考如何将大语言模型技术融入教育领域，以创造更加个性化的互动学习体验。
我相信，本书将成为推动教育和技术发展的重要里程碑，激励着更多的人投身于教育和技术的革新之中。 
指南者留学联合创始人兼CTO  陆文斌
前言
2022年11月30日，OpenAI发布了ChatGPT——?一个基于生成式预训练Transformer（Generative Pre-trained Transformer，GPT）技术的语言模型。一经发布，ChatGPT就在市场上引起了强烈反响，月活跃用户数在接下来的两个月迅速突破一亿，打破了互联网行业的用户增长纪录，成为史上增长最快的消费者应用[ 2023年，Meta旗下的社交产品Threads成功打破了ChatGPT创下的用户增长纪录。然而，笔者认为，Threads能够实现这一成就部分得益于Meta平台的巨大流量，而ChatGPT是一个纯粹的工具。从这个角度来看，ChatGPT的用户增长纪录可能更具含金量。]。
虽然ChatGPT只是一个语言模型，但通过适当的引导和互动，它可以被用于创作诗歌、编写文案、分析数据，甚至编写和调试代码。人类从ChatGPT中似乎看到了实现通用人工智能（General Artificial Intelligence，AGI）的一丝希望。
为什么撰写本书
ChatGPT的出现只是一个起点，在之后的时间里，先后出现了GPT-4、Alpaca、Bard、ChatGLM、LLaMA、Claude等大语言模型，可谓百花齐放。预计未来会有越来越多的大语言模型问世，供消费者使用，这让我们既兴奋又焦虑。
兴奋的是，我们可能正在开启和经历着人类历史上的第四次工业革命。
焦虑的是，此类大语言模型的推广将极大地改变各行各业，特别是泛内容产业的规则、生态和格局。
未来，大语言模型极有可能发展到与当前计算机操作系统的地位相当，因此，应用大语言模型可以说是每个人不可或缺的技能。本书将帮助大家更好地理解和使用大语言模型，即使你对人工智能技术或编程技术一窍不通，也不用担心。本书将用通俗易懂的语言和例子，讲述大语言模型的基本原理、基础使用方法和进阶开发技巧。
本书主要内容
本书的读者对象是大语言模型的使用者和应用开发者，全书共分为4篇。
第1篇讲述机器学习、神经网络的基本概念，自然语言处理的发展历程，以及大语言模型的基本原理。鉴于本书的重点在于大语言模型的应用和二次开发，因此本书将不涉及大语言模型的训练细节。然而，我们仍强烈建议读者熟悉每个关键术语的含义，并了解大语言模型的工作流程，以更好地理解后面的内容。
第2篇讲述大语言模型的基础应用技巧。首先，介绍大语言模型常用的3种交互格式。随后，深入讲解提示工程、工作记忆与长短期记忆，以及外部工具等与大语言模型使用相关的概念。最后，对大语言模型生态系统中的关键参与者——ChatGPT的接口与扩展功能进行详解。
第3篇讲述大语言模型的进阶应用技巧。首先，介绍如何将大语言模型应用于无梯度优化，从而拓宽大语言模型的应用领域。随后，详细讨论各类基于大语言模型的自主Agent系统，以及微调的基本原理。最后，介绍与大语言模型相关的安全技术。
第4篇讲述大语言模型的未来。一方面，探讨大语言模型的生态系统和前景，简要介绍多模态大语言模型和相关的提示工程。另一方面，深入解析大语言模型的尺度定律，并尝试从无损压缩的角度来解析大语言模型具备智能的原因，最后以图灵机与大语言模型的联系作为全书的结尾。
致谢
首先，我要特别感谢我的爱人吴琨，她给予了我无尽的精神鼓励，在我遇到挑战或疑惑时，是她的鼓励和信任给予我力量和灵感。她的支持不仅是对我的个人成长的肯定，也是对我的专业追求的认可。其次，我要感谢我的朋友，包括刘师齐、武洪凯、周杰和张驰。在ChatGPT刚问世的半年多的时间里，我们一直保持协作，探索大语言模型在各种商业场景中的应用。在这段合作经历中，我们积累了许多宝贵的经验，对大语言模型的应用开发也有了更深刻的理解和认识。
我还要由衷感谢电子工业出版社为出版本书提供了机会，非常感激他们对这本书的认可和兴趣。
由于笔者的理解和时间有限，且本书涉及的理论和技术内容繁多，书中的不妥和错误之处在所难免，欢迎各位读者讨论、批评和指正。
谨以此书献给我的父亲。

万俊
2024年3月

本书配套资源下载

对不起，暂无音视频资源！

大语言模型应用指南：以ChatGPT为起点，从入门到精通的AI实践教程（全彩）