大模型实战：微调、优化与私有化部署 pdf下载

本书深入浅出地介绍了现代大型人工智能（Artificial Intelligence，AI）模型技术，从对话机器人的发展历程和人工智能的理念出发，详细阐述了大模型私有化部署过程，深入剖析了Transformer架构，介绍了DeepSeek本地部署及其与应用软件的集成，旨在帮助读者领悟大模型的核心原理和技术细节。

本书的讲解风格独树一帜，将深奥的技术术语转化为简洁明了的语言，案例叙述既严谨又充满趣味，让读者在轻松愉快的阅读体验中自然而然地吸收和理解AI知识。本书提供完整的代码示例，可帮助读者将抽象的理论知识转化为手头的实际技能，读者可登录华信教育资源网（www.hxedu.com.cn）免费下载。本书不仅理论知识丰富，实战案例更能帮助读者在专业领域内高效地应用AI技术。

无论是初学者还是有一定基础的工程师，都能通过本书掌握大模型的核心原理和操作技巧，获得私有化部署大模型的能力，精通Transformer架构，并能运用高效微调策略优化大模型，成为大模型领域的行家里手。

目 录
第1章 从零开始大模型之旅 1
1．1 对话机器人历史 1
1．1．1 人机同频交流 1
1．1．2 人机对话发展历史 2
1．2 人工智能 4
1．2．1 从感知到创造 4
1．2．2 通用人工智能 7
1．2．3 发展方向 9
1．2．4 本书焦点 10
1．3 本章小结 11
第2章 大模型私有化部署 12
2．1 CUDA环境准备 12
2．1．1 基础环境 12
2．1．2 大模型运行环境 13
2．1．3 安装显卡驱动 14
2．1．4 安装CUDA 18
2．1．5 安装cuDNN 24
2．2 深度学习环境准备 26
2．2．1 安装Anaconda环境 26
2．2．2 服务器环境下的环境启动 30
2．2．3 安装PyTorch 32

2．3 GLM-3和GLM-4 34
2．3．1 GLM-3介绍 34
2．3．2 GLM-4介绍 36
2．4 GLM-4私有化部署 36
2．4．1 创建虚拟环境 37
2．4．2 下载GLM-4项目文件 37
2．4．3 安装项目依赖包 39
2．4．4 下载模型权重 40
2．5 运行GLM-4的方式 41
2．5．1 基于命令行的交互式对话 42
2．5．2 基于Gradio库的Web端对话应用 42
2．5．3 OpenAI风格的API调用方法 43
2．5．4 模型量化部署 45
2．6 本章小结 47
第3章 大模型理论基础 49
3．1 自然语言领域中的数据 49
3．1．1 时间序列数据 49
3．1．2 分词 50
3．1．3 Token 53
3．1．4 Embedding 53
3．1．5 语义向量空间 54
3．2 语言模型历史演进 55
3．2．1 语言模型历史演进 55
3．2．2 统计语言模型 57
3．2．3 神经网络语言模型 58
3．3 注意力机制 58
3．3．1 RNN模型 58
3．3．2 Seq2Seq模型 60
3．3．3 Attention注意力机制 62
3．4 Transformer架构 65
3．4．1 整体架构 65
3．4．2 Self-Attention 66
3．4．3 Multi-Head Attention 68
3．4．4 Encoder 68
3．4．5 Decoder 70
3．4．6 实验效果 71
3．5 本章小结 72
第4章 大模型开发工具 73
4．1 Huggingface 73
4．1．1 Huggingface介绍 73
4．1．2 安装Transformers库 77
4．2 大模型开发工具 79
4．2．1 开发范式 79
4．2．2 Transformers库核心设计 80
4．3 Transformers库详解 84
4．3．1 NLP任务处理全流程 84
4．3．2 数据转换形式 86
4．3．3 Tokenizer 88
4．3．4 模型加载和解读 92
4．3．5 模型的输出 94
4．3．6 模型的保存 97
4．4 全量微调训练方法 98
4．4．1 Datasets库和Accelerate库 98
4．4．2 数据格式 101
4．4．3 数据预处理 103
4．4．4 模型训练的参数 106
4．4．5 模型训练 108
4．4．6 模型评估 110
4．5 本章小结 115
第5章 高效微调方法 117
5．1 主流的高效微调方法介绍 117
5．1．1 微调方法介绍 117
5．1．2 Prompt的提出背景 119
5．2 PEFT库快速入门 121
5．2．1 介绍 121
5．2．2 设计理念 122
5．2．3 使用 125
5．3 Prefix Tuning 129
5．3．1 背景 129
5．3．2 核心技术解读 129
5．3．3 实现步骤 131
5．3．4 实验结果 134
5．4 Prompt Tuning 135
5．4．1 背景 135
5．4．2 核心技术解读 136
5．4．3 实现步骤 137
5．4．4 实验结果 139
5．5 P-Tuning 140
5．5．1 背景 140
5．5．2 核心技术解读 141
5．5．3 实现步骤 142
5．5．4 实验结果 144
5．6 P-Tuning V2 145
5．6．1 背景 145
5．6．2 核心技术解读 146
5．6．3 实现步骤 147
5．6．4 实验结果 149
5．7 本章小结 150
第6章 LoRA微调GLM-4实战 151
6．1 LoRA 151
6．1．1 背景 151
6．1．2 核心技术解读 152
6．1．3 LoRA的特点 153
6．1．4 实现步骤 155
6．1．5 实验结果 157
6．2 AdaLoRA 157
6．2．1 LoRA的缺陷 157
6．2．2 核心技术解读 158
6．2．3 实现步骤 160
6．2．4 实验结果 161
6．3 QLoRA 162
6．3．1 背景 162
6．3．2 技术原理解析 163
6．4 量化技术 165
6．4．1 背景 165
6．4．2 量化技术分类 165
6．4．3 BitsAndBytes库 166
6．4．4 实现步骤 166
6．4．5 实验结果 169
6．5 本章小结 169
第7章 提示工程入门与实践 170
7．1 探索大模型潜力边界 170
7．1．1 潜力的来源 170
7．1．2 Prompt的六个建议 171
7．2 Prompt实践 173
7．2．1 四个经典推理问题 173
7．2．2 大模型原始表现 175
7．3 提示工程 177
7．3．1 提示工程的概念 177
7．3．2 Few-shot 177
7．3．3 通过思维链提示法提升模型推理能力 180
7．3．4 Zero-shot-CoT提示方法 181
7．3．5 Few-shot-CoT提示方法 185
7．4 Least-to-Most Prompting（LtM提示方法） 188
7．4．1 Least-to-Most Prompting基本概念 188
7．4．2 Zero-shot-LtM提示过程 189
7．4．3 效果验证 191
7．5 提示使用技巧 192
7．5．1 B．R．O．K．E提示框架 193
7．5．2 C．O．A．S．T提示框架 195
7．5．3 R．O．S．E．S提示框架 196
7．6 本章小结 197
第8章 大模型与中间件 198
8．1 AI Agent 198
8．1．1 从AGI到Agent 198
8．1．2 Agent概念 199
8．1．3 AI Agent应用领域 200
8．2 大模型对话模式 201
8．2．1 模型分类 201
8．2．2 多角色对话模式 203
8．3 多角色对话模式实战 204
8．3．1 messages参数结构及功能解释 204
8．3．2 messages参数中的角色划分 205
8．4 Function Calling功能 207
8．4．1 发展历史 208
8．4．2 简单案例 209
8．5 实现多函数 214
8．5．1 定义多个工具函数 214
8．5．2 测试结果 217
8．6 Bing搜索嵌入LLM 217
8．6．1 昙花一现的Browsing with Bing 217
8．6．2 需求分析 218
8．6．3 Google搜索API的获取和使用 220
8．6．4 构建自动搜索问答机器人 223
8．7 本章小结 225
第9章 LangChain理论与实战 226
9．1 整体介绍 226
9．1．1 什么是LangChain 226
9．1．2 意义 227
9．1．3 架构 228
9．2 Model I/O 229
9．2．1 架构 229
9．2．2 LLM 230
9．2．3 ChatModel 233
9．2．4 Prompt Template 234
9．2．5 实战：LangChain接入本地GLM 237
9．2．6 Parser 239
9．3 Chain 240
9．3．1 基础概念 240
9．3．2 常用的Chain 241
9．4 Memory 249
9．4．1 基础概念 249
9．4．2 流程解读 250
9．4．3 常用Memory 251
9．5 Agents 257
9．5．1 理论 257
9．5．2 快速入门 259
9．5．3 架构 262
9．6 LangChain实现Function Calling 266
9．6．1 工具定义 266
9．6．2 OutputParser 267
9．6．3 使用 268
9．7 本章小结 269
第10章 实战：垂直领域大模型 270
10．1 QLoRA微调GLM-4 270
10．1．1 定义全局变量和参数 270
10．1．2 红十字会数据准备 271
10．1．3 训练模型 283
10．2 大模型接入数据库 291
10．2．1 大模型挑战 291
10．2．2 数据集准备 292
10．2．3 SQLite3 293
10．2．4 获取数据库信息 294
10．2．5 构建tools信息 297
10．2．6 模型选择 298
10．2．7 效果测试 299
10．3 LangChain重写查询 300
10．3．1 环境配置 300
10．3．2 工具使用 301
10．4 RAG检索增强 302
10．4．1 自动化数据生成 303
10．4．2 RAG搭建 303
10．5 本章小结 307
参考文献 308