培訓主題

培訓大綱

預備知識第一節：大模型理論知識

1、初探大模型：起源與發展
2、GPT模型家族：從始至今
3、大模型DeepSeek VS ChatGPT4的對比介紹
4、大模型實戰-大模型2種學習路線的講解
5、大模型最核心的三項技術:模型、微調和開發框架
6、DeepSeek的MoE 混合專家模型介紹
7、DeepSeek-R3后訓練階段與強化學習技術介紹
8、0penAl文本模型A、B、C、D四大模型引擎簡介
9、最強Embedding大模型text-embedding-ada模型介紹
10、全球開源大模型性能評估榜單
11、中文大模型生態介紹與GLM 130B模型介紹
12、DeepSeek模型介紹與部署門檻
13、DeepSeek開源生態:微調、多模態，WebUI等項目簡介

預備知識第二節：自注意力機制、Transformer模型、BERT模型

RNN-LSTM-GRU等基本概念
編碼器、解碼器
自注意力機制詳解
Transformer
Mask Multi-Head Attention
位置編碼
特定于任務的輸入轉換
無監督預訓練、有監督 Fine-tuning
BERT思路的理解
BERT模型下游任務的網絡層設計
BERT的訓練
HuggingFace中BERT模型的推斷
基于上下文的學習
代碼和案例實踐：
基本問答系統的代碼實現
深入閱讀理解的代碼實現
段落相關性代碼實現

第三節：
Embedding模型實戰

大模型技術浪潮下的Embedding技術定位
Embedding技術入門介紹
從Ono-hot到Embedding
Embedding文本衡量與相似度計算
OpenAl Embedding模型與開源Embedding框架
兩代OpenAl Embedding模型介紹
text-embedding-ada-002模型調用方法詳解
text-embedding-ada-002模型參數詳解與優化策略
借助Embedding進行特征編碼
Embedding結果的可視化展示與結果分析
【實戰】借助Embedding特征編碼完成有監督預測
【實戰】借助Embedding進行推薦系統冷啟動
【實戰】借助Embedding進行零樣本分類與文本搜索
Embedding模型結構微調優化
借助CNN進行Embedding結果優化
【企業級實戰】海量文本的Embedding高效匹配

?
?
?
?
?
?
?
?
?
?
第四節：
LLM應用程序技術棧和提示詞工程Prompt Enginerring

設計模式：上下文學習
數據預處理/嵌入
提示構建/檢索
提示執行/推理
數據預處理/嵌入
Weaviate、Vespa 和 Qdrant等開源系統
Chroma 和 Faiss 等本地向量管理庫
pgvector 等OLTP 擴展
提示構建/檢索
提示執行/推理
新興的大語言（LLM）技術棧
數據預處理管道（data preprocessing pipeline）
嵌入終端（embeddings endpoint ）+向量存儲（vector store）
LLM 終端（LLM endpoints）
LLM 編程框架（LLM programming framework）
LangChain的主要功能及模塊
Prompts: 這包括提示管理、提示優化和提示序列化。
LLMs: 這包括所有LLMs的通用接口，以及常用的LLMs工具。
Document Loaders: 這包括加載文檔的標準接口，以及與各種文本數據源的集成。
Utils: 語言模型在與其他知識或計算源的交互
Python REPLs、嵌入、搜索引擎等
LangChain提供的常用工具
Indexes：語言模型結合自定義文本數據
Agents：動作執行、觀測結果，
LangChain的代理標準接口、可供選擇的代理、端到端代理示例
Chat：Chat模型處理消息
代碼和案例實踐：
LLM大模型的使用
Prompts的設計和使用

第五節：
國產大模型DeepSeek

新一代DeepSeek模型API調用
DeepSeek開放平臺使用方法與APIKey申請
DeepSeek-V3、DeepSeek-R1、DeepEP介紹
DeepSeek在線知識庫使用及模型計費說明
DeepSeek模型SDK調用與三種運行方法
DeepSeek調用函數全參數詳解
DeepSeek Message消息格式與身份設置方法
DeepSeek tools外部工具調用方法
DeepSeek Function calling函數封裝12GLM4接入在線知識庫retrieval流程
DeepSeek接入互聯網web_search方法
【實戰】基于DeepSeek打造自動數據分析Agent
【實戰】基于DeepSeek的自然語言編程實戰
【實戰】基于DeepSeek Function call的用戶意圖識別
【實戰】基于GLM4的長文本讀取與優化

?
?
?
?
?
?
?
?
第六節：LangChain大模型框架構建

構建垂直領域大模型的通用思路和方法
(1) 大模型+知識庫
(2) PEFT(參數高效的微調)
(3) 全量微調
(4) 從預訓練開始定制
LangChain介紹
LangChain模塊學習-LLMs 和 Prompts
LangChain之Chains模塊
LangChain之Agents模塊
LangChain之Callback模塊
Embedding嵌入
自定義知識庫
知識沖突的處理方式
向量化計算可采用的方式
文檔加載器模塊
向量數據庫問答的設計
Lanchain競品調研和分析
Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index
LlamaIndex介紹
LlamaIndex索引
動手實現知識問答系統
代碼和案例實踐：
動手實現知識問答機器人
LangChain文本摘要
PDF文本閱讀問答

?
?
?
?
第七節
使用LangGraph構建工作流

LangGraph 構建自適應RAG
1.?LangGraph 應用場景、核心功能、特點
2.?基礎概念：節點、邊、圖等
3.?LangGraph 的系統架構
4.?數據模型和存儲機制
5.?基本數據查詢與操作
6.?高級查詢：路徑查詢、模式匹配
7.?使用本地LLM自適應RAG
8.?代理RAG與糾正（CRAG）

?
?
?
第八節
LLM模型的私有化部署與調用

LLM 推理與本地私有化部署
1.?各種模型文件介紹
2.?模型的推理、量化介紹與實現
3.?Modelscope、Hugging Face簡單介紹與使用
4.?大模型管理底座Ollama介紹
5.?Ollama + lLama 部署開源大模型
6.?Open WebUI發布與調用大模型
7.?API Key獲取與 Llama微調實現

?
?
?
第九節
開源大模型微調實現

Llama_Factory 微調實戰
1.?提升模型性能方式介紹：Prompt、知識庫、微調
2.?如何科學構建訓練數據（基礎與專業數據混合訓練）
3.?微調常見方式介紹：微調、偏好對齊、蒸餾、獎勵模型
4.?Llama3 模型架構與調用申請
5.?數據上傳與任務創建（job）
6.?訓練集與測試集拆分與模型評估
7.?Unsloth微調平臺介紹
8.?Llama3開源大模型的微調與使用
9.?模型的評估策略

?
?
?
第十節
大模型企業商用項目實戰

AI-Agent 構建可發布的智能客服系統
1.?智能體介紹與AutoGPT基本原理
2.?AutoGPT安裝與環境配置
3.?實戰體驗：AutoGPT實現數據爬取、清洗、保存
4.?創建各種場景的AutoGPT
1.?內容創建
2.?客服服務
3.?數據分析
4.?代碼編寫
5.?創建應用程序