?

培訓(xùn)目標(biāo)

l?·理解LlamaFactory框架的核心原理和架構(gòu)設(shè)計(jì)。

l?·掌握大模型微調(diào)的基礎(chǔ)理論，包括不同的微調(diào)方法、訓(xùn)練技巧等。

l?·熟悉LlamaFactory支持的多種大型語(yǔ)言模型及其特點(diǎn)。

l?·學(xué)會(huì)使用LlamaFactory進(jìn)行模型的選擇、參數(shù)配置、數(shù)據(jù)加載與預(yù)處理。

l?·能夠運(yùn)用各種微調(diào)方法對(duì)模型進(jìn)行訓(xùn)練，并根據(jù)訓(xùn)練效果進(jìn)行評(píng)估與優(yōu)化。

l?·了解在微調(diào)過(guò)程中如何合理選擇運(yùn)算精度以及控制內(nèi)存占用。

l?·掌握數(shù)據(jù)組織格式、RoPE scaling等對(duì)模型性能的影響及應(yīng)用方法。

l?·熟悉不同類(lèi)型的學(xué)習(xí)率調(diào)度器在不同場(chǎng)景下的應(yīng)用策略。

l?·了解并應(yīng)用NEFTune等提升模型表現(xiàn)的技巧和參數(shù)設(shè)置。

l?·掌握LongLora所用的Shifted Sparse Attention機(jī)制及基于LoRA的各種優(yōu)化方法。

l?·熟悉RLHF相關(guān)參數(shù)的設(shè)置與作用。

l?·了解GaLore和Badam等先進(jìn)算法的原理及應(yīng)用場(chǎng)景。

培訓(xùn)提綱

模塊一：LlamaFactory概述

·LlamaFactory的起源與發(fā)展

·LlamaFactory的核心價(jià)值與應(yīng)用場(chǎng)景

·LlamaFactory的架構(gòu)設(shè)計(jì)與模塊劃分

模塊二：大模型基礎(chǔ)

·大語(yǔ)言模型（LLM）的基本概念與原理

·常見(jiàn)的大語(yǔ)言模型架構(gòu)（如Transformer等）介紹

·模型參數(shù)規(guī)模、性能與應(yīng)用場(chǎng)景的關(guān)系

模塊三：LlamaFactory支持的模型與精度選擇

·LlamaFactory支持的大型語(yǔ)言模型全覽

·模型精度的選擇策略

模塊四：大模型的查找與下載

·如何在官方渠道查找所需的預(yù)訓(xùn)練模型

·模型版本的選擇依據(jù)與注意事項(xiàng)

·模型文件的下載流程與存儲(chǔ)管理

·模型合法性與版權(quán)問(wèn)題解讀

模塊五：訓(xùn)練大模型的方法與流程

·自監(jiān)督學(xué)習(xí)在大模型訓(xùn)練中的應(yīng)用

o自監(jiān)督學(xué)習(xí)的原理與優(yōu)勢(shì)

o常見(jiàn)的自監(jiān)督學(xué)習(xí)任務(wù)設(shè)計(jì)

·聚合問(wèn)答數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型（RM）

o問(wèn)答數(shù)據(jù)的收集與整理

o獎(jiǎng)勵(lì)模型的構(gòu)建與訓(xùn)練流程

·強(qiáng)化學(xué)習(xí)（RL）方式微調(diào)LM

o強(qiáng)化學(xué)習(xí)在模型微調(diào)中的作用與原理

o如何設(shè)計(jì)獎(jiǎng)勵(lì)信號(hào)與策略更新機(jī)制

·有監(jiān)督的微調(diào)方法與實(shí)踐

o有監(jiān)督微調(diào)的數(shù)據(jù)準(zhǔn)備與標(biāo)注要求

o訓(xùn)練過(guò)程中的關(guān)鍵步驟與技巧

模塊六：預(yù)訓(xùn)練及微調(diào)方法詳解

·PPO（近端策略?xún)?yōu)化）算法

oPPO算法的核心思想與數(shù)學(xué)原理

o如何使用PPO對(duì)策略進(jìn)行優(yōu)化

·DPO（直接偏好優(yōu)化）方法

oDPO的工作原理與實(shí)現(xiàn)機(jī)制

o增加偏好樣本對(duì)數(shù)概率與減小非偏好樣本響應(yīng)對(duì)數(shù)概率的具體操作

·KTO（基于前景理論的對(duì)齊方法）

oKTO的理論基礎(chǔ)與創(chuàng)新點(diǎn)

o人類(lèi)感知損失函數(shù)的設(shè)計(jì)與應(yīng)用

·ORPO（新的偏好對(duì)齊訓(xùn)練方法）

oORPO如何將SFT和偏好對(duì)齊結(jié)合到新的目標(biāo)函數(shù)中

o避免SFT階段的優(yōu)勢(shì)與實(shí)現(xiàn)要點(diǎn)

·SimPO（離線(xiàn)偏好優(yōu)化算法）

oSimPO的算法原理與特點(diǎn)

o隱含獎(jiǎng)勵(lì)的計(jì)算與應(yīng)用

模塊七：使用LlamaFactory進(jìn)行模型微調(diào)的實(shí)踐操作

·參數(shù)配置

o根據(jù)任務(wù)需求配置微調(diào)參數(shù)的原則與方法

o常見(jiàn)參數(shù)（如學(xué)習(xí)率、批次大小、計(jì)算類(lèi)型等）的設(shè)置與調(diào)整技巧

·數(shù)據(jù)加載與預(yù)處理

o如何加載適合的任務(wù)數(shù)據(jù)

o按照LlamaFactory格式要求進(jìn)行數(shù)據(jù)預(yù)處理的具體步驟與注意事項(xiàng)

·訓(xùn)練過(guò)程

o使用LlamaFactory進(jìn)行模型訓(xùn)練的操作流程

o監(jiān)控訓(xùn)練過(guò)程中的指標(biāo)變化與日志記錄

o根據(jù)訓(xùn)練效果進(jìn)行參數(shù)調(diào)整與優(yōu)化的方法與策略

·模型選擇

o如何選擇適合的預(yù)訓(xùn)練模型作為微調(diào)基礎(chǔ)

o模型評(píng)估的關(guān)鍵指標(biāo)與方法

·評(píng)估與優(yōu)化

o微調(diào)后模型的評(píng)估維度與標(biāo)準(zhǔn)

o基于評(píng)估結(jié)果進(jìn)行模型優(yōu)化的技巧與實(shí)踐案例

模塊八：微調(diào)方法的選擇與應(yīng)用

·增量預(yù)訓(xùn)練

o適用場(chǎng)景與優(yōu)勢(shì)分析

o如何通過(guò)增量預(yù)訓(xùn)練提升模型的泛化能力

·指令監(jiān)督微調(diào)

o指令和反饋方式微調(diào)模型的操作流程

o使模型更好地理解和執(zhí)行特定任務(wù)指令的技巧

·RLHF（獎(jiǎng)勵(lì)學(xué)習(xí)與人類(lèi)反饋）優(yōu)化

模塊九：微調(diào)時(shí)的運(yùn)算精度與內(nèi)存占用控制

·不同運(yùn)算精度對(duì)模型性能和資源消耗的影響

·如何在保證模型效果的前提下合理降低運(yùn)算精度

·內(nèi)存優(yōu)化策略與技巧

o模型量化方法的應(yīng)用

o訓(xùn)練過(guò)程中的內(nèi)存管理與優(yōu)化實(shí)踐

模塊十：數(shù)據(jù)組織格式與RoPE scaling

·Alpaca數(shù)據(jù)格式詳解

o格式特點(diǎn)與適用場(chǎng)景

o數(shù)據(jù)加載與處理示例

·ShareGPT數(shù)據(jù)格式解讀

o與Alpaca數(shù)據(jù)格式的對(duì)比分析

o在不同任務(wù)中的應(yīng)用策略

·RoPE scaling的原理與應(yīng)用

o旋轉(zhuǎn)位置編碼（RoPE）的優(yōu)勢(shì)與實(shí)現(xiàn)機(jī)制

oNone、Linear、Dynamic三種縮放方式的適用場(chǎng)景與選擇依據(jù)

模塊十一：學(xué)習(xí)率調(diào)度器類(lèi)型與應(yīng)用

·各種學(xué)習(xí)率調(diào)度器的工作原理與特點(diǎn)

·不同學(xué)習(xí)率調(diào)度器在各種任務(wù)場(chǎng)景下的應(yīng)用案例與效果分析

·如何根據(jù)任務(wù)需求和模型特性選擇合適的學(xué)習(xí)率調(diào)度器

模塊十二：NEFTune方法與參數(shù)設(shè)置

·NEFTune方法的原理與優(yōu)勢(shì)

o在詞向量中引入均勻分布噪聲提升模型表現(xiàn)的機(jī)制

oNEFTune在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與效果分析

·NEFTune相關(guān)參數(shù)的設(shè)置與調(diào)整技巧

o如何確定合適的噪聲強(qiáng)度

o噪聲引入的頻率與訓(xùn)練輪數(shù)的關(guān)系

模塊十三：其他重要參數(shù)與技術(shù)

·序列打包與無(wú)污染打包

o序列打包的目的與實(shí)現(xiàn)方法

o無(wú)污染打包的原理與應(yīng)用場(chǎng)景

·學(xué)習(xí)提示詞與不學(xué)習(xí)歷史對(duì)話(huà)

o在SFT中如何設(shè)置學(xué)習(xí)提示詞

o不學(xué)習(xí)歷史對(duì)話(huà)的實(shí)現(xiàn)方式與適用場(chǎng)景

·更改詞表大小

o調(diào)整分詞器詞表和嵌入層大小的影響與操作方法

·使用LLaMA Pro與S^2 Attention

LLaMA Pro的特點(diǎn)與優(yōu)勢(shì)

S^2 Attention的原理與應(yīng)用效果

·啟用外部記錄面板

o如何使用TensorBoard或wandb記錄實(shí)驗(yàn)

o可視化工具在模型訓(xùn)練監(jiān)控中的作用與使用技巧

模塊十四：LongLora所用的Shifted Sparse Attention

·Shifted Sparse Attention的原理與優(yōu)勢(shì)

o將上下文長(zhǎng)度分成組并在組內(nèi)單獨(dú)計(jì)算注意力的機(jī)制

o半注意力頭中token移位保證相鄰組信息流動(dòng)的方法

·Shifted Sparse Attention在長(zhǎng)文本處理中的應(yīng)用案例與效果分析

模塊十五：基于LoRA的各種優(yōu)化方法

·LoRA縮放系數(shù)（lora_alpha）的設(shè)置與調(diào)整

·LoRA + 學(xué)習(xí)率比例（loraplus_lr_ratio）的應(yīng)用

oLoRA + 的原理與優(yōu)勢(shì)

o如何通過(guò)設(shè)置loraplus_lr_ratio提高訓(xùn)練效率

·rsLoRA（Rank - Stabilized LoRA）的原理與實(shí)現(xiàn)

·DoRA（Weight - Decomposed LoRA）的原理與應(yīng)用

oDoRA對(duì)權(quán)重矩陣分解的方法與優(yōu)勢(shì)

o如何設(shè)置use_dora參數(shù)使用DoRA

·PiSSA（Pretrained Self - Supervised Adapter）的原理與實(shí)踐

模塊十六：RLHF相關(guān)參數(shù)詳解

·Beta參數(shù)的作用與設(shè)置

o在損失函數(shù)中平衡不同類(lèi)型損失項(xiàng)的機(jī)制

o如何根據(jù)任務(wù)需求調(diào)整Beta參數(shù)值

·Ftx gamma參數(shù)的影響與應(yīng)用

·歸一化獎(jiǎng)勵(lì)分?jǐn)?shù)與白化處理

模塊十七：GaLore與Badam算法

·GaLore（Gradient Low - Rank Projection）的原理與優(yōu)勢(shì)

·Badam算法的特點(diǎn)與應(yīng)用場(chǎng)景

模塊十八：總結(jié)與展望

·課程內(nèi)容回顧與重點(diǎn)總結(jié)

·LlamaFactory在實(shí)際項(xiàng)目中的應(yīng)用案例分享

·大語(yǔ)言模型微調(diào)技術(shù)的發(fā)展趨勢(shì)與未來(lái)展望

·學(xué)員問(wèn)題答疑與交流互動(dòng)環(huán)節(jié)

?