友情鏈接:
合作聯(lián)系
|
ASPEN培訓(xùn)課程
完成本培訓(xùn)后，學(xué)員將能夠：
·深化理論基礎(chǔ)：深入理解深度學(xué)習(xí)、生成式AI等領(lǐng)域的數(shù)學(xué)原理和模型架構(gòu)，不再停留在調(diào)包層面。
·掌握前沿架構(gòu)：精通Transformer、擴(kuò)散模型等核心架構(gòu)的細(xì)節(jié)、變體及其應(yīng)用場(chǎng)景。
·具備科研與工程化思維：能夠復(fù)現(xiàn)、調(diào)試、優(yōu)化甚至改進(jìn)先進(jìn)算法，并將其有效地應(yīng)用于解決復(fù)雜、大規(guī)模問(wèn)題。
·追蹤技術(shù)趨勢(shì)：建立系統(tǒng)的知識(shí)框架，以便持續(xù)自主地學(xué)習(xí)和跟蹤AI領(lǐng)域的最新進(jìn)展。
二、目標(biāo)學(xué)員
·擁有扎實(shí)機(jī)器學(xué)習(xí)基礎(chǔ)的數(shù)據(jù)科學(xué)家、算法工程師。
·希望深入AI研發(fā)領(lǐng)域的軟件工程師、研究型工程師。
·相關(guān)專業(yè)的碩士、博士研究生及高校研究人員。
三、預(yù)備知識(shí)
·熟練掌握機(jī)器學(xué)習(xí)基礎(chǔ)（線性模型、樹模型、神經(jīng)網(wǎng)絡(luò)、梯度下降）。
·熟練掌握Python和至少一個(gè)深度學(xué)習(xí)框架（PyTorch首選/TensorFlow）。
·具備良好的數(shù)學(xué)基礎(chǔ)（線性代數(shù)、概率論、微積分）。
四、詳細(xì)大綱
模塊一：深度學(xué)習(xí)理論基礎(chǔ)深化
1.1 深度網(wǎng)絡(luò)的優(yōu)化難題與高級(jí)技巧
·優(yōu)化目標(biāo) landscape 分析：為何深度學(xué)習(xí)難以優(yōu)化？
·優(yōu)化器進(jìn)階：從Adam到新銳優(yōu)化器（如Lion， Sophia）的原理與比較。
·初始化策略深度解析：Kaiming， Xavier 背后的數(shù)學(xué)原理。
·損失面分析與扁平最小值：通向泛化能力更好的解。
1.2 生成式模型的核心范式與數(shù)學(xué)基礎(chǔ)
·生成式模型的統(tǒng)一視角：隱變量模型與似然函數(shù)。
·變分自編碼器：重參數(shù)化技巧、ELBO的深入推導(dǎo)與控制生成。
·生成對(duì)抗網(wǎng)絡(luò)：博弈論視角、訓(xùn)練動(dòng)力學(xué)與模式崩潰的理論分析。
·標(biāo)準(zhǔn)化流：可逆變換與精確似然計(jì)算。
模塊二：Transformer架構(gòu)深度解析與前沿進(jìn)展
2.1 Transformer 核心機(jī)制剖析
·自注意力機(jī)制：數(shù)學(xué)表達(dá)、計(jì)算復(fù)雜度、多種注意力變體（線性注意力、池化注意力）。
·位置編碼：絕對(duì)位置編碼、相對(duì)位置編碼（如RoPE， ALiBi）的原理與比較。
·深度模型訓(xùn)練技術(shù)：預(yù)歸一化、后歸一化、深層網(wǎng)絡(luò)的穩(wěn)定性分析。
2.2 Transformer 前沿變體與應(yīng)用
·高效Transformer：Longformer， BigBird， Linformer 等用于處理長(zhǎng)文本的機(jī)制。
·視覺(jué)Transformer：ViT， Swin Transformer 如何將Transformer成功應(yīng)用于CV領(lǐng)域。
·大語(yǔ)言模型架構(gòu)演進(jìn)：Mixture-of-Experts， 狀態(tài)空間模型（如Mamba）的挑戰(zhàn)與機(jī)遇。
模塊三：生成式AI前沿：擴(kuò)散模型與自回歸模型
3.1 擴(kuò)散模型深度解析
·基礎(chǔ)原理：前向過(guò)程與反向去噪過(guò)程的數(shù)學(xué)推導(dǎo)。
·核心設(shè)計(jì)：噪聲調(diào)度、條件控制（Classifier-Free Guidance， T5 - 條件控制）。
·加速采樣技術(shù)：DDIM， DPM - Solver 等， 理論加速界限。
·前沿應(yīng)用：視頻生成、3D生成、大語(yǔ)言模型擴(kuò)散化。
3.2 大語(yǔ)言模型的高級(jí)話題
·推理與規(guī)劃：Chain-of-Thought， Tree-of-Thoughts， Graph-of-Thoughts。
·對(duì)齊技術(shù)：從RLHF到更穩(wěn)定的DPO， 及其理論背景。
·智能體：基于LLM的智能體架構(gòu)、工具使用、記憶與反思。
模塊四：超越監(jiān)督學(xué)習(xí)：強(qiáng)化學(xué)習(xí)與自監(jiān)督學(xué)習(xí)
4.1 現(xiàn)代強(qiáng)化學(xué)習(xí)算法
·策略梯度方法進(jìn)階：Actor - Critic框架， 近端策略優(yōu)化（PPO）的細(xì)節(jié)與實(shí)現(xiàn)。
·價(jià)值函數(shù)方法：DQN及其變體（Rainbow）， 分布式RL。
·模仿學(xué)習(xí)與逆強(qiáng)化學(xué)習(xí)：從專家示范中學(xué)習(xí)目標(biāo)函數(shù)。
4.2 自監(jiān)督與表示學(xué)習(xí)
·對(duì)比學(xué)習(xí)：SimCLR， MoCo 等算法的核心思想與實(shí)現(xiàn)。
·掩碼學(xué)習(xí)：BERT， MAE 如何通過(guò)重建學(xué)習(xí)強(qiáng)大表示。
·表示學(xué)習(xí)的評(píng)估：線性探測(cè)、非線性探測(cè)等評(píng)估協(xié)議。
模塊五：專項(xiàng)領(lǐng)域算法進(jìn)階（選修專題）
5.1 計(jì)算機(jī)視覺(jué)進(jìn)階
·目標(biāo)檢測(cè)：DETR 系列及其端到端檢測(cè)思想。
·圖像分割：SAM 模型架構(gòu)與提示式分割。
·多模態(tài)模型：CLIP 的對(duì)比學(xué)習(xí)與 LLaVA 等模型的架構(gòu)。
5.2 圖神經(jīng)網(wǎng)絡(luò)進(jìn)階
·圖Transformer與消息傳遞機(jī)制的演進(jìn)。
·大規(guī)模圖學(xué)習(xí)的挑戰(zhàn)與解決方案。
模塊六：綜合研討與項(xiàng)目實(shí)戰(zhàn)
?
