實(shí)訓(xùn)安排
9月16-17日：學(xué)習(xí)大模型以及大模型預(yù)訓(xùn)練；休息消化大模型以及試用、評(píng)估llama2中文基礎(chǔ)語(yǔ)言大模型。
9月21-23日：行業(yè)大模型微調(diào)和下游大模型應(yīng)用開發(fā)實(shí)戰(zhàn)。
9月24日：大模型創(chuàng)新創(chuàng)業(yè)周末，(拓爾思、首都在線、北大法寶、京東大模型等）。
Llama官方授權(quán)課程，Transformer谷歌8子作者與北大智能學(xué)院教授，共同主持設(shè)計(jì)，前谷歌大模型團(tuán)隊(duì)傾情打造的大模型實(shí)訓(xùn)課，擁有最新最全的 Llama2 大模型實(shí)驗(yàn)環(huán)境，硅谷導(dǎo)師、BATJ大廠大模型高級(jí)工程師和北大智能學(xué)院博士團(tuán)共同指導(dǎo)。
實(shí)訓(xùn)涵蓋大模型算法、數(shù)據(jù)工程、模型預(yù)訓(xùn)練工程、模型微調(diào)、下游應(yīng)用開發(fā)等大模型全棧研發(fā)能力，通過(guò)實(shí)訓(xùn)培養(yǎng)學(xué)員掌握從大模型理論到市場(chǎng)即用產(chǎn)品研發(fā)的全棧能力。
基于ChatGPT/GPT4等大語(yǔ)言模型，結(jié)合外部數(shù)據(jù)和工具，開發(fā)產(chǎn)業(yè)和行業(yè)創(chuàng)新應(yīng)用，迎來(lái)了大模型的APP Store時(shí)代。Meta公布最新大模型Llama2，包含70 億、130 億和 700 億三種參數(shù)類型，可免費(fèi)用于商業(yè)或者研究，相當(dāng)于大模型的安卓。目前已有不少企業(yè)正在考慮將基礎(chǔ)模型替換為L(zhǎng)lama2。
硅谷中國(guó)大模型實(shí)訓(xùn)營(yíng)， 以Llama2為基礎(chǔ)模型，搭建A100訓(xùn)練環(huán)境，由硅谷大模型導(dǎo)師主講，一線大廠工程師與高校AI博士生為駐場(chǎng)導(dǎo)師，指導(dǎo)學(xué)員實(shí)戰(zhàn)大模型全過(guò)程，系統(tǒng)掌握大模型的訓(xùn)練、模型微調(diào)、服務(wù)部署和下游應(yīng)用開發(fā)的能力。
實(shí)訓(xùn)營(yíng)亮點(diǎn)
1.課程由谷歌8子作者與北大智能學(xué)院教授，國(guó)際合作協(xié)同設(shè)計(jì)，前谷歌大模型團(tuán)隊(duì)構(gòu)建模型訓(xùn)練環(huán)境和代碼框架。
2.雙導(dǎo)師：硅谷大模型導(dǎo)師+駐場(chǎng)中國(guó)導(dǎo)師(BATJ大廠大模型高級(jí)工程師)(北大智能學(xué)院博士團(tuán))。
3.A100算力資源：參訓(xùn)學(xué)員實(shí)訓(xùn)期間免費(fèi)使用硅谷A100算力資源。
4.大模型訓(xùn)練環(huán)境：最新最全Llama2大模型實(shí)驗(yàn)環(huán)境，免除大模型訓(xùn)練微調(diào)安裝環(huán)境復(fù)雜性，讓學(xué)員專注于模型訓(xùn)練實(shí)踐。
5.大模型全棧內(nèi)容：動(dòng)手實(shí)踐掌握語(yǔ)言大模型算法、數(shù)據(jù)工程、模型訓(xùn)練工程、模型微調(diào)、下游應(yīng)用開發(fā)等全棧研發(fā)能力。
6.福利包：參訓(xùn)學(xué)員獲得中文語(yǔ)料訓(xùn)練微調(diào)的Llama2大模型API服務(wù)。
7.加入大模型產(chǎn)業(yè)交流圈，產(chǎn)學(xué)研同行深度交流機(jī)會(huì)，一線大廠大模型架構(gòu)師、HR交流反饋，提升職場(chǎng)就業(yè)機(jī)會(huì)，大模型創(chuàng)新創(chuàng)業(yè)合作機(jī)會(huì)。
8.導(dǎo)師項(xiàng)目咨詢機(jī)會(huì)：參訓(xùn)學(xué)員可與硅谷導(dǎo)師、北大導(dǎo)師建立項(xiàng)目技術(shù)咨詢機(jī)會(huì)。
硅谷導(dǎo)師介紹
Lllia Polosukhin博士
谷歌Transformer作者之一。擁有超過(guò)10年的行業(yè)經(jīng)驗(yàn)，TensorFlow的主要貢獻(xiàn)者和谷歌核心搜索構(gòu)建問答能力的團(tuán)隊(duì)經(jīng)理，谷歌變壓器研究的合著者。
Nataliya shakhovska 教授，博士
德國(guó)維爾茨堡大學(xué)教授，利沃夫國(guó)立理工大學(xué)人工智能系主任、美國(guó)加利福尼亞州硅谷大模型公司董事會(huì)成員。
Solomiia Liaskovska 博士
英國(guó)倫敦金斯頓大學(xué)研究員，研究人工智能優(yōu)化技術(shù)，美國(guó)硅谷大模型公司顧問委員會(huì)成員，美國(guó)和歐盟的許多企業(yè)項(xiàng)目中擔(dān)任全職研究員。
Iryna Dumyn博士
硅谷大模型公司首席技術(shù)官，大模型課程講師，提出了機(jī)器學(xué)習(xí)預(yù)測(cè)下一個(gè)詞方法的開創(chuàng)性技術(shù)，在大模型訓(xùn)練方面擁有豐富的經(jīng)驗(yàn)。
課程大綱
01 模塊一：大語(yǔ)言模型底層原理與預(yù)訓(xùn)練工程
自然語(yǔ)言處理
N-grams, CNN, RNN, PLM, LLM
transformers結(jié)構(gòu)
Self-attention機(jī)制
Encoder-decoder結(jié)構(gòu)
LLM數(shù)據(jù)源
數(shù)據(jù)清洗
分詞方法
數(shù)據(jù)編碼化
數(shù)據(jù)增強(qiáng)
模型參數(shù)
模型規(guī)模準(zhǔn)則
數(shù)據(jù)與模型的并行化
混合精度訓(xùn)練
數(shù)據(jù)加載與batch化處理
梯度漸變點(diǎn)
梯度累加
梯度裁剪
遷移學(xué)習(xí)
批標(biāo)準(zhǔn)化
02 模塊二：主流大語(yǔ)言模型發(fā)展趨勢(shì)與核心技術(shù)
GPT工作的底層原理
GPT系列模型的發(fā)展歷程
BERT
T5
PaLM
BLOOM
OPT
PanGu-α
CPM2等
LIama2模型底層原理
LIama2核心源代碼含義闡釋
LIama分布式項(xiàng)目
序列并行化
使用RMSNorm模塊組件的預(yù)歸一化
SwiGLU激活函數(shù)
LIama2在學(xué)術(shù)基準(zhǔn)上的表現(xiàn)評(píng)估
LIama2服務(wù)API測(cè)試
03 模塊三：基于LLM的行業(yè)大模型預(yù)訓(xùn)練實(shí)踐
收集用于行業(yè)級(jí)應(yīng)用的大模型數(shù)據(jù)
數(shù)據(jù)源的多樣性分析
實(shí)戰(zhàn)項(xiàng)目中的數(shù)據(jù)清洗與數(shù)據(jù)預(yù)處理
實(shí)戰(zhàn)項(xiàng)目中的分詞數(shù)據(jù)
搭建pytorch訓(xùn)練環(huán)境框架
搭建適配的硬件環(huán)境
設(shè)置必要的軟件支持庫(kù)和框架
LIama2的訓(xùn)練代碼實(shí)戰(zhàn)
多GPU并行的訓(xùn)練代碼實(shí)戰(zhàn)
加載已訓(xùn)練的模型，并對(duì)全新的輸入數(shù)據(jù)進(jìn)行推理
評(píng)估模型表現(xiàn)
04 模塊四：大語(yǔ)言模型微調(diào)技術(shù)的理論與實(shí)踐
大語(yǔ)言模型微調(diào)核心原理
指令微調(diào)
適配器
低秩微調(diào)
前綴微調(diào)
最后層調(diào)整
提示微調(diào)
選擇模塊調(diào)整
參數(shù)有效性微調(diào)
人類正反饋強(qiáng)化學(xué)習(xí)（RLHF）
監(jiān)督微調(diào)技術(shù)
學(xué)習(xí)率調(diào)整
正則化技術(shù)
優(yōu)化器選擇
處理領(lǐng)域偏移
其他超參數(shù)配置技術(shù)
在實(shí)踐中執(zhí)行特定任務(wù)的微調(diào)
05 模塊五：LIama2服務(wù)部署與下游任務(wù)應(yīng)用
模型優(yōu)化技術(shù)
硬件加速
模型服務(wù)
容器化過(guò)程
端設(shè)備上推理過(guò)程
基于云服務(wù)的部署
實(shí)時(shí)推理
推理服務(wù)的可擴(kuò)展性
大語(yǔ)言模型應(yīng)用部署實(shí)戰(zhàn)
Langchain 框架和核心原理
Langchain-LLM 系統(tǒng)搭建
Langchain-LLM 系統(tǒng)部署
訪問 Langchain-LLM 應(yīng)用程序
實(shí)訓(xùn)方式&算力平臺(tái)
1.課程算力資源：
30 塊英偉達(dá)A100
96 vCPU + 1360 GB 內(nèi)存
30 NVIDIA A100 40GB
10 GB balanced persistent disk
2.Llama2大模型及數(shù)據(jù)集
3.大模型開發(fā)環(huán)境
課程實(shí)訓(xùn)，學(xué)員需要自備電腦并安裝Chrome/Firefox/Safari/IE等瀏覽器，支持Windows/MacOS/Linux等系統(tǒng)。
實(shí)訓(xùn)費(fèi)用
A類學(xué)員：公司核心骨干、高管，39800元
B類學(xué)員：高校和研究人員，36000元
C類學(xué)員：在校學(xué)生（本碩博），33000元
3人（含）團(tuán)購(gòu)價(jià)：每人優(yōu)惠2000元
費(fèi)用含培訓(xùn)費(fèi)、資料費(fèi)、指導(dǎo)費(fèi)、場(chǎng)地費(fèi)、算力費(fèi)、發(fā)票費(fèi)。差旅費(fèi)、食宿費(fèi)自理。
本次實(shí)訓(xùn)提供的算力環(huán)境價(jià)值15萬(wàn)美元。
企業(yè)報(bào)名人數(shù)≥10可開專場(chǎng)，培訓(xùn)地點(diǎn)可設(shè)置在企業(yè)。
掃碼即可報(bào)名
報(bào)名截止時(shí)間：2023年9月15日24:00
首屆開營(yíng)時(shí)間：2023年9月16-24日
地點(diǎn)：北京/鄭州/南京/成都/廣州五城聯(lián)動(dòng)