【培訓(xùn)時長】2 天（15 課時）

【課程介紹】

隨著人工智能技術(shù)的飛速發(fā)展，大模型成為了推動自然語言處理、圖像識別等眾多領(lǐng)域創(chuàng)新的關(guān)鍵。然而，如何高效地在本地環(huán)境中部署這些大型模型，并根據(jù)特定需求對其進行微調(diào)，成為了企業(yè)和研究機構(gòu)面臨的重要挑戰(zhàn)。本課程旨在為學(xué)員提供從理論到實踐的全面指導(dǎo)，幫助學(xué)員掌握大模型的本地部署與微調(diào)技巧，從而能夠?qū)⑾冗M的 AI 技術(shù)應(yīng)用到實際場景中。

【學(xué)員基礎(chǔ)】

? 具備一定的 Python 編程經(jīng)驗

? 對機器學(xué)習(xí)或深度學(xué)習(xí)有基本了解

? 了解常見的深度學(xué)習(xí)框架（如 TensorFlow、PyTorch）

? 已熟悉大模型相關(guān)基本概念

? 對云計算有一定認識，了解虛擬化、容器化等概念

【學(xué)后收獲】

? 理解大模型的特點及其對硬件資源的需求

? 掌握多種大模型如 DeepSeek 的本地部署方法

? 學(xué)會使用不同的工具和框架對大模型進行微調(diào)

? 了解模型壓縮技術(shù)，提高模型效率

? 理解大模型的安全治理重要性及其實現(xiàn)方法

? 能夠獨立完成大模型的部署與微調(diào)項目

【課程內(nèi)容】

大模型本地部署

 本地部署基礎(chǔ)認知； 為什么要進行本地部署； 模型參數(shù)量與硬件資源； 模型大小與計算資源的關(guān)系；不同規(guī)模模型的適用場景；

環(huán)境準備

 必要的軟件和庫安裝；CUDA；Python 虛擬環(huán)境； Docker；Pytorch；Git； 開發(fā)環(huán)境配置；

Ollama 快速部署大模型； Ollama 平臺介紹； 一鍵部署流程；實戰(zhàn)練習(xí)：使用 Ollama 部署 DeepSeek R1 大模型；

 vLLM 生產(chǎn)級部署大模型；’ vLLM 框架概述；部署步驟解析；實戰(zhàn)練習(xí)：使用 vLLM 部署 DeepSeek R1 大模型；

開源大模型應(yīng)用開發(fā)平臺 Dify 本地部署；Dify 平臺特性；Dify 適用場景；實戰(zhàn)練習(xí)：基于 Dify 集成 DeepSeek；

大模型微調(diào)

大模型訓(xùn)練流程回顧

什么是模型微調(diào)；微調(diào)的基本概念；微調(diào)的重要性

微調(diào)方法論‘’全參微調(diào)適用場景與風險控制；主流 PEFT 技術(shù)對比（LoRA/QLoRA/Adapter/P-Tuning）‘’微調(diào)工具‘’流行的微調(diào)工具介紹；Transformers； MS-Swift； Deep-Speed；LLaMA-Factory；

 工具的選擇與使用； 數(shù)據(jù)工程體系；模型壓縮（量化）； 模型蒸餾；模型蒸餾的基本原理；模型蒸餾的應(yīng)用場景；DeepSeek 模型蒸餾的實現(xiàn)過程解析；模塊 主要內(nèi)容；實戰(zhàn)：DeepSeek 模型蒸餾實踐；

大模型安全治理；為什么要進行安全治理；RLHF 技術(shù)全景（PPO/DPO/CPO）

微調(diào)模型評估

實戰(zhàn)；基于 Llama Factory 微調(diào)一個法律大模型；基于 DeepSpeed 大模型并行訓(xùn)練框架 LoRA 微調(diào)實踐； 基于 ms-swift LoRA 微調(diào) Qwen2.5-1.5B 實踐

【課后贈送拓展課程（錄播）】

? 《Linux 快速入門》

? 《Docker 快速入門》

? 《基于 ComfyUI 本地部署 DeepSeek 開源多模態(tài)模型 Janus-Pro》

【學(xué)校環(huán)境】

機構(gòu)走廊

課室

【機構(gòu)簡歷】

東方瑞通于1998年創(chuàng)立于北大燕園，是華為、微軟、VMware、阿里巴巴、Oracle、PMI?、紅帽、Citrix、Exin等二十余家國際知名廠商戰(zhàn)略級授權(quán)培訓(xùn)合作伙伴。公司總部位于中國硅谷，北京中關(guān)村高新區(qū)，目前在北京、上海、廣州、天津、深圳、武漢、成都、濟南、重慶和西安設(shè)立11個直營分校。專職講師和技術(shù)專家超過40名，簽約拔尖講師數(shù)百名。經(jīng)過20余年的發(fā)展，東方瑞通終身學(xué)習(xí)在泛IT培訓(xùn)領(lǐng)域已經(jīng)成為具有全國影響力的領(lǐng)導(dǎo)品牌。