【培訓對象】
相關從業者

【培訓收益】
拓展對多模態AI應用領域的視野，聚焦AI賦能創新突破，提升對AI服務的技術認知與理解。

 

第1部分：多模態學習概述

多模態學習的定義

多模態學習的意義

多模態數據類型：文本、圖像、視頻、音頻等

多模態學習的應用領域（自然語言處理、計算機視覺、推薦系統等）

 

第2部分：ViT、Beit與CLIP/BLIP

ViT模型架構概述

Patch Embedding與Positional Encoding

Beit與ViT的比較

Beit在自監督學習中的應用

Beit在多模態任務中的優勢

實踐演示：利用ViT和Beit進行圖文轉化的效果

CLIP模型介紹：從圖像到文本的跨模態嵌入

BLIP模型架構：結合CLIP的多模態模型

CLIP/BLIP在多模態任務中的應用：圖像-文本匹配、圖像標注等

實踐演示：使用CLIP進行圖像-文本匹配任務

 

第3部分：Stable Diffusion及SD XL

Stable Diffusion模型概述：生成模型在圖像生成中的應用

SD的原理推導

SD模型的架構

Stable Diffusion XL：擴展的Stable Diffusion模型

微調擴散模型：DreamBooth

微調擴散模型：Textual-Inversion

微調擴散模型：LoRA

微調擴散模型：Hypernetworks

Stable Diffusion在藝術創作和設計中的應用

實踐演示：使用Stable Diffusion生成圖像

 

第4部分：微調與RLHF方法

微調的基本概念

SFT：監督微調方法

PEFT的概念

P-tuning v2 / LoRA / Freeze等

微調方法在多模態學習中的應用

實踐演示：對多模態大模型進行微調

 

第5部分：與人類偏好對齊

強化學習基礎概述

DPO：直接偏好優化

PPO：近端策略優化

llama-factory簡介

實踐演示：利用llama-factory對大模型進行RLHF

 

第6部分：多模態大模型

qwen_vl_chat

Yi_vl_chat

LLaVa

open-sora

chatTTS

實踐演示：使用qwen_vl和Yi_vl_chat進行視覺問答任務

 

 

 

葉梓，上海交通大學計算機專業博士畢業，高級工程師。主研方向：數據挖掘、機器學習、人工智能。歷任國內知名上市IT企業的AI技術總監、資深技術專家，市級行業大數據平臺技術負責人。

 

長期負責城市信息化智能平臺的建設工作，開展行業數據的智能化應用研發工作，牽頭多個省級、市級行業智能化信息系統的建設，主持設計并搭建多個省級、市級行業大數據平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應用課題研究。

 

帶領團隊在相關行業領域研發多款人工智能創新產品，成功落地多項大數據、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術優秀應用成果獎”。帶領團隊在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數據技術標準的制定，曾獲省部級以上的科技創新一等獎。

 

1.      論文發表/項目經歷

在國內外期刊、會議中發表論文27篇，其中被SCI/EI收錄4篇

 

項目經歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發智能服務系統，包括：元宇宙與虛擬數字人、基于人工智能的內容生成（AIGC）、基于NLP技術的對話系統、基于深度學習的圖像識別系統、基于智能推理的行業推薦系統。

相關工作：

作為項目總負責，負責項目管理、產品研發、系統分析、技術指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數據技術，建設市級信息平臺，完成試點單位接入并采集居民相關信息，實現市級平臺檔案等服務，并實現所有單位的全面接入。

ü  為解決超量數據的存儲與計算的問題，搭建了存儲全市數據的云計算平臺，并在其上進行了基于大數據的分析和挖掘工作。

相關工作：

作為總工程師，負責技術管理、系統分析、云平臺數據存儲設計、數據分析與挖掘指導、開發指導。

 

l  上海市城市信息化領域智能聯網工程 技術經理

ü  建設內容包括：接入單位的聯網；智能卡的實現；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統；評估體系的展示設計；短信平臺的實現；違規操作的提醒；協同智能服務平臺的實現等。

相關工作：

作為技術經理負責總體架構設計、接口設計、大數據平臺設計、AI技術指導等。

 

 

3. 主攻方向

具有扎實的數據挖掘、機器學習、深度學習等人工智能理論基礎；了解AIGC等技術前沿動態。

精通機器學習、深度學習的理論、模型、算法、調優等；精通算法設計；

熟悉深度學習在自然語言處理、計算機視覺兩大核心領域的實用技巧；

15年以上的程序開發經驗，熟悉常用程序開發架構，獨立完成多個產品級軟件的設計與開發。