【培訓對象】
技術人員

【培訓收益】
了解大數(shù)據(jù)概念及應用

 課時一：概念綜述

1、 大數(shù)據(jù)的定義由來和原因

2、 大數(shù)據(jù)的6V特征

3、 從數(shù)據(jù)庫，數(shù)據(jù)倉庫到大數(shù)據(jù)

4、 大數(shù)據(jù)相關技術和處理

 

課時二：Hadoop生態(tài)圈、spark生態(tài)圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并發(fā)的機器學習工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

課時三：存儲在hbase中的數(shù)據(jù)

1、 NoSQL（key-value）

2、 Hbase：安裝

3、 行鍵與列簇

4、 如何利用Hbase的特點存儲數(shù)據(jù)

5、 應用程序如何訪問Hbase中的數(shù)據(jù)

6、 數(shù)據(jù)遷移：sqoop

7、 Hbase的應用場景

 

課時四：Hive：為用SQL的開發(fā)者留的活路

1、 Hive：安裝（單用戶與多用戶）

2、 Hive：基本操作

3、 Hive：與典型的關系型數(shù)據(jù)庫的區(qū)別

4、 如果“想慢”，你可以這樣…（不恰當使用hive的案例介紹）

5、 Hive的應用場景

 

課時五：Spark各組件在衛(wèi)生領域的應用

1、 Hadoop最大的特點是什么？

2、 Spark概述與安裝

3、 Scala：你可以一直“點”下去

4、 RDD：“映射”、“轉(zhuǎn)換”解決一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他組件

8、 應用場景

 

課時六：機器學習算法介紹—I

1、 綜述（人工智能、數(shù)據(jù)挖掘、機器學習、機器智能、大數(shù)據(jù)：這些詞的確切含義）

2、 監(jiān)督學習、無監(jiān)督學習與強化學習

3、 工具：R、Python等

4、 決策樹詳解（熵、貪心法、連續(xù)的和離散的）

5、 神經(jīng)網(wǎng)絡詳解（神經(jīng)元、激勵函數(shù)、前饋神經(jīng)網(wǎng)絡的BP算法，其他神經(jīng)網(wǎng)絡）

 

課時七：機器學習算法介紹—II

1、 關聯(lián)規(guī)則詳解（頻繁項集、Apriori、支持度、置信度）

2、 聚類詳解（k-means、k-medoid）

常見算法的簡述（Naïve-Bayes、k-NN、HMM、SVM等）

 

葉梓，上海交通大學計算機專業(yè)博士畢業(yè)，高級工程師。主研方向：數(shù)據(jù)挖掘、機器學習、人工智能。歷任國內(nèi)知名上市IT企業(yè)的AI技術總監(jiān)、資深技術專家，市級行業(yè)大數(shù)據(jù)平臺技術負責人。

 

長期負責城市信息化智能平臺的建設工作，開展行業(yè)數(shù)據(jù)的智能化應用研發(fā)工作，牽頭多個省級、市級行業(yè)智能化信息系統(tǒng)的建設，主持設計并搭建多個省級、市級行業(yè)大數(shù)據(jù)平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應用課題研究。

 

帶領團隊在相關行業(yè)領域研發(fā)多款人工智能創(chuàng)新產(chǎn)品，成功落地多項大數(shù)據(jù)、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術優(yōu)秀應用成果獎”。帶領團隊在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數(shù)據(jù)技術標準的制定，曾獲省部級以上的科技創(chuàng)新一等獎。

 

1.      論文發(fā)表/項目經(jīng)歷

在國內(nèi)外期刊、會議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項目經(jīng)歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發(fā)智能服務系統(tǒng)，包括：元宇宙與虛擬數(shù)字人、基于人工智能的內(nèi)容生成（AIGC）、基于NLP技術的對話系統(tǒng)、基于深度學習的圖像識別系統(tǒng)、基于智能推理的行業(yè)推薦系統(tǒng)。

相關工作：

作為項目總負責，負責項目管理、產(chǎn)品研發(fā)、系統(tǒng)分析、技術指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數(shù)據(jù)技術，建設市級信息平臺，完成試點單位接入并采集居民相關信息，實現(xiàn)市級平臺檔案等服務，并實現(xiàn)所有單位的全面接入。

ü  為解決超量數(shù)據(jù)的存儲與計算的問題，搭建了存儲全市數(shù)據(jù)的云計算平臺，并在其上進行了基于大數(shù)據(jù)的分析和挖掘工作。

相關工作：

作為總工程師，負責技術管理、系統(tǒng)分析、云平臺數(shù)據(jù)存儲設計、數(shù)據(jù)分析與挖掘指導、開發(fā)指導。

 

l  上海市城市信息化領域智能聯(lián)網(wǎng)工程 技術經(jīng)理

ü  建設內(nèi)容包括：接入單位的聯(lián)網(wǎng)；智能卡的實現(xiàn)；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統(tǒng)；評估體系的展示設計；短信平臺的實現(xiàn)；違規(guī)操作的提醒；協(xié)同智能服務平臺的實現(xiàn)等。

相關工作：

作為技術經(jīng)理負責總體架構(gòu)設計、接口設計、大數(shù)據(jù)平臺設計、AI技術指導等。

 

 

3. 主攻方向

具有扎實的數(shù)據(jù)挖掘、機器學習、深度學習等人工智能理論基礎；了解AIGC等技術前沿動態(tài)。

精通機器學習、深度學習的理論、模型、算法、調(diào)優(yōu)等；精通算法設計；

熟悉深度學習在自然語言處理、計算機視覺兩大核心領域的實用技巧；

15年以上的程序開發(fā)經(jīng)驗，熟悉常用程序開發(fā)架構(gòu)，獨立完成多個產(chǎn)品級軟件的設計與開發(fā)。

 

• 大數(shù)據(jù)及人工智能背景下消費和小微信貸線上獲客、產(chǎn)品設計、風控應對策略

   

  第一部分：金融科技發(fā)展狀況的介紹一、金融科技的現(xiàn)狀與發(fā)展趨勢（一）宏觀背景1、金融科技（支付寶人臉識別技術、APPLEPAY、虹膜技術、二維碼支付技術）2、利率市場化3、金融脫媒（二）移動互聯(lián)技術的發(fā)展使互聯(lián)網(wǎng)金融成為可能1、移動互聯(lián)網(wǎng)技術2、移動支付技術3、H5、APP（三）互聯(lián)網(wǎng)金融對傳統(tǒng)銀行資產(chǎn)業(yè)務的顛覆和沖..

  ￥   元/ 天

  人氣：1232  

  

• 大數(shù)據(jù)時代——提升患者管理，構(gòu)建專業(yè)藥房

   

  【課程導言】：移動互聯(lián)時代下，實體門店面臨巨大的挑戰(zhàn)，同時也是一種機會。馬云說：不是實體門店不行了，而是你的實體門店不行了。面臨新的沖擊實體店如何進行創(chuàng)新，如何守住老陣地，如何利用新武器，這是所有實體連鎖共同面臨的問題。課程從互聯(lián)網(wǎng)環(huán)境對我們的實體店挑戰(zhàn)和我們面臨的消費者消費習慣和方式的的變化入手，通過分析新零售良品鋪子，海瀾之家，名創(chuàng)優(yōu)品的..

  ￥   元/ 天

  人氣：932  

  

• 電商互聯(lián)網(wǎng)大數(shù)據(jù)營銷之落地實踐鐵律

   

  課程背景：未來人貨場一切數(shù)字化，數(shù)據(jù)將成為一種資源，沒有數(shù)據(jù)沒有未來，企業(yè)如何構(gòu)建自己的大數(shù)據(jù)未來？人工智能已經(jīng)來臨，人工智能在營銷板塊的應用本質(zhì)就是大數(shù)據(jù)營銷！企業(yè)的ERP、CRM、報表等等僅僅是零散的死數(shù)據(jù)，如何激活流動產(chǎn)生閉環(huán)，產(chǎn)生效益？經(jīng)驗將成為負債，未來將利用數(shù)據(jù)產(chǎn)品規(guī)劃、定位、策劃、人群分析、活動策劃，數(shù)據(jù)成為商業(yè)的起點！人為..

  ￥19,100   元/ 天

  人氣：1629  

  

• 電商互聯(lián)網(wǎng)智能商業(yè)：大數(shù)據(jù)營銷分析與落地實踐

   

  課程背景：數(shù)據(jù)是未來企業(yè)唯一資源，大數(shù)據(jù)營銷意味著高效、精準、成本低、全自動化，讓企業(yè)從人海戰(zhàn)、廣告戰(zhàn)、渠道戰(zhàn)的泥潭中拔出來為什么搜索廣告效果差了？為什么團購效果也差了？為什么傳統(tǒng)的用戶細分、STP在大數(shù)據(jù)提出的用戶畫像面前蒼白了？為什么獨角獸全靠增長黑客模式崛起？企業(yè)未來如何搭建科學的大數(shù)據(jù)營銷隊伍，建立科學的數(shù)字營銷體！通過互動獲取數(shù)據(jù)，..

  ￥19,100   元/ 天

  人氣：1909  

  

• 大數(shù)據(jù)基礎原理與應用

   

  一、運營商網(wǎng)絡架構(gòu)和技術選擇1.運營商網(wǎng)絡架構(gòu)2.運營商業(yè)務類型3.接入網(wǎng)技術選擇4.不同業(yè)務的技術實現(xiàn)二、全業(yè)務運營技術實現(xiàn)1.集團業(yè)務分類及特點2.集團高等級業(yè)務特點及業(yè)務場景3.集團低等級業(yè)務特點及業(yè)務場景4.集團高、低等級業(yè)務要求及技術選擇5.數(shù)據(jù)專線業(yè)務及技術實現(xiàn)6.互聯(lián)網(wǎng)專線業(yè)務及技術實現(xiàn)7.集..

  ￥   元/ 天

  人氣：1274  

  

• 大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算行業(yè)應用及發(fā)展趨勢

   

  一、信息通信產(chǎn)業(yè)發(fā)展的背景和趨勢1、信息通信產(chǎn)業(yè)用戶現(xiàn)狀和發(fā)展趨勢2、國內(nèi)外信息化發(fā)展戰(zhàn)略3、中國信息化發(fā)展現(xiàn)狀和趨勢4、信息通信網(wǎng)絡發(fā)展趨勢5、電信業(yè)轉(zhuǎn)型新趨勢二、ICT前沿技術(一)云計算1、云計算發(fā)展的商業(yè)動力與技術趨勢1.1云計算基本概念1.2云計算的商業(yè)動力：企業(yè)ICT轉(zhuǎn)型1.3云計算特點..

  ￥   元/ 天

  人氣：1476