【培訓(xùn)對象】
技術(shù)人員

【培訓(xùn)收益】
了解大數(shù)據(jù)概念及應(yīng)用

 課時(shí)一：概念綜述

1、 大數(shù)據(jù)的定義由來和原因

2、 大數(shù)據(jù)的6V特征

3、 從數(shù)據(jù)庫，數(shù)據(jù)倉庫到大數(shù)據(jù)

4、 大數(shù)據(jù)相關(guān)技術(shù)和處理

 

課時(shí)二：Hadoop生態(tài)圈、spark生態(tài)圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并發(fā)的機(jī)器學(xué)習(xí)工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

課時(shí)三：存儲在hbase中的數(shù)據(jù)

1、 NoSQL（key-value）

2、 Hbase：安裝

3、 行鍵與列簇

4、 如何利用Hbase的特點(diǎn)存儲數(shù)據(jù)

5、 應(yīng)用程序如何訪問Hbase中的數(shù)據(jù)

6、 數(shù)據(jù)遷移：sqoop

7、 Hbase的應(yīng)用場景

 

課時(shí)四：Hive：為用SQL的開發(fā)者留的活路

1、 Hive：安裝（單用戶與多用戶）

2、 Hive：基本操作

3、 Hive：與典型的關(guān)系型數(shù)據(jù)庫的區(qū)別

4、 如果“想慢”，你可以這樣…（不恰當(dāng)使用hive的案例介紹）

5、 Hive的應(yīng)用場景

 

課時(shí)五：Spark各組件在衛(wèi)生領(lǐng)域的應(yīng)用

1、 Hadoop最大的特點(diǎn)是什么？

2、 Spark概述與安裝

3、 Scala：你可以一直“點(diǎn)”下去

4、 RDD：“映射”、“轉(zhuǎn)換”解決一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他組件

8、 應(yīng)用場景

 

課時(shí)六：機(jī)器學(xué)習(xí)算法介紹—I

1、 綜述（人工智能、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、機(jī)器智能、大數(shù)據(jù)：這些詞的確切含義）

2、 監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)

3、 工具：R、Python等

4、 決策樹詳解（熵、貪心法、連續(xù)的和離散的）

5、 神經(jīng)網(wǎng)絡(luò)詳解（神經(jīng)元、激勵(lì)函數(shù)、前饋神經(jīng)網(wǎng)絡(luò)的BP算法，其他神經(jīng)網(wǎng)絡(luò)）

 

課時(shí)七：機(jī)器學(xué)習(xí)算法介紹—II

1、 關(guān)聯(lián)規(guī)則詳解（頻繁項(xiàng)集、Apriori、支持度、置信度）

2、 聚類詳解（k-means、k-medoid）

常見算法的簡述（Naïve-Bayes、k-NN、HMM、SVM等）

 

葉梓，上海交通大學(xué)計(jì)算機(jī)專業(yè)博士畢業(yè)，高級工程師。主研方向：數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能。歷任國內(nèi)知名上市IT企業(yè)的AI技術(shù)總監(jiān)、資深技術(shù)專家，市級行業(yè)大數(shù)據(jù)平臺技術(shù)負(fù)責(zé)人。

 

長期負(fù)責(zé)城市信息化智能平臺的建設(shè)工作，開展行業(yè)數(shù)據(jù)的智能化應(yīng)用研發(fā)工作，牽頭多個(gè)省級、市級行業(yè)智能化信息系統(tǒng)的建設(shè)，主持設(shè)計(jì)并搭建多個(gè)省級、市級行業(yè)大數(shù)據(jù)平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應(yīng)用課題研究。

 

帶領(lǐng)團(tuán)隊(duì)在相關(guān)行業(yè)領(lǐng)域研發(fā)多款人工智能創(chuàng)新產(chǎn)品，成功落地多項(xiàng)大數(shù)據(jù)、人工智能前沿項(xiàng)目，其中信息化智能平臺項(xiàng)目曾榮獲：“上海市信息技術(shù)優(yōu)秀應(yīng)用成果獎(jiǎng)”。帶領(lǐng)團(tuán)隊(duì)在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)的制定，曾獲省部級以上的科技創(chuàng)新一等獎(jiǎng)。

 

1.      論文發(fā)表/項(xiàng)目經(jīng)歷

在國內(nèi)外期刊、會議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項(xiàng)目經(jīng)歷：

l  上海市城市信息化人工智能項(xiàng)目 項(xiàng)目負(fù)責(zé)人

ü  研發(fā)智能服務(wù)系統(tǒng)，包括：元宇宙與虛擬數(shù)字人、基于人工智能的內(nèi)容生成（AIGC）、基于NLP技術(shù)的對話系統(tǒng)、基于深度學(xué)習(xí)的圖像識別系統(tǒng)、基于智能推理的行業(yè)推薦系統(tǒng)。

相關(guān)工作：

作為項(xiàng)目總負(fù)責(zé)，負(fù)責(zé)項(xiàng)目管理、產(chǎn)品研發(fā)、系統(tǒng)分析、技術(shù)指導(dǎo)、算法指導(dǎo)等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數(shù)據(jù)技術(shù)，建設(shè)市級信息平臺，完成試點(diǎn)單位接入并采集居民相關(guān)信息，實(shí)現(xiàn)市級平臺檔案等服務(wù)，并實(shí)現(xiàn)所有單位的全面接入。

ü  為解決超量數(shù)據(jù)的存儲與計(jì)算的問題，搭建了存儲全市數(shù)據(jù)的云計(jì)算平臺，并在其上進(jìn)行了基于大數(shù)據(jù)的分析和挖掘工作。

相關(guān)工作：

作為總工程師，負(fù)責(zé)技術(shù)管理、系統(tǒng)分析、云平臺數(shù)據(jù)存儲設(shè)計(jì)、數(shù)據(jù)分析與挖掘指導(dǎo)、開發(fā)指導(dǎo)。

 

l  上海市城市信息化領(lǐng)域智能聯(lián)網(wǎng)工程 技術(shù)經(jīng)理

ü  建設(shè)內(nèi)容包括：接入單位的聯(lián)網(wǎng)；智能卡的實(shí)現(xiàn)；城市信息化智能平臺的升級；科研平臺的擴(kuò)展與升級；建立決策支持系統(tǒng)；評估體系的展示設(shè)計(jì)；短信平臺的實(shí)現(xiàn)；違規(guī)操作的提醒；協(xié)同智能服務(wù)平臺的實(shí)現(xiàn)等。

相關(guān)工作：

作為技術(shù)經(jīng)理負(fù)責(zé)總體架構(gòu)設(shè)計(jì)、接口設(shè)計(jì)、大數(shù)據(jù)平臺設(shè)計(jì)、AI技術(shù)指導(dǎo)等。

 

 

3. 主攻方向

具有扎實(shí)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能理論基礎(chǔ)；了解AIGC等技術(shù)前沿動態(tài)。

精通機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的理論、模型、算法、調(diào)優(yōu)等；精通算法設(shè)計(jì)；

熟悉深度學(xué)習(xí)在自然語言處理、計(jì)算機(jī)視覺兩大核心領(lǐng)域的實(shí)用技巧；

15年以上的程序開發(fā)經(jīng)驗(yàn)，熟悉常用程序開發(fā)架構(gòu)，獨(dú)立完成多個(gè)產(chǎn)品級軟件的設(shè)計(jì)與開發(fā)。

 

• 大數(shù)據(jù)及人工智能背景下消費(fèi)和小微信貸線上獲客、產(chǎn)品設(shè)計(jì)、風(fēng)控應(yīng)對策略

   

  第一部分：金融科技發(fā)展?fàn)顩r的介紹一、金融科技的現(xiàn)狀與發(fā)展趨勢（一）宏觀背景1、金融科技（支付寶人臉識別技術(shù)、APPLEPAY、虹膜技術(shù)、二維碼支付技術(shù)）2、利率市場化3、金融脫媒（二）移動互聯(lián)技術(shù)的發(fā)展使互聯(lián)網(wǎng)金融成為可能1、移動互聯(lián)網(wǎng)技術(shù)2、移動支付技術(shù)3、H5、APP（三）互聯(lián)網(wǎng)金融對傳統(tǒng)銀行資產(chǎn)業(yè)務(wù)的顛覆和沖..

  ￥   元/ 天

  人氣：823  

  

• 大數(shù)據(jù)時(shí)代——提升患者管理，構(gòu)建專業(yè)藥房

   

  【課程導(dǎo)言】：移動互聯(lián)時(shí)代下，實(shí)體門店面臨巨大的挑戰(zhàn)，同時(shí)也是一種機(jī)會。馬云說：不是實(shí)體門店不行了，而是你的實(shí)體門店不行了。面臨新的沖擊實(shí)體店如何進(jìn)行創(chuàng)新，如何守住老陣地，如何利用新武器，這是所有實(shí)體連鎖共同面臨的問題。課程從互聯(lián)網(wǎng)環(huán)境對我們的實(shí)體店挑戰(zhàn)和我們面臨的消費(fèi)者消費(fèi)習(xí)慣和方式的的變化入手，通過分析新零售良品鋪?zhàn)樱懼遥麆?chuàng)優(yōu)品的..

  ￥   元/ 天

  人氣：686  

  

• 電商互聯(lián)網(wǎng)大數(shù)據(jù)營銷之落地實(shí)踐鐵律

   

  課程背景：未來人貨場一切數(shù)字化，數(shù)據(jù)將成為一種資源，沒有數(shù)據(jù)沒有未來，企業(yè)如何構(gòu)建自己的大數(shù)據(jù)未來？人工智能已經(jīng)來臨，人工智能在營銷板塊的應(yīng)用本質(zhì)就是大數(shù)據(jù)營銷！企業(yè)的ERP、CRM、報(bào)表等等僅僅是零散的死數(shù)據(jù)，如何激活流動產(chǎn)生閉環(huán)，產(chǎn)生效益？經(jīng)驗(yàn)將成為負(fù)債，未來將利用數(shù)據(jù)產(chǎn)品規(guī)劃、定位、策劃、人群分析、活動策劃，數(shù)據(jù)成為商業(yè)的起點(diǎn)！人為..

  ￥19,100   元/ 天

  人氣：1169  

  

• 電商互聯(lián)網(wǎng)智能商業(yè)：大數(shù)據(jù)營銷分析與落地實(shí)踐

   

  課程背景：數(shù)據(jù)是未來企業(yè)唯一資源，大數(shù)據(jù)營銷意味著高效、精準(zhǔn)、成本低、全自動化，讓企業(yè)從人海戰(zhàn)、廣告戰(zhàn)、渠道戰(zhàn)的泥潭中拔出來為什么搜索廣告效果差了？為什么團(tuán)購效果也差了？為什么傳統(tǒng)的用戶細(xì)分、STP在大數(shù)據(jù)提出的用戶畫像面前蒼白了？為什么獨(dú)角獸全靠增長黑客模式崛起？企業(yè)未來如何搭建科學(xué)的大數(shù)據(jù)營銷隊(duì)伍，建立科學(xué)的數(shù)字營銷體！通過互動獲取數(shù)據(jù)，..

  ￥19,100   元/ 天

  人氣：1374  

  

• 大數(shù)據(jù)基礎(chǔ)原理與應(yīng)用

   

  一、運(yùn)營商網(wǎng)絡(luò)架構(gòu)和技術(shù)選擇1.運(yùn)營商網(wǎng)絡(luò)架構(gòu)2.運(yùn)營商業(yè)務(wù)類型3.接入網(wǎng)技術(shù)選擇4.不同業(yè)務(wù)的技術(shù)實(shí)現(xiàn)二、全業(yè)務(wù)運(yùn)營技術(shù)實(shí)現(xiàn)1.集團(tuán)業(yè)務(wù)分類及特點(diǎn)2.集團(tuán)高等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場景3.集團(tuán)低等級業(yè)務(wù)特點(diǎn)及業(yè)務(wù)場景4.集團(tuán)高、低等級業(yè)務(wù)要求及技術(shù)選擇5.數(shù)據(jù)專線業(yè)務(wù)及技術(shù)實(shí)現(xiàn)6.互聯(lián)網(wǎng)專線業(yè)務(wù)及技術(shù)實(shí)現(xiàn)7.集..

  ￥   元/ 天

  人氣：994  

  

• 大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算行業(yè)應(yīng)用及發(fā)展趨勢

   

  一、信息通信產(chǎn)業(yè)發(fā)展的背景和趨勢1、信息通信產(chǎn)業(yè)用戶現(xiàn)狀和發(fā)展趨勢2、國內(nèi)外信息化發(fā)展戰(zhàn)略3、中國信息化發(fā)展現(xiàn)狀和趨勢4、信息通信網(wǎng)絡(luò)發(fā)展趨勢5、電信業(yè)轉(zhuǎn)型新趨勢二、ICT前沿技術(shù)(一)云計(jì)算1、云計(jì)算發(fā)展的商業(yè)動力與技術(shù)趨勢1.1云計(jì)算基本概念1.2云計(jì)算的商業(yè)動力：企業(yè)ICT轉(zhuǎn)型1.3云計(jì)算特點(diǎn)..

  ￥   元/ 天

  人氣：1090