- 標(biāo)桿采購成本控制-最佳實踐----模
- 伙伴模式--標(biāo)桿采購成本控制----
- 模塊一:供應(yīng)管理基礎(chǔ)(3天)
- 最新《干部人事檔案工作條例》解析與人
- 國有企業(yè)招標(biāo)采購條線管理與違法違規(guī)行
- 新政新規(guī)下延遲退休、末等調(diào)整、違紀處
- 電子、珠寶等企業(yè)合理避稅技巧及實戰(zhàn)案
- 中國銀行業(yè)媒體危機公關(guān)與聲譽風(fēng)險管理
- 市場營銷創(chuàng)新與營銷案例分析
- 服裝企業(yè)網(wǎng)絡(luò)營銷管理實務(wù)案例研修班
- 房地產(chǎn)企業(yè)全流程稅收疑難點精解與案例
- 中國企業(yè)案例式【精益生產(chǎn)&5S現(xiàn)場改
- 年終勞動爭議典型案例360°復(fù)盤分析
- 組織流程再造原理、方法和案例
- 如何有效預(yù)防與化解勞動用工風(fēng)險及典型
- 預(yù)防重大事故安全課程培訓(xùn) 石油化工行
模塊三:大數(shù)據(jù)技術(shù)及行業(yè)創(chuàng)新應(yīng)用案例
課程編號:28883
課程價格:¥23000/天
課程時長:2 天
課程人氣:390
- 課程說明
- 講師介紹
- 選擇同類課
【培訓(xùn)收益】
一、大數(shù)據(jù)系統(tǒng)平臺總體架構(gòu)及部署
1、大數(shù)據(jù)系統(tǒng)平臺總體架構(gòu)描述
(1)大數(shù)據(jù)的業(yè)務(wù)目標(biāo)
(2)大數(shù)據(jù)總體架構(gòu)模型
(3)大數(shù)據(jù)總體架構(gòu)特點
(4)大數(shù)據(jù)系統(tǒng)的物理架構(gòu)
(5)大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)
(6)大數(shù)據(jù)系統(tǒng)與現(xiàn)有系統(tǒng)的關(guān)系
(7)傳統(tǒng)應(yīng)用如何成為大數(shù)據(jù)系統(tǒng)的應(yīng)用
2、大數(shù)據(jù)平臺工作流程
(1)大數(shù)據(jù)采集系統(tǒng)架構(gòu)及工作流程
(2)大數(shù)據(jù)存儲架構(gòu)及工作流程
(3)大數(shù)據(jù)處理架構(gòu)及工作流程
(4)大數(shù)據(jù)挖掘分析架構(gòu)及工作流程
(5)大數(shù)據(jù)展現(xiàn)平臺及工作流程
3、大數(shù)據(jù)平臺技術(shù)體系構(gòu)成
(1)大數(shù)據(jù)采集技術(shù)(多樣性:多源數(shù)據(jù)融合,數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程優(yōu)化)
(2)大數(shù)據(jù)存儲技術(shù)(海量:結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))
(3)大數(shù)據(jù)處理技術(shù)(快速:并行計算、流計算)
(4)大數(shù)據(jù)挖掘分析技術(shù)(價值:數(shù)據(jù)挖掘、商業(yè)智能)
(5)大數(shù)據(jù)可視化展示技術(shù)(價值:數(shù)據(jù)可視化)
(6)大數(shù)據(jù)隱私安全
4、大數(shù)據(jù)相關(guān)概念與相關(guān)技術(shù)概覽
(1)數(shù)據(jù)結(jié)構(gòu):結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)
(2)數(shù)據(jù)庫數(shù)據(jù)模型:關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫
(3)數(shù)據(jù)處理特性:OLTP與OLAP
(4)數(shù)據(jù)一致性:強一致性與最終一致性
(5)數(shù)據(jù)存儲方式:行式存儲與列式存儲
(6)數(shù)據(jù)庫存儲與處理架構(gòu):SMP與MPP
(7)數(shù)據(jù)存儲架構(gòu):傳統(tǒng)分布式文件與新型分布式文件
(8)數(shù)據(jù)處理架構(gòu):基于并行計算的分布式數(shù)據(jù)處理技術(shù)(MapReduce)
5、大數(shù)據(jù)存儲和處理技術(shù)
(1)分布式存儲和計算平臺- Hadoop
(2)分布式文件系統(tǒng)-HDFS
(3)分布式計算框架-YARN/MapReduce
(4)分布式數(shù)據(jù)庫-NoSQL
6、大數(shù)據(jù)查詢和分析技術(shù):SQL on Hadoop
(1)Hive:基本的Hadoop 查詢和分析
(2)Hive 2.0:Hive 的優(yōu)化和升級
(3)實時互動的SQL:Impala 和drill
(4)基于PostgreSQL 的SQL on Hadoop
(5)大數(shù)據(jù)高級分析和可視化技術(shù)
(6)傳統(tǒng)數(shù)據(jù)倉庫與聯(lián)機分析處理技術(shù)
(7)大數(shù)據(jù)挖掘與高級分析
(8)大數(shù)據(jù)挖掘與高級分析庫:Mahout
(9)非結(jié)構(gòu)化復(fù)雜數(shù)據(jù)分析
(10)實時預(yù)測分析
(11)開源可視化工具:R語言
(12)可視化技術(shù)
7、大數(shù)據(jù)Hadoop2.0平臺架構(gòu)及組件
(1)Hadoop2.0平臺總體架構(gòu)解析
Hadoop2.0平臺層次劃分及構(gòu)成
Hadoop2.0平臺軟件系統(tǒng)構(gòu)成
Hadoop2.0平臺各組件介紹
(2)Hadoop2.0平臺各組件功能描述
分布式文件系統(tǒng)-HDFS
分布式批處理計算-YARN/MapReduce
分布式數(shù)據(jù)庫-HBase
分布式數(shù)據(jù)倉庫-Hive
分布式協(xié)作服務(wù)-ZooKeeper
數(shù)據(jù)分析挖掘-Pig
數(shù)據(jù)采集系統(tǒng)-Chukwa
高吞吐量分布式消息系統(tǒng)-Kafka
系統(tǒng)監(jiān)控- Ambari
跨語言服務(wù)間通信-Thrift
日志收集與轉(zhuǎn)運工具-Flume
數(shù)據(jù)結(jié)果與線上決策的交互-Redis
流計算基礎(chǔ)平臺-Storm vs Spark
流式計算框架Spark Streaming
二、大數(shù)據(jù)應(yīng)用實踐方法及行業(yè)應(yīng)用案例分析
1、大數(shù)據(jù)應(yīng)用實踐方法
(1)業(yè)務(wù)需求定義
(2)大數(shù)據(jù)應(yīng)用現(xiàn)狀分析與標(biāo)桿比較
(3)大數(shù)據(jù)系統(tǒng)平臺規(guī)劃和設(shè)計
(4)大數(shù)據(jù)技術(shù)切入與實施
(5)大數(shù)據(jù)試用和評估
(6)大數(shù)據(jù)應(yīng)用推廣
2、業(yè)務(wù)需求定義
(1)分析業(yè)務(wù)戰(zhàn)略,了解戰(zhàn)略層面的大數(shù)據(jù)需求
(2)調(diào)研業(yè)務(wù)經(jīng)營模式、管理現(xiàn)狀、進行大數(shù)據(jù)需求分析,發(fā)現(xiàn)應(yīng)用機會和場景
(3)發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用對企業(yè)的機會和挑戰(zhàn)
(4)標(biāo)桿應(yīng)用研究
3、各行業(yè)大數(shù)據(jù)應(yīng)用的個性需求分析方法
(1)“互聯(lián)網(wǎng)與電子商務(wù)行業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(2)“電信運營業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(3)“政府”大數(shù)據(jù)應(yīng)用需求分析
(4)“金融業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(5)“零售業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(6)“教育業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(7)“醫(yī)療業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(8)“能源業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(9)“制造業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(10)“交通物流業(yè)”大數(shù)據(jù)應(yīng)用需求分析
(11)企業(yè)級大數(shù)據(jù)應(yīng)用的共性需求分析
(12)客戶分析
(13)績效分析
(14)欺詐和風(fēng)險評估
4、大數(shù)據(jù)應(yīng)用現(xiàn)狀分析與標(biāo)桿比較
(1)分析數(shù)據(jù)應(yīng)用現(xiàn)狀和能力
(2)分析應(yīng)用場景和數(shù)據(jù)容量、種類和速度
(3)確定大數(shù)據(jù)評價指標(biāo)體系
(4)應(yīng)用場景的數(shù)據(jù)源和樣本分析
(5)標(biāo)桿數(shù)據(jù)分析研究
5、大數(shù)據(jù)系統(tǒng)平臺規(guī)劃和設(shè)計
(1)大數(shù)據(jù)戰(zhàn)略目標(biāo)定義
(2)大數(shù)據(jù)系統(tǒng)平臺架構(gòu)設(shè)計
提出大數(shù)據(jù)架構(gòu)
細化獲取架構(gòu)
處理和存儲架構(gòu)
分析架構(gòu)
信息安全架構(gòu)
大數(shù)據(jù)組織架構(gòu)
6、關(guān)鍵技術(shù)系統(tǒng)設(shè)計
7、技術(shù)選型和采購建議
8、技術(shù)實施規(guī)劃
(1)大數(shù)據(jù)技術(shù)切入與實施
大數(shù)據(jù)技術(shù)試驗
試點和數(shù)據(jù)采集、存儲和分析
平臺部署
(2)大數(shù)據(jù)試用和評估
大數(shù)據(jù)試用
大數(shù)據(jù)評估
9、大數(shù)據(jù)應(yīng)用推廣
(1)需求分析
(2)應(yīng)用推廣準備
(3)啟動新的項目
10、以電信運營商客戶分析為例的大數(shù)據(jù)實施案例分析
(1)大數(shù)據(jù)客戶分析業(yè)務(wù)需求
(2)大數(shù)據(jù)客戶分析現(xiàn)狀與標(biāo)桿比較
(3)大數(shù)據(jù)客戶分析應(yīng)用架構(gòu)規(guī)劃與設(shè)計
(4)大數(shù)據(jù)客戶分析實施、試點和推廣
博士
北京信息科技大學(xué)副教授
人工智能、數(shù)據(jù)挖掘?qū)<?br />
IEEE Access等SCI期刊特約審稿人
中博智學(xué)教育公司常年簽約講師。
在AI技術(shù)高速發(fā)展的今天,王老師希望憑借他在深度學(xué)習(xí)、數(shù)據(jù)挖掘、大數(shù)據(jù)技術(shù)、云計算技術(shù)和移動通信技術(shù)方面完整的知識體系及融會貫通的能力,加上深厚的數(shù)學(xué)功底,通過技術(shù)培訓(xùn)和咨詢?yōu)樾畔⑼ㄐ拧⒏咝?蒲袌F隊、AI從業(yè)者長遠發(fā)展助一臂之力!在軟件測試流程設(shè)計及優(yōu)化、自動化測試框架的實現(xiàn)、性能優(yōu)化等領(lǐng)域具有多年的實戰(zhàn)經(jīng)驗,擅長自動化測試解決方案的制定與實施。
【主要工作】
長期從事人工智能、數(shù)據(jù)挖掘、大數(shù)據(jù)領(lǐng)域研究生、自動化測試、企業(yè)員工教學(xué)培訓(xùn)與地震人工智能科研工作;多次參與行業(yè)人工智能技術(shù)引用研討及大會發(fā)言;在大唐電信、中國地質(zhì)科學(xué)院等單位長期全職、兼職從事深度學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)技術(shù)的培訓(xùn)及軟件研發(fā);在高校從事數(shù)據(jù)挖掘、深度學(xué)習(xí)教學(xué)8年。
【主要研究領(lǐng)域】
基于對AI行業(yè)的長期研究,對現(xiàn)在AI技術(shù)的發(fā)展與演進、深度學(xué)習(xí)算法的推導(dǎo)、地震人工智能、自動化測試、物聯(lián)網(wǎng)、智慧城市、大數(shù)據(jù)、云計算、TD-LTE都有著深入的理解,并且也一直在一線從事相關(guān)項目的咨詢服務(wù)工作,積累的豐富的實操經(jīng)驗,保證課程的時效性和落地性,課程受到相關(guān)高校以及相關(guān)政府部門的高度好評。
【授課特點】
既有雄厚而扎實的AI理論基礎(chǔ)、精湛而熟練的技術(shù),又有豐富的理論及實踐教學(xué)經(jīng)驗和技巧,做過項目課題、參加過通信計費結(jié)算軟件、建筑軟件、遙感圖像處理軟件、地震預(yù)測預(yù)報等軟件開發(fā)工作。
在長期的教學(xué)與培訓(xùn)實踐中形成了獨具特色、自成體系的教學(xué)風(fēng)格和教學(xué)方法,最大特點在于以人文的思想與方法進行教學(xué),生動活潑,富于激情與感染力;教學(xué)針對性強,知識全面、思路清晰、邏輯嚴密、結(jié)合豐富的案例進行教學(xué),深入淺出、詼諧幽默;通過互動教學(xué),解決學(xué)員在實際工作中遇到的各種問題,讓學(xué)員在短時間內(nèi)取得較大收獲。教授過得學(xué)院上千人,學(xué)生對教學(xué)效果評估滿意率均達 90%以上。
【精品課程】
人工
智能 人工智能技術(shù)概述及發(fā)展前景展望:人工智能背景與歷史、深度學(xué)習(xí)、腦認知、行業(yè)發(fā)展現(xiàn)狀、發(fā)展趨勢 Python基礎(chǔ):列表、元組、字符串、字典、條件、循環(huán)控制、函數(shù)、異常處理、文件操作、多線程
大數(shù)據(jù)處理:Numpy、Pandas、Matplotilb、OpenCV、特征抽取、特征轉(zhuǎn)換、歸一化 機器學(xué)習(xí):線性回歸、KNN、邏輯回歸、梯度下降算法、牛頓法、決策樹、隨機森林、GBDT算法、支持向量機、K-means、樸素貝葉斯算法、隱馬爾可夫模型、最大熵模型
深度學(xué)習(xí)平臺:TensorFlow、PyTorch、Keras
深度學(xué)經(jīng)典模型及應(yīng)用:
CNN、RNN、LSTM、GAN、Seq2Seq
強化學(xué)習(xí):Q-Learning、Sarsa、DQN、Policy Gradient、Actor Critic 爬蟲技術(shù):urllib3、requests、lxml、bs4、Srapy、Selenium、PhantomJS
深度學(xué)習(xí)項目進階實踐:人臉識別系統(tǒng)、智能推薦系統(tǒng)、情感分析系統(tǒng)、智能對話系統(tǒng)
大數(shù)據(jù)及數(shù)據(jù)挖掘 大數(shù)據(jù)技術(shù)概述及演變趨勢 大數(shù)據(jù)時代的業(yè)務(wù)支撐系統(tǒng)
MapReduce技術(shù)架構(gòu) Hadoop 分布式程序開發(fā)
Spark內(nèi)存程序開發(fā) HBase數(shù)據(jù)存儲原理及應(yīng)用
MongoDB數(shù)據(jù)庫開發(fā)
數(shù)據(jù)挖掘技術(shù)概述 協(xié)同過濾——基于用戶的顯式推薦算法
協(xié)同過濾——隱式評級及基于物品的過濾 內(nèi)容過濾機及分類——基于物品屬性的過濾
算法評估及KNN 概率及樸素貝葉斯:貝葉斯定理、非結(jié)構(gòu)化文本分類
聚類:K-MEANS聚類、SSE及散度
【近幾年主持、參與的科研項目】
(1)國家自然科學(xué)基金,模擬地震監(jiān)測波形記錄矢量化關(guān)鍵算法研究與系統(tǒng)開發(fā)(數(shù)字圖像處理、數(shù)據(jù)挖掘方向)(國家級,主持)。
(2)大唐電信軟件公司計費結(jié)算部工程師,設(shè)計開發(fā)了內(nèi)蒙聯(lián)通計費結(jié)算系統(tǒng),河北鐵通計費系統(tǒng),河南移動計費系統(tǒng)。
(3)多次指導(dǎo)學(xué)生參加阿里天池杯大數(shù)據(jù)競賽,2015年度40個國家2100支隊伍參與的“淘寶穿衣搭配算法” 競賽決賽取得排名189名;2016年度40個國家3046支隊伍參與的“機場客流量的時空分布預(yù)測”競賽決賽中決賽排名115名,優(yōu)異成績;2017年,在全球1143支隊伍參與的“余震捕捉AI大賽”中指導(dǎo)學(xué)生排名45名。
(4)中博教育人工智能研發(fā)部技術(shù)總監(jiān),人工智能公考軟件技術(shù)負責(zé)人。
(5)校級人才引進支持計劃A類(人工智能方向),主持。
(6)中國地質(zhì)調(diào)查局工作項目子課題,陸域天然氣水合物大數(shù)據(jù)處理與存儲(數(shù)據(jù)挖掘方向)(省部級,排名第2)。
(7)中國地震局教師科研基金,活動斷裂帶重點區(qū)域用地變化檢測技術(shù)研究(數(shù)據(jù)挖掘方向)(省部級,主持)。
(8)中央高校基本科研創(chuàng)新團隊項目子課題,基于多源地震遙感數(shù)據(jù)融合的斷層識別技術(shù)研究(數(shù)據(jù)挖掘方向)(主持)。
(9)國家重大科技專項子課題,高分遙感應(yīng)急示范工程先期攻關(guān)項目--多源地震信息融合技術(shù)研究(數(shù)據(jù)挖掘方向)(國家級,排名第2)。
(10)中央高校基本科研業(yè)務(wù)費青年教師資助計劃,基于HRTEM和STM圖像的石墨烯晶體結(jié)構(gòu)缺陷識別(數(shù)字圖像處理、數(shù)據(jù)挖掘方向)(主持)。
(11)中國地震局教師科研基金,主震地震參數(shù)與后續(xù)最大地震震級之間的統(tǒng)計關(guān)系研究(人工智能方向)(排名第2)。
(12)河北省科學(xué)技術(shù)廳河北省科技計劃項目,基于大數(shù)據(jù)技術(shù)的流體觀測數(shù)據(jù)前兆異常自動識別算法研究(人工智能方向)(排名第3)。
(13)校級教育研究與教學(xué)改革項目, 情景式教學(xué)方法在《UML與設(shè)計模式》教學(xué)中的應(yīng)用(主持)。
【近幾年發(fā)表的論文(第一作者)】
(1)A new program on digitizing analog seismograms, Computers & Geosciences, 2016, 93,70-76.(SCI,IF 2.8)
(2)Recognition of Defect Structure of Graphene by Image Processing Technique, Journal of Computational and Theoretical Nanoscience, 2014, 11(2), 391-395. (SCI)
(3)Recognition of amount of carbon atoms of graphite STM images, Journal of Computational and Theoretical Nanoscience, 2011, 8(11), 2204-2208. (SCI)
(4)Recognition of atomically-resolved STM images of graphite, Journal of Computational and Theoretical NanoScience, 2010, 7(2), 404-407 (SCI)
(5)Recognition of chiral vector angle of individual single-walledcarbon nanotubes by image processing techniques, Journal of Computational and Theoretical NanoScience, 2009, 6 (5), 1008-1012. (SCI)
(6) Land use Change Detecting using Remote Sensing in Xiadian Fault Zone, Journal of Residuals Science & Technology, 2016,12(8), 185-186. (SCI 刊源)
(7)Fault Diagnosis of Sucker-Rod Pumping System Using Support Vector Machine, Communications in Computer and Information Science, 2012, 289,179-189.(EI)
(8)Study of oil-gas yield model of a suck-rod pumping well based on thedata mining of pump dynamometer cards,The 2th International Conference onComputer Science and Service System, 2012.
(9)Recognition of topology feature of Graphene by image processing technique, Advanced Materials Research, 2013, 756-759: 4133-4137. (EI)
(10)Analysis of the Relationship between Main Shock and Aftershocks Based on Association Rules, Advanced Materials Research , 2013, 760 -762: 1174-1177 (EI).
(11)Energy Field Filling of NEIC Broadband Radiated Energy Catalogue Based on Method of Least Squares, Advanced Materials Research (Volumes 760-762), 1339-1342, 2013. (EI)
(12)A New Curve Tracing Algorithm Based on Local Feature in the Vectorization of Paper Seismograms, Sensors & Transducers Journal, 2014 165: 108-111, 2014. (EI)
(13)Spatial characteristics of the major surface rupture in Lushan area to the south of Dujiangyan city by analyzing remote sensing images, 2014 International Conference on Information GIS and Resource Management, 2014.
(14)Researches on key algorithms in analogue seismogram records vectorization,Sensors & Transducers Journal, 2014, 178 (9): 209-213.
(15)A new waveform mosaic algorithm in the vectorization of paper seismograms, Sensors & Transducers Journal,Vol. 2014, 182 (11), 203-206.
(16)Energy field filling of neic broadband radiated energy catalogue based on Support Vector Machine regression model, Applied Mechanics and Materials. 2014, 687-691, 1514-1517. (EI)
(17)Analysis of the relationship between apparent stress and main-after shocks magnitude difference on association rules, energy education science and technology part a. 2015. 33(1): 425-434.
【主要培訓(xùn)經(jīng)歷】
1、擁有5年以上的通信行業(yè)工作經(jīng)驗,先后為全國多家通信公司有過項目開發(fā)合作及授課。曾為北京大唐電信、河北聯(lián)通等多家省市通信公司講授大數(shù)據(jù)系統(tǒng)、AI研發(fā)技術(shù)系統(tǒng)培訓(xùn)、數(shù)據(jù)挖掘技術(shù)、Nosql數(shù)據(jù)庫、移動互聯(lián)網(wǎng)等相關(guān)技術(shù)。
2、曾為溫州大學(xué)、石家莊鐵道大學(xué)、中國地質(zhì)科學(xué)院及北京城市學(xué)院等多家院校講授《人工智能算法在醫(yī)學(xué)數(shù)據(jù)分類上的應(yīng)用(CNN及Reinforcement Learning)》、《人工智能技術(shù)概述及典型算法培訓(xùn)》、《人工智能在地學(xué)資料文本數(shù)據(jù)挖掘方向的應(yīng)用》、《計算機網(wǎng)絡(luò)》、《數(shù)字圖像處理》、《計算機程序設(shè)計語言》等高級核心課程。