- 互聯(lián)網大數(shù)據時代的商業(yè)模式創(chuàng)新思維
- 大數(shù)據征管背景下建筑房地產企業(yè)利益最
- 大數(shù)據背景下如何利用金三管控增值稅發(fā)
- 大數(shù)據時代流程管理與高效協(xié)同
- 大數(shù)據時代的銷售行為管理—精細化銷售
- 大數(shù)據時代的銷售行為管理-精細化銷售
- 大數(shù)據征管背景下建筑房地產企業(yè)營改增
- 互聯(lián)網+之基于大數(shù)據的經營決策
- 互聯(lián)網創(chuàng)新思維與大數(shù)據應用
- 大數(shù)據市場營銷-如何利用大數(shù)據為市場
- FABE黃金銷售法則實戰(zhàn)訓練
- 銷售實戰(zhàn)技能提升訓練
- 卓越的大客戶營銷實戰(zhàn)技能提升策略
- 酒店收益管理策略與實戰(zhàn)方法
- 資本運營-上市實戰(zhàn)
- 銷售人員實戰(zhàn)技巧培訓
- 智贏天下-----卓越的建材終端門店
- 實戰(zhàn)績效管理360度修煉
- 人才甄選與招聘面試實戰(zhàn)技巧
- 保險銷售精英實戰(zhàn)技巧特訓
大數(shù)據建模應用實戰(zhàn)
課程編號:32162
課程價格:¥26000/天
課程時長:3 天
課程人氣:365
- 課程說明
- 講師介紹
- 選擇同類課
業(yè)務支撐、網絡中心、IT系統(tǒng)部、數(shù)據分析部等對業(yè)務數(shù)據分析有較高要求的相關專業(yè)人員。
【培訓收益】
第一部分:數(shù)據建模基本過程
1、預測建模六步法
選擇模型:基于業(yè)務選擇恰當?shù)臄?shù)據模型
屬性篩選:選擇對目標變量有顯著影響的屬性來建模
訓練模型:采用合適的算法對模型進行訓練,尋找到最合適的模型參數(shù)
評估模型:進行評估模型的質量,判斷模型是否可用
優(yōu)化模型:如果評估結果不理想,則需要對模型進行優(yōu)化
應用模型:如果評估結果滿足要求,則可應用模型于業(yè)務場景
2、數(shù)據挖掘常用的模型
數(shù)值預測模型:回歸預測、時序預測等
分類預測模型:邏輯回歸、決策樹、神經網絡、支持向量機等
市場細分:聚類、RFM、PCA等
產品推薦:關聯(lián)分析、協(xié)同過濾等
產品優(yōu)化:回歸、隨機效用等
產品定價:定價策略/最優(yōu)定價等
3、屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關性判斷
因子合并(PCA等)
IV值篩選(評分卡使用)
基于信息增益判斷(決策樹使用)
4、模型評估
模型質量評估指標:R^2、正確率/查全率/查準率/特異性等
預測值評估指標:MAD、MSE/RMSE、MAPE、概率等
模型評估方法:留出法、K拆交叉驗證、自助法等
其它評估:過擬合評估
5、模型優(yōu)化
優(yōu)化模型:選擇新模型/修改模型
優(yōu)化數(shù)據:新增顯著自變量
優(yōu)化公式:采用新的計算公式
6、模型實現(xiàn)算法(暫略)
7、好模型是優(yōu)化出來的
案例:通信客戶流失分析及預警模型
第二部分:屬性篩選方法
問題:如何選擇合適的屬性來進行建模預測?
比如:價格是否可用于產品銷量的預測?套餐的合理性是否會影響客戶流失?在欺詐風險中有哪些數(shù)據會有異常表現(xiàn)?
1、屬性篩選/變量降維的常用方法
基于變量本身特征來選擇屬性
基于數(shù)據間的相關性來選擇屬性
基于因子合并(如PCA分析)實現(xiàn)變量的合并
利用IV值篩選
基于信息增益來選擇屬性
2、相關分析(衡量變量間的線性相關性)
問題:這兩個屬性是否會相互影響?影響程度大嗎?
相關分析簡介
相關分析的三個種類
簡單相關分析
偏相關分析
距離相關分析
相關系數(shù)的三種計算公式
Pearson相關系數(shù)
Spearman相關系數(shù)
Kendall相關系數(shù)
相關分析的假設檢驗
相關分析的四個基本步驟
演練:體重與腰圍的關系
演練:營銷費用會影響銷售額嗎
演練:哪些因素與汽車銷量有相關性
演練:通信費用與開通月數(shù)的相關分析
偏相關分析
偏相關原理:排除不可控因素后的兩變量的相關性
偏相關系數(shù)的計算公式
偏相關分析的適用場景
距離相關分析
3、方差分析(衡量類別變量與數(shù)據變量的相關性)
問題:哪些才是影響銷量的關鍵因素?
方差分析的應用場景
方差分析的三個種類
單因素方差分析
多因素方差分析
協(xié)方差分析
方差分析的原理
方差分析的四個步驟
解讀方差分析結果的兩個要點
演練:終端擺放位置與終端銷量有關嗎
演練:開通月數(shù)對客戶流失的影響分析
演練:客戶學歷對消費水平的影響分析
演練:廣告和價格是影響終端銷量的關鍵因素嗎
演練:營業(yè)員的性別、技能級別對產品銷量有影響嗎
演練:尋找影響產品銷量的關鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結果的解讀
演練:廣告形式、地區(qū)對銷量的影響因素分析(多因素)
協(xié)方差分析原理
協(xié)方差分析的適用場景
演練:飼料對生豬體重的影響分析(協(xié)方差分析)
4、列聯(lián)分析/卡方檢驗(兩類別變量的相關性分析)
交叉表與列聯(lián)表
卡方檢驗的原理
卡方檢驗的幾個計算公式
列聯(lián)表分析的適用場景
案例:套餐類型對客戶流失的影響分析
案例:學歷對業(yè)務套餐偏好的影響分析
案例:行業(yè)/規(guī)模對風控的影響分析
5、相關性分析各種方法的適用場景
6、主成份分析(PCA)
因子分析的原理
因子個數(shù)如何選擇
如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
第三部分:回歸預測模型篇
問題:如何預測產品的銷量/銷售金額?如果產品跟隨季節(jié)性變動,該如何預測?新產品上市,如果評估銷量上限及銷售增速?
1、常用的數(shù)值預測模型
回歸預測
時序預測
2、回歸預測/回歸分析
問題:如何預測未來的銷售量(定量分析)?
回歸分析的基本原理和應用場景
回歸分析的種類(一元/多元、線性/曲線)
得到回歸方程的四種常用方法
Excel函數(shù)
散點圖+趨勢線
線性回歸工具
規(guī)范求解
線性回歸分析的五個步驟
回歸方程結果的解讀要點
評估回歸模型質量的常用指標
評估預測值的準確度的常用指標
演練:散點圖找推廣費用與銷售額的關系(一元線性回歸)
演練:推廣費用、辦公費用與銷售額的關系(多元線性回歸)
演練:讓你的營銷費用預算更準確
演練:如何選擇最佳的回歸預測模型(曲線回歸)
帶分類變量的回歸預測
演練:汽車季度銷量預測
演練:工齡、性別與終端銷量的關系
演練:如何評估銷售目標與資源配置(營業(yè)廳)
3、自動篩選不顯著自變量
第四部分:回歸預測模型優(yōu)化篇
1、回歸分析的基本原理
三個基本概念:總變差、回歸變差、剩余變差
方程的顯著性檢驗:是否可以做回歸分析?
因素的顯著性檢驗:自變量是否可用?
擬合優(yōu)度檢驗:回歸模型的質量評估?
理解標準誤差的含義:預測的準確性?
2、回歸模型優(yōu)化思路:尋找最佳回歸擬合線
如何處理預測離群值(剔除離群值)
如何剔除非顯著因素(剔除不顯著因素)
如何進行非線性關系檢驗(增加非線性自變量)
如何進行相互作用檢驗(增加相互作用自變量)
如何進行多重共線性檢驗(剔除共線性自變量)
如何檢驗誤差項(修改因變量)
如何判斷模型過擬合(模型過擬合判斷)
案例:模型優(yōu)化案例
3、規(guī)劃求解工具簡介
4、自定義回歸模型(如何利用規(guī)劃求解進行自定義模型)
案例:如何對餐廳客流量進行建模及模型優(yōu)化
5、好模型都是優(yōu)化出來的
第五部分:分類預測模型
問題:如何評估客戶購買產品的可能性?或者說,影響客戶購買意向的產品關鍵特性是什么?
1、分類預測模型概述
2、常見分類預測模型
3、評估分類模型的常用指標
正確率、查全率/查準率、特異性等
4、邏輯回歸分析模型(LR)
問題:如果評估用戶是否購買產品的概率?
邏輯回歸模型原理及適用場景
邏輯回歸的種類
二項邏輯回歸
多項邏輯回歸
如何解讀邏輯回歸方程
帶分類自變量的邏輯回歸分析
多項邏輯回歸
案例:如何評估用戶是否會購買某產品(二項邏輯回歸)
案例:多品牌選擇模型分析(多項邏輯回歸)
5、決策樹分類(DT)
問題:如何提取客戶流失者、拖欠貨款者的特征?如何預測其流失的概率?
決策樹分類的原理
決策樹的三個關鍵問題
如何選擇最佳屬性來構建節(jié)點
如何分裂變量
如何修剪決策樹
選擇最優(yōu)屬性
熵、基尼索引、分類錯誤
屬性劃分增益
如何分裂變量
多元劃分與二元劃分
連續(xù)變量離散化(最優(yōu)劃分點)
修剪決策樹
剪枝原則
預剪枝與后剪枝
構建決策樹的四個算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型?
案例:識別銀行欠貨風險,提取欠貨者的特征
案例:客戶流失預警與客戶挽留模型
6、人工神經網絡(ANN)
神經網絡概述
神經網絡基本原理
神經網絡的結構
神經網絡的建立步驟
神經網絡的關鍵問題
BP反向傳播網絡(MLP)
徑向基網絡(RBF)
案例:評估銀行用戶拖欠貨款的概率
7、判別分析(DA)
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例:MBA學生錄取判別分析
案例:上市公司類別評估
8、最近鄰分類(KNN)
基本原理
關鍵問題
9、貝葉斯分類(NBN)
貝葉斯分類原理
計算類別屬性的條件概率
估計連續(xù)屬性的條件概率
貝葉斯網絡種類:TAN/馬爾科夫毯
預測分類概率(計算概率)
案例:評估銀行用戶拖欠貨款的概率
10、支持向量機(SVM)
SVM基本原理
線性可分問題:最大邊界超平面
線性不可分問題:特征空間的轉換
維空難與核函數(shù)
第六部分:分類模型優(yōu)化篇(集成方法)
1、集成方法的基本原理:利用弱分類器構建強分類模型
選取多個數(shù)據集,構建多個弱分類器
多個弱分類器投票決定
2、集成方法/元算法的種類
Bagging算法
Boosting算法
3、Bagging原理
如何選擇數(shù)據集
如何進行投票
隨機森林
4、Boosting的原理
AdaBoost算法流程
樣本選擇權重計算公式
分類器投票權重計算公式
第七部分:時序預測模型
問題:無法找到影響因素,無法回歸建模,怎么辦?隨著業(yè)務受季節(jié)性因素影響,未來的銷量如何預測?
1、時序序列簡介
2、時序分析的原理及應用場景
3、常見時序預測模型
1、評估預測值的準確度指標
平均絕對誤差MAD
均方差MSE/RMSE
平均誤差率MAPE
4、移動平均
應用場景及原理
移動平均種類
一次移動平均
二次移動平均
加權移動平均
移動平均比率法
移動平均關鍵問題
最佳期數(shù)N的選擇原則
最優(yōu)權重系數(shù)的選取原則
演練:平板電腦銷量預測及評估
演練:快銷產品季節(jié)銷量預測及評估
5、指數(shù)平滑
應用場景及原理
最優(yōu)平滑系數(shù)的選取原則
指數(shù)平滑種類
一次指數(shù)平滑
二次指數(shù)平滑(Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù))
三次指數(shù)平滑
演練:煤炭產量預測
演練:航空旅客量預測及評估
6、溫特期季節(jié)性預測模型
適用場景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練:汽車銷量預測及評估
7、回歸季節(jié)預測模型
季節(jié)性回歸模型的參數(shù)
基于時期t的相加模型
基于時期t的相乘模型
怎樣解讀模型的含義
案例:美國航空旅客里程的季節(jié)性趨勢分析
8、新產品預測模型與S曲線
新產品累計銷量的S曲線模型
如何評估銷量增長的上限以及拐點
珀爾曲線與龔鉑茲曲線
案例:如何預測產品的銷售增長拐點,以及銷量上限
演戲:預測IPad產品的銷量
第八部分:銀行信用評分卡模型
1、信用評分卡模型簡介
2、評分卡的關鍵問題
3、信用評分卡建立過程
篩選重要屬性
數(shù)據集轉化
建立分類模型
計算屬性分值
確定審批閾值
4、篩選重要屬性
屬性分段
基本概念:WOE、IV
屬性重要性評估
5、數(shù)據集轉化
連續(xù)屬性最優(yōu)分段
計算屬性取值的WOE
6、建立分類模型
訓練邏輯回歸模型
評估模型
得到字段系數(shù)
7、計算屬性分值
計算補償與刻度值
計算各字段得分
生成評分卡
8、確定審批閾值
畫K-S曲線
計算K-S值
獲取最優(yōu)閾值
第九部分:實戰(zhàn)篇(電信業(yè)客戶流失分析模型)
1、商業(yè)理解
業(yè)務背景
如何定義流失
2、分析思路
流失客戶的典型特征是什么?
預測哪些高價值客戶可能會流失?
市場挽留的預計收益是多少?
3、數(shù)據收集
客戶基本信息
客戶行為數(shù)據
客戶交互數(shù)據
客戶態(tài)度數(shù)據
4、數(shù)據預處理
變量衍生(數(shù)據波動)
探索性分析
屬性篩選
5、數(shù)據建模
如何選擇模型
聚類
決策樹或神經網絡
模型評估
6、模型應用
結束:課程總結與問題答疑。
-
大數(shù)據及人工智能背景下消費和小微信貸線上獲客、產品設計、風控應對策略
第一部分:金融科技發(fā)展狀況的介紹一、金融科技的現(xiàn)狀與發(fā)展趨勢(一)宏觀背景1、金融科技(支付寶人臉識別技術、APPLEPAY、虹膜技術、二維碼支付技術)2、利率市場化3、金融脫媒(二)移動互聯(lián)技術的發(fā)展使互聯(lián)網金融成為可能1、移動互聯(lián)網技術2、移動支付技術3、H5、APP(三)互聯(lián)網金融對傳統(tǒng)銀行資產業(yè)務的顛覆和沖..
-
【課程導言】:移動互聯(lián)時代下,實體門店面臨巨大的挑戰(zhàn),同時也是一種機會。馬云說:不是實體門店不行了,而是你的實體門店不行了。面臨新的沖擊實體店如何進行創(chuàng)新,如何守住老陣地,如何利用新武器,這是所有實體連鎖共同面臨的問題。課程從互聯(lián)網環(huán)境對我們的實體店挑戰(zhàn)和我們面臨的消費者消費習慣和方式的的變化入手,通過分析新零售良品鋪子,海瀾之家,名創(chuàng)優(yōu)品的..
-
課程背景:未來人貨場一切數(shù)字化,數(shù)據將成為一種資源,沒有數(shù)據沒有未來,企業(yè)如何構建自己的大數(shù)據未來?人工智能已經來臨,人工智能在營銷板塊的應用本質就是大數(shù)據營銷!企業(yè)的ERP、CRM、報表等等僅僅是零散的死數(shù)據,如何激活流動產生閉環(huán),產生效益?經驗將成為負債,未來將利用數(shù)據產品規(guī)劃、定位、策劃、人群分析、活動策劃,數(shù)據成為商業(yè)的起點!人為..
-
電商互聯(lián)網智能商業(yè):大數(shù)據營銷分析與落地實踐
課程背景:數(shù)據是未來企業(yè)唯一資源,大數(shù)據營銷意味著高效、精準、成本低、全自動化,讓企業(yè)從人海戰(zhàn)、廣告戰(zhàn)、渠道戰(zhàn)的泥潭中拔出來為什么搜索廣告效果差了?為什么團購效果也差了?為什么傳統(tǒng)的用戶細分、STP在大數(shù)據提出的用戶畫像面前蒼白了?為什么獨角獸全靠增長黑客模式崛起?企業(yè)未來如何搭建科學的大數(shù)據營銷隊伍,建立科學的數(shù)字營銷體!通過互動獲取數(shù)據,..
-
一、運營商網絡架構和技術選擇1.運營商網絡架構2.運營商業(yè)務類型3.接入網技術選擇4.不同業(yè)務的技術實現(xiàn)二、全業(yè)務運營技術實現(xiàn)1.集團業(yè)務分類及特點2.集團高等級業(yè)務特點及業(yè)務場景3.集團低等級業(yè)務特點及業(yè)務場景4.集團高、低等級業(yè)務要求及技術選擇5.數(shù)據專線業(yè)務及技術實現(xiàn)6.互聯(lián)網專線業(yè)務及技術實現(xiàn)7.集..
-
大數(shù)據、物聯(lián)網、云計算行業(yè)應用及發(fā)展趨勢
一、信息通信產業(yè)發(fā)展的背景和趨勢1、信息通信產業(yè)用戶現(xiàn)狀和發(fā)展趨勢2、國內外信息化發(fā)展戰(zhàn)略3、中國信息化發(fā)展現(xiàn)狀和趨勢4、信息通信網絡發(fā)展趨勢5、電信業(yè)轉型新趨勢二、ICT前沿技術(一)云計算1、云計算發(fā)展的商業(yè)動力與技術趨勢1.1云計算基本概念1.2云計算的商業(yè)動力:企業(yè)ICT轉型1.3云計算特點..