當涉及大數(shù)據(jù)和高級分析的話題時,熱鬧非凡。頂級分析公司就這些概念所采取的措施可以為數(shù)字時代的企業(yè)帶來革命性的變化進行了廣泛的撰寫。世界各地的《財富》500強公司都在大數(shù)據(jù)和高級分析方面進行了大量投資,并從中受益匪淺。問題在于,許多公司也希望取得令人難以置信的成果,但不確定確切的起點。
高級分析通常始于單個用例。這包括應(yīng)用新的數(shù)據(jù)轉(zhuǎn)換和分析方法來發(fā)現(xiàn)數(shù)據(jù)中以前未知的趨勢和模式。當將此新信息應(yīng)用于業(yè)務(wù)流程和操作規(guī)范時,它就有可能改變您的業(yè)務(wù)。
為了從數(shù)據(jù)中獲取更大的價值,請使用以下五類算法。
線性回歸
線性回歸是高級分析的最基本算法之一。這也使其成為使用最廣泛的之一。人們可以輕松地查看其工作方式以及輸入數(shù)據(jù)與輸出數(shù)據(jù)的關(guān)系。
線性回歸使用兩組連續(xù)定量度量之間的關(guān)系。第一組稱為預(yù)測變量或自變量。另一個是響應(yīng)或因變量。線性回歸的目標是以公式的形式識別關(guān)系,該公式根據(jù)自變量描述因變量。一旦這種關(guān)系被量化,就可以為自變量的任何實例預(yù)測因變量。
時間是最常用的自變量之一。無論您的自變量是收入,成本,客戶,使用或生產(chǎn)力,如果您可以定義其與時間的關(guān)系,那么可以使用線性回歸預(yù)測值。
邏輯回歸
Logistic回歸聽起來與線性回歸相似,但實際上專注于涉及分類而不是定量預(yù)測的問題。在這里,輸出變量值是離散且有限的,而不是連續(xù)的,并且具有無限值,就像線性回歸一樣。
邏輯回歸的目標是對輸入變量的實例是否適合類別進行分類。Logistic回歸的輸出值為0到1之間的值。結(jié)果接近1表示輸入變量更清楚地適合類別。結(jié)果接近0表示輸入變量可能不適合該類別。
Logistic回歸通常用于回答明確定義的是或否問題。客戶會再次購買嗎?買家信用值得嗎?潛在客戶會成為客戶嗎?預(yù)測這些問題的答案會在業(yè)務(wù)流程中產(chǎn)生一系列動作,從而有助于增加未來的收入。
分類和回歸樹
分類樹和回歸樹使用決策來對數(shù)據(jù)進行分類。每個決定都是基于與輸入變量之一有關(guān)的問題。有了每個問題和相應(yīng)的答案,數(shù)據(jù)實例就變得更接近以特定方式進行分類了。這組問題和答案以及隨后的數(shù)據(jù)劃分創(chuàng)建了一個樹狀結(jié)構(gòu)。每行問題的末尾都有一個類別。這稱為分類樹的葉節(jié)點。
這些分類樹可能變得非常大和復(fù)雜。控制復(fù)雜性的一種方法是通過修剪樹或有意刪除問題級別以在精確匹配和抽象之間取得平衡。對于輸入值的所有實例(在訓(xùn)練中已知的值和在訓(xùn)練中未知的值)都適用的模型至關(guān)重要。要防止此模型過度擬合,就需要在精確擬合和抽象之間達到微妙的平衡。
分類樹和回歸樹的一種變體稱為隨機森林。隨機森林不是構(gòu)建具有多個邏輯分支的單個樹,而是由許多小的樹和簡單樹組成的頂點,每個樹都評估數(shù)據(jù)實例并確定分類。一旦所有這些簡單的樹完成了其數(shù)據(jù)評估,該過程將合并單個結(jié)果,以基于較小類別的組合來創(chuàng)建類別的最終預(yù)測。這通常稱為合奏方法。這些隨機森林通常在平衡精確匹配和抽象方面做得很好,并且已在許多業(yè)務(wù)案例中成功實現(xiàn)。
與側(cè)重于是或否分類的邏輯回歸相反,分類和回歸樹可用于預(yù)測多值分類。它們也更容易可視化并查看引導(dǎo)算法進行特定分類的確定路徑。
K最近鄰法?(KNN)
K最近鄰法?也是一種分類算法。它被稱為“懶惰學(xué)習(xí)者”,因為該過程的培訓(xùn)階段非常有限。學(xué)習(xí)過程由存儲的訓(xùn)練數(shù)據(jù)集組成。在評估新實例時,將評估到訓(xùn)練集中每個數(shù)據(jù)點的距離,并且基于新數(shù)據(jù)實例與訓(xùn)練實例的接近程度,就該數(shù)據(jù)實例屬于哪個類別達成共識。
根據(jù)訓(xùn)練集的大小和范圍,此算法在計算上可能會很昂貴。由于必須將每個新實例與訓(xùn)練數(shù)據(jù)集的所有實例進行比較并得出距離,因此該過程每次運行都可以使用許多計算資源。
該分類算法允許對數(shù)據(jù)進行多值分類。另外,嘈雜的訓(xùn)練數(shù)據(jù)傾向于使分類傾斜。通常選擇K近鄰,因為它易于使用,易于訓(xùn)練并且易于解釋結(jié)果。當您嘗試查找相似的項目時,它通常在搜索應(yīng)用程序中使用。
K均值聚類
K-均值聚類專注于創(chuàng)建相關(guān)屬性組。這些組稱為群集。一旦創(chuàng)建了這些集群,就可以針對它們評估其他實例,以查看它們最適合的位置。
此技術(shù)通常用作數(shù)據(jù)探索的一部分。首先,分析人員指定群集的數(shù)量。K-means群集過程基于在稱為“質(zhì)心”的公共集線器周圍找到具有相似性的數(shù)據(jù)點,將數(shù)據(jù)分解為該數(shù)量的群集。這些群集與類別不同,因為它們最初沒有業(yè)務(wù)意義。它們只是輸入變量的緊密相關(guān)實例。一旦識別并分析了這些集群,就可以將它們轉(zhuǎn)換為類別,并提供具有業(yè)務(wù)意義的名稱。
經(jīng)常使用K均值聚類是因為它易于使用和解釋,并且速度很快。要注意的一個方面是k均值聚類對異常值極為敏感。這些離群值會極大地改變這些聚類的性質(zhì)和定義,并最終改變分析結(jié)果。
這些是高級分析計劃中使用的一些最受歡迎的算法。每種方法都有優(yōu)缺點,并且可以有效地利用各種方法來產(chǎn)生業(yè)務(wù)價值。實施這些算法的最終目標是進一步優(yōu)化數(shù)據(jù),使結(jié)果信息可以應(yīng)用于業(yè)務(wù)決策。正是此過程為下游流程提供了更精細和更高價值的數(shù)據(jù),這對于公司真正利用其數(shù)據(jù)的價值并實現(xiàn)其所需的結(jié)果至關(guān)重要。