數(shù)據(jù)分析中會(huì)常犯哪些錯(cuò)誤,如何解決?

36大數(shù)據(jù)
鄒昕
經(jīng)典的冰淇凌銷量和游泳溺水人數(shù)成正比的數(shù)據(jù),這并不能說(shuō)明冰淇凌銷量的增加會(huì)導(dǎo)致更多的人溺水,而只能說(shuō)明二者相關(guān),比如因?yàn)樘鞜崴远邤?shù)量都增加了。這個(gè)例子比較明顯,說(shuō)起來(lái)可能會(huì)有人覺(jué)得怎么會(huì)有人犯這樣的錯(cuò)誤,然而在實(shí)際生活、學(xué)習(xí)、工作中,時(shí)不時(shí)的就會(huì)有人犯這樣的錯(cuò)誤。

錯(cuò)把相關(guān)性當(dāng)成因果性 correlation vs. causation

經(jīng)典的冰淇凌銷量和游泳溺水人數(shù)成正比的數(shù)據(jù),這并不能說(shuō)明冰淇凌銷量的增加會(huì)導(dǎo)致更多的人溺水,而只能說(shuō)明二者相關(guān),比如因?yàn)樘鞜崴远邤?shù)量都增加了。這個(gè)例子比較明顯,說(shuō)起來(lái)可能會(huì)有人覺(jué)得怎么會(huì)有人犯這樣的錯(cuò)誤,然而在實(shí)際生活、學(xué)習(xí)、工作中,時(shí)不時(shí)的就會(huì)有人犯這樣的錯(cuò)誤。

舉個(gè)栗子

數(shù)據(jù)顯示,當(dāng)科比出手10-19次時(shí),湖人的勝率是71.5%;當(dāng)科比出手20-29次時(shí),湖人的勝率驟降到60.8%;而當(dāng)科比出手30次或者更多時(shí),湖人的勝率只有41.7%。

根據(jù)這組數(shù)據(jù),為了贏球,科比應(yīng)該少出手?并不一定如此。有可能科比出手少的時(shí)候是因?yàn)殛?duì)友狀態(tài)好,并不需要他出手太多。也有可能是因?yàn)榍蜿?duì)早早領(lǐng)先,垃圾時(shí)間太多。而出手太多的比賽是因?yàn)楸荣惼D難或者隊(duì)友狀態(tài)不好,需要他挺身而出。當(dāng)然,以上也只是可能之一,具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結(jié)論。

幸存者偏差 survivorship bias

數(shù)據(jù)分析中看到的樣本是“幸存了某些經(jīng)歷”才被觀察到的,進(jìn)而導(dǎo)致結(jié)論不正確。

比如比爾蓋茨、喬布斯、扎克伯格都沒(méi)有念完大學(xué),所以大家都應(yīng)該退學(xué)去創(chuàng)業(yè)。這一結(jié)論的最大問(wèn)題在于那些退學(xué)而又沒(méi)有成功的例子,很多時(shí)候我們是看不到的。另一方面,他們是因?yàn)榕1撇磐藢W(xué),而不是退學(xué)才牛逼的,看,相關(guān)性/因果性真是限魂不散。

再比如 Uber 發(fā)現(xiàn)新用戶有10塊錢(qián)優(yōu)惠券,但是平均評(píng)價(jià)卻只有3星。相反,第二次再用的時(shí)候沒(méi)有優(yōu)惠券了,評(píng)價(jià)卻高達(dá)4星半。這說(shuō)明,不給優(yōu)惠券用戶評(píng)價(jià)會(huì)更高,果然用戶雖然愛(ài)用優(yōu)惠券,但內(nèi)心還是覺(jué)得便宜沒(méi)好東西的?很明顯,幸存者偏差在這個(gè)例子里體現(xiàn)在那些打一星二星評(píng)價(jià)的用戶,之后可能就沒(méi)有第二次了。更明顯的,這個(gè)例子是我瞎扯的。

樣本跟整體存在著本質(zhì)的不同

以知乎為例,會(huì)有種錯(cuò)覺(jué)人人年薪百萬(wàn),985/211起,各種GFSBFM,天朝收入水平直逼灣區(qū)碼工。然而一方面這是幸存者偏差,知乎大V們的發(fā)聲更容易被看到(看,幸存者偏差也是陰魂不散)。另一方面,不要小瞧知乎跟天朝網(wǎng)民的差別,以及天朝網(wǎng)民跟天朝老百姓的差別–樣本跟整體的差別。

類似的例子有水木的工作版塊、步行街的收入和華人網(wǎng)站的貧困線。

過(guò)于追逐統(tǒng)計(jì)上的顯著性 statistical significance

統(tǒng)計(jì)101告訴我們,要比較兩組數(shù)是否不同,最基本的一點(diǎn)可以看它們的區(qū)別是不是統(tǒng)計(jì)上顯著。比如 Linkedin 又要改版了(我為什么要說(shuō)又呢),有兩個(gè)版本 A 和 B. 灰度測(cè)試發(fā)現(xiàn),跟現(xiàn)有版本比起來(lái),A 的日活比現(xiàn)有版本高20%,但是統(tǒng)計(jì)不顯著。而 B 的日活跟現(xiàn)有版本雖然只高了3%,但是統(tǒng)計(jì)顯著。于是 PM 拿出統(tǒng)計(jì)101翻到第二頁(yè)說(shuō),來(lái),咱們把統(tǒng)計(jì)顯著的版本 B 上線吧??啾频臄?shù)據(jù)科學(xué)家 DS 說(shuō),等一下!并不是所有時(shí)候都選統(tǒng)計(jì)顯著的那一個(gè),咱們?cè)倏纯窗姹?A 的數(shù)據(jù)吧(具體分析略過(guò)一萬(wàn)字)。

很顯然,這個(gè)例子也是我瞎扯的。

不做數(shù)據(jù)可視化,以及更可怕的:做出錯(cuò)誤或者帶誤導(dǎo)性的數(shù)據(jù)可視化

在趨勢(shì)圖中,為了說(shuō)明增長(zhǎng)趨勢(shì)多明顯,把Y調(diào)成不從0開(kāi)始。這樣差距會(huì)看起來(lái)很大,增長(zhǎng)很大,但是如果把Y軸從0開(kāi)始看的話,會(huì)顯得基本沒(méi)有差距。

(一下步就是要編排一個(gè) twitter 的例子了23333,因?yàn)閿?shù)據(jù)分析表明,有 twitter 公司這樣的例子讀起來(lái)會(huì)更有趣)

數(shù)據(jù)分析提供的結(jié)果和建議不具有可行性

twitter通過(guò)分析文本數(shù)據(jù)發(fā)現(xiàn)。。。

算了,我編不出來(lái),由此可見(jiàn),不具有可行性的結(jié)果雖然是“理論正確‘的分析結(jié)果,然并卵。。。

不做數(shù)據(jù)分析

別笑,據(jù)以前的校內(nèi)后來(lái)的人人現(xiàn)在不知道叫什么的 PM 說(shuō),這是真的。(開(kāi)個(gè)玩笑,人人的同仁要是介意的話我刪掉)

最后的大招:如何解釋 p-value

具體我就不講了, 講錯(cuò)了我明天還怎么面對(duì)老板和同事啊。

 

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論