“大數(shù)據(jù)”并不是全能的,千萬(wàn)不要把它神化

搜狐號(hào)
佚名
“大數(shù)據(jù)”這個(gè)詞語(yǔ)相信大家都耳熟能詳,這個(gè)被傳的神乎其神的詞語(yǔ)究竟有有什么魔力?其實(shí)在小編看來(lái),我們可能把“大數(shù)據(jù)”過(guò)度神化了,我們總是認(rèn)為它無(wú)所不能,其實(shí),像一些類(lèi)似于“先...

大數(shù)據(jù)”這個(gè)詞語(yǔ)相信大家都耳熟能詳,這個(gè)被傳的神乎其神的詞語(yǔ)究竟有有什么魔力?其實(shí)在小編看來(lái),我們可能把“大數(shù)據(jù)”過(guò)度神化了,我們總是認(rèn)為它無(wú)所不能,其實(shí),像一些類(lèi)似于“先有雞還是先有蛋”的問(wèn)題“大數(shù)據(jù)”并不能完美的詮釋?zhuān)€需要大數(shù)據(jù)加傳統(tǒng)民調(diào)和小數(shù)據(jù)的結(jié)合才有可能找到答案。

如果說(shuō)下水道是一個(gè)城市的良心,那么廁所就是一座城市的門(mén)臉。

很多年前,人們就發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象:一個(gè)城市的文明程度可以從其廁所的衛(wèi)生程度反映出來(lái),廁所越干凈、城市越發(fā)達(dá)。但直到今天,大數(shù)據(jù)無(wú)法解釋這背后的原因:究竟是城市發(fā)達(dá)了廁所自然就干凈,還是廁所干凈了也會(huì)促進(jìn)城市的發(fā)展。

對(duì)于這樣「先有雞還是先有蛋的問(wèn)題」,還需要大數(shù)據(jù)加傳統(tǒng)民調(diào)和小數(shù)據(jù)的結(jié)合才有可能找到答案。

1. 谷歌為何只猜對(duì)了一次?

感謝維克托·邁爾·舍恩伯格、馬云們孜孜不倦地布道,大數(shù)據(jù)現(xiàn)在幾乎成了全球先進(jìn)生產(chǎn)力的標(biāo)志,而且?guī)缀醣毁x予萬(wàn)能的希望。

在《大數(shù)據(jù)時(shí)代》一書(shū)中,舍恩伯格的確總結(jié)了相對(duì)傳統(tǒng)小數(shù)據(jù)的三大特點(diǎn):非隨機(jī)樣本,而是全體數(shù)據(jù);非精確性,而是混雜性;非因果關(guān)系,而是相關(guān)關(guān)系。

最先證實(shí)大數(shù)據(jù)強(qiáng)大能力的乃是谷歌。

2009年在H1N1爆發(fā)幾周前,谷歌公司的工程師們?cè)贜ature上發(fā)表了一篇論文介紹GFT,成功預(yù)測(cè)了H1N1在全美范圍的傳播,甚至具體到特定的地區(qū)和州,而且判斷非常及時(shí),令公共衛(wèi)生官員們和計(jì)算機(jī)科學(xué)家們倍感震驚。

但是,在隨后的幾年當(dāng)中,谷歌這一預(yù)測(cè)卻屢屢失靈,以至于在2014年美國(guó)著名的《科學(xué)》期刊刊登的一篇題為《谷歌流感的寓言:大數(shù)據(jù)分析的陷阱》的文章稱(chēng):

很大一部分與疾控中心流感發(fā)生率數(shù)據(jù)相關(guān)的搜索詞,并非是得流感的人引起的,而是由影響搜索模式和流感傳播的第三個(gè)因素(季節(jié))產(chǎn)生的。谷歌流感趨勢(shì)的開(kāi)發(fā)人員發(fā)現(xiàn)那些特定的搜索詞是隨時(shí)間而發(fā)生變化的,但這些搜索顯然與病毒無(wú)關(guān)。比如,有的人可能僅僅是因?yàn)榭戳艘徊侩娪盎蛘呶恼露ニ阉髁鞲小?/p>

調(diào)查撰寫(xiě)這篇文章的哈佛大學(xué)、美國(guó)東北大學(xué)的幾位學(xué)者認(rèn)為,大數(shù)據(jù)的分析是很復(fù)雜的,但由于大數(shù)據(jù)的收集過(guò)程,很難保證像傳統(tǒng)小數(shù)據(jù)那樣縝密,難免會(huì)出現(xiàn)失準(zhǔn)的情況。最核心的問(wèn)題是,大數(shù)據(jù)分析側(cè)重相關(guān)性,導(dǎo)致在推導(dǎo)因果關(guān)系時(shí)容易出現(xiàn)誤差。

他們建議,應(yīng)該把大數(shù)據(jù)與小數(shù)據(jù)相結(jié)合,以「全數(shù)據(jù)」思維取代「大數(shù)據(jù)」思維。

2. 了不起的蓋洛普

前不久,清華附小六年級(jí)學(xué)生一篇題為《大數(shù)據(jù)幫你進(jìn)一步認(rèn)識(shí)蘇軾》的小論文,被冠以大數(shù)據(jù)之名,這里的大數(shù)據(jù)其實(shí)是不折不扣的小數(shù)據(jù),更確切地說(shuō)只是用量化方式呈現(xiàn)了一個(gè)「數(shù)據(jù)化」的蘇東坡。

這只是「炒作大數(shù)據(jù)」的一個(gè)縮影。

事實(shí)上,全球擁有真正意義上大數(shù)據(jù)的公司并不多,而擁有分析大數(shù)據(jù)能力的公司更是鳳毛麟角。斯坦福大學(xué)統(tǒng)計(jì)學(xué)教授Trevor Hastie曾比喻分析大數(shù)據(jù)的過(guò)程,就好比在一大堆干草垛中發(fā)現(xiàn)有意義的「針」,而困難之處恰恰在于很多干草看起來(lái)也像針。

大數(shù)據(jù)的不易得和分析的高難度,注定了其進(jìn)入門(mén)檻的高聳。但是,傳統(tǒng)民意調(diào)查所形成的小數(shù)據(jù)有著顯著的優(yōu)勢(shì):樣本的充分代表性、可操作、快速采集分析。

上世紀(jì)三十年代,美國(guó)數(shù)學(xué)家喬治·蓋洛普通過(guò)建立與美國(guó)全體選民結(jié)構(gòu)一致的5000個(gè)調(diào)查樣本,成功地預(yù)測(cè)了羅斯福將贏得1936年總統(tǒng)選舉。這位宣稱(chēng)「我能用統(tǒng)計(jì)的方法證明上帝的存在」的蓋洛普先生開(kāi)啟了現(xiàn)代民意測(cè)驗(yàn)的商業(yè)化道路。

在大數(shù)據(jù)魚(yú)龍混雜的濁流中,傳統(tǒng)民意調(diào)查無(wú)疑是一個(gè)更靠譜的預(yù)測(cè)方式。二胎政策出臺(tái)后,如果想了解人們真實(shí)的生育目的,按照大數(shù)據(jù)全樣本的標(biāo)準(zhǔn)幾乎無(wú)法操作,但是通過(guò)傳統(tǒng)民調(diào)卻能夠快速了解情況。

南京航空航天大學(xué)教授張杰,在2016年初針對(duì)10萬(wàn)人的問(wèn)卷調(diào)查顯示,近四成人沒(méi)有生育二胎的打算,已有女孩的家庭生育欲望更強(qiáng),時(shí)間精力、經(jīng)濟(jì)狀況不佳是國(guó)人不敢生二胎的主要原因。

此次二胎意愿調(diào)查之所以能回收高達(dá)10萬(wàn)份問(wèn)卷,一則說(shuō)明受訪者對(duì)這個(gè)問(wèn)題關(guān)注面比較廣,二則體現(xiàn)了在線問(wèn)卷更有利于保護(hù)隱私的優(yōu)點(diǎn),畢竟與生育相關(guān)的話題涉及個(gè)人隱私,傳統(tǒng)線下一對(duì)一問(wèn)卷調(diào)查,會(huì)讓受訪者不太自在。

3. 激活沉默的大多數(shù)

如果說(shuō)大數(shù)據(jù)只有大機(jī)構(gòu)才有能力獲取,如今類(lèi)似在線民調(diào)小工具則賦能普通大眾獲得便利的調(diào)研能力,比大數(shù)據(jù)更能體現(xiàn)互聯(lián)網(wǎng)的普惠和平權(quán)特征。

中國(guó)的網(wǎng)民人數(shù)已經(jīng)超過(guò)7億,互聯(lián)網(wǎng)的滲透率超過(guò)50%,但是網(wǎng)絡(luò)輿論并不等同于網(wǎng)絡(luò)民意,一個(gè)重要原因是,網(wǎng)民不能代表現(xiàn)實(shí)中全體公民,而且活躍網(wǎng)民也不能代表全體網(wǎng)民。

復(fù)旦大學(xué)傳播與國(guó)家治理研究中心研究團(tuán)隊(duì)在2014年的一份研究報(bào)告稱(chēng):

在結(jié)構(gòu)上,網(wǎng)民主要分布在社會(huì)中間階層,社會(huì)高層和底層人群較少,尤其是占中國(guó)總?cè)丝谳^大比例的農(nóng)民或外出務(wù)工人員群體,雖然近兩年有一定增長(zhǎng),但在網(wǎng)民中所占比例仍然較低,他們正是網(wǎng)絡(luò)中沉默的大多數(shù)。

只需勾選、簡(jiǎn)單輸入的在線問(wèn)卷,為普羅大眾理性表達(dá)意見(jiàn)提供一個(gè)便利渠道。

傳統(tǒng)民調(diào)和今天的在線民調(diào)都面臨一個(gè)共同問(wèn)題:如何提高受訪者的參與率。首先,民調(diào)拒訪率逐年增高,受訪率不斷降低。根據(jù)皮尤中心的報(bào)告,美國(guó)民調(diào)回復(fù)率1997年為36%,2000年為28%,2006年15%,2013年9%,2015年只有7%。

4. 有民調(diào)處有金山

大數(shù)據(jù)可以幫助我們推導(dǎo)出著名的口紅效應(yīng)(因經(jīng)濟(jì)蕭條而導(dǎo)致口紅熱賣(mài))、廁所效應(yīng)(城市越發(fā)達(dá)廁所越干凈)、以及著名的啤酒與尿布銷(xiāo)售故事,但無(wú)法給出因果分析,要想從中得到具體的商業(yè)建議,還得需要提取樣本進(jìn)行傳統(tǒng)調(diào)查式的分析。

如果說(shuō),大數(shù)據(jù)分析可以說(shuō)是一種縱向的推斷,是變量間相關(guān)關(guān)系的推斷,那么問(wèn)卷調(diào)查是基于樣本推斷總體,是一種橫向的、由點(diǎn)到面的推斷,尤其有助于商家快速了解用戶(hù)偏好。

大數(shù)據(jù)連接了千百萬(wàn)的數(shù)據(jù)點(diǎn),可以準(zhǔn)確地產(chǎn)生相互關(guān)系。但是,當(dāng)人類(lèi)按照自己的習(xí)慣行動(dòng)時(shí),大數(shù)據(jù)分析通常不會(huì)十分準(zhǔn)確。所以挖掘用戶(hù)需求時(shí),在大數(shù)據(jù)之外,更重要的是通過(guò)對(duì)一個(gè)小群體的親身觀察和小數(shù)據(jù)常識(shí),捕捉到這個(gè)社會(huì)群體所體現(xiàn)出的文化欲望。

相比大數(shù)據(jù),人們更容易從小數(shù)據(jù)中獲得更有價(jià)值的商業(yè)洞察。

騰訊新聞曾聯(lián)合一家牙膏企業(yè),向三萬(wàn)多人發(fā)起了一次過(guò)敏口腔健康調(diào)查問(wèn)卷,結(jié)果發(fā)現(xiàn),發(fā)現(xiàn)口腔問(wèn)題時(shí),越年輕的受調(diào)查者越傾向于等待口腔問(wèn)題自行緩解,但女性比男性更愿意嘗試購(gòu)買(mǎi)多種口腔護(hù)理用品。同時(shí)發(fā)現(xiàn),漱口水是牙膏之外最受歡迎的口腔護(hù)理產(chǎn)品。

這份調(diào)查對(duì)于生產(chǎn)口腔護(hù)理產(chǎn)品的公司來(lái)說(shuō),至少提供了三點(diǎn)有價(jià)值的市場(chǎng)信息:第一、開(kāi)展針對(duì)年輕消費(fèi)者的口腔健康意識(shí)教育,有助于擴(kuò)大用戶(hù)群體;第二、加大針對(duì)女性的市場(chǎng)促銷(xiāo)活動(dòng),有助于進(jìn)一步刺激銷(xiāo)售增長(zhǎng);第三,漱口水的市場(chǎng)空間廣大,具備開(kāi)拓價(jià)值。

在互聯(lián)網(wǎng)時(shí)代,通過(guò)在線民調(diào)形成針對(duì)用戶(hù)個(gè)人的小數(shù)據(jù),依然是了解用戶(hù)偏好的捷徑。但無(wú)論是傳統(tǒng)的小樣本民調(diào),還是全樣本的大數(shù)據(jù)分析,事實(shí)上面臨著一個(gè)共同難題:如何提升數(shù)據(jù)分析能力,如何將數(shù)據(jù)與人的心理、行為聯(lián)系起來(lái)。這正是預(yù)測(cè)的神秘和魅力所在。

THEEND

最新評(píng)論(評(píng)論僅代表用戶(hù)觀點(diǎn))

更多
暫無(wú)評(píng)論