在已有的輿情系統(tǒng)中，決策支持模塊一般處于輿情監(jiān)控系統(tǒng)的服務(wù)層，其功能是通過可視化的界面為用戶提供決策依據(jù)。當前輿情監(jiān)控系統(tǒng)中決策支持層的主要功能有:利用現(xiàn)有模型對輿情信息進行分析，掌控輿情的熱度和發(fā)展態(tài)勢;自動生成各類統(tǒng)計數(shù)據(jù)和輿情報告輔助決策;實時監(jiān)控，發(fā)現(xiàn)重要信息和敏感信息及時預警。在當前輿情監(jiān)控系統(tǒng)中，輿情的應對策略最終由人制定的，缺少智能化的策略推薦系統(tǒng)。Feng Cao，JieDing等提出的輿情監(jiān)測模型中決策支持模塊為一種決策輔助工具，不能自主生成輿情決策策略。當前許多人主要從數(shù)據(jù)的采集和清洗模塊、數(shù)據(jù)的分析模塊和決策支持三大模塊來構(gòu)建輿情分析和決策支持系統(tǒng)。因此，魚君根據(jù)大數(shù)據(jù)處理的相關(guān)技術(shù)提出大數(shù)據(jù)時代輿情分析及決策支持系統(tǒng)構(gòu)架。
麻煩不斷，挑戰(zhàn)不斷
大數(shù)據(jù)處理的相關(guān)技術(shù)與大數(shù)據(jù)時代的到來對現(xiàn)有的數(shù)據(jù)處理技術(shù)帶來了巨大的挑戰(zhàn)， Jin從大數(shù)據(jù)的儲存和管理、計算和分析以及大數(shù)據(jù)安全三個角度分析了大數(shù)據(jù)給現(xiàn)有技術(shù)帶來的挑戰(zhàn)。在數(shù)據(jù)存儲上，當前的數(shù)據(jù)存儲技術(shù)遠遠不能滿足數(shù)據(jù)的增長速度。知于數(shù)據(jù)統(tǒng)計表明，當前數(shù)據(jù)的增長速度仍高于網(wǎng)絡(luò)的承載能力，同時數(shù)據(jù)異質(zhì)性問題減緩了數(shù)據(jù)存儲的速度。為應對數(shù)據(jù)存儲方面的挑戰(zhàn)，商務(wù)智能云推出了各種類型的云服務(wù)用于解決大數(shù)據(jù)的存儲問題。云服務(wù)可以實現(xiàn)以最少的工作或服務(wù)建立一個共享的結(jié)構(gòu)化的計算資源 供應平臺，從而緩解大數(shù)據(jù)存儲問題。但是云服務(wù)相關(guān)的技術(shù)目前處于未成熟期，面臨著數(shù)據(jù)安全、成本、 技術(shù)融合、服務(wù)水平協(xié)議等采納方面的挑戰(zhàn)和云協(xié)同性問題。
在數(shù)據(jù)的分析和計算方面，處理問題的速度是一個重要的現(xiàn)實需求，但是在解決現(xiàn)實問題時需要遍歷數(shù)據(jù)庫中的所有相關(guān)的數(shù)據(jù)，這在大數(shù)據(jù)時代將花費大量的時間。通過數(shù)據(jù)索引技術(shù)解決數(shù)據(jù)遍歷問題是當前的一個重要優(yōu)化手段，但是該方法僅適用于數(shù)據(jù)結(jié)構(gòu)單一的情況。大數(shù)據(jù)結(jié)構(gòu)多樣性的特點要求將合適的索引技術(shù)同持續(xù)更新的預處理技術(shù)結(jié)合來處理該 問題。目前并行處理和分治算法是處理大數(shù)據(jù)問題的通用模式，基于云技術(shù)可以實現(xiàn)成百上千的計算機同時處理大數(shù)據(jù)計算問題，從而降低模型成本和時間成本。Hadoop是當前學術(shù)界和企業(yè)界用來解決大數(shù)據(jù)存儲和分析問題的一個主流技術(shù)，它是 A- pache開源分布系統(tǒng)的構(gòu)架基礎(chǔ)，由 HDFS、MapRe- duce和 HBase組成。陳彥舟等設(shè)計了一個基于 Hadoop的微博輿情監(jiān)控平臺，并通過實驗證明該平臺在分析大規(guī)模微博輿情數(shù)據(jù)的有效性。
大數(shù)據(jù)輿情分析及
決策支持的分層構(gòu)架模型
魚君通過對FengCao，ChengXian-Yi，陳彥舟構(gòu)建的輿情預警系統(tǒng)的模型的歸納并結(jié)合大數(shù)據(jù)處理的相關(guān)技術(shù)和決策支持系統(tǒng)的相關(guān)理論，提出了大數(shù)據(jù)輿情分析與決策支持的分層模型(如 圖3)。該模型分為數(shù)據(jù)搜集與存儲、數(shù)據(jù)分析和決策支持三個模塊，其中數(shù)據(jù)搜集與存儲和數(shù)據(jù)分析模塊在原有的輿情分析系統(tǒng)基礎(chǔ)上增加了大數(shù)據(jù)存儲和分析的技術(shù)，在決策支持模塊增加了專家知識庫。該模型在解決大數(shù)據(jù)存儲和分析問題的同時利用專家知識庫對輿情處理提供針對性的策略，彌補了輿情預警系統(tǒng)中決策支持模塊僅能被動提供決策輔助的缺陷。
