數(shù)據(jù)泄露避無(wú)可避?看大數(shù)據(jù)技術(shù)如何防御

信息化觀察網(wǎng)
信息化觀察網(wǎng)
邦盛科技網(wǎng)絡(luò)實(shí)時(shí)機(jī)器防御方案針對(duì)政務(wù)領(lǐng)域的網(wǎng)絡(luò)機(jī)器人,以核心技術(shù)“流立方”數(shù)據(jù)流處理技術(shù)為基礎(chǔ),支撐規(guī)則,輔以設(shè)備指紋技術(shù)、代理偵測(cè)技術(shù)、人機(jī)識(shí)別技術(shù),結(jié)合數(shù)據(jù),實(shí)現(xiàn)多層次多維度的網(wǎng)絡(luò)機(jī)器人識(shí)別與防范。

公積金/社保領(lǐng)域個(gè)人賬戶和數(shù)據(jù)批量泄露防護(hù)解決方案

隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)機(jī)器人越來(lái)越普遍。50%的網(wǎng)絡(luò)流量來(lái)自網(wǎng)絡(luò)機(jī)器人,遍布各類網(wǎng)站,如政府類、銀行類、票務(wù)類、電商類、社交類、招聘類等。網(wǎng)絡(luò)機(jī)器人虛耗網(wǎng)絡(luò)資源,無(wú)效益轉(zhuǎn)化;暴力流量增加網(wǎng)站運(yùn)營(yíng)成本;影響正常用戶訪問(wèn);影響網(wǎng)站數(shù)據(jù)發(fā)布權(quán)威性;造成不正常競(jìng)爭(zhēng)。邦盛科技網(wǎng)絡(luò)實(shí)時(shí)機(jī)器防御方案針對(duì)政務(wù)領(lǐng)域的網(wǎng)絡(luò)機(jī)器人,以核心技術(shù)“流立方”數(shù)據(jù)流處理技術(shù)為基礎(chǔ),支撐規(guī)則,輔以設(shè)備指紋技術(shù)、代理偵測(cè)技術(shù)、人機(jī)識(shí)別技術(shù),結(jié)合數(shù)據(jù),實(shí)現(xiàn)多層次多維度的網(wǎng)絡(luò)機(jī)器人識(shí)別與防范。

背景

隨著互聯(lián)網(wǎng)快速發(fā)展,作為信用強(qiáng)相關(guān)數(shù)據(jù),社保、公積金等個(gè)人數(shù)據(jù)價(jià)值被激活挖掘,這讓一些不良公司利用賬戶數(shù)據(jù)信息“有利可圖”。他們并未與各地社保局或公積金中心合作,而是通過(guò)投放大量廣告誘導(dǎo)用戶去使用他們的APP軟件,依靠用戶授權(quán)登陸個(gè)人網(wǎng)廳系統(tǒng)。只要用戶授權(quán)APP平臺(tái)查詢一次,APP平臺(tái)就偷偷保存用戶的賬戶密碼和社保/公積金的歷史繳存信息。此類平臺(tái)不但有賬戶密碼泄露風(fēng)險(xiǎn),同時(shí)還會(huì)泄露個(gè)人社?;蚬e金數(shù)據(jù)。

安全隱患

這給政府單位帶來(lái)了安全隱患。首先,未受官方認(rèn)可的爬取用戶數(shù)據(jù)的行為侵害了公積金和社保管理中心的權(quán)益,影響其權(quán)威性。其次,網(wǎng)絡(luò)爬蟲獲得用戶授權(quán)后,將用戶歷史所有的數(shù)據(jù)全部爬取,并保存在服務(wù)器內(nèi),通過(guò)出售用戶數(shù)據(jù)獲利,極易被黑產(chǎn)用于詐騙等不法行為。同時(shí),惡意爬蟲危及網(wǎng)絡(luò)安全,網(wǎng)站很難確定哪些流量來(lái)自真實(shí)用戶,哪些流量來(lái)自機(jī)器人,影響了平臺(tái)的正常運(yùn)營(yíng)和業(yè)務(wù)開(kāi)展。

傳統(tǒng)解決辦法:

目前的反爬技術(shù)主要有兩種:一種是限制同一IP、同一電腦在一定時(shí)間內(nèi)訪問(wèn)網(wǎng)站的次數(shù),另一種是設(shè)置復(fù)雜的驗(yàn)證碼機(jī)制,讓“爬蟲”不好識(shí)別。但對(duì)一些網(wǎng)站來(lái)說(shuō),限制IP的做法可能誤傷真實(shí)用戶。而設(shè)置復(fù)雜驗(yàn)證碼的形式,可能損失用戶。除此之外,從DDOS防御、防火墻防御到業(yè)務(wù)反欺詐,各種防御手段都有其針對(duì)性,沒(méi)有一勞永逸的手段。隨著爬蟲技術(shù)的演進(jìn),常規(guī)的反爬蟲手段已經(jīng)無(wú)法有效阻止爬蟲的訪問(wèn)。

邦盛科技網(wǎng)絡(luò)機(jī)器防御解決方案:

邦盛科技使用自主可控的流式大數(shù)據(jù)處理專利技術(shù)對(duì)網(wǎng)站訪問(wèn)全流量進(jìn)行實(shí)時(shí)分析,結(jié)合設(shè)備指紋、反爬蟲專家規(guī)則、機(jī)器學(xué)習(xí)模型等實(shí)時(shí)識(shí)別和攔截網(wǎng)絡(luò)爬蟲。

1、網(wǎng)站全流量實(shí)時(shí)分析

網(wǎng)絡(luò)爬蟲通過(guò)偽造各種參數(shù)模擬正常人訪問(wèn),從單次和短時(shí)間內(nèi)的訪問(wèn)無(wú)法被識(shí)別,但從長(zhǎng)周期、全流量上下文關(guān)聯(lián)分析中,依然可以挖掘出網(wǎng)絡(luò)爬蟲行為特征。因?yàn)榫W(wǎng)站訪問(wèn)流水?dāng)?shù)據(jù)量巨大,且對(duì)實(shí)時(shí)性要求極高,因此高性能的流式大數(shù)據(jù)處理技術(shù)成為大數(shù)據(jù)反爬蟲的關(guān)鍵。

邦盛科技擁有完全自主可控的流式大數(shù)據(jù)實(shí)時(shí)處理技術(shù),處于業(yè)內(nèi)領(lǐng)先水平,具有毫秒級(jí)的時(shí)效性、高可擴(kuò)展性、>100萬(wàn)請(qǐng)求/秒的處理能力。在面對(duì)大量惡意網(wǎng)絡(luò)機(jī)器人的不間斷請(qǐng)求,邦盛科技流式大數(shù)據(jù)處理引擎能夠確保機(jī)器防御策略的實(shí)時(shí)穩(wěn)定運(yùn)行,不會(huì)因?yàn)楹A空?qǐng)求導(dǎo)致處理延遲。

2、設(shè)備指紋

邦盛科技設(shè)備指紋技術(shù)通過(guò)在網(wǎng)站或移動(dòng)端嵌入腳本,收集操作設(shè)備的主動(dòng)要素和被動(dòng)要素等多重信息,并由此生成一段設(shè)備識(shí)別碼。具有以下特點(diǎn):跨平臺(tái):支持所有平臺(tái)、所有瀏覽器以及所有的操作系統(tǒng)。高性能:平均響應(yīng)時(shí)間小于200毫秒。多層次:包括瀏覽器、操作系統(tǒng)識(shí)別、用戶習(xí)慣特征識(shí)別。輕接入:只需在網(wǎng)站或移動(dòng)設(shè)備中嵌入邦盛設(shè)備指紋腳本即可,終端用戶完全無(wú)感知。

3、反爬蟲規(guī)則及模型

邦盛科技機(jī)器防御產(chǎn)品積累了豐富的反爬蟲專家規(guī)則?;贗P和設(shè)備指紋維度,訪問(wèn)波動(dòng)性、訪問(wèn)要素關(guān)聯(lián)、操作行為特征等多角度建立了行之有效的專家規(guī)則庫(kù)。同時(shí),基于積累的豐富爬蟲數(shù)據(jù),利用機(jī)器學(xué)習(xí)算法訓(xùn)練出針對(duì)網(wǎng)絡(luò)爬蟲的機(jī)器學(xué)習(xí)模型。邦盛機(jī)器防御解決方案通過(guò)反爬蟲知識(shí)庫(kù)和機(jī)器學(xué)習(xí)模型,并配合實(shí)時(shí)決策引擎,可以有效實(shí)時(shí)識(shí)別并攔截公積金社保網(wǎng)站的網(wǎng)絡(luò)爬蟲。

某直轄市公積金防護(hù)效果:

邦盛科技機(jī)器防御目前已經(jīng)在全國(guó)多個(gè)公積金社保中心部署上線,客戶包括省會(huì)城市、直轄市等用戶量龐大的公積金社保中心。機(jī)器防御系統(tǒng)上線后,有效識(shí)別出大量網(wǎng)絡(luò)爬蟲,包括知名度靠前的一些第三方未授權(quán)APP。如圖所示,在機(jī)器防御反爬蟲攔截開(kāi)關(guān)打開(kāi)后,某APP顯示公積金中心正在維護(hù)中。而通過(guò)公積金中心官方渠道仍可以正常查詢。

邦盛科技解決方案優(yōu)勢(shì):

1、支持多通道防護(hù):支持網(wǎng)站、APP、微信公眾號(hào)等多通道防護(hù)。

2、客戶業(yè)務(wù)系統(tǒng)改造極少:網(wǎng)站通道、微信公眾號(hào)通道防護(hù)業(yè)務(wù)系統(tǒng)無(wú)需改造,APP通道防護(hù)只要在客戶APP里嵌入我們的SDK。

3、數(shù)據(jù)安全性:非SAS模式,業(yè)務(wù)數(shù)據(jù)不會(huì)流出內(nèi)網(wǎng),確保業(yè)務(wù)數(shù)據(jù)安全。

4、終端設(shè)備識(shí)別精準(zhǔn)度高:設(shè)備指紋準(zhǔn)確性達(dá)99.99%。

5、可識(shí)別多種自動(dòng)化威脅類型:如簡(jiǎn)單網(wǎng)頁(yè)型爬蟲、復(fù)雜網(wǎng)頁(yè)型爬蟲、無(wú)瀏覽器內(nèi)核智能型爬蟲、有瀏覽器內(nèi)核智能型爬蟲,也可防護(hù)撞庫(kù)、DDOS攻擊、CC攻擊。

6、控制手段多樣:可以根據(jù)客戶需要靈活選擇直接禁止、驗(yàn)證碼、限速等三種控制手段,也可以只分析不控制。

7、機(jī)器學(xué)習(xí)的引進(jìn):機(jī)器學(xué)習(xí)模型和專家規(guī)則互為補(bǔ)充,自動(dòng)化攻擊識(shí)別效果更優(yōu)。

THEEND