隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)機器人越來越普遍。50%的網(wǎng)絡(luò)流量來自網(wǎng)絡(luò)機器人，遍布各類網(wǎng)站，如政府類、銀行類、票務(wù)類、電商類、社交類、招聘類等。網(wǎng)絡(luò)機器人虛耗網(wǎng)絡(luò)資源，無效益轉(zhuǎn)化；暴力流量增加網(wǎng)站運營成本；影響正常用戶訪問；影響網(wǎng)站數(shù)據(jù)發(fā)布權(quán)威性；造成不正常競爭。邦盛科技網(wǎng)絡(luò)實時機器防御方案針對政務(wù)領(lǐng)域的網(wǎng)絡(luò)機器人，以核心技術(shù)“流立方”數(shù)據(jù)流處理技術(shù)為基礎(chǔ)，支撐規(guī)則，輔以設(shè)備指紋技術(shù)、代理偵測技術(shù)、人機識別技術(shù)，結(jié)合數(shù)據(jù)，實現(xiàn)多層次多維度的網(wǎng)絡(luò)機器人識別與防范。
背景
隨著互聯(lián)網(wǎng)快速發(fā)展，作為信用強相關(guān)數(shù)據(jù)，社保、公積金等個人數(shù)據(jù)價值被激活挖掘，這讓一些不良公司利用賬戶數(shù)據(jù)信息“有利可圖”。他們并未與各地社保局或公積金中心合作，而是通過投放大量廣告誘導用戶去使用他們的APP軟件，依靠用戶授權(quán)登陸個人網(wǎng)廳系統(tǒng)。只要用戶授權(quán)APP平臺查詢一次，APP平臺就偷偷保存用戶的賬戶密碼和社保/公積金的歷史繳存信息。此類平臺不但有賬戶密碼泄露風險，同時還會泄露個人社?；蚬e金數(shù)據(jù)。
安全隱患
這給政府單位帶來了安全隱患。首先，未受官方認可的爬取用戶數(shù)據(jù)的行為侵害了公積金和社保管理中心的權(quán)益，影響其權(quán)威性。其次，網(wǎng)絡(luò)爬蟲獲得用戶授權(quán)后，將用戶歷史所有的數(shù)據(jù)全部爬取，并保存在服務(wù)器內(nèi)，通過出售用戶數(shù)據(jù)獲利，極易被黑產(chǎn)用于詐騙等不法行為。同時，惡意爬蟲危及網(wǎng)絡(luò)安全，網(wǎng)站很難確定哪些流量來自真實用戶，哪些流量來自機器人，影響了平臺的正常運營和業(yè)務(wù)開展。
傳統(tǒng)解決辦法：
目前的反爬技術(shù)主要有兩種：一種是限制同一IP、同一電腦在一定時間內(nèi)訪問網(wǎng)站的次數(shù)，另一種是設(shè)置復雜的驗證碼機制，讓“爬蟲”不好識別。但對一些網(wǎng)站來說，限制IP的做法可能誤傷真實用戶。而設(shè)置復雜驗證碼的形式，可能損失用戶。除此之外，從DDOS防御、防火墻防御到業(yè)務(wù)反欺詐，各種防御手段都有其針對性，沒有一勞永逸的手段。隨著爬蟲技術(shù)的演進，常規(guī)的反爬蟲手段已經(jīng)無法有效阻止爬蟲的訪問。
邦盛科技網(wǎng)絡(luò)機器防御解決方案：
邦盛科技使用自主可控的流式大數(shù)據(jù)處理專利技術(shù)對網(wǎng)站訪問全流量進行實時分析，結(jié)合設(shè)備指紋、反爬蟲專家規(guī)則、機器學習模型等實時識別和攔截網(wǎng)絡(luò)爬蟲。
1、網(wǎng)站全流量實時分析
網(wǎng)絡(luò)爬蟲通過偽造各種參數(shù)模擬正常人訪問，從單次和短時間內(nèi)的訪問無法被識別，但從長周期、全流量上下文關(guān)聯(lián)分析中，依然可以挖掘出網(wǎng)絡(luò)爬蟲行為特征。因為網(wǎng)站訪問流水數(shù)據(jù)量巨大，且對實時性要求極高，因此高性能的流式大數(shù)據(jù)處理技術(shù)成為大數(shù)據(jù)反爬蟲的關(guān)鍵。
邦盛科技擁有完全自主可控的流式大數(shù)據(jù)實時處理技術(shù)，處于業(yè)內(nèi)領(lǐng)先水平，具有毫秒級的時效性、高可擴展性、>100萬請求/秒的處理能力。在面對大量惡意網(wǎng)絡(luò)機器人的不間斷請求，邦盛科技流式大數(shù)據(jù)處理引擎能夠確保機器防御策略的實時穩(wěn)定運行，不會因為海量請求導致處理延遲。
2、設(shè)備指紋
邦盛科技設(shè)備指紋技術(shù)通過在網(wǎng)站或移動端嵌入腳本，收集操作設(shè)備的主動要素和被動要素等多重信息，并由此生成一段設(shè)備識別碼。具有以下特點：跨平臺：支持所有平臺、所有瀏覽器以及所有的操作系統(tǒng)。高性能：平均響應(yīng)時間小于200毫秒。多層次：包括瀏覽器、操作系統(tǒng)識別、用戶習慣特征識別。輕接入：只需在網(wǎng)站或移動設(shè)備中嵌入邦盛設(shè)備指紋腳本即可，終端用戶完全無感知。
3、反爬蟲規(guī)則及模型
邦盛科技機器防御產(chǎn)品積累了豐富的反爬蟲專家規(guī)則?；贗P和設(shè)備指紋維度，訪問波動性、訪問要素關(guān)聯(lián)、操作行為特征等多角度建立了行之有效的專家規(guī)則庫。同時，基于積累的豐富爬蟲數(shù)據(jù)，利用機器學習算法訓練出針對網(wǎng)絡(luò)爬蟲的機器學習模型。邦盛機器防御解決方案通過反爬蟲知識庫和機器學習模型，并配合實時決策引擎，可以有效實時識別并攔截公積金社保網(wǎng)站的網(wǎng)絡(luò)爬蟲。
某直轄市公積金防護效果：
邦盛科技機器防御目前已經(jīng)在全國多個公積金社保中心部署上線，客戶包括省會城市、直轄市等用戶量龐大的公積金社保中心。機器防御系統(tǒng)上線后，有效識別出大量網(wǎng)絡(luò)爬蟲，包括知名度靠前的一些第三方未授權(quán)APP。如圖所示，在機器防御反爬蟲攔截開關(guān)打開后，某APP顯示公積金中心正在維護中。而通過公積金中心官方渠道仍可以正常查詢。
邦盛科技解決方案優(yōu)勢：
1、支持多通道防護：支持網(wǎng)站、APP、微信公眾號等多通道防護。
2、客戶業(yè)務(wù)系統(tǒng)改造極少：網(wǎng)站通道、微信公眾號通道防護業(yè)務(wù)系統(tǒng)無需改造，APP通道防護只要在客戶APP里嵌入我們的SDK。
3、數(shù)據(jù)安全性：非SAS模式，業(yè)務(wù)數(shù)據(jù)不會流出內(nèi)網(wǎng)，確保業(yè)務(wù)數(shù)據(jù)安全。
4、終端設(shè)備識別精準度高：設(shè)備指紋準確性達99.99%。
5、可識別多種自動化威脅類型：如簡單網(wǎng)頁型爬蟲、復雜網(wǎng)頁型爬蟲、無瀏覽器內(nèi)核智能型爬蟲、有瀏覽器內(nèi)核智能型爬蟲，也可防護撞庫、DDOS攻擊、CC攻擊。
6、控制手段多樣：可以根據(jù)客戶需要靈活選擇直接禁止、驗證碼、限速等三種控制手段，也可以只分析不控制。
7、機器學習的引進：機器學習模型和專家規(guī)則互為補充，自動化攻擊識別效果更優(yōu)。
