在數(shù)字經(jīng)濟(jì)快速發(fā)展的大背景下，以數(shù)字技術(shù)為基座的數(shù)字化正在對(duì)世界帶來新一輪的顛覆與重構(gòu)，企業(yè)也紛紛開始數(shù)字化轉(zhuǎn)型。在數(shù)字化的轉(zhuǎn)型浪潮中，開發(fā)測(cè)試人員的生產(chǎn)力變得越來越重要，提升團(tuán)隊(duì)研發(fā)效能成為實(shí)現(xiàn)企業(yè)戰(zhàn)略目標(biāo)的重要措施。為了進(jìn)一步提升數(shù)字化轉(zhuǎn)型下的研發(fā)測(cè)試效率，神州數(shù)碼云業(yè)務(wù)集團(tuán)數(shù)據(jù)原生BU數(shù)據(jù)平臺(tái)部成功幫助某跨國(guó)汽車公司搭建了大數(shù)據(jù)測(cè)試平臺(tái)，進(jìn)而構(gòu)建了研發(fā)測(cè)試與業(yè)務(wù)共進(jìn)的共贏生態(tài)。
一、項(xiàng)目背景
在全面上云、數(shù)字化轉(zhuǎn)型的當(dāng)下，企業(yè)將注意力轉(zhuǎn)移到了客戶和業(yè)務(wù)之間的交付價(jià)值，在縮短交付時(shí)間、快節(jié)奏交付的同時(shí)還要保證質(zhì)量，就成為數(shù)字業(yè)務(wù)的新訴求。在數(shù)字化轉(zhuǎn)型的過程中，對(duì)于某大型跨國(guó)車企測(cè)試團(tuán)隊(duì)而言，亟須解決數(shù)字時(shí)代測(cè)試業(yè)務(wù)面臨的多種痛點(diǎn)。
二、實(shí)施目標(biāo)
1、降低編碼門檻
數(shù)據(jù)存在的介質(zhì)有多種形式，如文件（CSV，TXT等），API，Kafka，DB（Hive，MySQL，Redis等）。不同的介質(zhì)，需要使用不同的測(cè)試方法。這對(duì)測(cè)試人員的編碼能力提出了高要求；
2、提高測(cè)試效率
測(cè)試人員往往面臨十幾億條的數(shù)據(jù)量，查詢速率慢；測(cè)試過程不夠透明規(guī)范，使得存在重復(fù)工作，導(dǎo)致測(cè)試效率低下；
3、簡(jiǎn)化測(cè)試場(chǎng)景
不同項(xiàng)目的數(shù)據(jù)處理存在多種特殊場(chǎng)景，若解決方案單一，難以提高數(shù)據(jù)測(cè)試的覆蓋率；
4、降低人員管理難度
組織架構(gòu)變更及測(cè)試人員流動(dòng)對(duì)項(xiàng)目有一定影響，不同的數(shù)據(jù)庫(kù)操作權(quán)限也容易導(dǎo)致成員與項(xiàng)目的匹配關(guān)系雜亂，管理困難；
三、具體措施
神州數(shù)碼數(shù)據(jù)平臺(tái)技術(shù)團(tuán)隊(duì)與該跨國(guó)車企IT團(tuán)隊(duì)嘗試采用平臺(tái)化思維打造成熟的工具提升研發(fā)測(cè)試效率，摒棄傳統(tǒng)的QA組織模式，將技術(shù)、人員、流程進(jìn)行創(chuàng)新，通過權(quán)限管理、測(cè)試用例編寫、測(cè)試任務(wù)管理到測(cè)試進(jìn)度監(jiān)控一體化，實(shí)現(xiàn)平臺(tái)化戰(zhàn)略轉(zhuǎn)型。
該數(shù)據(jù)測(cè)試平臺(tái)采用微服務(wù)架構(gòu)，使用輕量級(jí)API通過明確定義的接口進(jìn)行通信。由于它們是獨(dú)立運(yùn)行的，因此可以針對(duì)各項(xiàng)服務(wù)進(jìn)行更新、部署和擴(kuò)展，實(shí)現(xiàn)各個(gè)模塊服務(wù)的自主性，專業(yè)性。前后端獨(dú)立部署，前端開發(fā)語(yǔ)言vue，使用開發(fā)框架Element-UI，反向代理Nginx。后端開發(fā)語(yǔ)言java，使用開發(fā)框架Spring cloud Alibaba等作為總體結(jié)構(gòu)設(shè)計(jì)。
基于此架構(gòu)，使得整個(gè)系統(tǒng)具備高度的敏捷性，靈活擴(kuò)展，輕松部署，技術(shù)自由，代碼可重復(fù)使用。通過消息隊(duì)列進(jìn)行補(bǔ)償，保證跨服務(wù)的分布式事務(wù)一致性問題，同時(shí)保證了系統(tǒng)的高可用性。
大數(shù)據(jù)測(cè)試平臺(tái)產(chǎn)品架構(gòu)
整體來看，神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)能夠?qū)崿F(xiàn)從權(quán)限管理開始搭建完備的管理流程，數(shù)據(jù)訪問隔離，項(xiàng)目及數(shù)據(jù)源權(quán)限分配精準(zhǔn)，管理員可針對(duì)部門、用戶、項(xiàng)目、數(shù)據(jù)源等多維度進(jìn)行更精準(zhǔn)的系統(tǒng)管理，測(cè)試人員可靈活切換項(xiàng)目，項(xiàng)目之間獨(dú)立不干擾。
操作簡(jiǎn)易方便，提供SQL編輯界面，直接查詢數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，提供保存SQL語(yǔ)句、查看歷史SQL語(yǔ)句的功能。不僅SQL創(chuàng)建、API連接、DIFF數(shù)據(jù)對(duì)比等方式新建測(cè)試用例的步驟，并在此基礎(chǔ)之上也支持SQL快捷查詢，能夠通過獨(dú)立的query創(chuàng)建模塊打造快速高效的查詢體驗(yàn)。
平臺(tái)系統(tǒng)打造了流程化測(cè)試步驟，包括SQL/API/DIFF的新增、執(zhí)行、刪除、保存等，減少手動(dòng)重復(fù)工作，測(cè)試過程更精準(zhǔn)，并且支持多種數(shù)據(jù)庫(kù)及測(cè)試腳本，支持多種類型數(shù)據(jù)庫(kù)，支持批量執(zhí)行，提高數(shù)據(jù)查詢效率和項(xiàng)目交付過程的效率。
支持包括手動(dòng)執(zhí)行、定時(shí)任務(wù)的觸發(fā)執(zhí)行方式。測(cè)試腳本按照斷言判斷結(jié)果，生成匯總結(jié)果進(jìn)行展示，并能通過郵件同步相關(guān)測(cè)試報(bào)告，幫助提升團(tuán)隊(duì)的組織效能。
1、Query創(chuàng)建-完善的SQL查詢引擎，打造簡(jiǎn)單易用的數(shù)據(jù)集群交互環(huán)境
為了解決大數(shù)據(jù)框架多，交互界面不統(tǒng)一的難題，神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)提供了非常人性化的SQL編輯界面，支持連接MySQL、Hive、HBase、Clickhouse等數(shù)據(jù)庫(kù)，用戶在編輯好SQL語(yǔ)句后即可直接查詢數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，并且能夠?qū)崿F(xiàn)保存SQL語(yǔ)句、查看歷史SQL語(yǔ)句的功能。在與測(cè)試用例步驟的創(chuàng)建相結(jié)合后，平臺(tái)即可串聯(lián)起測(cè)試的前后環(huán)節(jié)，從而打造更為簡(jiǎn)單易用的數(shù)據(jù)集群交互環(huán)境。
2、接口測(cè)試-媲美Postman體驗(yàn)，靈活編排接口場(chǎng)景
更為重要的是，神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)解決方案集Postman與JMeter的功能于一體，包含請(qǐng)求參數(shù)設(shè)置、前置操作添加、斷言及變量提取設(shè)計(jì)，在易用的同時(shí)能夠充分滿足靈活需求，共同完成復(fù)雜業(yè)務(wù)場(chǎng)景的接口測(cè)試。
3、數(shù)據(jù)驗(yàn)證-源庫(kù)與目標(biāo)庫(kù)對(duì)比，提高檢驗(yàn)覆蓋度及精度
同時(shí)，為確保數(shù)據(jù)質(zhì)量，驗(yàn)證大數(shù)據(jù)工具/框架處理過后的數(shù)據(jù)與目標(biāo)庫(kù)數(shù)據(jù)的一致性、準(zhǔn)確性、有效性及完整性，神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)的數(shù)據(jù)驗(yàn)證也能實(shí)現(xiàn)源庫(kù)與目標(biāo)庫(kù)的對(duì)比，進(jìn)一步提高檢驗(yàn)覆蓋度及精度，支持設(shè)置先決條件如過濾字段、轉(zhuǎn)換數(shù)據(jù)類型；提供多種檢驗(yàn)標(biāo)準(zhǔn)，多維度驗(yàn)證數(shù)據(jù)準(zhǔn)確性。
4、完善的任務(wù)執(zhí)行方式及任務(wù)報(bào)告
神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)支持包括手動(dòng)執(zhí)行、定時(shí)任務(wù)的觸發(fā)執(zhí)行方式，支持執(zhí)行頻率的調(diào)整。用戶可在首頁(yè)查看測(cè)試項(xiàng)目相關(guān)數(shù)據(jù)報(bào)表，監(jiān)測(cè)各種數(shù)據(jù)指標(biāo)動(dòng)態(tài)，包括不限于：數(shù)據(jù)概覽（項(xiàng)目、任務(wù)、實(shí)例、用戶總數(shù)等）、當(dāng)前平均任務(wù)成功率、數(shù)據(jù)源分布、平臺(tái)活躍用戶趨勢(shì)圖、快捷查詢數(shù)據(jù)源人次、任務(wù)執(zhí)行次數(shù)、任務(wù)報(bào)錯(cuò)率等。執(zhí)行開始后可立即查看測(cè)試任務(wù)報(bào)告，任務(wù)執(zhí)行進(jìn)度盡在掌握之中，錯(cuò)誤信息一目了然。為方便組織內(nèi)協(xié)同，平臺(tái)還支持任務(wù)報(bào)告以郵件形式輸出，供項(xiàng)目相關(guān)人員快速定位出錯(cuò)點(diǎn)。通過良好的任務(wù)執(zhí)行方式和詳實(shí)的任務(wù)報(bào)告，可以更好地管理項(xiàng)目、提高團(tuán)隊(duì)效率，同時(shí)保持透明度，確保利益相關(guān)者和團(tuán)隊(duì)成員對(duì)項(xiàng)目的理解和期望保持一致。
5、系統(tǒng)持續(xù)功能更新迭代
支持其他系統(tǒng)如任務(wù)調(diào)度平臺(tái)、郵件平臺(tái)等進(jìn)行功能合并或接口調(diào)用實(shí)現(xiàn)功能擴(kuò)展。持續(xù)聚焦研發(fā)測(cè)試質(zhì)量提升與團(tuán)隊(duì)內(nèi)部協(xié)同，打造靈活、高效、便捷的開發(fā)測(cè)試生態(tài)。采用敏捷開發(fā)方法，定期進(jìn)行迭代并根據(jù)用戶反饋進(jìn)行調(diào)整，保持團(tuán)隊(duì)對(duì)市場(chǎng)需求和用戶期望的敏感性，這將有助于提高系統(tǒng)的競(jìng)爭(zhēng)力，適應(yīng)不斷變化的市場(chǎng)需求。
四、實(shí)施效果
在實(shí)際運(yùn)行中，神州數(shù)碼大數(shù)據(jù)測(cè)試平臺(tái)能夠滿足團(tuán)隊(duì)不同角色在測(cè)試過程的業(yè)務(wù)訴求。對(duì)于團(tuán)隊(duì)管理者而言，其可通過平臺(tái)隨時(shí)掌握測(cè)試進(jìn)展，整體測(cè)試過程透明化，自動(dòng)化，規(guī)范化，監(jiān)控不同項(xiàng)目的任務(wù)進(jìn)度，更能清晰的效能管理幫助管理者識(shí)別當(dāng)前瓶頸，做好風(fēng)險(xiǎn)管控；對(duì)于測(cè)試人員而言，平臺(tái)操作更為簡(jiǎn)便，提高了整體測(cè)試項(xiàng)目的效率和測(cè)試的準(zhǔn)確度，平臺(tái)也為其提供了高效管理與測(cè)試用例歷史回溯的功能，在樹形結(jié)構(gòu)的任務(wù)分類中輕松管理測(cè)試任務(wù)；對(duì)于開發(fā)者而言，平臺(tái)提高了整體安全性和穩(wěn)定性，將精力更多投入到完善多種業(yè)務(wù)場(chǎng)景，提升整體代碼質(zhì)量，分析問題缺陷等等。