本文來(lái)自微信公眾號(hào)“安全牛”。
訓(xùn)練一個(gè)人工智能（AI）模型看起來(lái)似乎很簡(jiǎn)單，但事實(shí)并非如此。要成功、安全地駕馭AI模型并不容易，這是一段充滿了許多不確定因素和潛在陷阱的旅程，隨時(shí)都可能導(dǎo)致錯(cuò)誤的輸出、低效的資源使用，甚至引發(fā)重大的安全事件。
安全研究人員表示，只有通過(guò)對(duì)細(xì)節(jié)的敏銳觀察，對(duì)道德實(shí)踐的承諾，以及對(duì)先進(jìn)技術(shù)的有力掌握，我們才可以創(chuàng)造出安全、高效、道德的AI解決方案。企業(yè)是在AI項(xiàng)目開發(fā)和實(shí)施過(guò)程中，必須規(guī)避以下10種類型的錯(cuò)誤。
01
糟糕的數(shù)據(jù)預(yù)處理
AI模型的開發(fā)需要高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練，如果數(shù)據(jù)的質(zhì)量無(wú)法保證，那么AI模型很可能就會(huì)出錯(cuò)。不完整的用戶數(shù)據(jù)、錯(cuò)誤填充的數(shù)據(jù)以及未更新的過(guò)期數(shù)據(jù)都可能會(huì)讓AI模型產(chǎn)生錯(cuò)誤的結(jié)果，難以實(shí)現(xiàn)對(duì)數(shù)據(jù)的深入理解，無(wú)法捕捉到數(shù)據(jù)的潛在屬性，進(jìn)而導(dǎo)致糟糕的用戶體驗(yàn)和潛在的應(yīng)用風(fēng)險(xiǎn)。
02
模型評(píng)估不準(zhǔn)確
除了高質(zhì)量的數(shù)據(jù)，選擇正確的開發(fā)模型也很重要。AI項(xiàng)目開發(fā)人員需要確保使用正確的模型，并理解哪種模型最適合什么解決什么問(wèn)題。例如，如果一家銀行使用AI模型來(lái)預(yù)測(cè)客戶貸款的違約概率，應(yīng)用程序往往會(huì)根據(jù)歷史客戶的準(zhǔn)確性對(duì)其進(jìn)行訓(xùn)練。但如果銀行只把準(zhǔn)確性作為唯一的績(jī)效衡量標(biāo)準(zhǔn)是遠(yuǎn)遠(yuǎn)不夠的。模型應(yīng)該結(jié)合使用其他性能指標(biāo)，如精確召回率和F1分?jǐn)?shù)等，進(jìn)行交叉驗(yàn)證和AUC-ROC分析，以確定模型評(píng)估結(jié)果（默認(rèn)和非默認(rèn)）的可靠性。
03
模型對(duì)齊（Alignment）不準(zhǔn)確
開發(fā)人員通常會(huì)基于一些關(guān)鍵性技術(shù)指標(biāo)（如準(zhǔn)確性、精確度、召回率或F1分?jǐn)?shù)）來(lái)優(yōu)化模型，但是這些指標(biāo)中很多都沒(méi)有與業(yè)務(wù)指標(biāo)（如創(chuàng)收、成本節(jié)約、客戶滿意度或風(fēng)險(xiǎn)降低）直接相關(guān)。然而大量實(shí)踐表明，將技術(shù)性AI指標(biāo)與業(yè)務(wù)性AI指標(biāo)保持一致對(duì)于實(shí)現(xiàn)預(yù)期的業(yè)務(wù)成果至關(guān)重要。
以信用卡欺詐檢測(cè)模型為例，僅僅強(qiáng)調(diào)模型的準(zhǔn)確性或F1分?jǐn)?shù)，可能會(huì)導(dǎo)致更多的警告交易出現(xiàn)。這會(huì)導(dǎo)致大量誤報(bào)的出現(xiàn)，很多合法交易會(huì)被錯(cuò)誤地標(biāo)記為欺詐。這將產(chǎn)生嚴(yán)重的業(yè)務(wù)影響，降低了AI應(yīng)用系統(tǒng)的實(shí)際可用性。
04
忽視數(shù)據(jù)隱私
在AI項(xiàng)目開發(fā)過(guò)程中，數(shù)據(jù)隱私保護(hù)是一個(gè)非常敏感的問(wèn)題，需要額外的關(guān)注和重視，尤其是AI模型中包含有未成年人的數(shù)據(jù)時(shí)，問(wèn)題就更復(fù)雜了。例如，針對(duì)青少年的一些借記卡選項(xiàng)，銀行必須確保其安全標(biāo)準(zhǔn)符合監(jiān)管合規(guī)要求。所有以任何形式或途徑收集客戶信息的公司都需要制定數(shù)據(jù)保護(hù)政策。這樣，客戶就可以知道組織如何處理他們的數(shù)據(jù)。然而，用戶如何知道他們的數(shù)據(jù)是否流入了人工智能算法的應(yīng)用中？很少（或者可以說(shuō)幾乎沒(méi)有）有開發(fā)人員會(huì)關(guān)注這些信息。
我們正在步入人工智能驅(qū)動(dòng)的時(shí)代，對(duì)于個(gè)人來(lái)說(shuō)，了解企業(yè)如何使用人工智能、人工智能的功能及其對(duì)數(shù)據(jù)的影響將變得非常重要。企業(yè)組織必須定期進(jìn)行安全審計(jì)，并在人工智能開發(fā)的所有階段實(shí)施強(qiáng)有力的數(shù)據(jù)保護(hù)實(shí)踐。隱私風(fēng)險(xiǎn)可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。
05
擴(kuò)展能力不足
今年初，當(dāng)ChatGPT剛推出的時(shí)候，在短短兩個(gè)月內(nèi)就擁有了1億用戶。然而OpenAI公司并沒(méi)有預(yù)料到用戶數(shù)的激增，導(dǎo)致很多用戶難以正常訪問(wèn)該服務(wù)。AI模型的應(yīng)用通常會(huì)令人興奮，在系統(tǒng)上線后可能在一夜之間就迅速傳播開來(lái)，有數(shù)千甚至數(shù)百萬(wàn)用戶會(huì)同時(shí)訪問(wèn)這個(gè)系統(tǒng)。如果我們沒(méi)有為這種快速的應(yīng)用規(guī)模擴(kuò)展做好計(jì)劃，AI模型將無(wú)法跟上節(jié)奏并導(dǎo)致資源過(guò)載。因此，從一開始就做好AI模型的實(shí)時(shí)擴(kuò)展計(jì)劃是非常重要的。要考慮該模型將如何處理大量用戶，確?；A(chǔ)設(shè)施能夠處理激增的數(shù)據(jù)處理，并管理好不斷增加的存儲(chǔ)需求。
06
模型訓(xùn)練過(guò)度
眾所周知，AI模型需要通過(guò)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，然而在訓(xùn)練AI應(yīng)用模型時(shí)，過(guò)多的數(shù)據(jù)訓(xùn)練也會(huì)導(dǎo)致過(guò)擬合（overfitting）情況的出現(xiàn)。過(guò)擬合是指在訓(xùn)練集上達(dá)到比較高的精度，但是在實(shí)際測(cè)試中的精度卻很低，也就是缺少泛化能力（指對(duì)訓(xùn)練數(shù)據(jù)以外的數(shù)據(jù)難以做出準(zhǔn)確分析）。當(dāng)AI模型部署應(yīng)用后，數(shù)據(jù)量會(huì)日新月異，重新訓(xùn)練模型的時(shí)間成本和資金花費(fèi)都是不可接受的。對(duì)AI模型而言，要避免大量的重復(fù)訓(xùn)練，而是要通過(guò)不斷地更新模型參數(shù)來(lái)適應(yīng)不斷變化的數(shù)據(jù)分布，從而不斷提高模型的可用性。
07
用非真實(shí)的數(shù)據(jù)訓(xùn)練
當(dāng)研究人員訓(xùn)練和測(cè)試AI模型時(shí)，他們經(jīng)常使用干凈、標(biāo)記良好的數(shù)據(jù)集，且通常不反映真實(shí)世界的數(shù)據(jù)分布。因此，結(jié)果在表面上看起來(lái)令人印象深刻，因?yàn)槟Ｐ驮跍y(cè)試數(shù)據(jù)上表現(xiàn)良好，測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)共享相同的分布。這被稱為“分布內(nèi)”（in-distribution）性能。然而，在現(xiàn)實(shí)場(chǎng)景中，AI模型所獲取的數(shù)據(jù)會(huì)與它所訓(xùn)練的數(shù)據(jù)有明顯不同。這些數(shù)據(jù)可能比較嘈雜，也沒(méi)有清晰的標(biāo)簽和特征。因此，當(dāng)AI模型部署實(shí)際部署應(yīng)用時(shí)，它的性能往往會(huì)顯著降低。這被稱為“分布外”（out-of-distribution）性能。而實(shí)際上，企業(yè)需要面對(duì)“分布外”數(shù)據(jù)也能保持高性能的AI模型。
08
算法偏見
算法偏見（Bias）是AI模型應(yīng)用中所面臨的一個(gè)主要問(wèn)題。AI模型算法和機(jī)器學(xué)習(xí)程序應(yīng)該是客觀和公正的，但事實(shí)卻并非如此。因?yàn)槿斯ぶ悄苣Ｐ褪怯扇祟愑?xùn)練的，所以它們會(huì)繼承人類的偏見。當(dāng)算法由于訓(xùn)練數(shù)據(jù)或模型設(shè)計(jì)方式的潛在偏見而產(chǎn)生系統(tǒng)性錯(cuò)誤或不公平?jīng)Q策時(shí)，就會(huì)出現(xiàn)偏見。如果不檢查人工智能模型是否存在偏見，它可能會(huì)系統(tǒng)性地使某些數(shù)據(jù)點(diǎn)處于不利地位。對(duì)抗偏見的一個(gè)有效方法是制定指導(dǎo)方針和規(guī)則，并不斷監(jiān)督和審查，以確保算法偏見的影響是已知和可掌控的。
09
忽略模型的可理解性
為了讓AI模型得到充分的信任，其決策的原理必須要透明。因此，對(duì)于維護(hù)AI模型倫理來(lái)說(shuō)，這需要是可理解和可解釋的?？茖W(xué)家們一直致力于使復(fù)雜的AI模型（如深度神經(jīng)網(wǎng)絡(luò)）更加透明和可理解。他們提出了一些技術(shù)來(lái)幫助解釋為什么這些模型會(huì)做出某些決定。事實(shí)上，維護(hù)透明度和確保AI模型易于理解的最佳方法是維護(hù)完整的開發(fā)文檔。該文檔應(yīng)包括用于訓(xùn)練AI模型數(shù)據(jù)的詳細(xì)信息，這有助于使用者更清晰地理解人工智能模型，并為其決策過(guò)程注入信心。
10
忽視持續(xù)性監(jiān)測(cè)
隨著日常數(shù)據(jù)和底層模式的變化，AI模型的算法可能會(huì)過(guò)時(shí)或不那么準(zhǔn)確。這些變化可能源于不斷變化地消費(fèi)者行為、市場(chǎng)趨勢(shì)演變、競(jìng)爭(zhēng)格局的變化、法規(guī)政策的修改等因素。這種現(xiàn)象也被稱為“概念漂移”（concept drift）。因此，持續(xù)性地監(jiān)控AI模型的性能表現(xiàn)和準(zhǔn)確性是至關(guān)重要的。盡管該模型最初可能提供了準(zhǔn)確的預(yù)測(cè)，但隨著時(shí)間的推移，由于上述現(xiàn)實(shí)數(shù)據(jù)的變化，其準(zhǔn)確性可能會(huì)顯著降低。
為了解決這樣的問(wèn)題，公司需要根據(jù)實(shí)際需求持續(xù)跟蹤模型的輸出，并實(shí)時(shí)監(jiān)控性能指標(biāo)。此外，應(yīng)用增量學(xué)習(xí)技術(shù)也是至關(guān)重要的。這種方法使模型能夠從新數(shù)據(jù)中學(xué)習(xí)，同時(shí)保留從以前觀察到的數(shù)據(jù)中獲得的有價(jià)值的知識(shí)。通過(guò)采用這些策略，企業(yè)可以有效地適應(yīng)概念漂移，并確保對(duì)AI模型應(yīng)用需求的準(zhǔn)確把握。
