本文來自文匯網(wǎng)，作者：張磊/編譯。
由于人們擔(dān)心人工智能（AI）驅(qū)動的聊天機(jī)器人可能會泄露私人數(shù)據(jù)，計算機(jī)科學(xué)家們正努力教機(jī)器學(xué)習(xí)模型如何遺忘。雖然這非常困難，但“機(jī)器不學(xué)習(xí)”的解決方案已經(jīng)開始出現(xiàn)。這項工作除了能解除人們對隱私和錯誤信息的擔(dān)憂外，還能起到一個至關(guān)重要的作用——如果我們真的想讓AI像人類一樣學(xué)習(xí)和思考，可能需要讓它們學(xué)會遺忘。
被遺忘權(quán)
由大型語言模型（LLM）支撐的新一代AI聊天機(jī)器人能根據(jù)用戶的提示生成文本。這些模型是在大量數(shù)據(jù)的基礎(chǔ)上訓(xùn)練出來的，其中大部分?jǐn)?shù)據(jù)抓取自互聯(lián)網(wǎng)上的公開信息。由此，它們學(xué)會了預(yù)測句子中最有可能出現(xiàn)的下一個詞，從而流利地回答每一個問題。
與此同時，這也意味著當(dāng)大模型學(xué)習(xí)到某些東西時，就無法取消學(xué)習(xí)。澳大利亞最大的國家科研機(jī)構(gòu)聯(lián)邦科學(xué)與工業(yè)研究組織的AI研究員兼工程師張大衛(wèi)說，大語言模型根據(jù)匯總數(shù)據(jù)生成回復(fù)，因此它們無法像谷歌等搜索引擎那樣輕松地遺忘或“刪除”特定信息，甚至個人也無法準(zhǔn)確追蹤AI應(yīng)用程序?qū)ψ约旱牧私獬潭取?/p>
這在隱私方面造成一個重大問題。2018年生效的《歐盟通用數(shù)據(jù)保護(hù)條例》（GDPR）規(guī)定用戶享有“被遺忘權(quán)”，即當(dāng)用戶要求企業(yè)清除和停止傳播個人的隱私信息時，企業(yè)應(yīng)當(dāng)采取合理措施，及時銷毀用戶的個人數(shù)據(jù)，否則將面臨巨額處罰。
瑞士蘇黎世聯(lián)邦理工學(xué)院的計算機(jī)科學(xué)家弗洛里安·特拉梅爾認(rèn)為，大模型公司必須想辦法解決這個問題，尤其是當(dāng)這些公司開始用更敏感的信息對大模型進(jìn)行訓(xùn)練。
更令人擔(dān)憂的是，由AI驅(qū)動的聊天機(jī)器人本身也很容易受到攻擊。已有研究證明，一些黑客技術(shù)可以讓聊天機(jī)器人在用戶設(shè)備上遠(yuǎn)程運行代碼，或要求用戶提交銀行賬戶信息。
誘導(dǎo)“失憶”
機(jī)器學(xué)習(xí)模型對數(shù)據(jù)有很強(qiáng)的依賴性，尤其像ChatGPT這樣擁有海量訓(xùn)練數(shù)據(jù)和千億級參數(shù)的大型AI系統(tǒng)，面對用戶頻繁的刪除請求，重新訓(xùn)練整個模型會消耗巨額資源。
那么，是否能在不用重新訓(xùn)練模型的情況下，移除或至少屏蔽特定信息呢？
2019年，加拿大多倫多大學(xué)的尼古拉斯·帕貝爾諾及其同事提出了一種被稱為SISA的方法——它將數(shù)據(jù)集分割成不同小塊，分別對每個小塊進(jìn)行模型訓(xùn)練，并像游戲一樣保存節(jié)點進(jìn)度，再合并結(jié)果。當(dāng)遇到取消學(xué)習(xí)請求時，它可以返回節(jié)點，切斷相關(guān)數(shù)據(jù)塊，再從那里開始重新訓(xùn)練。經(jīng)測試證明，這種方法大大加快了重新訓(xùn)練速度。
由于刪除數(shù)據(jù)會嚴(yán)重影響機(jī)器學(xué)習(xí)模型的性能，一些團(tuán)隊選擇了隱藏或遮蔽相關(guān)數(shù)據(jù)的策略。例如，微軟和美國俄亥俄州立大學(xué)的研究人員在用于訓(xùn)練模型的數(shù)據(jù)中引入了噪音，使大模型隨后輸出的信息由數(shù)據(jù)中更泛化的模式，而不是特定的、可識別的例子所決定。這從理論上保證了大模型不會透露訓(xùn)練數(shù)據(jù)中的個人信息。
但是，這種泛化往往會在一定程度上削弱AI的學(xué)習(xí)能力。為了規(guī)避這個問題，韓國科學(xué)家嘗試了一種“知識解除學(xué)習(xí)”的方法，其目的是扭轉(zhuǎn)某項數(shù)據(jù)對算法的影響，而不是完全刪除它，這樣聊天機(jī)器人就永遠(yuǎn)不會引用它。目前，這一方法是該領(lǐng)域最有前途的方法之一，因為它能在更短時間內(nèi)使用更少的計算資源完成工作。
為了激勵研究人員提出更高效的解決方案，谷歌公司還組織了一場競賽。這不僅表明這項挑戰(zhàn)的重要性，也意味著或許我們將找到更多好方法，讓新一代大模型擁有“遺忘”的能力。
選擇性記憶
英國倫敦政治經(jīng)濟(jì)學(xué)院研究人工智能的哲學(xué)家阿里·博伊爾認(rèn)為，雖然人類的遺忘傾向通常被視為認(rèn)知缺陷，但有時也是有益的——通過遺忘，人們可以更有效地檢索有用的記憶。
AI系統(tǒng)可能也是如此。2017年，谷歌DeepMind公司的研究人員開發(fā)了一種可以玩多種電子游戲的人工智能系統(tǒng)。通過存儲并回憶自己玩游戲的記憶，它能更有效地歸納出知識。當(dāng)研究人員改進(jìn)了模型，使其優(yōu)先存儲和回憶一部分事件而忘記其他數(shù)據(jù)時，系統(tǒng)性能得到了提高。
這意味著，選擇性遺忘可以提高人工智能的性能，而關(guān)鍵是在記憶過多和過少之間找到適當(dāng)?shù)钠胶恻c。如果AI研究人員的最終目標(biāo)是建立能像人類一樣學(xué)習(xí)和思考的系統(tǒng)（這也是該領(lǐng)域的最初目標(biāo)之一），那么他們就必須要設(shè)計出能選擇性遺忘的系統(tǒng)。在博伊爾看來，遺忘不是設(shè)計缺陷，而是一個高效、運作良好的記憶系統(tǒng)的必要特征。
文：張磊/編譯
