本文來(lái)自網(wǎng)易科技報(bào)道，作者/辰辰。
8月31日消息，隨著人工智能技術(shù)的迅猛發(fā)展，曾經(jīng)用于搜索引擎索引的網(wǎng)絡(luò)爬蟲(chóng)現(xiàn)在被用于收集訓(xùn)練數(shù)據(jù)來(lái)開(kāi)發(fā)人工智能模型。內(nèi)容創(chuàng)作者意識(shí)到，他們的勞動(dòng)成果被大科技公司免費(fèi)使用來(lái)開(kāi)發(fā)新的人工智能工具，爬蟲(chóng)協(xié)議已經(jīng)無(wú)法解決這個(gè)問(wèn)題。這可能會(huì)影響內(nèi)容所有者在線分享內(nèi)容的動(dòng)力，從而從根本上改變互聯(lián)網(wǎng)。
以下為翻譯內(nèi)容：
20世紀(jì)90年代末，出現(xiàn)了一種名為爬蟲(chóng)協(xié)議（robots.txt）的簡(jiǎn)單代碼，允許網(wǎng)站所有者告知搜索引擎的機(jī)器人爬蟲(chóng)哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。如今，爬蟲(chóng)協(xié)議已成為業(yè)界普遍接受的非官方網(wǎng)絡(luò)規(guī)則之一。
機(jī)器人爬蟲(chóng)的主要目的是索引信息，改善搜索引擎的搜索結(jié)果。谷歌、必應(yīng)和其他搜索引擎都有爬蟲(chóng)程序，它們生成網(wǎng)絡(luò)內(nèi)容的索引信息，并提供給潛在的數(shù)十億用戶。這也是互聯(lián)網(wǎng)蓬勃發(fā)展的基礎(chǔ)，創(chuàng)作者們?cè)诰W(wǎng)絡(luò)上分享豐富信息，因?yàn)樗麄冎烙脩魰?huì)訪問(wèn)他們的網(wǎng)站并瀏覽廣告、訂閱服務(wù)或購(gòu)買商品。
然而，生成式人工智能和大語(yǔ)言模型正在從根本上迅速改變網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)。這些工具并沒(méi)有為內(nèi)容創(chuàng)作者提供支持，反而成為他們的敵人。
機(jī)器人喂飽了大科技公司
現(xiàn)在，網(wǎng)絡(luò)爬蟲(chóng)收集在線信息，并生成大規(guī)模的數(shù)據(jù)集，這些數(shù)據(jù)集被富有的科技公司免費(fèi)用于開(kāi)發(fā)人工智能模型。比如，CCBot為最大的人工智能數(shù)據(jù)集之一Common Crawl提供數(shù)據(jù)；GPTbot則是向人工智能明星創(chuàng)企OpenAI提供數(shù)據(jù)。谷歌將自家的大語(yǔ)言模型的訓(xùn)練數(shù)據(jù)稱為“無(wú)限集合”，但沒(méi)有提及大部分?jǐn)?shù)據(jù)來(lái)自Common Crawl的精簡(jiǎn)版C4。
這些公司開(kāi)發(fā)的人工智能模型使用這些免費(fèi)信息來(lái)學(xué)習(xí)如何回答用戶的問(wèn)題，這與為網(wǎng)站建立索引信息、讓用戶訪問(wèn)原始內(nèi)容的既定模式相去甚遠(yuǎn)。
如果沒(méi)有潛在的消費(fèi)者，內(nèi)容創(chuàng)作者就沒(méi)有動(dòng)力讓網(wǎng)絡(luò)爬蟲(chóng)繼續(xù)收集免費(fèi)數(shù)據(jù)。GPTbot已被亞馬遜、愛(ài)彼迎、Quora和其他上千家網(wǎng)站屏蔽。對(duì)Common Crawl數(shù)據(jù)集的CCBot的屏蔽也越來(lái)越多。
“粗糙的工具”
阻止這些網(wǎng)絡(luò)爬蟲(chóng)的方式并沒(méi)有太大變化。網(wǎng)站所有者只能部署爬蟲(chóng)協(xié)議并屏蔽特定爬蟲(chóng)，但效果并不理想。
“這是件有點(diǎn)粗糙的工具，”Wordpress前高管、科技投資者、數(shù)字營(yíng)銷公司Yoast創(chuàng)始人約斯特·德·瓦爾克(Joost de Valk)說(shuō)。“它沒(méi)有法律依據(jù)，基本上是由谷歌維護(hù)的，盡管他們聲稱是與其他搜索引擎共同維護(hù)的。”
考慮到各大企業(yè)對(duì)高質(zhì)量人工智能數(shù)據(jù)的巨大需求，爬蟲(chóng)協(xié)議也容易被操縱。例如，像OpenAI這樣的公司只需更改其網(wǎng)絡(luò)爬蟲(chóng)的名稱，就可以繞過(guò)人們使用爬蟲(chóng)協(xié)議設(shè)置的禁止規(guī)則。
此外，由于爬蟲(chóng)協(xié)議是自愿遵守的，網(wǎng)絡(luò)爬蟲(chóng)也可以簡(jiǎn)單地忽略指令并繼續(xù)收集信息。像Brave等較新的搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)就不會(huì)受到規(guī)則的影響。
“網(wǎng)上的一切信息都被模型吸進(jìn)了真空，”研究人類生成數(shù)據(jù)與人工智能之間關(guān)系的計(jì)算機(jī)科學(xué)教授尼克·文森特(Nick Vincent)說(shuō)。“這背后發(fā)生了很多事情。在接下來(lái)的時(shí)間里，我們希望能以不同的方式評(píng)估這些模型。
創(chuàng)作者的回應(yīng)
德·瓦爾克警告稱，內(nèi)容所有者和創(chuàng)作者可能已經(jīng)太遲鈍，無(wú)法理解允許這些網(wǎng)絡(luò)爬蟲(chóng)免費(fèi)獲取他們的數(shù)據(jù)、不加區(qū)分地使用這些數(shù)據(jù)來(lái)開(kāi)發(fā)人工智能模型的風(fēng)險(xiǎn)。
“現(xiàn)在，什么都不做意味著，‘我認(rèn)可我的內(nèi)容出現(xiàn)在世界上所有的人工智能和大語(yǔ)言模型中，’”德·瓦爾克說(shuō)。“這是完全錯(cuò)誤的。需要?jiǎng)?chuàng)建更好的爬蟲(chóng)協(xié)議，但搜索引擎和大型人工智能團(tuán)隊(duì)自己很難會(huì)去做這件事。”
一些大公司和網(wǎng)站最近做出了回應(yīng)，其中一些是第一次部署爬蟲(chóng)協(xié)議。
檢測(cè)人工智能生成內(nèi)容的公司Originality.ai表示，截至8月22日，在1000個(gè)最受用戶歡迎的網(wǎng)站中有70個(gè)使用爬蟲(chóng)協(xié)議屏蔽GPTBot。
Originality.ai還發(fā)現(xiàn)，在1000個(gè)最受歡迎的網(wǎng)站中，有62個(gè)屏蔽了Common Crawl的網(wǎng)絡(luò)爬蟲(chóng)CCBot。隨著人們對(duì)人工智能數(shù)據(jù)收集的意識(shí)日益增強(qiáng)，今年有越來(lái)越多的網(wǎng)站開(kāi)始屏蔽Common Crawl。
然而，網(wǎng)站不能強(qiáng)制執(zhí)行爬蟲(chóng)協(xié)議。任何爬蟲(chóng)都可以忽略該文件，繼續(xù)收集網(wǎng)頁(yè)上的數(shù)據(jù)，而網(wǎng)頁(yè)所有者可能根本不知情。即使部署爬蟲(chóng)協(xié)議具有法律依據(jù)，其初衷與利用網(wǎng)絡(luò)信息開(kāi)發(fā)人工智能模型關(guān)系不大。
紐約大學(xué)技術(shù)法律與政策診所主任杰森·舒爾茨(Jason Schultz)表示，"Robots.txt不太可能被視為禁止使用網(wǎng)站數(shù)據(jù)的法律。"這主要是為了表明人們不希望自己的網(wǎng)站被搜索引擎編入索引，而不是表示人們不希望自己的內(nèi)容被用于訓(xùn)練機(jī)器學(xué)習(xí)和人工智能。
“這是一個(gè)雷區(qū)”
事實(shí)上，這種情況已經(jīng)持續(xù)了多年。早在2018年，OpenAI就公布了首個(gè)GPT模型，并通過(guò)BookCorpus數(shù)據(jù)集進(jìn)行訓(xùn)練。Common Crawl始于2008年，并于2011年通過(guò)亞馬遜云服務(wù)公開(kāi)了數(shù)據(jù)集。
盡管如今屏蔽GPTBot的網(wǎng)站越來(lái)越多，但對(duì)于那些擔(dān)心自己的數(shù)據(jù)被用于訓(xùn)練人工智能模型的企業(yè)來(lái)說(shuō)，Common Crawl的威脅更大?？梢哉f(shuō)，Common Crawl之于人工智能，就像谷歌之于互聯(lián)網(wǎng)搜索。
非營(yíng)利組織知識(shí)共享（Creative Commons）首席執(zhí)行官凱瑟琳·斯蒂勒(Catherine Stihler)表示，
“這是一個(gè)雷區(qū)。我們幾年前才更新了戰(zhàn)略，現(xiàn)在我們處于一個(gè)不同的世界。”
知識(shí)共享始于2001年，是創(chuàng)作者和內(nèi)容所有者用知識(shí)共享許可協(xié)議來(lái)替代嚴(yán)格版權(quán)，在網(wǎng)上使用并分享作品許可的一種方式。在共享許可協(xié)議的基礎(chǔ)上，創(chuàng)作者和所有者保留他們的權(quán)利，并允許其他人訪問(wèn)內(nèi)容并創(chuàng)作衍生作品。維基百科、Flickr、Stack Overflow等許多知名網(wǎng)站都是通過(guò)知識(shí)共享許可協(xié)議運(yùn)作的。
知識(shí)共享組織在最新的五年戰(zhàn)略中表示，在訓(xùn)練人工智能技術(shù)方面，開(kāi)放內(nèi)容的使用存在問(wèn)題。知識(shí)共享組織希望使在線作品共享更加公平。
1600億網(wǎng)頁(yè)
通過(guò)CCBot爬取公開(kāi)信息的Common Crawl擁有最大的數(shù)據(jù)存儲(chǔ)庫(kù)。自2011年以來(lái)，它已從1600億個(gè)網(wǎng)頁(yè)中抓取和保存信息，并持續(xù)增加。一般來(lái)說(shuō)，Common Crawl每月抓取并保存大約30億個(gè)網(wǎng)頁(yè)的信息。
Common Crawl稱，這項(xiàng)事業(yè)是一個(gè)“開(kāi)放數(shù)據(jù)”項(xiàng)目，旨在讓任何人“打開(kāi)自己的好奇心，分析世界，追求卓越的想法”。
然而，現(xiàn)在的情況完全不同。大量Common Crawl收集的數(shù)據(jù)被大科技公司用于開(kāi)發(fā)專有模型。即使一家大型科技公司目前沒(méi)有從人工智能產(chǎn)品中獲利，未來(lái)也有可能這樣做。
一些大型科技公司已停止披露訓(xùn)練數(shù)據(jù)來(lái)源。然而，許多強(qiáng)大的人工智能模型都是使用Common Crawl開(kāi)發(fā)的。它幫助谷歌開(kāi)發(fā)了Bard，幫助Meta訓(xùn)練Llama，幫助OpenAI創(chuàng)建ChatGPT。
Common Crawl還向The Pile提供數(shù)據(jù)，后者還擁有更多從其他爬蟲(chóng)抓取的數(shù)據(jù)集。The Pile已廣泛用于人工智能項(xiàng)目，包括Llama和微軟與英偉達(dá)共同開(kāi)發(fā)的MT-NLG。
從今年6月份開(kāi)始，The Pile下載量最大的數(shù)據(jù)之一是受版權(quán)保護(hù)的漫畫(huà)書(shū)，包括阿奇漫畫(huà)、蝙蝠俠、X戰(zhàn)警、星球大戰(zhàn)和超人系列的作品。這些作品都是DC漫畫(huà)和漫威創(chuàng)作的，現(xiàn)在仍受版權(quán)保護(hù)。最近有報(bào)道稱，The Pile中還存儲(chǔ)了大量受版權(quán)保護(hù)的書(shū)籍。
紐約大學(xué)的舒爾茨表示，爬蟲(chóng)的目的和使用方式完全不同。很難監(jiān)管或要求它們以特定方式使用數(shù)據(jù)。
對(duì)于The Pile來(lái)說(shuō)，雖然它承認(rèn)數(shù)據(jù)中包含受版權(quán)保護(hù)的材料，但在創(chuàng)立數(shù)據(jù)集的技術(shù)文章中聲稱，“處理和分發(fā)他人擁有的數(shù)據(jù)也可能違反版權(quán)法”的說(shuō)法幾乎沒(méi)有人會(huì)認(rèn)同。
此外，The Pile還辯稱，盡管數(shù)據(jù)集中存儲(chǔ)了相對(duì)未經(jīng)改變的作品，但根據(jù)合理使用原則，對(duì)這些材料的使用應(yīng)該是變革性的。The Pile還承認(rèn)，在訓(xùn)練大語(yǔ)言模型時(shí)，需要使用完整的版權(quán)內(nèi)容以產(chǎn)生最佳效果。
網(wǎng)絡(luò)爬蟲(chóng)和人工智能項(xiàng)目中所謂的合理使用觀點(diǎn)已經(jīng)受到了質(zhì)疑。作家、視覺(jué)藝術(shù)家甚至源代碼開(kāi)發(fā)人員起訴OpenAI、微軟和Meta等公司，因?yàn)樗麄兊脑瓌?chuàng)作品在未經(jīng)許可的情況下被用于訓(xùn)練模型，而他們并沒(méi)有從中受益。
微軟前高管、風(fēng)投公司安德森·霍洛維茨(Andreessen Horowitz)合伙人史蒂文·辛諾夫斯基(Steven Sinofsky)最近在社交媒體上寫(xiě)道，即便將東西放到互聯(lián)網(wǎng)上，也不能不經(jīng)同意就免費(fèi)、無(wú)限制地將某人的勞動(dòng)成果用于商業(yè)用途。
沒(méi)有解決辦法
“我們現(xiàn)在正在努力解決所有這些問(wèn)題，”知識(shí)共享組織首席執(zhí)行官斯蒂勒表示，有很多問(wèn)題需要解決：補(bǔ)償、授權(quán)、信任。在人工智能時(shí)代，我們還沒(méi)有答案。
德·瓦爾克表示，由于知識(shí)共享許可協(xié)議可以促進(jìn)版權(quán)的流通性、允許自己擁有的作品在互聯(lián)網(wǎng)上使用，可以作為開(kāi)發(fā)人工智能模型的一種潛在許可模式。
斯蒂勒對(duì)此并不確定。她說(shuō)，涉及到人工智能時(shí)，也許并沒(méi)有單一的解決方案。即使是更靈活的通用協(xié)議，也可能行不通。你如何向整個(gè)互聯(lián)網(wǎng)授權(quán)？
斯蒂勒說(shuō)：“與我交談過(guò)的每一位律師都說(shuō)，許可并不能解決問(wèn)題。”
她經(jīng)常與作者、人工智能行業(yè)高管等利益相關(guān)者討論這個(gè)問(wèn)題。斯蒂勒今年早些時(shí)候會(huì)見(jiàn)了OpenAI的代表，并表示公司正在討論如何獎(jiǎng)勵(lì)創(chuàng)作者。
但她補(bǔ)充說(shuō)，目前還不清楚人工智能時(shí)代的公共空間將會(huì)是什么樣子。
鑒于網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)為大型科技公司收集了大量數(shù)據(jù)，加上內(nèi)容創(chuàng)作者根本無(wú)法掌控，互聯(lián)網(wǎng)可能會(huì)發(fā)生巨大變化。
如果發(fā)布信息意味著將數(shù)據(jù)免費(fèi)提供給與自己競(jìng)爭(zhēng)的人工智能模型，那么這種活動(dòng)可能會(huì)停止。
已經(jīng)有跡象表明，訪問(wèn)問(wèn)答網(wǎng)站Stack Overflow來(lái)回答問(wèn)題的程序員越來(lái)越少，因?yàn)樗麄冎暗母冻霰挥脕?lái)訓(xùn)練人工智能模型，現(xiàn)在這些模型可以自動(dòng)回答許多問(wèn)題。
斯蒂勒表示，所有在線創(chuàng)作內(nèi)容的未來(lái)可能很快就會(huì)像現(xiàn)在的流媒體一樣，內(nèi)容被鎖在訂閱服務(wù)中，成本越來(lái)越高。
“如果我們不小心，最終就會(huì)導(dǎo)致公共空間關(guān)閉，”斯蒂勒說(shuō)。“將會(huì)有更多有圍墻的花園、更多人們無(wú)法訪問(wèn)的東西。這不是未來(lái)知識(shí)和創(chuàng)造力的成功模式。”（辰辰）
