本文來自微信公眾號“農(nóng)業(yè)品牌聯(lián)盟”，作者/盟主。
近年來，人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用取得了顯著進展，但仍面臨諸如模型數(shù)據(jù)收集標記困難、模型泛化能力弱等挑戰(zhàn)。大模型技術(shù)作為近期人工智能領(lǐng)域新的熱點技術(shù)，已在多個行業(yè)的垂直領(lǐng)域中展現(xiàn)出了良好性能，尤其在復(fù)雜關(guān)聯(lián)表示、模型泛化、多模態(tài)信息處理等方面較傳統(tǒng)機器學(xué)習(xí)方法有著較大優(yōu)勢。
［進展］本文首先闡述了大模型的基本概念和核心技術(shù)方法，展示了在參數(shù)規(guī)模擴大與自監(jiān)督訓(xùn)練下，模型通用能力與下游適應(yīng)能力的顯著提升。隨后，分析了大模型在農(nóng)業(yè)領(lǐng)域應(yīng)用的主要場景；按照語言大模型、視覺大模型和多模態(tài)大模型三大類，在闡述模型發(fā)展的同時重點介紹在農(nóng)業(yè)領(lǐng)域的應(yīng)用現(xiàn)狀，展示了大模型在農(nóng)業(yè)上取得的研究進展。
［結(jié)論/展望］對農(nóng)業(yè)大模型數(shù)據(jù)集少而分散、模型部署難度大、農(nóng)業(yè)應(yīng)用場景復(fù)雜等困難提出見解，展望了農(nóng)業(yè)大模型未來的發(fā)展重點方向。預(yù)計大模型將在未來提供全面綜合的農(nóng)業(yè)決策系統(tǒng)，并為公眾提供專業(yè)優(yōu)質(zhì)的農(nóng)業(yè)服務(wù)。
引言
大模型（Big Models）［1］，或稱基礎(chǔ)模型（Foundation Models）［2］，指經(jīng)過在大規(guī)模數(shù)據(jù)上訓(xùn)練，具有龐大參數(shù)量的深度神經(jīng)網(wǎng)絡(luò)模型。這些模型通常基于Transformer［3］架構(gòu)，通過自監(jiān)督的方法從大量數(shù)據(jù)中進行學(xué)習(xí)，不僅擁有卓越的通用能力，也可以適應(yīng)不同的下游任務(wù)。通過擴展，模型在多個領(lǐng)域展示出強大能力的同時，甚至可以涌現(xiàn)出的新能力。例如基于GPT（Generative Pre-trained Transformer）［4］系列技術(shù)的ChatGPT對話機器人，可以經(jīng)過一定的提示詞，在如機器翻譯、情感分析、文本摘要等大量的自然語言處理任務(wù)中表現(xiàn)出色，亦可以推理小模型無法處理的復(fù)雜邏輯。
大模型一般使用自監(jiān)督（Self-supervised）的方式進行大規(guī)模的訓(xùn)練，然后將模型應(yīng)用于不同的下游任務(wù)。自監(jiān)督的學(xué)習(xí)方式擺脫了對大量人工標記的依賴。通過擴展模型的規(guī)模與訓(xùn)練量，模型的任務(wù)范圍與性能均能有顯著提高，同時微調(diào)（Fine-tuning）也可以在特定任務(wù)上利用少量數(shù)據(jù)快速提升模型能力。在大模型中，以語言大模型（Large Language Models,LLMs）［5］為代表性成果，其可以通過一定的提示詞完成廣泛的文本生成任務(wù)，展現(xiàn)出強大的模型泛化能力。大模型也包括視覺大模型（Large Vision Models,LVMs）與多模態(tài)大模型（Large Multi-modal Models,LMMs）等。
現(xiàn)代農(nóng)業(yè)的迅猛發(fā)展與人工智能技術(shù)進步密切相關(guān)，特別是深度學(xué)習(xí)的突破性進展對農(nóng)業(yè)產(chǎn)生了深遠影響。深度學(xué)習(xí)強大的特征學(xué)習(xí)與數(shù)據(jù)處理等能力，使其在雜草控制、作物病蟲害檢測、畜牧業(yè)管理以及農(nóng)業(yè)遙感等領(lǐng)域均有廣泛應(yīng)用。然而，這些方法大多使用監(jiān)督學(xué)習(xí)，依賴于特定的高質(zhì)量人工標注數(shù)據(jù)。收集和標注這類數(shù)據(jù)集不僅耗時、耗資巨大，且模型遷移到其他任務(wù)的能力有限，限制了數(shù)據(jù)規(guī)模與模型的發(fā)展。因此，尋找能夠跨應(yīng)用領(lǐng)域通用的模型和技術(shù)，減少對大規(guī)模數(shù)據(jù)標記的新方法，擴展深度學(xué)習(xí)框架的通用性，是推動農(nóng)業(yè)等領(lǐng)域進步的重要挑戰(zhàn)。
農(nóng)業(yè)大模型（Agricultural Big Models）是為克服上述困難的一次重大嘗試，為解決農(nóng)業(yè)領(lǐng)域數(shù)據(jù)較少且分散的現(xiàn)狀提供了方案，同時其廣泛的任務(wù)遷移能力也得到了多個農(nóng)業(yè)子領(lǐng)域的關(guān)注。圖1介紹了大模型的構(gòu)建流程，包含使用異構(gòu)數(shù)據(jù)訓(xùn)練模型，對模型微調(diào)提升能力，以及使用外部系統(tǒng)增強生成能力等；最終，模型可以用于多種農(nóng)業(yè)綜合服務(wù)中，提供強大而全面的農(nóng)業(yè)問題解決方案。
圖1農(nóng)業(yè)大模型的構(gòu)建流程與應(yīng)用［6，7］
為梳理大模型的農(nóng)業(yè)應(yīng)用現(xiàn)狀，探討大模型的農(nóng)業(yè)應(yīng)用潛力，本文首先介紹了大模型關(guān)鍵技術(shù)；其次分析了大模型在農(nóng)業(yè)領(lǐng)域可能的應(yīng)用場景，分別介紹語言大模型、視覺大模型和多模態(tài)大模型三種常見大模型及其農(nóng)業(yè)應(yīng)用案例，展示模型在農(nóng)業(yè)領(lǐng)域的影響。最后，闡述大模型在農(nóng)業(yè)領(lǐng)域發(fā)展面臨的挑戰(zhàn)，并給出農(nóng)業(yè)大模型的發(fā)展思路。
大模型關(guān)鍵技術(shù)與特性
大模型依賴于諸多技術(shù)支撐，也具有區(qū)別于其他人工智能模型的特性。Transformer架構(gòu)是當今眾多大模型的基礎(chǔ)，使大模型能夠有效處理大規(guī)模的數(shù)據(jù)并擴展模型規(guī)模［3］，擴展定理則指導(dǎo)大模型進行有限預(yù)算的最優(yōu)開發(fā)，大規(guī)模的自監(jiān)督學(xué)習(xí)使模型在無需人工監(jiān)督的情況下擴展訓(xùn)練規(guī)模來提升能力。同時，大模型中新產(chǎn)生的涌現(xiàn)能力（Emergent abilities）［8］，是其區(qū)別于其他小規(guī)模模型的重要特征。
1.1 Transformer模型的產(chǎn)生與核心原理
Transformer架構(gòu)的設(shè)計核心是一種簡單高效的自注意力（Self-attention）機制，通過計算序列內(nèi)元素間的相互關(guān)注度分數(shù)，為各元素賦予差異化的重要性權(quán)重。這一設(shè)計使得模型能夠在處理序列數(shù)據(jù)時，動態(tài)地集中處理序列中的關(guān)鍵信息，并能夠覆蓋序列中任意位置的數(shù)據(jù)元素，有效捕捉長程依賴關(guān)系。這種機制使得模型能夠方便地擴展，不會因此在模型推理時丟失細節(jié)。此外，Transformer模型的架構(gòu)允許并行化計算，模型在參數(shù)規(guī)模較大時訓(xùn)練效率有了顯著提升。這些特性促使其在大模型領(lǐng)域具有廣泛應(yīng)用。
Transformer推動了自然語言處理領(lǐng)域的一系列重大進展。BERT（Bidirectional Encoder Representations from Transformers）［9］、GPT等基于Transformer架構(gòu)的預(yù)訓(xùn)練語言模型相繼產(chǎn)生，并在文本翻譯等子領(lǐng)域展示出卓越的性能。
GPT使用了Transformer中的解碼器設(shè)計，允許文本正向輸入，并通過預(yù)測文本序列中的下一詞來進行訓(xùn)練，使模型能夠理解并生成連貫的文本內(nèi)容。BERT則使用雙向Transformer編碼器架構(gòu)，能夠考慮到給定單詞在上下文中的前后信息，實現(xiàn)同時從正向和反向與對文本的深入理解，顯著提升了模型對語義的把握能力。同時，BERT通過在掩碼語言建模（Masked Language Modeling）與下一句預(yù)測（Next Sentence Prediction），學(xué)習(xí)到復(fù)雜的語境關(guān)系。
隨著模型的進一步擴大，例如GPT-3［10］、LLaMa（Large Language Model Meta AI）［11］等語言大模型的開發(fā)，將模型能力推升至新的高度。同時，Transformer架構(gòu)的影響也擴展到了其他的人工智能子領(lǐng)域，如計算機視覺領(lǐng)域的代表模型ViT（Vision Transformer）［12］，通過將圖像分割成多個小塊并應(yīng)用Transformer架構(gòu)處理，打破了傳統(tǒng)依賴卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNNs）的圖像處理范式。
進一步地，Caron等［13］將ViT與自監(jiān)督學(xué)習(xí)結(jié)合，提出了DINO（Self-distillation with No Labels）框架，在自監(jiān)督條件下也能學(xué)習(xí)到圖像中的深層語義特征，為構(gòu)造視覺大模型奠定了一定的理論基礎(chǔ)。
1.2大模型的擴展定理
Transformer架構(gòu)允許模型進行大規(guī)模的堆疊，而對模型規(guī)模、數(shù)據(jù)規(guī)模與計算量的擴展，可以大幅提高模型能力。尤其在語言大模型領(lǐng)域，開展了一些對擴展的定量研究。
語言大模型發(fā)展出兩個代表性的法則［7］：KM（Kaplan-McCandlish）法則［14］與Chinchilla法則［15］。
KM法則是通過擬合神經(jīng)語言模型的性能在不同模型規(guī)模（N）、數(shù)據(jù)集規(guī)模（D），以及訓(xùn)練計算量（C）三種變量的表現(xiàn)提出了一種性能隨這三種要素擴展而提升的定量描述；Chinchilla法則提出了另一種形式來指導(dǎo)語言大模型進行最優(yōu)計算量的訓(xùn)練，認為模型大小與數(shù)據(jù)量應(yīng)以同比增加來在一定預(yù)算下取得最優(yōu)模型。KM法則可以表示為公式（1）~公式（3），Chinchilla法則表示為公式（4）~公式（6）。
式中：圖片為nats表示下的交叉熵損失。
式中：E=1.69，A=406.4，B=410.7，α=0.34，β=0.28。在??≈6????的條件下，將計算預(yù)算分配給模型規(guī)模與數(shù)據(jù)量的最優(yōu)解，為公式（5）和公式（6）。
式中：圖片，G為基于A、B、α與β計算的擴展系數(shù)。
1.3大規(guī)模自監(jiān)督學(xué)習(xí)
大模型的能力依賴于大規(guī)模的訓(xùn)練。早期的深度學(xué)習(xí)模型基于監(jiān)督訓(xùn)練，依賴于對數(shù)據(jù)的人工標注。這種方式耗時耗力，限制了模型的訓(xùn)練規(guī)模。相對地，自監(jiān)督學(xué)習(xí)的核心思想是利用數(shù)據(jù)本身自動化地產(chǎn)生對應(yīng)的監(jiān)督信號，使模型能夠在未經(jīng)人工標注的數(shù)據(jù)上，學(xué)習(xí)到有用的特征，進行自我監(jiān)督。通過減少或避免對人工的依賴，使得在更廣泛、更大規(guī)模的數(shù)據(jù)集上進行訓(xùn)練成為可能。
在大模型領(lǐng)域，自監(jiān)督學(xué)習(xí)主要采用生成式學(xué)習(xí)與對比學(xué)習(xí)兩種策略。生成式學(xué)習(xí)，也稱預(yù)測學(xué)習(xí)，旨在通過模型生成與訓(xùn)練數(shù)據(jù)相似的數(shù)據(jù)，深入挖掘數(shù)據(jù)的內(nèi)在結(jié)構(gòu)及生成過程的潛在因素。
生成式學(xué)習(xí)在語言模型中應(yīng)用廣泛，如BERT模型通過掩碼語言建模與下一句預(yù)測進行訓(xùn)練，前者旨在預(yù)測文本中挖空的詞匯，后者則是從候選句子中挑選出最合適作為文本下文的句子。對比學(xué)習(xí)則廣泛地應(yīng)用到計算機視覺領(lǐng)域中，如SimCLR（Simple Framework for Contrastive Learning of Visual Representations）［16］架構(gòu)，將同一批圖片采用不同方式增強后進行編碼，最大化來自相同圖片的編碼的相似性，以此學(xué)習(xí)對圖片的特征表示。
同時，進行大規(guī)模自監(jiān)督學(xué)習(xí)的可擴展性訓(xùn)練技術(shù)也至關(guān)重要［7］，可以包括如使用3D并行技術(shù)（數(shù)據(jù)并行、流水線并行、張量并行等），將計算分散到多個GPU上進行訓(xùn)練，或使用零冗余優(yōu)化器（Zero Redundancy Optimizer,ZeRO）［17］技術(shù)，解決數(shù)據(jù)在多GPU部署后的冗余問題，以及采用混合精度訓(xùn)練，減少計算量與數(shù)據(jù)傳輸開銷。這些技術(shù)結(jié)合計算機硬件的持續(xù)進步，為大模型的規(guī)模擴展和訓(xùn)練效率提供了堅實的算力支持。
1.4大模型通用能力與適應(yīng)微調(diào)
經(jīng)過預(yù)訓(xùn)練，大模型具有解決廣泛任務(wù)的通用能力。通過一定的提示（Prompts），大模型能夠執(zhí)行不同的具體任務(wù)。如ChatGPT可基于語言等提示，執(zhí)行如文本翻譯、開放領(lǐng)域問答、文本摘要、文本生成等多種自然語言處理上的具體任務(wù)；Meta公司開發(fā)的SAM（Segment Anything Model）［18］允許使用文本提示與可視化的分割范圍提示，對照片中的具體物體進行實例分割。
大模型可以通過微調(diào)適配到特定的目標上。如在語言大模型上可以進行指令微調(diào)（Instruction tuning）與對齊微調(diào)（Alignment tuning）兩種微調(diào)方法［7］。
前者通過構(gòu)建人工參與的格式化的指令，包含任務(wù)描述、輸入輸出以及可選的少量示例等，監(jiān)督大模型對特定的工作進行調(diào)節(jié)，提升其完成具體目標的能力；后者則著重于將人類的價值取向與偏好等對齊于語言大模型，防止其生成有害的、虛假的、帶有偏見的等不符合人類期望的內(nèi)容，一般采用基于人類反饋的強化學(xué)習(xí)（Reinforcement Learning from Human Feedback,RLHF）［19］方法，通過收集的人類反饋進行訓(xùn)練獎勵，有監(jiān)督地調(diào)節(jié)模型。視覺大模型亦可通過微調(diào)工作，來提高模型在特定任務(wù)，如開放世界物體檢測中的性能，也可提高模型的某種能力，如視覺定位（Visual Grounding）等［6］。
對模型進行全參數(shù)微調(diào)需要大量計算資源。而對模型添加少量額外結(jié)構(gòu)，就能使模型在僅調(diào)節(jié)這些結(jié)構(gòu)后快速適應(yīng)下游任務(wù)。這種參數(shù)高效微調(diào)［7］的方法包括適配器微調(diào)（Adapter Tuning）、前綴微調(diào)（Prefix tuning）、低秩適應(yīng)（Low-Rank Adaption,LoRA）［20］微調(diào)以及提示微調(diào)（Prompt tuning）等。
適應(yīng)器微調(diào)通過在模型的多頭注意力層與前饋層之間插入小型的神經(jīng)網(wǎng)絡(luò)模塊來實現(xiàn)；前綴微調(diào)則是向模型的輸入添加一系列固定的向量（即前綴）來引導(dǎo)模型輸出；而LoRA微調(diào)通過在Transformer層中添加低秩矩陣來模擬模型內(nèi)部較低的本征維度，從而使用少量參數(shù)進行快速學(xué)習(xí)。此外，提示微調(diào)則通過自動調(diào)整添加到輸入上的提示模板來激發(fā)模型在特定任務(wù)上的性能。這些方法的出現(xiàn)顯著降低了微調(diào)的計算量，促進了大模型在多個領(lǐng)域的推廣。
1.5涌現(xiàn)能力
語言大模型與一般預(yù)訓(xùn)練語言模型的主要區(qū)別之一是涌現(xiàn)出在較小模型上難以出現(xiàn)的能力，即涌現(xiàn)能力［8］。將模型的規(guī)模提升到一定程度，其能夠展現(xiàn)出解決復(fù)雜的問題的新能力。其中有三種典型能力［7］：上下文學(xué)習(xí)（In-Context Learning）、指令遵循，以及逐步推理。
上下文學(xué)習(xí)是指模型能夠按照一定的自然語言指令以及任務(wù)演示，對測試樣例進行補全來生成答案，不需要對模型參數(shù)進行更新。指令遵循是指模型在混合多任務(wù)數(shù)據(jù)集上進行微調(diào)后，在格式相同但未曾見過的任務(wù)中具有良好表現(xiàn)，即便沒有顯式的示例依然可以遵循新的命令。逐步推理則強調(diào)語言大模型可以解決涉及多個推理步驟的復(fù)雜任務(wù)，通過思維鏈（Chain of Thought）［21］等方式生成中間的推理步驟，最后生成最終的答案。
大模型分類及在農(nóng)業(yè)應(yīng)用分析
2.1大模型農(nóng)業(yè)應(yīng)用主要場景
大模型在農(nóng)業(yè)領(lǐng)域展出廣泛而強大的應(yīng)用潛力，涉及農(nóng)業(yè)的多個子領(lǐng)域。
在種植業(yè)領(lǐng)域，大模型可以對植株及根莖果實等器官進行識別分析，對病蟲害、雜草等進行識別與定位等；在畜牧業(yè)領(lǐng)域，大模型可以對家畜進行個體識別與追蹤，以及動物行為分析、動物產(chǎn)品分析等。
對于農(nóng)業(yè)上的通用領(lǐng)域，大模型可以對農(nóng)業(yè)遙感圖像進行劃分，分析土地用途、作物種類等；也可以用于農(nóng)業(yè)文本的分類與信息提取等。對于綜合化的農(nóng)業(yè)應(yīng)用，大模型可以用作農(nóng)業(yè)智能問答系統(tǒng)，對多模態(tài)信息進行全面分析；而在未來，大模型可以接入自動化農(nóng)機中指導(dǎo)其操作，亦可以作為決策核心對多種農(nóng)業(yè)任務(wù)進行無人化管理。
大模型與農(nóng)業(yè)深度融合是未來的發(fā)展趨勢，甚至?xí)r(nóng)業(yè)產(chǎn)生變革性的影響。圖2展示了當前以及未來農(nóng)業(yè)大模型的幾種應(yīng)用方向。
圖2農(nóng)業(yè)大模型主要應(yīng)用場景
發(fā)展并普及基于大模型的農(nóng)業(yè)服務(wù)，不僅可以加強用戶反饋信息和數(shù)據(jù)集的豐富性，進一步優(yōu)化模型，還能推動農(nóng)業(yè)智能化的廣泛實施。此外，推廣大模型在農(nóng)業(yè)領(lǐng)域的應(yīng)用，能夠為用戶提供更加個性化、全面而便捷的綜合服務(wù)。其能夠減少對人力的依賴，促進農(nóng)業(yè)知識的積累與傳播，并為農(nóng)戶與企業(yè)提供更加科學(xué)、可靠和高效的農(nóng)業(yè)支持系統(tǒng)，推動農(nóng)業(yè)產(chǎn)業(yè)的持續(xù)發(fā)展和創(chuàng)新。
2.2農(nóng)業(yè)大模型分類
2.2.1語言大模型
語言建模（Language Modeling）是人工智能在語言能力上的重要體現(xiàn)，其旨在通過對詞序列進行概率建模，預(yù)測未來或內(nèi)部缺失的文本概率［7］。
近年來，語言大模型通過大規(guī)模的語言建模，將人工智能在自然語言處理上的能力推上了一個新的高度，以GPT系列為代表的語言大模型得以產(chǎn)生。
GPT-2［22］采用無監(jiān)督語言建模的方法，對多任務(wù)求解進行概率建模，將多種自然語言處理任務(wù)轉(zhuǎn)換為特殊的詞序列預(yù)測問題；通過在更多更廣泛的語言文本上訓(xùn)練，GPT-2可以在未針對部分特定任務(wù)訓(xùn)練的情況下，依然在這些任務(wù)上表現(xiàn)出色，展現(xiàn)出“零樣本學(xué)習(xí)”（Zero-Shot Learning）的能力。
GPT-3［10］在繼續(xù)擴展數(shù)據(jù)集與模型規(guī)模的同時引入更多的預(yù)訓(xùn)練方法，將模型能力推升到新的高度；通過少量樣本即可顯著提升在下游任務(wù)上的能力，GPT-3展現(xiàn)出了其少樣本學(xué)習(xí)（Few-Shot Learning）的能力。此外，InstructGPT[19]探索了GPT-3對基于人類反饋的強化學(xué)習(xí)的引入，將模型對齊于人類的價值偏好，旨在生成有用、可信且無害的內(nèi)容。
GPT-4［23］在展現(xiàn)出更加先進語言能力的同時，亦可進行復(fù)雜的圖像解讀與生成，展現(xiàn)了多模態(tài)能力?；贕PT-3.5與GPT-4的ChatGPT的出現(xiàn)引起了社會對語言大模型的關(guān)注，讓人們重新思考通用人工智能（Artificial General Intelligence,AGI）的可能性，也促進了多種大模型的出現(xiàn)。
BERT與GPT的設(shè)計思想在語言大模型中得以沿用，催生出不同的模型架構(gòu)。
目前有三種主要的架構(gòu)［7］，第一種為編碼器-解碼器架構(gòu)（Encoder-Decoder Architecture），利用編碼器理解輸入序列，再由解碼器生成目標序列。編碼器使用多個堆疊的多頭自注意力層對序列編碼，捕捉其中復(fù)雜的內(nèi)部關(guān)系，解碼器則使用交叉注意（Cross-Attention）并自回歸地生成目標序列?；诖隧椩淼念A(yù)訓(xùn)練語言模型大都基于BERT進行進一步開發(fā)，比較知名的有BART［24］和T5［25］等，而基于此架構(gòu)的語言大模型（如Flan-T5［26］等）數(shù)量較少。
第二種是因果解碼器（Causal Decoder Architecture），沿用GPT模型的思想，僅含有一個單向的解碼器，因而輸入的序列片段只關(guān)注自身與之前的片段，目前被大部分的語言大模型使用。開源的BLOOM（Big Science Large Open-Science Open-Access Multilingual Language Model）［27］、Llama2［28］等模型均是基于這種架構(gòu)開發(fā)的。
第三種是前綴解碼器架構(gòu)（Prefix Decoder Architecture），使用了編碼器-解碼器架構(gòu)的部分思想，改進了因果解碼器，使得前綴序列片段可以執(zhí)行雙向的注意力機制，并保持生成的序列使用單向注意力機制。采用這種架構(gòu)的語言大模型有GLM-130B［29］等。目前，語言大模型已經(jīng)在農(nóng)業(yè)領(lǐng)域初步應(yīng)用，其中包括構(gòu)建專用農(nóng)業(yè)模型、研究已有模型的農(nóng)業(yè)能力，以及綜合使用模型與外部系統(tǒng)等研究方向。
1）建立農(nóng)業(yè)專用語言模型。
在大規(guī)模的語言模型出現(xiàn)前，一些較小規(guī)模的語言模型就已經(jīng)在農(nóng)業(yè)領(lǐng)域得以應(yīng)用。如Rezayi等［30］提出了用于匹配食物與營養(yǎng)成分的AgriBERT模型。該模型使用了BERT語言模型結(jié)構(gòu)，在基于大量學(xué)術(shù)期刊的語料數(shù)據(jù)集上進行了從零開始的預(yù)訓(xùn)練，并通過農(nóng)業(yè)專業(yè)知識圖譜增強答案來微調(diào)。結(jié)果表明，使用專用語料數(shù)據(jù)集進行訓(xùn)練后，模型匹配能力的提升非常顯著，而專業(yè)知識圖譜的影響較為復(fù)雜：模型能更好地推測出食物中最多的營養(yǎng)成分，但其推測出食物完整營養(yǎng)成分的能力會下降。這項工作為語言模型與知識圖譜在農(nóng)業(yè)領(lǐng)域的結(jié)合提供了一定指導(dǎo)。
目前，語言大模型的文本分析與生成能力在多種農(nóng)業(yè)任務(wù)中得以應(yīng)用，其可以對農(nóng)業(yè)文本進行信息抽取與分類，為農(nóng)業(yè)問題提出解答，提供全面的智慧農(nóng)業(yè)服務(wù)。農(nóng)業(yè)領(lǐng)域?qū)Ｓ谜Z言大模型的訓(xùn)練還在進行當中，如Yang等［31］基于預(yù)先訓(xùn)練的Llama2-7B與Llama2-13B模型，通過在大量專業(yè)文本上的繼續(xù)預(yù)訓(xùn)練與指示微調(diào)，訓(xùn)練出適用于植物科學(xué)領(lǐng)域的PLLaMa系列模型。在測試中，基于Llama2-13B的PLLaMa-13B-Chat在給定的多選問題上可以達到60%的準確率，同時在零樣本生成測試中也取得了令農(nóng)業(yè)與植物專家滿意的結(jié)論。由安徽省農(nóng)業(yè)農(nóng)村廳與科大訊飛構(gòu)建的“耕耘大模型”，基于星火認知大模型的核心技術(shù)，對接海量涉農(nóng)數(shù)據(jù)，實現(xiàn)包含農(nóng)業(yè)生產(chǎn)、市場分析，以及政策咨詢與政務(wù)服務(wù)的一站式智慧農(nóng)業(yè)系統(tǒng)。由中國農(nóng)業(yè)大學(xué)開發(fā)的“神農(nóng)大模型1.0”，使用多種農(nóng)業(yè)學(xué)科的海量數(shù)據(jù)進行訓(xùn)練，利用知識圖譜與向量數(shù)據(jù)庫提供相關(guān)文本來緩解模型幻覺，具有農(nóng)業(yè)知識問答、農(nóng)業(yè)文本摘要生成、農(nóng)業(yè)生產(chǎn)決策等多種能力，是中國農(nóng)業(yè)人工智能領(lǐng)域新的進展。
2）探究與增強已有語言大模型的農(nóng)業(yè)能力。
不經(jīng)過額外的大規(guī)模預(yù)訓(xùn)練，探究已有語言大模型在農(nóng)業(yè)領(lǐng)域的應(yīng)用能力也取得了一定成果。ChatAgri［32］是一種使用ChatGPT（基于GPT-3.5）的多語言農(nóng)業(yè)文本分類技術(shù)，總共包含有四種處理方向。一是使用人工書寫的指令來讓ChatGPT篩選文本；二是用ChatGPT構(gòu)建出多個問題后再使其基于問題篩選文本；三是讓ChatGPT判斷當前文本與已有文本的相似度來分類；四是在方向三中額外引入分步推理提升正確性。分類后的句子會繼續(xù)以固定的規(guī)則或與各類別的典型答案進行相似匹配兩種方式進一步對齊與歸并。ChatAgri使用零樣本學(xué)習(xí)即可超出其他模型，展現(xiàn)了語言大模型在農(nóng)業(yè)文本分類上的卓越能力。
語言大模型的農(nóng)業(yè)問答能力也得到了研究。Silva等［33］基于美國、巴西與印度三地的農(nóng)業(yè)問題，探究了LLaMa2-13B、LLaMa2-70B、GPT-3.5與GPT-4四種模型的農(nóng)業(yè)應(yīng)用能力。采用檢索增強生成（Retrieval-Augmented Generation,RAG）、集成精煉（Ensemble Refinement,ER）與問題背景描述三種方式提高模型的生成能力。GPT-4作為實驗的最優(yōu)模型，其在農(nóng)業(yè)碩士考試的成績超越人類考生結(jié)果，展現(xiàn)出語言大模型超越人類的問答能力，王婷等［34］基于草莓栽培農(nóng)技知識設(shè)計了知識對象識別與知識問答兩種下游任務(wù)，來探究Baichuan2-13B-Chat、ChatGLM26B等模型的農(nóng)業(yè)能力。使用多種學(xué)術(shù)數(shù)據(jù)來源提取與草莓栽培技術(shù)相關(guān)的知識并進行標注。同時為提升模型性能，該研究在知識對象識別實驗中采用LoRA微調(diào)，在知識問答實驗中采用提示微調(diào)與檢索增強生成等方法。這項實驗為農(nóng)業(yè)大模型的中文問答能力評估提供了初步見解。
語言大模型可以生成高質(zhì)量的農(nóng)業(yè)信息，但是對于精確到一定地區(qū)的問題，可能依然生成一般性回答，與地區(qū)的實際情況有所偏差。Balaguer等［35］采用檢索增強生成與微調(diào)來提升模型在地區(qū)具體問題上的回復(fù)能力。實驗從公開文檔中抽取格式化數(shù)據(jù)，并用模型生成所選文本的相關(guān)問題。使用增強的模型回答問題后，問題與答案會由GPT-4統(tǒng)一進行多角度的評估。評估不僅聚焦于問題范圍精準度、答案的正確性等，也包括問題的擬人性、答案文本流暢性等多個角度。實驗不僅表明兩種方式均可顯著增強模型能力，且提出了基于大模型的多維度評估機制，為模型的農(nóng)業(yè)能力評價提供了基線。
3）語言大模型與外部系統(tǒng)配合。
語言大模型強大的文本理解與生成能力，使其能夠有效地與其他小型人工智能模型等外部系統(tǒng)結(jié)合。Qing等［36］設(shè)計了一套綜合使用語言大模型與計算機視覺模型的病蟲害識別系統(tǒng)。該系統(tǒng)依賴YOLO模型［37］來識別植物病害，并提出YOLO的輕量級變體YOLOPC，來識別圖片中的植物蟲害。識別后的結(jié)果會先進行簡單的轉(zhuǎn)換，生成文字描述。之后，檢測結(jié)果與可選的額外信息（如地點等）會合并后傳輸給GPT-4模型，以產(chǎn)生綜合的描述與應(yīng)對方案。實驗結(jié)果表明，GPT-4可以有效地生成對病蟲害的全面描述并給出相應(yīng)的解決方案。同時，使用對當前環(huán)境的額外描述，以及讓GPT-4在生成總結(jié)后再進行推理，均對模型能力的提升有較大的幫助。Peng等［38］設(shè)計了一套利用語言大模型進行輔助農(nóng)業(yè)文本信息提取的系統(tǒng)。這項系統(tǒng)同時依賴于語言大模型與基于嵌入的檢索（Embedded-Based Retrieval,EBR）過濾器。EBR過濾器可以將文本轉(zhuǎn)換為向量并映射到高維空間，以此檢測文本片段的相似性，并基于此來提取文本特征。
提取文本的過程總共分為四步。第一步，文本將使用EBR過濾器進行預(yù)先切割后，再通過語言大模型進行處理，提取其中的描述性詞匯；第二步，語言大模型將上一步中的描述性詞匯與相應(yīng)的類別相匹配，如將“白色”匹配為“顏色”；第三步，語言大模型會從對應(yīng)的文本中提取主要的實物實體，類似于命名實體識別過程但著重于帶有形容的實物；第四步，使用語言大模型將實體與描述進行匹配，并將結(jié)果輸入EBR過濾器，將同義但不同詞的表述進行對齊統(tǒng)一，得到結(jié)構(gòu)化的文本輸出。實驗采用了GPT3.5-turbo作為語言大模型，并將輸出結(jié)果經(jīng)過人工評估，發(fā)現(xiàn)這種系統(tǒng)在準確率與召回率上均有良好的表現(xiàn)。這一結(jié)果突顯了語言大模型在農(nóng)業(yè)文本結(jié)構(gòu)化處理方向上的應(yīng)用潛力。
語言大模型在農(nóng)業(yè)領(lǐng)域的這些應(yīng)用展示出其對農(nóng)業(yè)文本強大的理解與生成能力。通過融合相關(guān)外部文本、多輪自行判斷推理以及模型高效微調(diào)，語言大模型的農(nóng)業(yè)能力能夠顯著增強。未來，使用通用語言大模型并通過外部信息以及少量訓(xùn)練與微調(diào)來增強其農(nóng)業(yè)能力的方式會得以進一步推廣。這些模型既能作為農(nóng)業(yè)智能問答系統(tǒng)的核心，也可以被整合到其他多樣化的系統(tǒng)中，從而提升人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用水平。
2.2.2視覺大模型
計算機視覺領(lǐng)域較早的主要研究范式是基于有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。ImageNet這種大規(guī)模圖像分類數(shù)據(jù)集促使了這一范式的沿用與推廣。這種范式下的模型包括AlexNet與ResNet等圖片分類模型，YOLO等物體檢測模型，以及U-Net等圖像語義分割模型。這種有監(jiān)督的范式限制了視覺模型的泛化性與適用性［2］。將語言模型的相關(guān)技術(shù)應(yīng)用于計算機視覺領(lǐng)域，并使用自監(jiān)督等學(xué)習(xí)方法，促進了視覺大模型的產(chǎn)生。
Florence［39］模型廣泛的視覺能力使其成為視覺大模型領(lǐng)域的重要突破。該模型可以快速適配多種計算機視覺任務(wù)，涵蓋了圖像分類、圖像和視頻檢索、目標物體識別、可視化問答、圖像標注、視頻內(nèi)容理解和動作識別等領(lǐng)域。其核心創(chuàng)新之一在于能力的泛化，能夠處理從粗粒度（如整體場景）到細粒度（如特定對象）的信息，從靜態(tài)圖像到動態(tài)視頻的內(nèi)容等。Florence不僅在常規(guī)的視覺任務(wù)中展現(xiàn)了高度的適應(yīng)性和性能，在處理更復(fù)雜、多樣化的數(shù)據(jù)類型和任務(wù)時也展示了前所未有的識別與分析能力。特別是在遷移學(xué)習(xí)的應(yīng)用場景中，無論是在微調(diào)、線性探測（Linear Probing）、少量樣本遷移（Few-shot Transfer）還是在完全沒有先前知識的新圖像和新物體的零樣本遷移（Zero-shot Transfer）場景中，該模型都能有效地適應(yīng)并保持高效的性能。
SAM［18］模型將圖像分割引入視覺大模型領(lǐng)域，是計算機視覺大模型的重大突破。其能夠在多種不同場景中分割出其中不同的物體，表明其對“物體”的理解已上升到高度抽象的層面。SAM在SA-1B這一規(guī)模空前的開放數(shù)據(jù)集上訓(xùn)練，保證了其強大的性能；SAM結(jié)構(gòu)包含圖像編碼器、提示編碼器和掩碼解碼器三個組件，允許用戶使用文本描述與可視化的圖像分割范圍兩種提示來指導(dǎo)模型進行分割處理，通過輸出多個有效掩碼來處理模棱兩可的提示，允許該模型在不同的圖像分布和任務(wù)中進行零樣本遷移學(xué)習(xí)。圖3展示了SAM模型的架構(gòu)。
圖3 SAM模型架構(gòu)
作為視覺大模型的代表，SAM模型的分割能力在種植業(yè)、畜牧業(yè)以及農(nóng)業(yè)遙感等領(lǐng)域得到了體現(xiàn)。
Williams等［40］探究了SAM模型分割土豆植株葉片的能力。首先使用SAM模型在圖像上直接進行分割，而后通過顏色檢查、去除全植物掩碼、形狀過濾、剔除含多葉片的掩碼四個步驟，構(gòu)建“葉片專用SAM”推理流程。將該流程與Mask R-CNN模型進行比較，結(jié)果表明SAM在使用上述構(gòu)建步驟后分割效果有所提升，然而依然略弱于基于監(jiān)督學(xué)習(xí)的Mask R-CNN。但這一推理流程本身并不需要人工參與，采用零樣本分割的SAM對農(nóng)業(yè)領(lǐng)域減少人工標記數(shù)據(jù)的依賴起到了推動作用。
Carraro等［41］評估了SAM模型對作物與雜草圖像生成精確圖像分割的潛力。該實驗使用作物/雜草田間圖像數(shù)據(jù)集（Crop/Weed Field Image Dataset,CWFID），通過語義分割來區(qū)分植被的前景與背景，分割測試采用人工輔助標記與無監(jiān)督自動標記的兩種形式，在不對SAM額外訓(xùn)練的情形下探究其零樣本學(xué)習(xí)能力。結(jié)果表明，SAM模型在使用僅少量點或邊框進行提示下效果良好，但是在自動標記的情況下會過度分割圖像，說明模型需要向農(nóng)業(yè)方向進一步適配。即便如此，該項研究依然為作物與雜草圖像識別提供了一種弱監(jiān)督的可能方法。
Li等［42］提出了一種農(nóng)業(yè)SAM適配器，通過適配器微調(diào)的方法提升模型的農(nóng)業(yè)能力，并通過病蟲害圖像分割探究該適配器的能力。該適配器由少量全連接層配合ReLU激活函數(shù)構(gòu)成，在SAM掩碼解碼器的多頭注意力層后與多層感知器后加入，同時在微調(diào)過程中僅訓(xùn)練適配器來使SAM模型快速適應(yīng)農(nóng)業(yè)任務(wù)。通過收集有關(guān)咖啡葉疾病和害蟲的12種數(shù)據(jù)集并創(chuàng)建對應(yīng)識別任務(wù)，測試原始SAM模型與添加適配器變種的能力。實驗結(jié)果表明，添加適配器后SAM在各項任務(wù)中的表現(xiàn)均有提升，尤其在識別咖啡葉疾病時平均戴斯系數(shù)與平均交并比分數(shù)提高約40%，實踐了視覺大模型在農(nóng)業(yè)領(lǐng)域中對適配器微調(diào)的有效使用，推動了視覺大模型在農(nóng)業(yè)領(lǐng)域的適應(yīng)與應(yīng)用。圖4為在使用適配器前后SAM模型的病蟲害圖像分割結(jié)果，展示了SAM適配器對分割能力的顯著提升。
圖4 SAM在使用適配器后的病蟲害圖像分割實例
Yang等［43］以無籠養(yǎng)雞為例子，通過多角度的實驗探討了SAM模型在家禽業(yè)的應(yīng)用甚至于養(yǎng)殖業(yè)的未來潛力。
主要設(shè)計了兩種實驗，一是比較SAM以及其他先進模型（SegFormer［44］和SETR［45］）在普通圖像與熱源圖上的圖像分割能力，包含對整只雞的分割與除尾部外部分的分割，詳細探究該情境下SAM的零樣本分割能力。二是將YOLOX和ByteTrack模型與SAM模型結(jié)合，利用前兩者的物體識別與追蹤能力，實現(xiàn)對雞群內(nèi)單只雞的詳細運動追蹤。
實驗結(jié)果表明，SAM在雞的整體與部分身體的分割任務(wù)上超越了其他先進模型，且上述運動追蹤系統(tǒng)達到了實時的處理速度。實驗也表明SAM模型在雞群密度高、設(shè)施遮擋，以及雞的行為與姿勢多變的情況下具有一定的局限性，為未來的研究指明了方向。
農(nóng)業(yè)遙感領(lǐng)域側(cè)重于通過遙感圖像提取出農(nóng)用地的多種信息，提升農(nóng)業(yè)數(shù)據(jù)的準確性和實用性，指導(dǎo)地方農(nóng)業(yè)向精細化、個性化的方向發(fā)展。
Gui等［46］探究了SAM模型通過遙感圖像在農(nóng)業(yè)用地及城市綠地的劃分方面的能力。其使用美國多地的精度為0.5~30 m不等的遙感圖像，采用有監(jiān)督的人工輔助分割以及無監(jiān)督自動分割兩種方法對模型能力進行測試，發(fā)現(xiàn)SAM在使用人工標定感興趣區(qū)域（Region of interest,ROI）與非感興趣區(qū)（Uninterested Region）后其準確率可保持90%以上，但無監(jiān)督分割的準確率則有明顯更低，尤其受低分辨率與較大框定范圍的影響。由此，Gui等提出幾項改進意見，包括使用更多樣化的圖像擴充訓(xùn)練數(shù)據(jù)集以擴展SAM模型的能力范圍，以及調(diào)節(jié)模型的超參數(shù)來增加SAM在細微差別上的敏感度。
Gurav等［47］探討了SAM模型在生成作物類型圖上的潛力，發(fā)現(xiàn)SAM對輸入的作物類別不敏感，但可以劃分田地。由此，提出利用SAM劃分衛(wèi)星圖像的田地輪廓作為作物分類的基礎(chǔ)，并使用多種聚類一致性指標（Clustering Consensus Metrics）來評估其圖像分割性能。
為進一步提升SAM模型的農(nóng)業(yè)遙感能力，Liu［48］提出了一種基于SAM模型的利用遙感圖像劃分農(nóng)田邊界的工作流程。該流程采取雙階段的策略，首先初步地將圖像進行全景分割，創(chuàng)建整體的耕作地圖，隨后提取出感興趣區(qū)，以進行更加細致的分割。該研究同時詳細闡述了如何從感興趣區(qū)生成提示點并輸入SAM模型，以此來指導(dǎo)模型進行細致劃分。通過對黑龍江省兩處約1 000 km2的試驗區(qū)進行實驗，該方法在總識別率、平均交并比、平均過分割比與平均欠分割比四項指標上的評價均十分出色，通過零樣本學(xué)習(xí)，為解決大規(guī)模農(nóng)田界限精確提取問題，尤其是大規(guī)模未標記區(qū)域，提供了一種低成本且高效的新途徑。
SAM模型也為改進現(xiàn)有遙感數(shù)據(jù)提供了幫助，如Zhang等［49］提出了一種通過SAM模型提高由美國國家農(nóng)業(yè)統(tǒng)計局開發(fā)的農(nóng)田數(shù)據(jù)層準確性的方法。該研究利用SAM的零樣本泛化能力，從Sentinel-2衛(wèi)星圖像中對農(nóng)田地塊進行劃分，在美國主要農(nóng)業(yè)區(qū)域，如加利福尼亞中央谷地和美國玉米帶上進行實驗，提高了農(nóng)田數(shù)據(jù)層的精確度。
SAM模型的“分割一切”能力使其在發(fā)布的短期內(nèi)即在農(nóng)業(yè)的多個領(lǐng)域得到充分應(yīng)用。盡管其在部分特定任務(wù)中不及傳統(tǒng)人工監(jiān)督學(xué)習(xí)模型，但僅通過少量的監(jiān)督微調(diào)，其在農(nóng)業(yè)領(lǐng)域的能力就能夠得到顯著提升。在未來，隨著視覺大模型技術(shù)的進步，利用特定提示、少量人工監(jiān)督訓(xùn)練等方法，這些模型將更加高效地替代傳統(tǒng)模型，在農(nóng)業(yè)領(lǐng)域發(fā)揮更大作用。
2.2.3多模態(tài)大模型
與單一處理文本或圖像的模型不同，多模態(tài)大模型可以融合語言、圖像等多種信息，打破多種信息載體的壁壘。這種模型一般涉及多種信息載體的互相轉(zhuǎn)換與理解，提升機器對世界的理解能力，是通用人工智能出現(xiàn)的必要門檻。
2021年出現(xiàn)的CLIP（Contrastive Language-Image Pre-training）［50］模型是將視覺模型接入文字能力的重要嘗試。該模型使用文本編碼器與圖像編碼器，并將兩種輸出投射到共同的嵌入空間，學(xué)習(xí)文本與圖片在空間內(nèi)的相似性，以此指導(dǎo)模型通過一定的文字提示對圖像進行分類。模型采用對比學(xué)習(xí)的方法，通過由互聯(lián)網(wǎng)采集的圖像-文本集合，構(gòu)建對圖片的正向和反向描述并進行訓(xùn)練。該模型的創(chuàng)新點在于其出色的零樣本學(xué)習(xí)能力，如能夠理解風(fēng)格不同的圖像并提取關(guān)鍵信息；同時，其使用自監(jiān)督的學(xué)習(xí)方法，大量減少對人工標注依賴的同時，能夠取得與監(jiān)督學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)ResNet50的相似性能。
由DeepMind開發(fā)的Flamingo［51］模型是多模態(tài)領(lǐng)域的重要研究成果之一。該模型使用了預(yù)先訓(xùn)練的視覺與語言模型，且僅通過訓(xùn)練兩者間新的神經(jīng)網(wǎng)絡(luò)來讓模型學(xué)習(xí)到多模態(tài)能力。通過在大量文本與圖片穿插的互聯(lián)網(wǎng)數(shù)據(jù)上進行訓(xùn)練，F(xiàn)lamingo可以經(jīng)過少量樣本學(xué)習(xí)遷移到多種多模態(tài)任務(wù)上來，是多模態(tài)模型在遷移能力上的一大突破。此外，GPT-4作為語言模型亦具有多模態(tài)能力，可以對輸入的多種圖像進行復(fù)雜分析，包括圖表分析、文字提取、照片內(nèi)容分析等[23]。
圖像與視頻生成也是多模態(tài)領(lǐng)域的重要研究方向之一。如DALL-E［52］模型作為GPT-3的擴散模型（Diffusion models）變體，可以根據(jù)一定的文字描述生成圖像。這種模型基于變分自編碼器（Variational Autoencoders,VAEs）［53］與Transformer架構(gòu)相結(jié)合，VAE將圖像編碼為離散潛在表征，Transformer則學(xué)習(xí)自然語言描述到這些表征的映射，以此指導(dǎo)模型的圖像生成能力。DALL-E模型可以在未經(jīng)訓(xùn)練的文本中生成高質(zhì)量圖像，甚至包括對復(fù)雜與高度抽象的概念圖像具體描述，表現(xiàn)出零樣本學(xué)習(xí)能力，同時模型可以較精確地控制圖像的顏色、形狀等細節(jié)，展現(xiàn)了出色的圖像生成能力。
近期，由OpenAI開發(fā)的Sora［54］視頻生成模型在GPT與DALL-E的部分技術(shù)基礎(chǔ)上繼續(xù)開發(fā)。Sora將視頻映射為時空碎片（Spacetime Latent Patch），并使用Diffusion Transformer融合文字、圖像等提示后生成去噪數(shù)據(jù)，最終解碼為目標視頻。Sora在視頻保真度上尤為突出，如可以在視角快速移動時保持三維內(nèi)容一致性，以及保持視頻物體的長距離一致性等，并實現(xiàn)了視頻生成、融合與擴展等多種功能。
農(nóng)業(yè)領(lǐng)域的知識涉及圖像和文字等多種介質(zhì)，通過多模態(tài)模型的方式將知識融合，基于多種異構(gòu)信息提供知識服務(wù)，對農(nóng)業(yè)知識的推廣與落地有著很強的現(xiàn)實意義。Cao等［55］提出了一種多模態(tài)模型ITLMLP，融合了圖像、文字與標簽三種輸入方式，并將CLIP與SimCLR的部分結(jié)構(gòu)融入模型之中，用于對黃瓜病害進行識別。模型利用圖像與文本信息進行對比學(xué)習(xí)，并與標簽信息相結(jié)合，在少樣本上進行學(xué)習(xí)。通過與CLIP、SimCLR以及SLIP（Self-Supervision Meets Language-Image Pre-training）［56］模型的對比結(jié)果顯示，ITLMLP在黃瓜病害識別的多種指標上超出以上三種模型。ITLMLP模型在多種其他植物病害上也有著良好表現(xiàn)，與其他三種模型相比性能更好或有極小差距，展現(xiàn)了該模型的泛化能力。Tan等［5］設(shè)計了針對GPT-4的多個基于農(nóng)業(yè)領(lǐng)域圖片與提示詞的簡要實驗。其中，第一項實驗是基于遙感圖像和對應(yīng)的基本信息（地區(qū)、時間等）對農(nóng)田作物進行識別，結(jié)果表明GPT-4在一般圖像上表現(xiàn)良好，但在復(fù)雜環(huán)境會出現(xiàn)錯誤。第二項實驗是通過航空圖像（普通圖像與近紅外（Near-Infrared,NIR）圖像）識別作物的養(yǎng)分缺失，實驗結(jié)果顯示GPT-4模型能夠分析出圖像中養(yǎng)分缺失的特征信息以及對應(yīng)的圖像范圍，但需要詳細的說明與相關(guān)知識來指導(dǎo)其分析。第三項實驗是探究GPT-4在植物病蟲害與植物表型檢測上的能力，包含棉花病蟲害檢測、雜草識別以及棉苗、棉花花朵與棉鈴的計數(shù)。該研究中GPT-4在分析較簡單圖像時表現(xiàn)良好，處理復(fù)雜或相似圖像時容易產(chǎn)生錯誤，但其提供的農(nóng)業(yè)知識與建議等較為全面，有一定的借鑒作用。第四項實驗旨在將GPT-4應(yīng)用于家禽業(yè)，包含對蛋殼問題、雞禽行為的分析，以及雞群計數(shù)共三種探究。實驗表明GPT-4在蛋殼問題與雞禽行為的分析上可以提供全面且較為精確的內(nèi)容，在雞群計數(shù)問題上也可以對圖像細節(jié)進行歸納，展現(xiàn)出其在家禽管理上的潛力?？偟膩碚f，研究結(jié)果展示了以GPT-4為代表的高級多模態(tài)模型在農(nóng)業(yè)領(lǐng)域的廣泛前景，其復(fù)雜的圖像解讀、文本分析，以及生成能力將推動農(nóng)業(yè)知識的普及與個性化農(nóng)業(yè)分析的發(fā)展。
多模態(tài)模型在農(nóng)業(yè)領(lǐng)域的主要優(yōu)勢之一是能夠打破多種農(nóng)業(yè)圖像問題與農(nóng)業(yè)知識文本之間的壁壘，通過統(tǒng)一的模型為多種農(nóng)業(yè)問題提供全面的解決方案。將語言大模型與視覺大模型等的能力結(jié)合，進行多模態(tài)方向的深入開發(fā)，進一步提升模型能力，為實現(xiàn)綜合化的智慧農(nóng)業(yè)服務(wù)提供更為堅實的技術(shù)支撐，為農(nóng)業(yè)領(lǐng)域帶來更高效、智能的解決方案。
農(nóng)業(yè)大模型發(fā)展重點方向
大模型是人工智能領(lǐng)域的技術(shù)突破，通過大規(guī)模的自監(jiān)督學(xué)習(xí)與龐大的參數(shù)量，大模型僅通過少量學(xué)習(xí)樣本甚至無樣本就可以遷移到大量下游任務(wù)中，在多個農(nóng)業(yè)問題上取得了良好成果。將大模型應(yīng)用于多種農(nóng)業(yè)任務(wù)中指導(dǎo)農(nóng)業(yè)發(fā)展，使用大模型進行數(shù)據(jù)分析與決策，是未來的發(fā)展趨勢，也為智慧農(nóng)業(yè)、精準農(nóng)業(yè)等領(lǐng)域的發(fā)展提供了新的方向。目前大模型及其在農(nóng)業(yè)領(lǐng)域的應(yīng)用尚處于早期階段，仍需克服一系列挑戰(zhàn)，但具有很強的發(fā)展?jié)摿Α?/p>
3.1構(gòu)建綜合且集中的農(nóng)業(yè)數(shù)據(jù)集
農(nóng)田環(huán)境多變、場景復(fù)雜，收集大規(guī)模、多樣化的數(shù)據(jù)集存在一定困難。雖然大模型的遷移能力減少了模型對農(nóng)業(yè)數(shù)據(jù)的需要，但其遷移效果受數(shù)據(jù)質(zhì)量的影響較大，確保數(shù)據(jù)的準確性和一致性至關(guān)重要。
目前農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)集呈現(xiàn)相對較為局限和分散的現(xiàn)狀，依然限制了大模型在農(nóng)業(yè)上的廣泛應(yīng)用。尤其是文本數(shù)據(jù)，大多數(shù)現(xiàn)有數(shù)據(jù)集可能缺少專門針對農(nóng)業(yè)領(lǐng)域設(shè)計，例如氣候災(zāi)害數(shù)據(jù)等，與農(nóng)業(yè)相關(guān)聯(lián)但并不直接聚焦于農(nóng)業(yè)關(guān)鍵領(lǐng)域。而要構(gòu)建文本數(shù)據(jù)，使用網(wǎng)絡(luò)爬蟲既耗時又復(fù)雜，依賴于學(xué)術(shù)期刊等權(quán)威數(shù)據(jù)又可能引發(fā)版權(quán)問題等。而對于視覺數(shù)據(jù)集，大多只針對某項農(nóng)業(yè)問題，規(guī)模較小且分散。無論是訓(xùn)練還是輔助回答，數(shù)據(jù)的質(zhì)量和數(shù)量是模型成功的關(guān)鍵因素。因此，建立一個高質(zhì)量、全面、廣泛且開放共享的數(shù)據(jù)集顯得尤為重要。這樣的農(nóng)業(yè)數(shù)據(jù)集不僅需要收集大量的農(nóng)業(yè)數(shù)據(jù)，也需要采用更加先進的技術(shù)對數(shù)據(jù)進行持續(xù)的篩選和整合對齊，以反映農(nóng)業(yè)研究與實踐中先進且綜合的成果。
3.2減輕模型的訓(xùn)練與部署難度
農(nóng)業(yè)領(lǐng)域涉及的作物種類繁多，不同地區(qū)的氣候、土壤條件差異顯著，通用的大模型難以適應(yīng)所有場景，需要構(gòu)建具有地域特色的專用模型或?qū)Ｓ媚K。而大模型的預(yù)訓(xùn)練、微調(diào)和部署工作均需要大量的計算能力與存儲空間，高度依賴于高性能GPU服務(wù)器，且依然需要較長的訓(xùn)練時間。這種需求限制了目前大模型在農(nóng)業(yè)等多個領(lǐng)域的進一步發(fā)展。
目前，擴展性訓(xùn)練技術(shù)［7］可以減少模型的GPU顯存需求并提高模型吞吐量，同時QLoRA［57］與OPTQ［58］等技術(shù)允許模型降低參數(shù)精度來縮減模型體積，已經(jīng)得到了廣泛應(yīng)用。此外，大模型自身的優(yōu)化和發(fā)展亦有助于在較小的參數(shù)規(guī)模上實現(xiàn)或超越更大模型的性能，而硬件的進步也將增強模型在更廣泛領(lǐng)域的應(yīng)用潛力。未來，模型的進一步輕量化和便攜化將促進其在農(nóng)業(yè)等領(lǐng)域的普及。
3.3構(gòu)建基于大模型的農(nóng)業(yè)決策系統(tǒng)
基于復(fù)雜文本、圖像等信息的分析能力，大模型可以作為農(nóng)業(yè)決策的核心，接入不同來源的各種模塊。這些模塊可以包括有物聯(lián)網(wǎng)實時監(jiān)控設(shè)備、其他人工智能模型、公開的即時信息（如天氣）等。通過一定的提示，大模型可以整合多種輸入來源，并推理出基于實時信息的最優(yōu)策略。用戶可以通過語言交互來獲取簡單易懂的個性化反饋與建議［59］，甚至農(nóng)業(yè)機器人可以在大模型的指導(dǎo)下進行自動化的管理與采收等工作［60］。通過提高模型的泛化性，確保決策模型能夠適應(yīng)不同的農(nóng)業(yè)環(huán)境和條件。但是，由于農(nóng)業(yè)大模型更多面向農(nóng)民等群體，因此農(nóng)業(yè)決策需要更強的模型可解釋性，以便農(nóng)民能夠理解和信任模型的輸出。此外，還可通過融合多種外部能力與自身知識儲備制定出全面可靠的農(nóng)業(yè)方案，來進一步提升農(nóng)業(yè)管理的效率和準確性，甚至為農(nóng)業(yè)領(lǐng)域帶來變革。
3.4推動大模型在農(nóng)業(yè)領(lǐng)域的廣泛應(yīng)用
當前，大模型在農(nóng)業(yè)領(lǐng)域的應(yīng)用仍然主要局限于科研階段的小規(guī)模測試，其在公共服務(wù)方面的應(yīng)用明顯不足。發(fā)展和推廣農(nóng)業(yè)大模型正面臨著涉及技術(shù)、政策、資金和農(nóng)民接受能力等多個方面。此外，如何將大模型技術(shù)轉(zhuǎn)化為可落地應(yīng)用的具體產(chǎn)品和服務(wù)，以及如何通過這些產(chǎn)品和服務(wù)產(chǎn)生商業(yè)價值，是農(nóng)業(yè)大模型發(fā)展另一個挑戰(zhàn)。這些均需要政府、企業(yè)、研究機構(gòu)和農(nóng)民等各方共同努力，制定合適的政策和措施，推動農(nóng)業(yè)大模型的可持續(xù)發(fā)展和推廣。
