Adapt-LLM可以訓練LLM確定是否需要在問(wèn)答任務(wù)中檢索額外的場(chǎng)景信息，將提高LLM應用程序的效率。
檢索增強生成(RAG)管道使大型語(yǔ)言模型(LLM)能夠在其響應中使用外部信息源。但是RAG應用程序為發(fā)送到LLM的每個(gè)請求檢索額外的場(chǎng)景信息。這使得該過(guò)程效率低下，因為L(cháng)LM已經(jīng)包含了大量無(wú)需檢索即可使用的知識。
如果可以將LLM配置為僅在其內部知識不足時(shí)使用RAG，那會(huì )怎么樣?Adapt-LLM是由意大利博岑-博爾扎諾自由大學(xué)(Bozen-Bolzano)和意大利Bruno Kessler基金會(huì )的研究人員開(kāi)發(fā)的一項技術(shù)，可以訓練LLM動(dòng)態(tài)地確定是否需要在問(wèn)答任務(wù)中檢索額外的場(chǎng)景信息。Adapt-LLM可以幫助避免不必要的檢索，并提高LLM應用程序的效率。
記憶vs檢索
LLM回答問(wèn)題主要有兩種方法：第一種方法是依靠訓練過(guò)程中獲得的參數記憶。參數記憶的局限性在于它完全基于訓練語(yǔ)料庫�？梢酝ㄟ^(guò)微調或小樣本提示技術(shù)來(lái)提高參數化的性能，這些技術(shù)將模型的注意力集中在相關(guān)參數上。但是，這些技術(shù)在模型必須動(dòng)態(tài)使用新信息(例如最近的新聞或未包含在訓練語(yǔ)料庫中的私人信息)的場(chǎng)景中是無(wú)用的。
第二種方法使用信息檢索器向模型提供場(chǎng)景信息。檢索增強生成(RAG)就屬于這一類(lèi)。
但信息檢索面臨的問(wèn)題是，有時(shí)模型不需要額外的場(chǎng)景信息，并且有足夠的內部知識來(lái)回答問(wèn)題。因此可以將這兩種方法比喻成為閉卷答題和開(kāi)卷答題。
而人類(lèi)使用混合方法。例如，當人們記住一個(gè)問(wèn)題的答案時(shí)，可以立即回答。但當對自己掌握的知識沒(méi)有信心時(shí)，就會(huì )使用外部資源。一些LLM技術(shù)通過(guò)受歡迎程度評分使用這種混合方法。假設當問(wèn)題非常受歡迎時(shí)，LLM模型具有內部知識來(lái)回答。對于不太受歡迎的問(wèn)題，該模型將需要RAG系統的幫助來(lái)獲取必要的信息。
然而，這種方法要求問(wèn)題附帶受歡迎程度評分，這并不總是可用的。
Adapt-LLM
圖1 Adapt-LLM框架
Adapt-LLM為“自適應檢索”訓練語(yǔ)言模型，使它們能夠自主地決定何時(shí)為附加的場(chǎng)景使用信息檢索系統。
研究人員寫(xiě)道：“在這種方法中，如果任務(wù)的解決方案被編碼在模型的參數中，則該模型將直接用于生成解決方案。與其相反，如果答案沒(méi)有被編碼在該模型的知識中，則答案的生成將被外部知識所增強�！�
Adapt-LLM分為四個(gè)步驟：
(1)將包含問(wèn)題的第一個(gè)提示發(fā)送給Adapt-LLM模型。
(2)該模型評估提示，以確定是否需要額外的場(chǎng)景來(lái)有效地回答問(wèn)題。
(3)如果模型確定它不需要額外的場(chǎng)景，則直接從參數記憶中進(jìn)行響應。
(4)如果Adapt-LLM模型需要額外的場(chǎng)景，它會(huì )返回一個(gè)特殊的令牌，例如。然后，應用程序可以使用信息檢索器根據問(wèn)題獲取場(chǎng)景，并將其與原始提示結合起來(lái)。
這種靈活的行為允許模型在使用外部場(chǎng)景和給出直接答案之間取得平衡。
訓練Adapt-LLM
要訓練Adapt-LLM的模型，需要從包含問(wèn)題、場(chǎng)景和答案的元組數據集開(kāi)始。然后，對于每個(gè)元組，給模型一個(gè)沒(méi)有場(chǎng)景的問(wèn)題。如果它對自己的知識有信心，就直接回答問(wèn)題;如果它需要額外的場(chǎng)景，就返回。
如果模型返回正確的答案，那么它就具有參數知識，并且創(chuàng )建一個(gè)新的訓練實(shí)例，其中包含問(wèn)題和答案(但不包含場(chǎng)景)。如果模型返回錯誤的答案，則創(chuàng )建兩個(gè)訓練實(shí)例：一個(gè)是包含問(wèn)題和答案的“參數提示”，另一個(gè)是包括問(wèn)題、場(chǎng)景、說(shuō)明和答案的“場(chǎng)景提示”。
然后在包含這兩種類(lèi)型示例的數據集上訓練基本模型，從而產(chǎn)生Adapt-LLM行為。
Adapt-LLM的應用
研究人員在PopQA上用Adapt-LLM進(jìn)行了幾次實(shí)驗，PopQA是一個(gè)從各種在線(xiàn)平臺策劃的問(wèn)題數據集。他們使用Llama-2 7B作為基礎的LLM，并在NQ和SQuAD問(wèn)答數據集創(chuàng )建的Adapt-LLM數據集上對其進(jìn)行訓練。他們將Adapt-LLM模型與純粹的永不檢索模型和始終檢索模型進(jìn)行了比較。
可以預見(jiàn)的是，他們的研究結果表明，Adapt-LLM比只依賴(lài)參數記憶的永不檢索模型表現得更好。
與始終檢索模型相比，它還減少了檢索的使用，同時(shí)在參數記憶優(yōu)于RAG系統返回的信息時(shí)也提高了性能。
研究人員寫(xiě)道：“當Adapt-LLM決定檢索額外信息時(shí)，有場(chǎng)景的結果明顯優(yōu)于沒(méi)有場(chǎng)景的結果。同樣，當Adapt-LLM直接依靠其參數記憶來(lái)回答問(wèn)題時(shí)，它達到了很高的準確性。這些觀(guān)察結果表明，該模型有效地識別了何時(shí)檢索信息，以及何時(shí)可以在沒(méi)有進(jìn)一步場(chǎng)景的情況下回答問(wèn)題�！�
Adapt-LLM的利弊
不幸的是，研究人員沒(méi)有發(fā)布Adapt-LLM的代碼和模型，這使得驗證他們的實(shí)驗結果變得困難。由于這是一種非常實(shí)用的技術(shù)，如果他們發(fā)布了關(guān)于令牌使用和推理時(shí)間的研究結果就好了。
幸運的是，該算法易于實(shí)現，任何人都可以創(chuàng )建自己版本的Adapt-LLM�？纯此绾翁幚韥�(lái)自其他領(lǐng)域的數據集，以及可以在其基礎上構建哪些實(shí)際應用，這將是一件很有趣的事情。
本文內容不用于商業(yè)目的，如涉及知識產(chǎn)權問(wèn)題，請權利人聯(lián)系51Testing小編(021-64471599-8017)，我們將立即處理
久久无码人妻精品一区二_久久亚洲春色中文字幕_亚洲艳妇自拍视频_亚洲中文字幕乱码少妇饥渴