關(guān)閉

如何訓練LLM自動(dòng)在RAG和參數記憶之間進(jìn)行選擇

發(fā)表于:2024-6-19 09:39

字體: | 上一篇 | 下一篇 | 我要投稿

 作者:李睿    來(lái)源:51CTO內容精選

  Adapt-LLM可以訓練LLM確定是否需要在問(wèn)答任務(wù)中檢索額外的場(chǎng)景信息,將提高LLM應用程序的效率。
  檢索增強生成(RAG)管道使大型語(yǔ)言模型(LLM)能夠在其響應中使用外部信息源。但是RAG應用程序為發(fā)送到LLM的每個(gè)請求檢索額外的場(chǎng)景信息。這使得該過(guò)程效率低下,因為L(cháng)LM已經(jīng)包含了大量無(wú)需檢索即可使用的知識。
  如果可以將LLM配置為僅在其內部知識不足時(shí)使用RAG,那會(huì )怎么樣?Adapt-LLM是由意大利博岑-博爾扎諾自由大學(xué)(Bozen-Bolzano)和意大利Bruno Kessler基金會(huì )的研究人員開(kāi)發(fā)的一項技術(shù),可以訓練LLM動(dòng)態(tài)地確定是否需要在問(wèn)答任務(wù)中檢索額外的場(chǎng)景信息。Adapt-LLM可以幫助避免不必要的檢索,并提高LLM應用程序的效率。
  記憶vs檢索
  LLM回答問(wèn)題主要有兩種方法:第一種方法是依靠訓練過(guò)程中獲得的參數記憶。參數記憶的局限性在于它完全基于訓練語(yǔ)料庫?梢酝ㄟ^(guò)微調或小樣本提示技術(shù)來(lái)提高參數化的性能,這些技術(shù)將模型的注意力集中在相關(guān)參數上。但是,這些技術(shù)在模型必須動(dòng)態(tài)使用新信息(例如最近的新聞或未包含在訓練語(yǔ)料庫中的私人信息)的場(chǎng)景中是無(wú)用的。
  第二種方法使用信息檢索器向模型提供場(chǎng)景信息。檢索增強生成(RAG)就屬于這一類(lèi)。
  但信息檢索面臨的問(wèn)題是,有時(shí)模型不需要額外的場(chǎng)景信息,并且有足夠的內部知識來(lái)回答問(wèn)題。因此可以將這兩種方法比喻成為閉卷答題和開(kāi)卷答題。
  而人類(lèi)使用混合方法。例如,當人們記住一個(gè)問(wèn)題的答案時(shí),可以立即回答。但當對自己掌握的知識沒(méi)有信心時(shí),就會(huì )使用外部資源。一些LLM技術(shù)通過(guò)受歡迎程度評分使用這種混合方法。假設當問(wèn)題非常受歡迎時(shí),LLM模型具有內部知識來(lái)回答。對于不太受歡迎的問(wèn)題,該模型將需要RAG系統的幫助來(lái)獲取必要的信息。
  然而,這種方法要求問(wèn)題附帶受歡迎程度評分,這并不總是可用的。
  Adapt-LLM
圖1 Adapt-LLM框架
  Adapt-LLM為“自適應檢索”訓練語(yǔ)言模型,使它們能夠自主地決定何時(shí)為附加的場(chǎng)景使用信息檢索系統。
  研究人員寫(xiě)道:“在這種方法中,如果任務(wù)的解決方案被編碼在模型的參數中,則該模型將直接用于生成解決方案。與其相反,如果答案沒(méi)有被編碼在該模型的知識中,則答案的生成將被外部知識所增強!
  Adapt-LLM分為四個(gè)步驟:
  (1)將包含問(wèn)題的第一個(gè)提示發(fā)送給Adapt-LLM模型。
  (2)該模型評估提示,以確定是否需要額外的場(chǎng)景來(lái)有效地回答問(wèn)題。
  (3)如果模型確定它不需要額外的場(chǎng)景,則直接從參數記憶中進(jìn)行響應。
  (4)如果Adapt-LLM模型需要額外的場(chǎng)景,它會(huì )返回一個(gè)特殊的令牌,例如。然后,應用程序可以使用信息檢索器根據問(wèn)題獲取場(chǎng)景,并將其與原始提示結合起來(lái)。
  這種靈活的行為允許模型在使用外部場(chǎng)景和給出直接答案之間取得平衡。
  訓練Adapt-LLM
  要訓練Adapt-LLM的模型,需要從包含問(wèn)題、場(chǎng)景和答案的元組數據集開(kāi)始。然后,對于每個(gè)元組,給模型一個(gè)沒(méi)有場(chǎng)景的問(wèn)題。如果它對自己的知識有信心,就直接回答問(wèn)題;如果它需要額外的場(chǎng)景,就返回。
  如果模型返回正確的答案,那么它就具有參數知識,并且創(chuàng )建一個(gè)新的訓練實(shí)例,其中包含問(wèn)題和答案(但不包含場(chǎng)景)。如果模型返回錯誤的答案,則創(chuàng )建兩個(gè)訓練實(shí)例:一個(gè)是包含問(wèn)題和答案的“參數提示”,另一個(gè)是包括問(wèn)題、場(chǎng)景、說(shuō)明和答案的“場(chǎng)景提示”。
  然后在包含這兩種類(lèi)型示例的數據集上訓練基本模型,從而產(chǎn)生Adapt-LLM行為。
  Adapt-LLM的應用
  研究人員在PopQA上用Adapt-LLM進(jìn)行了幾次實(shí)驗,PopQA是一個(gè)從各種在線(xiàn)平臺策劃的問(wèn)題數據集。他們使用Llama-2 7B作為基礎的LLM,并在NQ和SQuAD問(wèn)答數據集創(chuàng )建的Adapt-LLM數據集上對其進(jìn)行訓練。他們將Adapt-LLM模型與純粹的永不檢索模型和始終檢索模型進(jìn)行了比較。
  可以預見(jiàn)的是,他們的研究結果表明,Adapt-LLM比只依賴(lài)參數記憶的永不檢索模型表現得更好。
  與始終檢索模型相比,它還減少了檢索的使用,同時(shí)在參數記憶優(yōu)于RAG系統返回的信息時(shí)也提高了性能。
  研究人員寫(xiě)道:“當Adapt-LLM決定檢索額外信息時(shí),有場(chǎng)景的結果明顯優(yōu)于沒(méi)有場(chǎng)景的結果。同樣,當Adapt-LLM直接依靠其參數記憶來(lái)回答問(wèn)題時(shí),它達到了很高的準確性。這些觀(guān)察結果表明,該模型有效地識別了何時(shí)檢索信息,以及何時(shí)可以在沒(méi)有進(jìn)一步場(chǎng)景的情況下回答問(wèn)題!
  Adapt-LLM的利弊
  不幸的是,研究人員沒(méi)有發(fā)布Adapt-LLM的代碼和模型,這使得驗證他們的實(shí)驗結果變得困難。由于這是一種非常實(shí)用的技術(shù),如果他們發(fā)布了關(guān)于令牌使用和推理時(shí)間的研究結果就好了。
  幸運的是,該算法易于實(shí)現,任何人都可以創(chuàng )建自己版本的Adapt-LLM?纯此绾翁幚韥(lái)自其他領(lǐng)域的數據集,以及可以在其基礎上構建哪些實(shí)際應用,這將是一件很有趣的事情。
  本文內容不用于商業(yè)目的,如涉及知識產(chǎn)權問(wèn)題,請權利人聯(lián)系51Testing小編(021-64471599-8017),我們將立即處理
《2024軟件測試行業(yè)從業(yè)人員調查問(wèn)卷》,您的見(jiàn)解,行業(yè)的聲音!

關(guān)注51Testing

聯(lián)系我們

快捷面板 站點(diǎn)地圖 聯(lián)系我們 廣告服務(wù) 關(guān)于我們 站長(cháng)統計 發(fā)展歷程

法律顧問(wèn):上海蘭迪律師事務(wù)所 項棋律師
版權所有 上海博為峰軟件技術(shù)股份有限公司 Copyright©51testing.com 2003-2024
投訴及意見(jiàn)反饋:webmaster@51testing.com; 業(yè)務(wù)聯(lián)系:service@51testing.com 021-64471599-8017

滬ICP備05003035號

滬公網(wǎng)安備 31010102002173號

久久无码人妻精品一区二_久久亚洲春色中文字幕_亚洲艳妇自拍视频_亚洲中文字幕乱码少妇饥渴