新知特寫

首頁> 新知特寫> 透過協作架構,提升小型語言模型的複雜推理能力
透過協作架構,提升小型語言模型的複雜推理能力 Enabling Small Language Models to Solve Complex Reasoning Tasks
在必須嚴格遵循規則的推理任務中,小型語言模型往往難以同時滿足所有條件,包括數獨、旅遊行程規劃,以及需符合特定字數與結構的文字生成。相較之下,大型語言模型雖具備較強的推理能力,但回應時間較長,且運算成本與能源消耗相對較高。為了解決這項問題,麻省理工學院(MIT)電腦科學與人工智慧實驗室(Computer Science and Artificial Intelligence Laboratory, CSAIL)研究團隊提出一套名為DisCIPL(Distributional Constraints by Inference Programming with Language Models) 的架構,由一個大型語言模型在既有規則機制下負責規劃整體生成策略,再將實際內容生成的工作分配給多個小型語言模型協同完成;同時,大型語言模型會在生成過程中持續檢查小型語言模型的輸出是否符合這些規則。相較於由單一模型透過文字逐步生成與修正內容的方式,這套方法能以較精簡的流程完成推理,提升生成結果的穩定性與可控性。實驗結果顯示,DisCIPL 在多項生成與推理任務中,準確度可接近頂尖的推理模型(如OpenAI的o1),同時能降低整體運算成本。研究團隊表示,未來將進一步測試此架構在數學推理,以及使用者需求較為模糊的任務中的應用潛力。
2025/12/15
https://techxplore.com/news/2025-12-enabling-small-language-complex-tasks.html
TechXplore
薛孝亭