當機器人擁有“思維能力”

將會是什么體驗？

感到口渴時，只需說一句“我渴了”

(相關資料圖)

便會為您端來一杯水

發(fā)燒生病時，說一句“我發(fā)燒了”

退燒藥便會拿到您手邊

過去的機器人只能依托于編好的程序去完成指令，但現(xiàn)在大模型可以把“我發(fā)燒了”理解成拿退燒藥，然后指揮不同智能體的真機協(xié)同完成目標。

這意味著

影視劇中“無所不能”的

機器人管家將成為現(xiàn)實！

近日，西北工業(yè)大學光電與智能研究院李學龍教授和同事們在大模型異構智能體方面取得重大進展，實現(xiàn)了大模型對無人機集群、機器狗、機械臂三種智能體的真機協(xié)同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無人系統(tǒng)的研究提供了無限可能。

在人工智能領域，大模型控制智能體是大勢所趨。團隊提出了一種大模型驅動的異構智能體協(xié)同控制算法框架，使異構智能體系統(tǒng)具備高層語義理解能力、自身技能認知能力和復雜任務執(zhí)行能力。該框架可將一個跨場景、跨智能體的復雜任務，通過語義理解和任務分解拆分成異構智能體協(xié)同執(zhí)行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯(lián)合控制，實現(xiàn)異構智能體的高效協(xié)作。

注：異構智能體是由不同研發(fā)機構采用不同的技術和平臺創(chuàng)建的智能體，以及具有不同參數(shù)和性能的智能體。

懂所思、知所能、行所意

是大模型異構智能體的主要能力

1. 懂所思：高層語義理解能力

如何充分發(fā)揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據(jù)輸入的自然語言分工合作，是智能體在現(xiàn)實場景中執(zhí)行復雜任務的前提條件。

針對該問題，團隊利用國產(chǎn)大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協(xié)同控制平臺，設計了融合環(huán)境信息與自身狀態(tài)的語義交互框架，實現(xiàn)了對異構智能體任務理解、硬件控制、協(xié)調合作等復雜需求的高層語義交互。

2. 知所能：自身技能認知能力

智能體的行為能力易受周圍環(huán)境、自身機械結構等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準確地認知當前自身的行為能力，是異構智能體協(xié)同的關鍵環(huán)節(jié)。

為了實現(xiàn)這一目標，團隊提出了異構智能體通用中層技能認知算法，實現(xiàn)了異構智能體間精細的硬件協(xié)同控制。在此基礎上，智能體通過自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運動規(guī)劃，自適應地調整技能執(zhí)行。

3. 行所意：復雜任務執(zhí)行能力

為了完成復雜任務目標，異構智能體協(xié)作需要依據(jù)子任務間的依賴關系和環(huán)境約束，設計安全合理的子任務執(zhí)行次序和方式。

針對該問題，團隊設計了多智能體閉環(huán)反饋的任務執(zhí)行機制，實現(xiàn)了異構智能體在任務執(zhí)行層面的自主協(xié)同。在任務執(zhí)行的過程中，智能體向任務分解模塊報告子任務執(zhí)行狀態(tài)，形成任務分配與執(zhí)行動態(tài)閉環(huán)，實現(xiàn)任務目標導向的異構智能體高效協(xié)同。

該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實現(xiàn)了用更自然、更直觀的方式進行多種智能體的控制，降低了人機交互的門檻。同時，該研究也將促進異構智能體之間協(xié)作的自主性和流暢度，對人工智能在災難救援、工業(yè)生產(chǎn)等復雜場景下的靈活應用具有重要意義。

關鍵詞：