當(dāng)機(jī)器人擁有“思維能力”

將會(huì)是什么體驗(yàn)？

感到口渴時(shí)，只需說(shuō)一句“我渴了”

(相關(guān)資料圖)

便會(huì)為您端來(lái)一杯水

發(fā)燒生病時(shí)，說(shuō)一句“我發(fā)燒了”

退燒藥便會(huì)拿到您手邊

過(guò)去的機(jī)器人只能依托于編好的程序去完成指令，但現(xiàn)在大模型可以把“我發(fā)燒了”理解成拿退燒藥，然后指揮不同智能體的真機(jī)協(xié)同完成目標(biāo)。

這意味著

影視劇中“無(wú)所不能”的

機(jī)器人管家將成為現(xiàn)實(shí)！

近日，西北工業(yè)大學(xué)光電與智能研究院李學(xué)龍教授和同事們?cè)诖竽Ｐ彤悩?gòu)智能體方面取得重大進(jìn)展，實(shí)現(xiàn)了大模型對(duì)無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂三種智能體的真機(jī)協(xié)同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無(wú)人系統(tǒng)的研究提供了無(wú)限可能。

在人工智能領(lǐng)域，大模型控制智能體是大勢(shì)所趨。團(tuán)隊(duì)提出了一種大模型驅(qū)動(dòng)的異構(gòu)智能體協(xié)同控制算法框架，使異構(gòu)智能體系統(tǒng)具備高層語(yǔ)義理解能力、自身技能認(rèn)知能力和復(fù)雜任務(wù)執(zhí)行能力。該框架可將一個(gè)跨場(chǎng)景、跨智能體的復(fù)雜任務(wù)，通過(guò)語(yǔ)義理解和任務(wù)分解拆分成異構(gòu)智能體協(xié)同執(zhí)行的多個(gè)子任務(wù)，然后通過(guò)無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂的聯(lián)合控制，實(shí)現(xiàn)異構(gòu)智能體的高效協(xié)作。

注：異構(gòu)智能體是由不同研發(fā)機(jī)構(gòu)采用不同的技術(shù)和平臺(tái)創(chuàng)建的智能體，以及具有不同參數(shù)和性能的智能體。

懂所思、知所能、行所意

是大模型異構(gòu)智能體的主要能力

1. 懂所思：高層語(yǔ)義理解能力

如何充分發(fā)揮大模型的語(yǔ)義理解能力，讓無(wú)人機(jī)、機(jī)器狗、機(jī)械臂等人造智能體能夠根據(jù)輸入的自然語(yǔ)言分工合作，是智能體在現(xiàn)實(shí)場(chǎng)景中執(zhí)行復(fù)雜任務(wù)的前提條件。

針對(duì)該問(wèn)題，團(tuán)隊(duì)利用國(guó)產(chǎn)大模型作為語(yǔ)義理解底座，以無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂三種異構(gòu)智能體作為協(xié)同控制平臺(tái)，設(shè)計(jì)了融合環(huán)境信息與自身狀態(tài)的語(yǔ)義交互框架，實(shí)現(xiàn)了對(duì)異構(gòu)智能體任務(wù)理解、硬件控制、協(xié)調(diào)合作等復(fù)雜需求的高層語(yǔ)義交互。

2. 知所能：自身技能認(rèn)知能力

智能體的行為能力易受周?chē)h(huán)境、自身機(jī)械結(jié)構(gòu)等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準(zhǔn)確地認(rèn)知當(dāng)前自身的行為能力，是異構(gòu)智能體協(xié)同的關(guān)鍵環(huán)節(jié)。

為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)提出了異構(gòu)智能體通用中層技能認(rèn)知算法，實(shí)現(xiàn)了異構(gòu)智能體間精細(xì)的硬件協(xié)同控制。在此基礎(chǔ)上，智能體通過(guò)自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運(yùn)動(dòng)規(guī)劃，自適應(yīng)地調(diào)整技能執(zhí)行。

3. 行所意：復(fù)雜任務(wù)執(zhí)行能力

為了完成復(fù)雜任務(wù)目標(biāo)，異構(gòu)智能體協(xié)作需要依據(jù)子任務(wù)間的依賴(lài)關(guān)系和環(huán)境約束，設(shè)計(jì)安全合理的子任務(wù)執(zhí)行次序和方式。

針對(duì)該問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了多智能體閉環(huán)反饋的任務(wù)執(zhí)行機(jī)制，實(shí)現(xiàn)了異構(gòu)智能體在任務(wù)執(zhí)行層面的自主協(xié)同。在任務(wù)執(zhí)行的過(guò)程中，智能體向任務(wù)分解模塊報(bào)告子任務(wù)執(zhí)行狀態(tài)，形成任務(wù)分配與執(zhí)行動(dòng)態(tài)閉環(huán)，實(shí)現(xiàn)任務(wù)目標(biāo)導(dǎo)向的異構(gòu)智能體高效協(xié)同。

該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實(shí)現(xiàn)了用更自然、更直觀的方式進(jìn)行多種智能體的控制，降低了人機(jī)交互的門(mén)檻。同時(shí)，該研究也將促進(jìn)異構(gòu)智能體之間協(xié)作的自主性和流暢度，對(duì)人工智能在災(zāi)難救援、工業(yè)生產(chǎn)等復(fù)雜場(chǎng)景下的靈活應(yīng)用具有重要意義。

關(guān)鍵詞：