近期，全球AMR引領(lǐng)者極智嘉(Geek++)聯(lián)合北京航空航天大學(xué)和新加坡管理大學(xué)提出全新AMR集群智能規(guī)劃算法，并成功獲選大數(shù)據(jù)領(lǐng)域國(guó)際頂級(jí)會(huì)議ICDE 2022，在堅(jiān)持前沿技術(shù)自主創(chuàng)新之道上再次取得新突破，高筑大規(guī)模機(jī)器人集群協(xié)作算法技術(shù)壁壘。

ICDE(IEEE International Conference on Data Engineering)是大數(shù)據(jù)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議之一，是IEEE(電氣電子工程師學(xué)會(huì))的旗艦會(huì)議，和SIGMOD、VLDB 并稱數(shù)據(jù)管理與數(shù)據(jù)庫(kù)領(lǐng)域的三大國(guó)際頂尖學(xué)術(shù)會(huì)議，在全球數(shù)據(jù)庫(kù)工程師群體內(nèi)影響非凡。

效率瓶頸全鏈路感知

在線學(xué)習(xí)自適應(yīng)規(guī)劃

智能AMR集群規(guī)劃算法是保證機(jī)器人集群系統(tǒng)高效運(yùn)轉(zhuǎn)的重要支撐。傳統(tǒng)規(guī)劃算法一方面對(duì)任務(wù)分配和路徑規(guī)劃過(guò)程分離處理，導(dǎo)致優(yōu)化過(guò)程協(xié)同性差；另一方面算法的數(shù)據(jù)驅(qū)動(dòng)程度不足，造成優(yōu)化方法僵化。

針對(duì)上述問(wèn)題，極智嘉提出全新的自適應(yīng)任務(wù)規(guī)劃算法。算法在任務(wù)分配過(guò)程中考慮路徑規(guī)劃的影響，使用在線強(qiáng)化學(xué)習(xí)(Online Reinforcement Learning，Online RL)方法挖掘訂單需求特點(diǎn)，并自適應(yīng)調(diào)整任務(wù)分配策略，實(shí)現(xiàn)對(duì)全局效率瓶頸的精準(zhǔn)感知，使優(yōu)化過(guò)程更具有針對(duì)性、實(shí)時(shí)性，從而提高了AMR的運(yùn)行效率。

文章提出基于距離的剪枝策略和路徑壓縮技術(shù)，有效減少了算法的計(jì)算耗時(shí)和資源占用，任務(wù)和路徑規(guī)劃效率得以大幅提升，助力多元、異構(gòu)、大規(guī)模AMR集群調(diào)度場(chǎng)景落地。該算法目前已經(jīng)成功應(yīng)用于極智嘉全柔性貨箱到人RoboShuttle+P40解決方案，并實(shí)現(xiàn)了上萬(wàn)平米、數(shù)百臺(tái)異構(gòu)機(jī)器人高效混合協(xié)同調(diào)度。

▲ 點(diǎn)擊全屏觀看效果更佳

算法成果詳解

算法流程如圖1所示。整個(gè)算法流程分為四個(gè)步驟：信息收集、模型訓(xùn)練、任務(wù)選擇、路徑規(guī)劃。首先，算法收集揀貨員、AMR和貨架的時(shí)空信息(例如揀貨員的揀貨時(shí)間、貨架的任務(wù)預(yù)計(jì)完成時(shí)間、AMR的位置信息等)。其次，收集完成后，自適應(yīng)規(guī)劃模塊基于馬爾可夫決策過(guò)程模型(Markov Decision Process, MDP)對(duì)時(shí)空信息建模，并使用強(qiáng)化學(xué)習(xí)中的Q-Learning方法訓(xùn)練價(jià)值函數(shù)。之后，算法基于價(jià)值函數(shù)選擇合適的任務(wù)分配給AMR，最后基于選擇方案為AMR規(guī)劃路徑。

▲ 圖1 算法流程

其中馬爾可夫決策過(guò)程模型中的狀態(tài)建模中綜合考慮了貨架和揀貨員的工作狀態(tài)，該建模方法有助于讓強(qiáng)化學(xué)習(xí)智能體(Agent)更好地感知從搬運(yùn)到揀貨全流程中的效率瓶頸。此外，采用在線學(xué)習(xí)的方法及時(shí)更新?tīng)顟B(tài)-動(dòng)作價(jià)值函數(shù)，進(jìn)一步提高了算法的自適應(yīng)性。圖2表明了效率瓶頸隨時(shí)間在不同階段變化的現(xiàn)象。

▲ 圖2 效率瓶頸變化

新算法在人工和真實(shí)數(shù)據(jù)集上取得了顯著效果，為了全面真實(shí)的模擬倉(cāng)庫(kù)環(huán)境，本研究建立了測(cè)試環(huán)境，實(shí)現(xiàn)了對(duì)揀貨過(guò)程的全鏈路模擬驗(yàn)證。實(shí)驗(yàn)結(jié)果表明其性能大幅超越了多智能體路徑規(guī)劃和時(shí)空任務(wù)分配領(lǐng)域的相關(guān)算法（圖3）。

▲ 圖3 實(shí)驗(yàn)結(jié)果

關(guān)于ICDE 2022

國(guó)際數(shù)據(jù)工程會(huì)議（IEEE International Conference on Data Engineering, ICDE）將于2022年5月在馬來(lái)西亞吉隆坡舉行，吸引眾多國(guó)際頂級(jí)高校、公司和研究機(jī)構(gòu)展示前沿研究。會(huì)議內(nèi)容覆蓋數(shù)據(jù)挖掘、知識(shí)發(fā)現(xiàn)、面向機(jī)器學(xué)習(xí)的數(shù)據(jù)庫(kù)技術(shù)等。該會(huì)議屬于中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類會(huì)議，是數(shù)據(jù)挖掘/數(shù)據(jù)庫(kù)領(lǐng)域知名國(guó)際頂級(jí)會(huì)議。

極智嘉科技 (Geek+) 是一家引領(lǐng)全球智慧物流變革的智能機(jī)器人企業(yè)，全球AMR市場(chǎng)份額位居世界第一*。極智嘉提供全品類物流機(jī)器人產(chǎn)品和解決方案，助力企業(yè)實(shí)現(xiàn)物流智能化轉(zhuǎn)型升級(jí)。目前，極智嘉已在全球部署超10,000臺(tái)AMR機(jī)器人，服務(wù)耐克、迪卡儂、沃爾瑪、豐田、西門子等全球超300家全球大客戶，商業(yè)落地規(guī)模領(lǐng)先業(yè)界。

極智嘉成立于2015年，總部位于中國(guó)北京，業(yè)務(wù)遍及亞太、歐洲和美洲，在超過(guò)30個(gè)國(guó)家和地區(qū)擁有全球化銷售、運(yùn)營(yíng)和服務(wù)能力。憑借卓越的產(chǎn)品技術(shù)和商業(yè)表現(xiàn)，極智嘉于2019年和2020年蟬聯(lián)《機(jī)器人商業(yè)評(píng)論》(Robotic Business Review) “全球機(jī)器人50強(qiáng)榜單”，是史上首家上榜的中國(guó)物流機(jī)器人企業(yè)，更是2020年唯一上榜的中國(guó)公司。此外，極智嘉榮膺全球權(quán)威商業(yè)媒體Fast Company《快公司》2021全球最具創(chuàng)新力機(jī)器人公司TOP10，是榜單中唯一一家中國(guó)AMR企業(yè)。

*來(lái)源: Interact Analysis