【CNMO新聞】谷歌機(jī)器人研究部門在一篇博客文章中表示，他們正在研究如何讓機(jī)器人自己進(jìn)行長距離移動(dòng)。高級(jí)研究科學(xué)家Aleksandra Faust和高級(jí)機(jī)器人軟件工程師Anthony Francis表示：“僅在美國，就有300萬人患有行動(dòng)障礙，無法出門，機(jī)器可以幫助行動(dòng)不便的人做一些簡單的事情，比如拿食品、藥品或包裹等?！?

在某種程度上，通過使用強(qiáng)化學(xué)習(xí)（RL）可以做到這一點(diǎn)，這是一種人工智能訓(xùn)練技術(shù)，它利用獎(jiǎng)勵(lì)來驅(qū)動(dòng)個(gè)體朝著目標(biāo)前進(jìn)。福斯特、弗朗西斯和他的同事們將強(qiáng)化學(xué)習(xí)與長距離規(guī)劃路線結(jié)合起來，編出能夠安全穿越短距離（約15米）且不會(huì)撞上移動(dòng)障礙物的程序。他們利用AutoRL，一個(gè)自動(dòng)搜索強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)和神經(jīng)網(wǎng)絡(luò)架構(gòu)的工具，在模擬環(huán)境中進(jìn)行訓(xùn)練，再使用經(jīng)過訓(xùn)練的程序構(gòu)建路線圖，或由節(jié)點(diǎn)（位置）和邊組成圖。

機(jī)器人

使用傳統(tǒng)RL方法的訓(xùn)練，仍存在許多問題，比如它需要花費(fèi)時(shí)間迭代和手工調(diào)整獎(jiǎng)勵(lì)，并在人工智能架構(gòu)方面不夠明智，更不用說減輕遺忘，這種現(xiàn)象是指人工智能系統(tǒng)在學(xué)習(xí)新信息時(shí)，突然忘記了以前學(xué)過的信息。

AutoRL試圖通過兩個(gè)階段來解決這個(gè)問題，獎(jiǎng)勵(lì)搜索和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。在第一階段， 每個(gè)獎(jiǎng)勵(lì)功能略有不同，在這個(gè)階段的最后，通常會(huì)選擇將帶到其目的地的獎(jiǎng)勵(lì)。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索階段本質(zhì)上是第一階段的重復(fù)，但使用選定的獎(jiǎng)勵(lì)來優(yōu)化網(wǎng)絡(luò)，并對(duì)累積獎(jiǎng)勵(lì)進(jìn)行優(yōu)化。

這個(gè)自動(dòng)化的訓(xùn)練過程，可以減輕模型的遺忘情況，并且與現(xiàn)有技術(shù)相比，由此產(chǎn)生的策略的質(zhì)量更高（導(dǎo)航任務(wù)的質(zhì)量提高了26%），它們甚至足夠強(qiáng)大，可以在非結(jié)構(gòu)化環(huán)境中引導(dǎo)機(jī)器人。

AutoRL制定的策略，對(duì)本地導(dǎo)航很有幫助，但遠(yuǎn)程導(dǎo)航就需要用到概率路線圖了，它們是基于采樣的規(guī)劃器的一個(gè)子類，對(duì)機(jī)器人的姿態(tài)進(jìn)行采樣，創(chuàng)建符合機(jī)器人特性的路線圖。

福斯特和弗朗西斯解釋說：“首先，我們在一個(gè)通用的模擬訓(xùn)練環(huán)境中對(duì)機(jī)器人進(jìn)行訓(xùn)練，訓(xùn)練一個(gè)本地規(guī)劃策略。再根據(jù)該策略構(gòu)建一個(gè)PRM，稱為PRM-rl，它位于部署環(huán)境的平鋪圖之上，相同的平面圖可以用于任何機(jī)器人?！?

為了評(píng)估PRM-RL，谷歌的研究人員使用比培訓(xùn)環(huán)境大200倍的辦公室樓層地圖構(gòu)建了一個(gè)路線圖，在20次試驗(yàn)中，成功率達(dá)90%以上。