層級(jí)：200 類商品隸屬于 17 個(gè)商品大類（如方便面、紙巾、飲料等），天然構(gòu)成了層次的結(jié)構(gòu)，并可作為輔助監(jiān)督信息用于進(jìn)一步的訓(xùn)練。

圖 6：17 個(gè)商品大類。

難易：針對(duì)結(jié)算圖設(shè)計(jì)了三種難度：Easy、Medium 和 Hard，包含的商品類別數(shù)和數(shù)量分別為：

表 2：結(jié)算圖的三種難度。

強(qiáng)弱：在監(jiān)督信息層面，我們?yōu)槊繌?RPC 的結(jié)算圖均提供了由弱（Shopping List）到中（Point）再到強(qiáng)（Product BBox）的三種強(qiáng)度監(jiān)督信息。

圖 5：結(jié)算圖的三種強(qiáng)度監(jiān)督信息。

RPC 數(shù)據(jù)集基準(zhǔn)

ACO 基線方法

曠視在本文提出了 4 個(gè) ACO 基線方法，分別是 1）Single，2）Syn，3）Render 和 4）Syn+Render。

只使用 RPC 數(shù)據(jù)集單品圖的標(biāo)注信息，且直截了當(dāng)?shù)匕堰@些單品圖用于訓(xùn)練，這種策略即是首個(gè)基線方法，稱之為 Single。另外，本文使用的檢測(cè)器是 ResNet101 作為 Backbone 的特征金字塔網(wǎng)絡(luò) FPN。

通過把剪裁出來的單品隨機(jī)粘貼在背景上以合成 10,000 張結(jié)算圖，接著用其訓(xùn)練檢測(cè)器，這是第二種基線方法，表示為 Syn。

為把上面合成的結(jié)算圖渲染的更加逼真，曠視借助 Cycle-GAN 轉(zhuǎn)化合成圖，如圖 9 所示。接著用這 10,000 張渲染的圖像訓(xùn)練檢測(cè)器，這是第三種基線方法，表示為 Render。

圖 9：合成結(jié)算圖與渲染結(jié)算圖實(shí)例對(duì)比。

此外，還可以混合使用合成圖與渲染圖訓(xùn)練檢測(cè)器，這是第四種基線方法，表示為 Syn+Render。

針對(duì) ACO 任務(wù)提出的整個(gè)方法的 pipeline 如圖 10 所示：

圖 10：基線方法 pipeline。

實(shí)驗(yàn)結(jié)果

在進(jìn)入到實(shí)驗(yàn)結(jié)果之前，需要說明的一點(diǎn)是最優(yōu)的評(píng)測(cè)指標(biāo)并不是傳統(tǒng)檢測(cè)任務(wù)中的 mAP50、mmAP 等指標(biāo)，而是本文提出的 cAcc（Checkout Accuracy），即正確核驗(yàn)一張圖像內(nèi)所有商品的精度，簡單來說，就是“整單正確率”。

這里按照上述的 Easy、Medium、Hard 三種 mode 測(cè)試了 ACO 任務(wù)在 RPC 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，如表 3 所示：

表 3：實(shí)驗(yàn)結(jié)果。

研究展望

雖然 RPC 數(shù)據(jù)集跨域檢測(cè)方法適用于解決 ACO 問題，但并非其他方法行不通。其他研究方向也可從 RPC 數(shù)據(jù)集獲得啟發(fā)：

1. 在線學(xué)習(xí)解決 ACO 問題。實(shí)際的零售場景中，商品種類將會(huì)不斷翻新?？焖俚Ｐ投鵁o需重新訓(xùn)練成為首要問題，這時(shí)在線學(xué)習(xí)就派上用場了。

2. ACO 任務(wù)的一個(gè)潛在解決方案是在不借助商品檢測(cè)技術(shù)的前提下，直接從結(jié)算圖中獲取商品清單。這本質(zhì)上是把 ACO 問題轉(zhuǎn)化為一個(gè)物品計(jì)數(shù)問題。

3. 利用結(jié)算圖的監(jiān)督信息。RPC 數(shù)據(jù)集有著不同層次的結(jié)算圖的監(jiān)督信息，如何將其利用起來更好地完成 ACO 任務(wù)仍值得進(jìn)一步研究。

4. 作為其他計(jì)算機(jī)視覺任務(wù)的補(bǔ)充數(shù)據(jù)集。雖然 RPC 數(shù)據(jù)集針對(duì) ACO 問題而設(shè)計(jì)，但是標(biāo)注有商品的 ground truth 定位/邊界框，也就適用于物體檢索、few-shot/弱監(jiān)督/全監(jiān)督物體檢測(cè)等領(lǐng)域的研究。

結(jié)論

曠視在本文中發(fā)布了目前學(xué)術(shù)界最大的商品識(shí)別數(shù)據(jù)集 RPC，并定義了 ACO 任務(wù)和對(duì)應(yīng)的評(píng)測(cè)指標(biāo)。RPC 數(shù)據(jù)集含 200 個(gè)商品類別，83,739 張圖像，包含單品圖和結(jié)算圖兩種形態(tài)，并且配有不同監(jiān)督強(qiáng)度的標(biāo)注。借助這一數(shù)據(jù)集，本文清晰界定了 ACO 問題，并使用 4 種基線方法基準(zhǔn)化這一數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在這一數(shù)據(jù)集上 ACO 仍有較大提升空間。同時(shí)，該數(shù)據(jù)集還適用于多個(gè)潛在的研究方向。

曠視是全球領(lǐng)先的人工智能產(chǎn)品和解決方案公司。自2011年成立起，便意識(shí)到人工智能將為世界帶來巨大變革，而深度學(xué)習(xí)是支撐人工智能革命的關(guān)鍵。以深度學(xué)習(xí)為曠視的核心競爭力，我們得以持續(xù)不斷地推動(dòng)全球技術(shù)創(chuàng)新，并率先開始將前沿技術(shù)商業(yè)化。

依托自研的新一代AI生產(chǎn)力平臺(tái)Brain++，專注于算法能創(chuàng)造極大價(jià)值的領(lǐng)域：個(gè)人物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)和供應(yīng)鏈物聯(lián)網(wǎng)，向客戶提供包括算法、軟件和硬件產(chǎn)品在內(nèi)的全棧式、一體化解決方案，幫助客戶及終端用戶降本增效，并帶來極致體驗(yàn)。目前，曠視擁有近3000名員工，業(yè)務(wù)遍及全球，服務(wù)數(shù)十萬開發(fā)者和超過3000家行業(yè)客戶。

作為全球領(lǐng)先的人工智能產(chǎn)品和解決方案公司，曠視從2017年開始就進(jìn)入智慧物流領(lǐng)域，基于云、邊、端等平臺(tái)的深度神經(jīng)網(wǎng)絡(luò)算法創(chuàng)新，打造智能物流裝備及“智慧大腦”曠視河圖，并聚合行業(yè)合作伙伴，向工業(yè)物流及商業(yè)物流場景提供高度智慧化的行業(yè)解決方案及全生命周期服務(wù)，幫助企業(yè)降本增效、簡化管理，為工業(yè)數(shù)字化升級(jí)提供創(chuàng)新引擎。

在算法方面，曠視依托自主研發(fā)的新一代人工智能生產(chǎn)力平臺(tái)Brain++，結(jié)合物流場景的實(shí)際需求，能夠?yàn)椴煌奈锪鲌鼍岸ㄖ苹敵鏊惴ǎ屝滤惴ǖ纳筛咝?、更?jīng)濟(jì)地服務(wù)物流場景的客戶。

在軟件方面，曠視打造了業(yè)界首個(gè)機(jī)器人物聯(lián)網(wǎng)操作系統(tǒng)——河圖操作系統(tǒng)，具備生態(tài)連接、協(xié)同智能、數(shù)字孿生三大特性，使曠視得以在各類物流環(huán)境中智能協(xié)調(diào)軟件、物聯(lián)網(wǎng)設(shè)備和人，幫助客戶一站式解決規(guī)劃、仿真、實(shí)施、運(yùn)營全流程。目前河圖已經(jīng)成功落地百余個(gè)項(xiàng)目。

在硬件方面，曠視正在不斷推出新一代物料搬運(yùn)AGV、智能圓形播種機(jī)、AI+堆垛機(jī)等多款自研機(jī)器人及AI物流裝備，全面覆蓋搬運(yùn)、存儲(chǔ)、輸送分揀場景。目前，曠視在北京、寧波、蘇州擁有3家研發(fā)制造基地，用于機(jī)器人及智能物流裝備的測(cè)試與生產(chǎn)。今年下半年，曠視還將推出多款機(jī)器人及人工智能物流裝備。

此外，曠視也在不斷聯(lián)合產(chǎn)、學(xué)、研、用等產(chǎn)業(yè)各方的力量，共同推動(dòng)智慧物流的快速發(fā)展。

目前，曠視已將供應(yīng)鏈物聯(lián)網(wǎng)業(yè)務(wù)擴(kuò)展至10余個(gè)國家和地區(qū)，累計(jì)向智能制造、零售電商、3PL、汽車、鞋服、醫(yī)藥、教育等數(shù)10個(gè)行業(yè)的數(shù)百家客戶提供端到端的智慧物流解決方案。