近期，曠視科技南京研究院發(fā)布學術(shù)界內(nèi)目前最大的商品識別數(shù)據(jù)集——RPC，其圖像數(shù)量和類別數(shù)量皆是該領(lǐng)域之最。同時，該數(shù)據(jù)集針對新零售場景定義了一個新問題，即視覺自動收銀（automatic check-out, ACO），模擬零售真實結(jié)算場景。此外，還針對 ACO 任務(wù)給出了一套完整的 Baseline Method，以及“整單準確率”cAcc為代表的一系列評測指標，更有可以直接安裝的 Python 版本評測工具。同名 GitHub 項目主頁上有 Leaderboard，歡迎大家來刷榜！

論文鏈接：https://arxiv.org/abs/1901.07249

項目鏈接：https://rpc-dataset.github.io/

零售業(yè)是人力密集型行業(yè)，其中收銀結(jié)算占有相當高的成本。隨著深度學習發(fā)展，借助圖像識別技術(shù)實現(xiàn)零售行業(yè)的降本增效已是大勢所趨。自動收銀結(jié)算（Automatic Check-Out/ACO）是其中的核心場景，旨在根據(jù)收銀場景圖像生成結(jié)算清單，并與計算機視覺技術(shù)的融合不斷加深。

CV 技術(shù)+場景，從來不是一條坦途。從圖像識別角度講，ACO 的落地布滿靳棘，其中既有來自數(shù)據(jù)本身的問題，也有模型訓練的因素，最后可歸結(jié)為 4 個方面： 1）large-scale，2）fine-grained，3） few-shot 和 4）cross-domain。

盡管存在上述問題，ACO 還是有著潛在的研究與商業(yè)價值。如果有標注精良的數(shù)據(jù)集，這一問題或可迎刃而解。為此，曠視科技南京研究院打造了一個目前最大的商品識別數(shù)據(jù)集——RPC（Retail Product Checkout），來推動新零售自動收銀場景的相關(guān)研究和技術(shù)進步，它的商品種類高達 200，圖像總量達 83k，真實模擬零售場景，且逼真度超過現(xiàn)有同類數(shù)據(jù)集，同時充分體現(xiàn)出 ACO 問題的細粒度特性。

圖 2：RPC 數(shù)據(jù)集對比同類數(shù)據(jù)集。

RPC 數(shù)據(jù)集有兩種形態(tài)的圖像：1）單品圖（exemplar image），在受限環(huán)境下拍攝，只包含單一產(chǎn)品，對應(yīng)于網(wǎng)購商品圖；2）結(jié)算圖（ checkout image），包含用戶購買場景下的多個商品，有助于研究者解決相關(guān)子問題，比如檢測或計數(shù)。

數(shù)據(jù)集的基準還在進行之中，目前最好的基線來自基于 Cycle-GAN 的數(shù)據(jù)合成方法。

ACO 任務(wù)

當顧客走進商店，把要購買的商品放在收銀臺上，一個理想的 ACO 系統(tǒng)可以自動識別每個商品，并一次性準確給出購物清單，如圖 1 所示。

圖 1：ACO 圖示。

因此，ACO 本質(zhì)上是識別任意商品組合中每個商品的出現(xiàn)并計數(shù)的一個系統(tǒng)。

一般來講，為保證性能，訓練 ACO 識別系統(tǒng)的圖像應(yīng)該和實際收銀場景一模一樣。但是由于海量的商品類別加之不斷更新，讓識別模型窮盡所有的商品組合是不現(xiàn)實的，因此一個可行的解決方案是在特定環(huán)境下采集一類單品圖像，并將其復(fù)用至實際結(jié)算中。

RPC 數(shù)據(jù)集特點

曠視提出的 RPC 數(shù)據(jù)集具有 6 個方面的特性。

量大：無論是從圖像數(shù)量還是商品種類（SKU）上來看，RPC 都是該領(lǐng)域之最：SKU 達 200 個，圖像數(shù)量 83,739 張，其中單品圖 53,739 張，結(jié)算圖 30,000 張。

跨域：RPC 中圖像數(shù)據(jù)分為單品圖和結(jié)算圖兩種形態(tài)。模型需在單品圖上進行訓練，但真正測試環(huán)境則為結(jié)算圖。

圖 3：單品圖。

圖 4：結(jié)算圖。