本文注意到，在優(yōu)化時根據(jù)結(jié)構(gòu)分布采樣一個路徑已經(jīng)出現(xiàn)在之前的權(quán)重共享方法之中，區(qū)別在于，在本文的訓(xùn)練中（等式(7)）分布是一個固定的先驗，而在先前方法中，它是可學(xué)習(xí)和更新的（等式(4)），后者會使超網(wǎng)絡(luò)權(quán)重和結(jié)構(gòu)參數(shù)優(yōu)化高度關(guān)聯(lián)。

請注意，本文并未聲明在訓(xùn)練時一個固定的先驗分布天生優(yōu)于優(yōu)化分布。不存在這樣的理論保證。本文更優(yōu)的結(jié)果可能是受益于這一事實：當(dāng)前優(yōu)化技術(shù)的成熟度不足以滿足等式 (4) 中的聯(lián)合優(yōu)化需求。

超網(wǎng)絡(luò)與選擇單元

選擇單元用于構(gòu)建一個超網(wǎng)絡(luò)。圖 1 給出了一個實例。一個選擇單元包含多個選擇。對于本文提出的單路徑超網(wǎng)絡(luò)，每個選擇單元一次只調(diào)用一個選擇。一個路徑的獲得是通過隨機采樣所有選擇單元實現(xiàn)的。

本文方法的簡易性允許定義不同類型的選擇單元，以搜索不同的結(jié)構(gòu)變量。具體而言，曠視研究院提出兩個全新的選擇單元，以支持復(fù)雜的搜索空間。

通道數(shù)搜索。選擇單元旨在搜索一個卷積層的通道數(shù)。其主要思想是預(yù)先分配一個帶有最大通道數(shù)的權(quán)重張量。在超網(wǎng)絡(luò)訓(xùn)練期間，系統(tǒng)隨機選擇通道數(shù)并分割出用于卷積的相應(yīng)的子張量。詳見下圖。

圖 4：用于通道數(shù)搜索的選擇單元

混合精度量化搜索。選擇單元可以搜索卷積層權(quán)重和特征的量化精度。在超網(wǎng)絡(luò)訓(xùn)練中，特征圖的位寬和和權(quán)重被隨機選取。詳見下圖。

圖 5：用于混合精度量化搜索的選擇單元

基于進化算法的模型搜索

針對等式 (6) 中的模型搜索，先前的One-shot工作使用隨機搜索。這在大的搜索空間中并不奏效。因此，本文使用了進化算法，同時揚棄了從頭開始訓(xùn)練每個子結(jié)構(gòu)的缺點，只涉及推理部分，因此非常高效。詳見下圖。

算法 1：基于進化算法的模型搜索

下圖描繪了使用進化算法和隨機搜索兩種方法在進化迭代時的驗證集精度。很明顯進化算法搜索更有效。

圖 3：進化算法搜索對比隨機搜索

進化算法可以靈活處理等式 (3) 的不同約束，因為變異和交叉過程是可控的，以產(chǎn)生滿足約束條件的合適候選。

總結(jié)

單路徑超網(wǎng)絡(luò)、均勻采樣訓(xùn)練策略、基于進化算法的模型搜索、豐富的搜索空間設(shè)計，上述多種設(shè)計使得本文方法簡單、高效和靈活。下表給出了本文方法與其他權(quán)重共享方法的一個全方位、多維度對比結(jié)果。

表 1：本文方法對比當(dāng)前權(quán)重共享 SOTA 方法

實驗

所有實驗是在 ImageNet 上進行的。驗證集和測試集的設(shè)定遵從Proxyless NAS。對于超網(wǎng)絡(luò)的訓(xùn)練，以及（進化搜索之后）最優(yōu)模型結(jié)構(gòu)的從頭再訓(xùn)練。

構(gòu)造單元搜索

構(gòu)造單元（building block）的設(shè)計靈感來自手工設(shè)計網(wǎng)絡(luò)的代表作——ShuffleNet v2。表 2 給出了超網(wǎng)絡(luò)的整體架構(gòu)。共有 20 個選擇單元。

表 2：超網(wǎng)絡(luò)架構(gòu)

表 3 給出了結(jié)果。為了對比，本文設(shè)置了一系列基線，如下：1）只選擇一個特定的單元選擇；2）從搜索空間中隨機選擇一些候選；3）使用隨機搜索替代本文的進化算法模型搜索。

表 3：構(gòu)造單元搜索結(jié)果

通道數(shù)搜索

搜索卷積層的通道數(shù)非常有挑戰(zhàn)，如圖 4 所示，本文提出一個全新的選擇單元用于通道數(shù)搜索，并首先在基線結(jié)構(gòu) “all choice 3”（見表 3）做了評估，結(jié)果如表 4 （第一部分）所示；為進一步提升精度，本文對構(gòu)造單元和通道做了聯(lián)合搜索。結(jié)果如表 4（第二部分）所示。

表 4：通道數(shù)搜索