亚洲福利在线无码天天看-99久久精品久久久久,蜜芽miya737.mon.永不失联,三年片在线观看免费观看高清动漫 推荐,行業(yè)大數(shù)據(jù),六十路高龄老熟女m,在线播放亚洲国产一区二区三,全国空降联系方式是多少,99久久精品久久久久,蜜桃一起草

日前，兩年一度的計算機視覺領(lǐng)域頂級學(xué)術(shù)會議 ICCV 在加拿大蒙特利爾圓滿閉幕。在此期間，與大會同期舉行的首屆LargeFineFoodAI技術(shù)研討會，由美團視覺智能中心聯(lián)合中科院計算所、北京智源、巴塞羅那大學(xué)在Kaggle競賽平臺上共同主辦，會議核心聚焦計算機視覺技術(shù)在大規(guī)模細粒度食品分析領(lǐng)域的應(yīng)用。

首屆 LargeFineFoodAI 比賽分為 Recognition 和 Retrieval 兩個賽道，根據(jù)研討會評選結(jié)果得知，深蘭DeepBlueAI團隊在Large-ScaleFine-Grained Food Retrieval 賽道中取得了冠軍的成績。

01

賽題介紹

與通用圖像識別及檢索相比，食品細粒度識別及檢索技術(shù)難度更大。許多不同類型的食品外觀看起來可能非常相近，而同一種類型的食品也可能由于做法不同看起來差異較大，此外光線、拍攝角度、不同的拍攝背景都可能對算法的精度產(chǎn)生影響，即便對于專業(yè)人員也較難快速準確的進行辨別。

另一方面，相關(guān)技術(shù)具有廣泛的應(yīng)用場景和實際的應(yīng)用價值，例如降低商家端食品圖片的審核成本，提升C端食品圖片和視頻的分發(fā)效率等。美團作為國內(nèi)領(lǐng)先的生活服務(wù)平臺，準確把握住消費升級趨勢給餐飲行業(yè)的經(jīng)營、消費方式帶來的革命性變化，率先提出借助計算機視覺算法對食品圖像進行細粒度分析，來快速響應(yīng)和滿足商戶和用戶大量多樣的在線食品圖像審核、管理、瀏覽、評價等需求。


本次挑戰(zhàn)賽所用數(shù)據(jù)集來自美團自建數(shù)據(jù)集"Food2K"，該數(shù)據(jù)集每一張美食圖片均由不同個人，采用不同設(shè)備，在不同環(huán)境場景下拍攝獲取，是難得的可以公正評價算法魯棒性和效果的圖片數(shù)據(jù)，挑戰(zhàn)也非常大。并且所有圖像均由美團公司的食品專家進行評估，確保了數(shù)據(jù)的高質(zhì)量。相比其他主流食品圖像識別數(shù)據(jù)集，"Food2K"數(shù)據(jù)集完全人工標注，數(shù)據(jù)集噪聲比例控制在 1% 以內(nèi)；數(shù)據(jù)分布與真實場景相符，不平衡現(xiàn)象顯著；而且類別粒度更細。以披薩為例，主流數(shù)據(jù)集（例如Food-101）僅具有披薩類，而"Food2K"進一步將其劃分為多種多樣的披薩，如鮮蝦披薩、榴蓮披薩等。


02

評測指標

此外，為了進一步推進食品視覺分析領(lǐng)域的研究與實踐，吸引更多行業(yè)相關(guān)團隊關(guān)注參與，美團發(fā)起了以LargeFineFoodAI為主題的挑戰(zhàn)賽。該競賽將分為兩大賽道，其一是“大規(guī)模食品圖像細粒度識別”，將采用Food1K數(shù)據(jù)集（包含1500種類別中的1000種食物類別），通過Top-1分類準確率進行算法評估；其二是“大規(guī)模食品圖像細粒度檢索”，將使用同賽道一的訓(xùn)練和驗證集，使用剩余的Food500作為測試集，使用MAP@100進行算法評估。


03

團隊成績

團隊成績排名


獲獎證書



04

題目特點以及常用方法

圖像檢問題現(xiàn)有研究比較多，但對于大規(guī)模、細粒度的圖像檢索比較新。圖像檢索最主要的就是特征提取網(wǎng)絡(luò)，現(xiàn)有的的特征提取網(wǎng)絡(luò)主要基于卷積神經(jīng)網(wǎng)絡(luò)如ResNet、ResNest和EfficientNet等，無法像transformer一樣提取到更加豐富、區(qū)分度更高的特征。提取完特征后，在度量兩張圖片相似度的階段單純使用余弦距離來計算精度很低，DeepBlueAI團隊使用ReRank的方法將歐式距離和雅可比距離加權(quán)來度量query和gallery之間的相似度。


05

比賽數(shù)據(jù)與數(shù)據(jù)分析

本次比賽數(shù)據(jù)集包含超過1000個細粒度食物類別和超過50000張圖像的數(shù)據(jù)集。它包含西餐和中餐，每個類別的圖像數(shù)量在范圍內(nèi)[153; 1999]，與現(xiàn)有的食物數(shù)據(jù)集相比，顯示出更大的類別不平衡。下圖顯示了它的本體和數(shù)據(jù)集的詳細統(tǒng)計信息：




從圖中可以看出，LargeFoodAI數(shù)據(jù)集，具有類別多、細粒度和類別不平衡等特點。


06

PIPELINE

如下圖所示，DeepBlueAI團隊首先采用五折交叉驗證的方法對數(shù)據(jù)進行劃分；然后用Swin Transfomrer作為主干網(wǎng)絡(luò)提取特征；接著用BNNeck模塊對所提特征進行歸一化操作；最后使用交叉熵和label smooth函數(shù)對模型進行優(yōu)化。




07

實驗?zāi)Ｐ?br>
Swin Transforme主干網(wǎng)絡(luò)


DeepBlueAI團隊基于Swin Transformer主要實驗了4種結(jié)構(gòu)，swin_base_224, swin_base_384、swin_large_224和swin_large_384模型。下圖為Swin Transfomer的結(jié)構(gòu)圖：



Sharpness-AwareMinimization

(SAM)優(yōu)化器


SAM優(yōu)化器通過一種新的、有效的方法來同時減小損失值和損失的銳度，在領(lǐng)域內(nèi)尋找具有均勻的低損失值的參數(shù)。該方法通過求解最小-最大優(yōu)化問題，使得梯度下降可以有效地執(zhí)行，在各種基準數(shù)據(jù)集上都改善了模型得泛化能力。下圖為SGD優(yōu)化器和SAM優(yōu)化器的示意圖：



CutMix數(shù)據(jù)增強


DeepBlueAI團隊采用CutMix數(shù)據(jù)增強的方法來擴充數(shù)據(jù)的多樣性，同時也能提高模型對相似類別數(shù)據(jù)的區(qū)分度。



Rerank_qe


DeepBlueAI團隊將所有數(shù)據(jù)中和query特征最為相似的40個特征的平均值作為新的query特征，用0.25的權(quán)值對歐式距離和雅可比距離進行加權(quán)。ReRank方式如下圖所示：




08

模型融合

模型融合是算法大賽中常用的提高模型精度方法，DeepBlueAI團隊最終選擇了swinb_224、swinb_384、swinl_224和swinl_384等不同主干和訓(xùn)練尺度生成的特征進行模型融合，最終模型融合的結(jié)果為82.813mAP@100，取得了本次比賽第一的成績。



# 深蘭DeepBlueAI團隊總結(jié)

我們在最初做這個任務(wù)的時候，嘗試了許多基于CNN的主干網(wǎng)絡(luò)，如ResNet、ResNeSt和EfficientNet等，但是發(fā)現(xiàn)這些主干網(wǎng)絡(luò)無論分類還是檢索的效果都不是很好。在分類任務(wù)使用Swin Transformer取得遠優(yōu)于CNN網(wǎng)絡(luò)的效果之后，就把它移植到檢索任務(wù)里來，取得了不錯的成績。在進一步的使用ReRank、Ensemble等檢索任務(wù)常用trick之后，取得了檢索任務(wù)第一的成績。


在數(shù)據(jù)處理方面，我們發(fā)現(xiàn)CutMix方法有效的增強了不同類別之間特征的區(qū)分度。SAM優(yōu)化器和LabelSmooth損失函數(shù)的采用，也進一步的提高了模型的泛化能力和識別精度。