賽道 | 深蘭參賽團(tuán)隊(duì)閃耀KDD2021國(guó)際賽事,榮膺專項(xiàng)競(jìng)賽冠軍
2021-08-14ACM SIGKDD(國(guó)際數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)大會(huì),簡(jiǎn)稱KDD)是數(shù)據(jù)挖掘領(lǐng)域的頂級(jí)國(guó)際學(xué)術(shù)會(huì)議,由美國(guó)計(jì)算機(jī)學(xué)會(huì)(ACM)數(shù)據(jù)挖掘及知識(shí)發(fā)現(xiàn)專委會(huì)(SIGKDD)主辦,被中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)推薦為A類國(guó)際學(xué)術(shù)會(huì)議。自1995年以來,KDD已連續(xù)成功舉辦了26屆,應(yīng)運(yùn)而生的KDD Cup更是數(shù)據(jù)挖掘領(lǐng)域最有影響力的賽事。
8月14日-18日,KDD 2021盛會(huì)于新加坡拉開帷幕。深蘭科技DeepBlueAI(DBAI)團(tuán)隊(duì)積極參與今年賽事,并成為賽事焦點(diǎn),成績(jī)表現(xiàn)出色,在Multi-dataset Time Series Anomaly Detection競(jìng)賽中獲得冠軍。值得一提的是,前7名還包括華為諾亞方舟實(shí)驗(yàn)室、阿里達(dá)摩院、海康威視、日立、三菱電機(jī)、日本產(chǎn)業(yè)技術(shù)綜合研究所和柏林洪堡大學(xué)等知名公司和高校的隊(duì)伍。比賽競(jìng)爭(zhēng)非常激烈,吸引了超過500支隊(duì)伍積極參與,并接收了將近2000次有效結(jié)果提交。
賽事介紹
Multi-dataset Time Series Anomaly Detection
Multi-dataset Time Series Anomaly Detection競(jìng)賽提供了250條時(shí)間序列,并且每條時(shí)間序列都包括一個(gè)異常點(diǎn)。主辦方希望選手們利用無監(jiān)督或自監(jiān)督的方法找到這些異常點(diǎn)的位置。
時(shí)序異常檢測(cè)旨在檢測(cè)數(shù)據(jù)中的意外或罕見事件項(xiàng)。它常用于許多工業(yè)應(yīng)用,如運(yùn)維、行業(yè)監(jiān)控、產(chǎn)品價(jià)格在線監(jiān)控等。
團(tuán)隊(duì)成績(jī)
深蘭團(tuán)隊(duì)名列首位
數(shù)據(jù)分析
這些時(shí)間序列中異常點(diǎn)的種類繁多,可能是點(diǎn)異常,也可能是群體異常,如下圖。單一方法很難找到所有文件的異常點(diǎn),因此需要一個(gè)適用的框架或者好的集成方法。
圖表 1不同異常類型
競(jìng)賽方案
針對(duì)這一競(jìng)賽,DeepBlueAI團(tuán)隊(duì)自主開發(fā)了一套高泛化性和靈活性的異常檢測(cè)框架TsaDetect。具體來說,每個(gè)時(shí)序會(huì)經(jīng)過周期分析,多模型預(yù)測(cè),評(píng)估和集成三個(gè)模塊。
圖表 2 TsaDetect 時(shí)序異常檢測(cè)框架
首先,分析輸入時(shí)間序列以提取基本信息和周期,這對(duì)于需要窗口大小的算法很重要。然后,時(shí)間序列信號(hào)通過不同的模型進(jìn)行處理。所有模型都會(huì)生成時(shí)間序列殘差,這些殘差被傳遞到評(píng)估和集成模塊中。這些殘差被標(biāo)準(zhǔn)化為可比較并加權(quán)求和以產(chǎn)生最終的殘差。這一步中的權(quán)重由置信度決定,它表示模型在檢測(cè)該信號(hào)中的異常時(shí)的置信度。最后,異常位置由這個(gè)最終的殘差決定。
在檢測(cè)模型的選擇和開發(fā)上,主要專注于快速和穩(wěn)定。我們最終采用了基于傅里葉變換的方法,matrix profile方法,以及改進(jìn)的基于回歸的方法。每種方法都有自己的適用的異常類型,通過上述的框架整合起來,就得到了一個(gè)魯棒性,泛化性更強(qiáng)的檢測(cè)器。
總 結(jié)
2019年,深蘭團(tuán)隊(duì)就在KDD Cup 2019 AutoML Track 挑戰(zhàn)賽中取得第一名的佳績(jī),此次深蘭的再次奪冠證明深蘭秉承“技術(shù)先行,深耕基礎(chǔ)研究”的理念,在數(shù)據(jù)挖掘領(lǐng)域占據(jù)領(lǐng)先地位。而其自主研發(fā)的時(shí)序異常檢測(cè)框架,也為AI運(yùn)維,AI時(shí)序監(jiān)控等領(lǐng)域的實(shí)踐和落地開闊了思路。
-
8項(xiàng)冠亞季軍收官ECCV2020,深蘭獲三大視覺頂會(huì)挑戰(zhàn)賽大滿貫
計(jì)算機(jī)視覺 -
與騰訊、哈工大同臺(tái)競(jìng)技,深蘭獲自然語言處理領(lǐng)域國(guó)際頂會(huì)NAACL2021冠軍
計(jì)算機(jī)視覺 -
捷報(bào) | 深蘭科技“雙隊(duì)”出征CVPR2021 斬獲五冠共獲14項(xiàng)大獎(jiǎng)
計(jì)算機(jī)視覺 -
2022CVPR傳捷報(bào)丨深蘭科技再度折桂,連續(xù)4屆獲得CVPR挑戰(zhàn)賽冠軍
計(jì)算機(jī)視覺 -
深蘭科技奪冠CCKS2022“帶條件的分層級(jí)多答案問答”評(píng)測(cè)任務(wù)競(jìng)賽
自然語言處理 -
PK 656 個(gè)對(duì)手!深蘭科技在全球頂級(jí)AI賽事kaggle競(jìng)賽中再次奪冠
計(jì)算機(jī)視覺 -
一冠三亞二季!深蘭科技在EMNLP2022國(guó)際頂級(jí)賽事再創(chuàng)佳績(jī)
數(shù)據(jù)挖掘 -
6個(gè)獎(jiǎng)項(xiàng)!深蘭科技在CVPR 2023挑戰(zhàn)賽中再獲佳績(jī)
計(jì)算機(jī)視覺 -
6冠3亞2季!深蘭科技在RANLP2023國(guó)際賽事上斬獲11項(xiàng)大獎(jiǎng)
計(jì)算機(jī)視覺