2024年7月17日，美國反無人機(jī)系統(tǒng)制造商Dedrone在其官網(wǎng)發(fā)布了新一代計(jì)算機(jī)視覺（CV）模型，以供客戶選擇使用。該模型名為Pythagoras 1，最近發(fā)布的新版本主要針對模型對所有對象類別的精確度和大多數(shù)對象類別的召回率進(jìn)行了優(yōu)化；還對模型的運(yùn)行時(shí)間進(jìn)行了重大改進(jìn)。

Pythagoras 1這一核心引擎既可用于防范未經(jīng)授權(quán)的無人機(jī)，又能使生產(chǎn)型無人機(jī)在越來越復(fù)雜的空域中安全航行。

Pythagoras 1在識別四旋翼無人機(jī)、固定翼無人機(jī)、鳥類、直升機(jī)和飛機(jī)的速度和探測精度等方面的性能已經(jīng)有了大幅提升。

這一新一代模型目前正在為Dedrone的所有產(chǎn)品提供支持，包括該公司最新的如DedroneBeyond一類的傳感器融合無人機(jī)保護(hù)解決方案。

Dedrone公司專業(yè)的機(jī)器學(xué)習(xí)（ML）團(tuán)隊(duì)利用三個(gè)核心觸發(fā)器，提供了世界上最快、最準(zhǔn)確的基于傳感器融合的空域安全解決方案。

首先，團(tuán)隊(duì)選用了合適的圖形處理器（GPU）——H100。眾所周知，這款機(jī)器作為機(jī)器學(xué)習(xí)訓(xùn)練機(jī)器，具有當(dāng)今最頂級的性能。該公司目前擁有多臺H100并每天24小時(shí)不間斷運(yùn)行，持續(xù)優(yōu)化公司的解決方案。

接下來，團(tuán)隊(duì)利用PyTorch作為DedroneTracker.AI計(jì)算機(jī)視覺模型的框架，著手建立在保持反無人機(jī)任務(wù)性能的同時(shí)適配保護(hù)較低空域安全的模型，以期解決客戶反饋的問題——即進(jìn)一步降低誤報(bào)率，提高模型探測飛行物體的能力。團(tuán)隊(duì)在PyTorch基礎(chǔ)上構(gòu)建出了全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，對于Dedrone公司來說，Pythagoras 1模型的成功開發(fā)，是低空域感知探測技術(shù)的一次重大飛躍。

最后，團(tuán)隊(duì)利用已經(jīng)建立了7年之久的數(shù)據(jù)集庫，通過模擬數(shù)據(jù)集和對特定案例的主動學(xué)習(xí)整合，進(jìn)一步擴(kuò)充了數(shù)據(jù)集庫，并將這些數(shù)據(jù)驅(qū)動回團(tuán)隊(duì)的模型訓(xùn)練過程。

就改進(jìn)成果來看，Pythagoras 1將視頻跟蹤器的速度平均提高了20%，此外還顯著提高了準(zhǔn)確性，減少了誤報(bào)和漏報(bào)。下圖詳細(xì)說明了真正例、假正例和假負(fù)例的情況：

這些改進(jìn)可以通過提高平均精確度（mAP）和平均召回率（mAR）來衡量。召回率和精確率是用來評估探測器性能的兩個(gè)關(guān)鍵指標(biāo)。但實(shí)際上，這兩個(gè)指標(biāo)之間的數(shù)值是需要權(quán)衡的。提高對空域內(nèi)物體進(jìn)行分類的閾值會減少誤報(bào)，從而提高精確度，然而，這在實(shí)踐中往往會導(dǎo)致更多的誤判，因此召回率會降低。下面是這兩個(gè)指標(biāo)的計(jì)算方式：

此外，模型還將探測極小型無人機(jī)的平均精度提高了14倍。這些改進(jìn)體現(xiàn)在所有物體和多個(gè)空間尺度上。探測指標(biāo)詳見下表：

為了實(shí)現(xiàn)改進(jìn)其端到端人工智能解決方案這一目標(biāo)，Dedrone公司購買了一個(gè)新的計(jì)算機(jī)集群，利用英偉達(dá)公司的旗艦級機(jī)器學(xué)習(xí)圖形處理器——H100，與Lambda Labs合作構(gòu)建了新的計(jì)算機(jī)集群。由于團(tuán)隊(duì)調(diào)整了訓(xùn)練代碼以使用多個(gè)GPU，這一新硬件縮短了他們在數(shù)百萬幀視頻中訓(xùn)練模型所需的時(shí)間；反過來，這也使團(tuán)隊(duì)能夠以更高的速度運(yùn)行實(shí)驗(yàn)。上述實(shí)驗(yàn)涉及神經(jīng)網(wǎng)絡(luò)架構(gòu)的修改以及超參數(shù)的指導(dǎo)性調(diào)整。此外，由于模型的評估基礎(chǔ)架構(gòu)是基于權(quán)重和偏差（Weights and Biases）的，這讓團(tuán)隊(duì)的研究人員能夠輕松地可視化模型結(jié)果，并了解他們可以在哪些方面進(jìn)行調(diào)整改進(jìn)。此外，“權(quán)重與偏差”還配備了一個(gè)超參數(shù)調(diào)整框架——“掃頻”（Sweeps），它適用于模型訓(xùn)練的每個(gè)架構(gòu)。

Pythagoras 1是之前模型的全面升級版，它采用了全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)、訓(xùn)練框架和部署框架。神經(jīng)網(wǎng)絡(luò)架構(gòu)可以更容易地將特征聯(lián)系起來，并擺脫了其他探測器可能會混淆網(wǎng)絡(luò)的一些假設(shè)；訓(xùn)練框架比以前的框架更強(qiáng)大，使研究人員能夠快速建立原型并嘗試新的想法，其使用的新推理引擎大大縮短了模型在視頻上的執(zhí)行時(shí)間，這反過來又使研究人員能夠在神經(jīng)網(wǎng)絡(luò)中利用更多的“神經(jīng)元”，而每秒幀數(shù)的成本與以前的模型相差無幾；此外，與公司以前的部署方法相比，該模型可以利用更多的像素信息，而不會在運(yùn)行時(shí)間上受到很大影響，這一變化使該模型能夠快速處理和推斷4k視頻中的內(nèi)容，從而為作為應(yīng)對無人機(jī)的第一響應(yīng)者（DFR）等新的空域感知挑戰(zhàn)做好準(zhǔn)備。

在機(jī)器學(xué)習(xí)中，數(shù)據(jù)就是一切。好的數(shù)據(jù)可以大大提高模型的性能，而差的數(shù)據(jù)則會導(dǎo)致次優(yōu)結(jié)果，無論模型的復(fù)雜程度如何。這句格言概括了這一概念：“質(zhì)量優(yōu)于數(shù)量”。

該模型的機(jī)器學(xué)習(xí)始于一個(gè)基線數(shù)據(jù)集，其對象分布如下圖所示。這些數(shù)據(jù)從不同的地點(diǎn)收集而來，但其中大部分是無人機(jī)。研究人員使用Dedrone公司的內(nèi)部工具對這些幀進(jìn)行了注釋，從而為訓(xùn)練數(shù)據(jù)集奠定了基礎(chǔ)。

為了提高模型的性能，研究人員需要豐富數(shù)據(jù)并提高數(shù)據(jù)質(zhì)量。由于了解到該數(shù)據(jù)集缺乏豐富性，研究人員采用了各種創(chuàng)新方法來進(jìn)行數(shù)據(jù)整理和完善（DCAP），主要策略之一是就將主動學(xué)習(xí)融入模型訓(xùn)練過程。主動學(xué)習(xí)包括智能地選擇信息量最大的數(shù)據(jù)點(diǎn)進(jìn)行注釋，從而以更少的數(shù)據(jù)樣本提高模型性能。

該模型的主動學(xué)習(xí)循環(huán)包括識別失敗案例，如錯誤警報(bào)、錯誤分類和漏檢，例如一個(gè)場景中有多個(gè)物體的情況。失敗案例對于了解我們的系統(tǒng)在哪些方面需要改進(jìn)至關(guān)重要。

如今，這種改進(jìn)方法仍在繼續(xù)；通過積極尋找失敗案例，研究人員可以據(jù)此策劃出更全面、更有效的訓(xùn)練數(shù)據(jù)集。確定的失敗案例會被送到外包注釋公司進(jìn)行徹底的注釋和質(zhì)量保證。這一過程完成后，新數(shù)據(jù)將被整合到訓(xùn)練集中，為下一次主動學(xué)習(xí)迭代做好準(zhǔn)備。這種迭代過程確保了模型性能的不斷提高。通過這種方法，訓(xùn)練集中最近又增加了200萬張注釋圖像。

當(dāng)然，人工數(shù)據(jù)在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺中也起著至關(guān)重要的作用，因?yàn)樗兄谔钛a(bǔ)真實(shí)世界數(shù)據(jù)集的空白、增強(qiáng)多樣性并平衡類別分布。通過生成合成圖像可以模擬各種場景，擴(kuò)充現(xiàn)有數(shù)據(jù)，并創(chuàng)建具有挑戰(zhàn)性的案例，從而提高模型的穩(wěn)健性和準(zhǔn)確性。在真實(shí)數(shù)據(jù)稀缺或難以獲得的情況下，這一點(diǎn)就顯得更加重要。

因此，為了進(jìn)一步增強(qiáng)Dedrone數(shù)據(jù)集，研究人員還利用AutoKat工具采取了數(shù)據(jù)增強(qiáng)技術(shù)。AutoKat通過在現(xiàn)有圖像中添加或不添加注釋，在圖像中繪制人造物體，從而增強(qiáng)現(xiàn)有圖像。在這個(gè)項(xiàng)目中，他們新增了各種模型，包括21架直升機(jī)、7架飛機(jī)和11架無人機(jī)（包括四旋翼無人機(jī)、固定翼無人機(jī)，甚至還有3架Group-3無人機(jī)），這些模型可以縮放、調(diào)整方向并放置在圖像中的任何位置。

通過這種方法可以創(chuàng)建出一組多樣化的圖像，并尤其有助于通過生成大量直升機(jī)和飛機(jī)注釋來平衡數(shù)據(jù)集。它還有助于解決物體大小分布的問題，這對于推進(jìn)模型處理4K圖像至關(guān)重要。雖然AutoKat生成的圖像可能無法完全捕捉真實(shí)世界圖像的噪點(diǎn)、光照和清晰度，但它們依然為增強(qiáng)數(shù)據(jù)集做出了重大貢獻(xiàn)。以下是為Pythagoras 1項(xiàng)目擴(kuò)展的一些圖像示例。

另一種前景廣闊的方法是利用模擬環(huán)境和物體生成全人工圖像。該公司的模擬團(tuán)隊(duì)正在努力創(chuàng)造逼真的圖像，在這些圖像中，所有物體都被渲染在一起，從而提供全面的地面實(shí)況信息。模擬環(huán)境可以靈活地試驗(yàn)各種照明條件、天氣情況以及在現(xiàn)實(shí)生活中難以復(fù)制的獨(dú)特情況，如飛越城市上空的神風(fēng)特攻隊(duì)無人機(jī)。而這一方法的主要挑戰(zhàn)在于如何將模擬傳感器和鏡頭配置與現(xiàn)實(shí)生活中使用的傳感器和鏡頭配置相匹配。盡管困難重重，但研究人員相信，在未來，這種模擬數(shù)據(jù)方法將進(jìn)一步提高模型的性能。下面是一些展示正在開發(fā)的模擬世界的圖片。

數(shù)據(jù)是任何機(jī)器學(xué)習(xí)模型的生命。如果數(shù)據(jù)冗余或貧乏，模型可能會學(xué)習(xí)到不理想的行為，或者不能很好地泛化到未見過的實(shí)例中。通過消融過程，研究人員確定了改進(jìn)模型的關(guān)鍵數(shù)據(jù)擴(kuò)充，Dedrone的數(shù)據(jù)整理和完善團(tuán)隊(duì)已經(jīng)收集并將繼續(xù)提供理想的多樣化數(shù)據(jù)，Pythagoras可以在這些數(shù)據(jù)上進(jìn)行訓(xùn)練，數(shù)據(jù)的不斷改進(jìn)也將繼續(xù)推動Pythagoras性能的提升。

對于Dedrone公司的研究團(tuán)隊(duì)來說，他們的愿景是探測、跟蹤和分類天空中的每一個(gè)飛行物。通過Pythagoras 1，Dedrone已經(jīng)朝著這個(gè)目標(biāo)邁出了一大步。這一模型利用最快的處理技術(shù)、最新的機(jī)器學(xué)習(xí)模型研發(fā)成果以及強(qiáng)大的數(shù)據(jù)整理、完善和模擬團(tuán)隊(duì)，為低空空域感知和反無人機(jī)系統(tǒng)提供了世界上最快、最準(zhǔn)確的解決方案。研究團(tuán)隊(duì)將繼續(xù)致力于Pythagoras 1模型的優(yōu)化和改進(jìn)，并將很快發(fā)布更新版本。