2024年7月17日，美國反無人機系統(tǒng)制造商Dedrone在其官網發(fā)布了新一代計算機視覺（CV）模型，以供客戶選擇使用。該模型名為Pythagoras 1，最近發(fā)布的新版本主要針對模型對所有對象類別的精確度和大多數(shù)對象類別的召回率進行了優(yōu)化；還對模型的運行時間進行了重大改進。

Pythagoras 1這一核心引擎既可用于防范未經授權的無人機，又能使生產型無人機在越來越復雜的空域中安全航行。

Pythagoras 1在識別四旋翼無人機、固定翼無人機、鳥類、直升機和飛機的速度和探測精度等方面的性能已經有了大幅提升。

這一新一代模型目前正在為Dedrone的所有產品提供支持，包括該公司最新的如DedroneBeyond一類的傳感器融合無人機保護解決方案。

Dedrone公司專業(yè)的機器學習（ML）團隊利用三個核心觸發(fā)器，提供了世界上最快、最準確的基于傳感器融合的空域安全解決方案。

首先，團隊選用了合適的圖形處理器（GPU）——H100。眾所周知，這款機器作為機器學習訓練機器，具有當今最頂級的性能。該公司目前擁有多臺H100并每天24小時不間斷運行，持續(xù)優(yōu)化公司的解決方案。

接下來，團隊利用PyTorch作為DedroneTracker.AI計算機視覺模型的框架，著手建立在保持反無人機任務性能的同時適配保護較低空域安全的模型，以期解決客戶反饋的問題——即進一步降低誤報率，提高模型探測飛行物體的能力。團隊在PyTorch基礎上構建出了全新的神經網絡架構，對于Dedrone公司來說，Pythagoras 1模型的成功開發(fā)，是低空域感知探測技術的一次重大飛躍。

最后，團隊利用已經建立了7年之久的數(shù)據(jù)集庫，通過模擬數(shù)據(jù)集和對特定案例的主動學習整合，進一步擴充了數(shù)據(jù)集庫，并將這些數(shù)據(jù)驅動回團隊的模型訓練過程。

就改進成果來看，Pythagoras 1將視頻跟蹤器的速度平均提高了20%，此外還顯著提高了準確性，減少了誤報和漏報。下圖詳細說明了真正例、假正例和假負例的情況：

這些改進可以通過提高平均精確度（mAP）和平均召回率（mAR）來衡量。召回率和精確率是用來評估探測器性能的兩個關鍵指標。但實際上，這兩個指標之間的數(shù)值是需要權衡的。提高對空域內物體進行分類的閾值會減少誤報，從而提高精確度，然而，這在實踐中往往會導致更多的誤判，因此召回率會降低。下面是這兩個指標的計算方式：

此外，模型還將探測極小型無人機的平均精度提高了14倍。這些改進體現(xiàn)在所有物體和多個空間尺度上。探測指標詳見下表：

為了實現(xiàn)改進其端到端人工智能解決方案這一目標，Dedrone公司購買了一個新的計算機集群，利用英偉達公司的旗艦級機器學習圖形處理器——H100，與Lambda Labs合作構建了新的計算機集群。由于團隊調整了訓練代碼以使用多個GPU，這一新硬件縮短了他們在數(shù)百萬幀視頻中訓練模型所需的時間；反過來，這也使團隊能夠以更高的速度運行實驗。上述實驗涉及神經網絡架構的修改以及超參數(shù)的指導性調整。此外，由于模型的評估基礎架構是基于權重和偏差（Weights and Biases）的，這讓團隊的研究人員能夠輕松地可視化模型結果，并了解他們可以在哪些方面進行調整改進。此外，“權重與偏差”還配備了一個超參數(shù)調整框架——“掃頻”（Sweeps），它適用于模型訓練的每個架構。

Pythagoras 1是之前模型的全面升級版，它采用了全新的神經網絡架構、訓練框架和部署框架。神經網絡架構可以更容易地將特征聯(lián)系起來，并擺脫了其他探測器可能會混淆網絡的一些假設；訓練框架比以前的框架更強大，使研究人員能夠快速建立原型并嘗試新的想法，其使用的新推理引擎大大縮短了模型在視頻上的執(zhí)行時間，這反過來又使研究人員能夠在神經網絡中利用更多的“神經元”，而每秒幀數(shù)的成本與以前的模型相差無幾；此外，與公司以前的部署方法相比，該模型可以利用更多的像素信息，而不會在運行時間上受到很大影響，這一變化使該模型能夠快速處理和推斷4k視頻中的內容，從而為作為應對無人機的第一響應者（DFR）等新的空域感知挑戰(zhàn)做好準備。

在機器學習中，數(shù)據(jù)就是一切。好的數(shù)據(jù)可以大大提高模型的性能，而差的數(shù)據(jù)則會導致次優(yōu)結果，無論模型的復雜程度如何。這句格言概括了這一概念：“質量優(yōu)于數(shù)量”。

該模型的機器學習始于一個基線數(shù)據(jù)集，其對象分布如下圖所示。這些數(shù)據(jù)從不同的地點收集而來，但其中大部分是無人機。研究人員使用Dedrone公司的內部工具對這些幀進行了注釋，從而為訓練數(shù)據(jù)集奠定了基礎。

為了提高模型的性能，研究人員需要豐富數(shù)據(jù)并提高數(shù)據(jù)質量。由于了解到該數(shù)據(jù)集缺乏豐富性，研究人員采用了各種創(chuàng)新方法來進行數(shù)據(jù)整理和完善（DCAP），主要策略之一是就將主動學習融入模型訓練過程。主動學習包括智能地選擇信息量最大的數(shù)據(jù)點進行注釋，從而以更少的數(shù)據(jù)樣本提高模型性能。

該模型的主動學習循環(huán)包括識別失敗案例，如錯誤警報、錯誤分類和漏檢，例如一個場景中有多個物體的情況。失敗案例對于了解我們的系統(tǒng)在哪些方面需要改進至關重要。

如今，這種改進方法仍在繼續(xù)；通過積極尋找失敗案例，研究人員可以據(jù)此策劃出更全面、更有效的訓練數(shù)據(jù)集。確定的失敗案例會被送到外包注釋公司進行徹底的注釋和質量保證。這一過程完成后，新數(shù)據(jù)將被整合到訓練集中，為下一次主動學習迭代做好準備。這種迭代過程確保了模型性能的不斷提高。通過這種方法，訓練集中最近又增加了200萬張注釋圖像。

當然，人工數(shù)據(jù)在機器學習和計算機視覺中也起著至關重要的作用，因為它有助于填補真實世界數(shù)據(jù)集的空白、增強多樣性并平衡類別分布。通過生成合成圖像可以模擬各種場景，擴充現(xiàn)有數(shù)據(jù)，并創(chuàng)建具有挑戰(zhàn)性的案例，從而提高模型的穩(wěn)健性和準確性。在真實數(shù)據(jù)稀缺或難以獲得的情況下，這一點就顯得更加重要。

因此，為了進一步增強Dedrone數(shù)據(jù)集，研究人員還利用AutoKat工具采取了數(shù)據(jù)增強技術。AutoKat通過在現(xiàn)有圖像中添加或不添加注釋，在圖像中繪制人造物體，從而增強現(xiàn)有圖像。在這個項目中，他們新增了各種模型，包括21架直升機、7架飛機和11架無人機（包括四旋翼無人機、固定翼無人機，甚至還有3架Group-3無人機），這些模型可以縮放、調整方向并放置在圖像中的任何位置。

通過這種方法可以創(chuàng)建出一組多樣化的圖像，并尤其有助于通過生成大量直升機和飛機注釋來平衡數(shù)據(jù)集。它還有助于解決物體大小分布的問題，這對于推進模型處理4K圖像至關重要。雖然AutoKat生成的圖像可能無法完全捕捉真實世界圖像的噪點、光照和清晰度，但它們依然為增強數(shù)據(jù)集做出了重大貢獻。以下是為Pythagoras 1項目擴展的一些圖像示例。

另一種前景廣闊的方法是利用模擬環(huán)境和物體生成全人工圖像。該公司的模擬團隊正在努力創(chuàng)造逼真的圖像，在這些圖像中，所有物體都被渲染在一起，從而提供全面的地面實況信息。模擬環(huán)境可以靈活地試驗各種照明條件、天氣情況以及在現(xiàn)實生活中難以復制的獨特情況，如飛越城市上空的神風特攻隊無人機。而這一方法的主要挑戰(zhàn)在于如何將模擬傳感器和鏡頭配置與現(xiàn)實生活中使用的傳感器和鏡頭配置相匹配。盡管困難重重，但研究人員相信，在未來，這種模擬數(shù)據(jù)方法將進一步提高模型的性能。下面是一些展示正在開發(fā)的模擬世界的圖片。

數(shù)據(jù)是任何機器學習模型的生命。如果數(shù)據(jù)冗余或貧乏，模型可能會學習到不理想的行為，或者不能很好地泛化到未見過的實例中。通過消融過程，研究人員確定了改進模型的關鍵數(shù)據(jù)擴充，Dedrone的數(shù)據(jù)整理和完善團隊已經收集并將繼續(xù)提供理想的多樣化數(shù)據(jù)，Pythagoras可以在這些數(shù)據(jù)上進行訓練，數(shù)據(jù)的不斷改進也將繼續(xù)推動Pythagoras性能的提升。

對于Dedrone公司的研究團隊來說，他們的愿景是探測、跟蹤和分類天空中的每一個飛行物。通過Pythagoras 1，Dedrone已經朝著這個目標邁出了一大步。這一模型利用最快的處理技術、最新的機器學習模型研發(fā)成果以及強大的數(shù)據(jù)整理、完善和模擬團隊，為低空空域感知和反無人機系統(tǒng)提供了世界上最快、最準確的解決方案。研究團隊將繼續(xù)致力于Pythagoras 1模型的優(yōu)化和改進，并將很快發(fā)布更新版本。