論文Express | AI+云+無人機=“云中”:劍橋大學個體行為實時監測

關于AI技術引起的道德話題近來頗受爭議，比如利用算法識別犯罪團伙或者，利用圖像識別判定同性戀。

近日，劍橋大學發布了一篇論文，提出了一個有意思的觀點，即利用混合深度學習網絡+云計算+無人機，搭建了一個能實時監測個體行為的無人機監控系統。

網紅博主愛可可老師評價道，這篇論文的觀點值得及時反思的道德危機，。

論文中監控系統的實時畫面?

可以在視頻中看到，論文中提出的無人機監控系統，可以在人群中準確檢測到發生肢體沖突的個體，并對其進行標記。如果該系統能推廣開來，將具有非常廣闊的應用前景。

當然，除了對行為進行監控，無人機的這一監控特征也很容易被帶入到對個人行為的監督下。因此，部分讀者也表達了擔憂，畢竟前段時間傳得沸沸揚揚的AI殺手機器人視頻中，充當奪命殺手的也是一些小型無人機。

在機器人國評中心后臺回復“無人機”可下載論文~

以下是論文精華內容：

無人機系統已經廣泛部署于各種執法機構，用來監視敵人，監控外國販毒集團，進行邊境控制等。本文介紹了一種實時無人機監控系統，用于在公共場所對個體行為的識別。

系統首先使用FPN從空中圖像中檢測人群，針對圖像中的有人區域，利用本文提出的ScatterNet混合深度學習網絡（SHDL）進行人體姿態估計；然后根據估計的四肢之間的方向確認施暴個體。

所提出的深度網絡能夠利用ScatterNet和少量標記樣本的結構先驗快速學習姿態表示。系統通過在云端處理無人機圖像實時監測施暴個體。本研究還介紹了用于深度網絡的空中個體行為數據庫，為研究人員使用深度學習進行空中監控提供幫助。最后，本文提出的基于姿態估計的個體識別性能和目前先進的技術進行了比較。

本研究提出了一種已標注的個體行為（AVI）數據集，以用于本文提出的SHDL網絡學習姿態估計。數據集由2000個圖像組成，每張圖像包含2~10個人。完整的數據集由10863個人組成，其中5124（48%）人參與了如下圖1所示的拳打、刀刺、射殺、腳踢和扼喉這五種行為中的一種或者多種。

空中圖像幀中的每個人都用14個關鍵點進行標注，這14個關鍵點也是所提出的網絡用作學習姿態估計的標簽，如圖2所示。這些活動由25名年齡在18-25歲之間的受試者中完成。圖1中的圖像由Parrot無人機在2米、4米、6米和8米的高空拍攝并記錄。

圖1

上圖展示了AVI數據集中的行為，即（從頂部開始順時針方向）：（1）扼喉，（2）拳打，（3）腳踢，（4）射殺，（5）刀刺。其中，刀刺行為在拍攝時同一幀圖像中出現了4個人。

圖2

左圖表示在人體上標注的14個關鍵點。人體點描述為，面部區域（紫色）：P1-頭，P2-頸；臂區域（紅色）：P3-右肩，P4-右肘，P5-右手腕，P6-左肩，P7-左肘，P8-左手腕；腿區（綠色）：P9-右髖，P10-右膝，P11-右腳踝，P12-左髖，P13-左膝蓋，P14-左腳踝；右圖顯示了用于捕獲數據集中圖像的Parrot AR無人機和圖像中一些已標注的關鍵點的特寫。

該系統首先使用FPN從無人機記錄的圖像中檢測人類。然后利用所提出的SHDL網絡來估計檢測到的個體姿態。最后，估計姿態的四肢之間的方向用來識別個體。系統采用云計算來實現實時識別。

無人機監控系統充分利用FPN，以快速地從無人機記錄的圖像中檢測到人群。特征金字塔通過利用卷積網絡特征層的金字塔形狀來檢測人群，同時創建了一個在任何尺度上都具有極強語義的特征金字塔。其結果是一個在所有級別上都具有豐富語義的特征金字塔，并且可以從單個輸入圖像尺度快速構建。

ScatterNet (前端)

ScatterNet特征在尺度上更為密集，因為它們是從多分辨率圖像中分離出來的，大小是輸入圖像的1.5~2倍。下面給出了單輸入圖像的參數化DTCWT ScatterNet的公式，然后可以應用于每一個多分辨率圖像。

為了建立一個具有平移不變性的姿態表示，對L2層的濾波信號（復模量）的實部和虛部逐點求模：

然后對所有從第一層中提取的方向表示進行參數對數變換，k_j表示第j個信號的參數k，初始值j=1。通過引入相對對稱來降低異常值的影響，如下所示：

接下來，計算了|U1[λ_m=1]|的局部平均值，該值集合了構建所需的平移不變表示的系數：

通過在第二層進行級聯小波濾波，提取了由平滑處理導致的高頻分量損失。并在這些特征中引入了平移不變性。

L0，L1，L2處的散射系數為：

通過對位置，角度和尺度變量聯合濾波，得到了旋轉和尺度不變性。

在L0、L1和L2中提取的每個多分辨率的特征被串聯起來，作為回歸網絡的輸入，來學習人類姿態估計的高級特征。ScatterNet特征幫助所提出的SHDL更快地收斂，因為回歸網絡的卷積層可以從學習的開始學習更復雜的模式。

基于結構先驗的姿態估計（后端）

SHDL網絡的回歸網絡利用ScatterNe不變t特征從AVI數據集中學習姿態估計。SHDL的回歸網絡由四個卷積層(L3到L6層)、兩個完全連接、歸一化和最大池層組成，如下圖所示。

顯示了可用于檢測公共場所和大型集會場所的個體的姿態估計模型框架。

DSS框架首先使用無人機記錄的圖像，利用金字塔特征網絡發現圖像中的人體。包含人體的圖像區域被作為所提出的SHDL網絡的輸入，以檢測人體上的14個關鍵點來進行姿態估計。所提出的SHDL網絡使用ScatterNet(前端)從L0、L1和L2輸入的區域中手工提取特征，L0、L1和L2在兩個尺度和六個固定方向上進行DTCWT濾波。

將上述特征作為具有32，32，64和64的回歸網絡的4個卷積層(L3，L4，L5,，L6)(后端)的輸入。每個回歸網絡卷積層都用基于主成分分析（PCA）的結構先驗進行初始化，其中結構先驗具有相同數目的濾波器。PCA層可以避免棋盤式濾波器(紅色顯示)，保證其不會作為回歸網絡的先驗使用。

與原始的粗到細回歸網絡[1](為了獲得SHDL而被修改)相比，ScatterNets和結構先驗改進了所提出的SHDL網絡的。檢測人體的14個關鍵點進行連接并構建骨架結構。為ScatterNet手工制作的濾波器、學習的結構PCA先驗以及學習的回歸網絡濾波器如上圖所示。

結構先驗

SHDL網絡的回歸網絡的每個卷積層(L3到L6)被結構先驗初始化以加速。利用PCANet[4]框架獲取每一層的結構先驗，該框架通過最小化以下重構誤差獲得一組標準正交濾波器：

其中X為從N個特征中抽取的小塊，I_K表示K*K的單位矩陣。上式的解簡化表示了用特征分解得到的XXT的K個主要特征向量。

將SHDL網絡識別的14個關鍵點連接起來形成一個骨架結構，如上圖所示。骨架結構的四肢之間的方向如下圖所示。支持向量機算法（SVM）在這些方向向量上進行，分成六個類（五個活動和一個中性活動)，以執行多類分類。在測試期間，骨骼四肢之間的方向作為SVM的輸入，SVM將人群分為中性或最可能出現行為兩種標簽。

圖中顯示了與人對應的骨骼。在這個結構中，SVM通過不同的肢體之間的角度(綠色虛線表示)來識別參與活動的人群。

AR無人機2.0由兩個攝像機和慣性測量裝置（IMU）組成，慣性測量裝置由3軸加速度計、3軸陀螺儀和3軸磁強計，以及超聲波和基于壓力的高度傳感器組成。利用亞馬遜云端對無人機記錄的圖像進行計算，實現實時識別。

在80類COCO檢測數據集上進行預先，得到FPN網絡，將其用于檢測AVI數據集中無人機記錄的人群。FPN網絡能夠在10863人中檢測到10558人，準確率為97.2%。

針對FPN網絡檢測到的圖像區域，通過減去該圖像區域的均值并除以它的標準差進行標準化，標準化后的圖像大小為120*80。

ScatterNet

將上述圖像區域作為ScatterNet(SHDL前端)的輸入，該ScatterNet使用DTWC濾波器在2個尺度6個固定方向上提取L0，L1，L2中的不變邊緣表示。

具有結構先驗的回歸網絡

該網絡在隨機選取的6334個圖像區域(60%)上進行，對2111個圖像區域(20%)進行驗證，對剩余的2113個圖像區域(20%)進行測試。網絡參數如下：基礎學習速率是10^(?5)，經過20次迭代之后，減少到10^(?6)，dropout是0.5，批尺寸是20，迭代(回合)的總數是90。

在標記的數據集上將檢測到的14個關鍵點的坐標與其地面真值進行比較，從而評估SHDL網絡的姿態估計性能。如果關鍵點與地面真值標記的關鍵點的距離在d像素的設置范圍內，則該關鍵點被認為是位置正確，如圖5所示。

圖3

上圖通過檢測關鍵點展示了姿態估計的性能，包括(a)手臂區域(構成手腕、肩膀和肘部)，(b)腿部區域(包括腳踝、膝蓋和髖部)以及(c)面部區域（頭部和頸部）的關鍵點。

手臂、腿、面部區域的關鍵點檢測分析如下：

上肢區域

圖3(a)表示SHDL網絡在d=5的像素距離下，可以檢測到手腕區域關鍵點，準確率在60%左右。在相同的像素距離下，肘關節和肩關節區域的檢測準確率分別在85%和95%左右(d=5)。

下肢區域

圖3(b)表明，SHDL網絡在d=5的像素距離下檢測到幾乎100%的髖部關鍵點。膝關節關鍵點檢測準確率在85%~90%之間，踝關節關鍵點檢測準確率在85%左右。

面部區域

如圖5(c)所示，在d=5的像素距離下，該算法對頸部關鍵點(P2)的檢測更為準確，準確率為95%左右，頭部的關鍵點的準確率(P1)為77%左右。

AVI數據集上SHDL網絡的人體姿態估計性能如表1所示。從表中可以看出，SHDL網絡基于距離地面真值d=5像素的14個關鍵點來估計人體的姿態，有87.6%的準確度。

用帶有高斯核的SVM對方向向量進行，其中方向向量是由每類的行為和中性類構成，隨機選擇6334（60%）個人類姿態實現多類分類，SVM參數選取(c)為14，將gamma參數設置為0.00002，對集進行5倍交叉驗證。如表2所示，AVI數據集上每類行為的分類準確率為4224（40%）。

表2 表格展現了AVI數據集上行為分類的準確率

接下來，每個圖像中參與活動受試者的數目分類準確率如表3所示。

表3 展示了在AVI數據集上，隨著參與活動的人數增加時的分類準確率。

上表給出的結果令人鼓舞，因為系統更可能在一個圖像框架中遇到多個人。下圖顯示用于有不同數目的人參與活動的圖像的DSS框架。

該圖顯示了具有多個人參與的活動的空中圖像的DSS的性能。個體用紅色表示，中性個體用青色表示。

本文提出了一種實時無人機監控系統框架，該框架可以從空中圖像中檢測一個或多個參與活動的個體。該框架首先使用FPN檢測人群，然后使用提出的SHDL網絡估計個體的姿態。最后用SVM算法處理估計的個體姿態從而識別個體。

本文提出的SHDL網絡，使用具有結構先驗的ScatterNet特征來實現少量標記樣本的加速。利用少量標記樣本實現姿態估計，為該框架降低了收集標記樣本的成本。本文還介紹了AVI數據集，為研究人員使用深度學習進行空中監控提供幫助。在同一AVI數據集上，所提出的DSS框架識別結果高于目前先進的技術。該框架將有助于發現在公共場所和集聚場所參與活動的個人。

在機器人國評中心后臺回復“無人機”可下載論文~

編譯：小魚、halcyon

圖片來源：網絡

免責聲明：本文轉自網絡公開渠道，旨在為廣大用戶提供最新最全的信息，不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。轉載的稿件版權歸原作者或機構所有，如有侵權，請聯系刪除。抄襲本文至其它渠道者引發的一切糾紛與本平臺無關。