2021年12月9日，defenseone網站發布評論文章，題為“This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25%”，作者是技術編輯帕特里克·塔克。文章認為，正確數據太少可能會導致目標算法偏離。但要嘗試告訴算法。
如果五角大樓要依靠算法和人工智能（AI），就必須解決“脆弱的人工智能”問題。一位空軍高級官員最近說明了還要走多遠的路。
負責情報、監視和偵察的助理副參謀長丹尼爾·辛普森少將表示，在最近的一次測試中，當所有條件都完美時，一個實驗性的目標識別程序表現良好，但一個微妙的調整使其性能急劇下降。最初，人工智能是從一個傳感器輸入數據的，該傳感器以傾斜的角度尋找一枚地對地導彈。然后，它從另一個傳感器輸入數據，該傳感器以近垂直角度尋找多枚導彈。結果，"真是令人驚訝：算法表現不佳。它實際上只在大約25%的時間內是準確的。"
這是有時被稱為人工智能脆弱性的一個例子，根據研究人員和前海軍飛行員米西·卡明斯在2020年的一份報告，"當任何算法都無法概括或適應一組范圍較窄的假設之外的條件時，就會發生這種情況"。卡明斯說，當用于訓練算法的數據由來自獨特有利位置的一種類型的圖像或傳感器數據過多，而來自其它優勢、距離或條件的數據不足時，人工智能模型就會變得脆弱。
在無人駕駛汽車實驗等情況下，研究人員可以收集更多的數據用于訓練。但在軍事環境下，這可能非常困難，因為那里可能有大量相同類型的數據——例如頭頂衛星或無人機圖像，但很少有其它類型的數據，因為它在戰場上還沒用過。
例如，與為自動駕駛汽車訓練對象識別算法的公司相比，軍方在嘗試訓練某些物體識別任務的算法時面臨著另一個障礙：從多個角度和多個條件下獲取行人和路燈的圖片比獲取中國或俄羅斯地對空導彈的圖片更容易。
越來越多的研究人員開始依賴所謂的"合成訓練數據"，在軍事瞄準軟件的情況下，這些數據將是從真實數據人工生成的圖片或視頻，以訓練算法如何識別真實的東西。
但辛普森表示，算法的低準確率并不是練習中最令人擔憂的部分。雖然算法只有25%的時間是正確的，但他說，"由于確信它在90%的時間內是正確的，所以錯在了自信。這不是算法的錯。這是因為我們向它提供了錯誤的訓練數據。
辛普森說，這樣的結果并不意味著空軍應該停止追求利用人工智能進行物體和目標探測。但它確實提醒人們，人工智能在數據欺騙形式的對抗行動面前是多么脆弱。它還表明，人工智能和人類一樣，可能會遭受過度自信的困擾。
?