2021年8月26日，蘭德公司網站發布報告，題為《evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis》，作者是丹尼爾·伊什、賈里德·埃廷格和克里斯托弗·費里斯。報告要點如下：
研究的問題
（1）人工智能（AI）系統的效能衡量指標與情報分析的有效性有何關聯？
（2）在真實系統的開發以及可能尚未開發的假設系統中，如何反映人工智能對情報流程的支持？
（3）研究人員如何為情報流程建模以確定人工智能系統在該流程中對其產生的影響？
（4）哪些指標可以表征人工智能系統的效能？
美國軍方和情報界對開發和部署人工智能系統以支持情報分析表現出興趣，這既是利用新技術的機會，也是解決不斷激增的數據過剩的解決方案。然而，在國家安全環境中部署人工智能系統需要能夠衡量這些系統在其任務環境中的效能。
為了解決這個問題，作者首先介紹了人工智能系統在支持情報方面可以發揮的幾類作用（即自動分析、收集支持、評估支持和信息優先排序），并定性分析了對各類人工智能系統表現產生影響的驅動因素。
然后，作者單獨挑出信息優先排序系統，該系統可將情報分析師的注意力引導到有用的信息上，并允許他們忽略對其無用的信息，以進行定量分析。作者開發了一個簡單的數學模型來捕捉此類系統的一些錯誤后果，從而表明其效能不僅取決于系統的屬性，還取決于系統的使用方式。通過這個演練，作者展示了人工智能系統的計算影響以及可以預測表征人工智能系統效能的指標，這些指標可以幫助決策者了解人工智能對情報任務的實際價值。
主要發現
（1）使用與實際優先級不匹配的指標會模糊系統表現并阻礙最佳系統的知情選擇
• 應在系統構建之前選定測度指標，并以試圖估計部署人工智能系統的實際影響為導向。
（2）效能以及衡量它的指標不僅取決于系統屬性，還取決于系統的使用方式
• 決策者的一個關鍵考慮因素，是在用于構建人工智能系統的資源之外專用于支持情報任務的資源量。
建議
• 從建立正確的指標開始。這需要詳細了解人工智能系統的使用方式，并選擇那些能夠成功反映其利用情況的指標。
• 定期重新評估（和重新調整）。由于系統周圍的世界在其部署后繼續演變，因此必須繼續將系統評估作為定期維護的一部分。
• 系統設計人員要有一套完善的指標來衡量人工智能系統的效能，通曉這些指標將有助于在設計新系統或維護現有系統的過程中與專家進行交流。
• 進一步研究評估人工智能系統效能的方法。
?