研究人員創造了一種方法來幫助工人與人工智能系統協作。

在一家繁忙的醫院里，一位放射科醫生正在使用人工智能系統根據患者的 X 射線圖像來幫助她診斷醫療狀況。使用人工智能系統可以幫助她更快地做出診斷，但她怎么知道什么時候可以相信人工智能的預測呢？

她沒有。相反，她可能會依靠她的專業知識、系統本身提供的置信度或算法如何做出預測的解釋——這可能看起來很有說服力，但仍然是錯誤的——來做出估計。

為了幫助人們更好地理解何時信任人工智能“隊友”，麻省理工學院的研究人員創建了一種引導技術，引導人類更準確地理解機器做出正確預測和做出錯誤預測的情況。

通過向人們展示人工智能如何補充他們的能力，訓練技術可以幫助人類在與人工智能代理合作時做出更好的決策或更快地得出結論。

“我們提出了一個教學階段，我們逐漸將人類引入這種人工智能模型，這樣他們就可以自己看到它的弱點和優勢，”數據研究所社會與工程系統博士項目的研究生 Hussein Mozannar 說、系統和社會 (IDSS)，他還是計算機科學和人工智能實驗室 (CSAIL) 臨床機器學習小組和醫學工程與科學研究所的研究員。“我們通過模仿人類在實踐中與人工智能交互的方式來做到這一點，但我們會進行干預以向他們提供反饋，以幫助他們理解他們與人工智能進行的每一次交互?！?/span>

Mozannar 與領導 CSAIL 可視化小組的計算機科學助理教授 Arvind Satyanarayan 一起撰寫了這篇論文；麻省理工學院電氣工程和計算機科學副教授、臨床機器學習小組負責人、作者大衛·桑塔格。該研究將于 2 月在人工智能促進協會上發表。

心智模型

這項工作的重點是人類建立的關于他人的心智模型。如果放射科醫生對某個病例不確定，她可能會詢問某個領域的專家同事。根據過去的經驗和她對這位同事的了解，她有一個關于他的優點和缺點的心智模型，她用它來評估他的建議。

Mozannar 說，人類在與 AI 代理交互時會構建相同類型的心智模型，因此這些模型的準確性非常重要。認知科學表明，人類通過記住過去的互動和經歷來為復雜的任務做出決定。因此，研究人員設計了一個入職流程，提供了人類和人工智能協同工作的代表性示例，作為人類未來可以借鑒的參考點。他們首先創建了一種算法，該算法可以識別能向人類傳授人工智能知識的示例。

Mozannar 說：“我們首先了解人類專家的偏見和優勢，利用對他們過去不受人工智能指導的決定的觀察?！薄拔覀儗⑽覀儗θ祟惖牧私馀c我們對人工智能的了解結合起來，看看它將在哪些方面對人類有所幫助依靠人工智能。然后我們獲得了我們知道人類應該依賴人工智能的案例以及人類不應該依賴人工智能的類似案例?！?/span>

研究人員在基于段落的問答任務中測試了他們的引導技術：用戶收到一篇書面文章和一個答案包含在文章中的問題。然后用戶必須回答問題，并可以單擊一個按鈕來“讓 AI 回答”。然而，用戶無法提前看到 AI 的答案，這要求他們依賴他們對 AI 的心智模型。他們開發的入職流程首先向用戶展示這些示例，用戶試圖在 AI 系統的幫助下做出預測。人類可能是對的或錯的，人工智能可能是對的或錯的，但無論哪種情況，在解決了示例之后，用戶都會看到正確的答案以及對 AI 選擇其預測的原因的解釋。為了幫助用戶從示例中進行概括，

例如，也許訓練問題會根據植物教科書中的一段錯綜復雜的段落，詢問兩種植物中的哪一種原產于更多的大陸。人類可以自己回答，也可以讓人工智能系統回答。然后，她看到了兩個后續示例，可以幫助她更好地了解 AI 的能力。也許人工智能在一個關于水果的后續問題上是錯誤的，但在一個關于地質學的問題上是正確的。在每個示例中，系統用于進行預測的單詞都被突出顯示。Mozannar 解釋說，看到突出顯示的單詞有助于人類理解 AI 代理的局限性。

為了幫助用戶記住他們學到的東西，用戶然后寫下她從這個教學示例中推斷出的規則，例如“這個人工智能不擅長預測花朵”。然后，她可以在以后與代理實際合作時參考這些規則。這些規則也構成了用戶對人工智能的心理模型的形式化。

教學的影響

研究人員用三組參與者測試了這種教學技術。一組經歷了整個引導技術，另一組沒有收到后續的比較示例，基線組沒有接受任何教學但可以提前看到 AI 的答案。

“接受教學的參與者與沒有接受教學但可以看到人工智能答案的參與者一樣好。因此，結論是他們能夠模擬人工智能的答案，就像他們看到了一樣，”Mozannar 說。

研究人員對數據進行了更深入的挖掘，以查看個體參與者編寫的規則。他們發現，近 50% 的接受過培訓的人寫下了關于 AI 能力的準確課程。那些有準確教訓的人在 63% 的例子上是對的，而那些沒有準確教訓的人在 54% 的例子上是對的。而那些沒有接受過教學但可以看到人工智能答案的人在 57% 的問題上是正確的。

“當教學成功時，它會產生重大影響。這就是這里的要點。當我們能夠有效地教參與者時，他們能夠比你實際給他們答案做得更好，”他說。

但結果也表明仍有差距。只有 50% 的受過訓練的人建立了準確的人工智能心智模型，即使是那些做過的人也只有 63% 的時間是正確的。Mozannar 說，盡管他們學到了準確的教訓，但他們并不總是遵循自己的規則。

這是一個讓研究人員摸不著頭腦的問題——即使人們知道人工智能應該是對的，為什么他們不聽自己的心智模型呢？他們希望在未來探索這個問題，并改進入職流程以減少所需時間。他們還對使用更復雜的 AI 模型進行用戶研究感興趣，尤其是在醫療保健環境中。

“當人類與其他人合作時，我們在很大程度上依賴于了解我們的合作者的優勢和劣勢——這有助于我們知道何時（以及何時不）依靠他人尋求幫助。我很高興看到這項研究將這一原則應用于人類和人工智能，”谷歌人 + 人工智能研究和負責任人工智能小組的研究科學家 Carrie Cai 說，她沒有參與這項研究。“讓用戶了解人工智能的優勢和劣勢對于產生積極的人機聯合成果至關重要?！?nbsp;

這項研究部分得到了美國科學基金會的支持。