AI犯错你为何不警觉

摘要

AI 犯錯的真正風險不在於犯錯本身，而在於犯錯方式與人類不同——人犯錯會警覺，AI 犯錯卻讓人產生「看起來沒問題」的錯覺。斯坦福實驗揭示了三層機制：一是人在重複協作中主動放鬆審查，大腦將「沒出過問題」等同「不會出問題」；二是專家反而被削弱優勢，過度信任導致放棄識別能力；三是 AI 的結構化回答容易製造假顓悟感，40% 的錯誤判斷仍伴隨強烈確定性。問題根源是人的認知偏誤與自動化自滿，而非 AI 的不可靠性。制度檢查（如飛行員檢查單）的價值在於對抗這種系統性錯覺。

重點

• 人在 AI 協作中主動放鬆審查，大腦將無問題等同不會出問題的認知偏誤
• 專家優勢被拉平，過度信任使其放棄原有的錯誤識別能力
• AI 結構化回答製造假顓悟感，錯誤判斷仍伴隨高確定性
• AI 犯錯與人犯錯方式不同，人類警覺機制在 AI 面前失效
• 建立制度檢查（檢查清單、交接程序）是對抗系統性錯覺的關鍵

章節

1. 人主動選擇相信而非被騙

   自動化自滿本質是人在重複協作中偷懶，大腦將無問題等同永不出問題，是人的認知偏誤

2. 專家優勢反而被削弱的悖論

   新手獲益但專家優勢被拉平，過度信任讓專家放棄錯誤識別能力，問題不在 AI 有無犯錯

3. AI 錯誤伴隨的高確定性假象

   AI 結構化回答製造假顓悟感，40% 錯誤識別仍帶有強烈確定性，與人的警覺機制相反

4. AI 犯錯方式與人類根本不同

   AI 犯錯時讓人產生『看起來沒問題』的錯覺，人類警覺系統在此失效，需制度補正

5. 制度檢查作為對抗錯覺的手段

   飛行員檢查清單與交接程序存在意義在於用制度對抗系統性錯覺，不依賴人的主觀判斷

金句