ChatGPT有機會出賣你的個人信息？這特定指令會讓AI吐出原始資料

ChatGPT被研究團隊發會無意間披露訓練時使用的材料，從程式碼、個人電話到研究報告都因此曝光，可能引發隱私疑慮。

Google研究團隊近期發現，在ChatGPT對話中輸入重複特定的單字，將使ChatGPT吐出原始訓練資料，像是某人的電子郵件信箱，或者某些文章的內容，引發資安疑慮。不過，OpenAI目前已禁止這種稱為「發散攻擊」的技術。

根據科技媒體《404 Media》報導，OpenAI指出，要求ChatGPT「永遠」重複特定單字，被標記為違反聊天機器人的服務條款和內容政策。

若現在對ChatGPT 3.5輸入永遠重複某個詞時，ChatGPT會吐出該單詞幾十次，然後顯示一條錯誤訊息：「此內容可能違反我們的內容政策或使用條款。」

不過《404 Media》也指出，目前尚不清楚這將違反 OpenAI內容政策的哪一部分，OpenAI模型有一些不允許的用途，其中沒有一個表明使用者不能嘗試欺騙模型提供訓練資料。

「禁止」使用的最接近的例子是「侵犯人們隱私的活動，包括非法收集或披露個人身份資訊或教育、財務或其他受保護紀錄」，但在這種情況下，沒有理由考慮詢問聊天機器人重複「永遠」這個詞是違法的。

現在對ChatGPT 3.5輸入永遠重複某個詞時，ChatGPT會吐出該單詞幾十次，然後顯示一條錯誤訊息：「此內容可能違反我們的內容政策或使用條款。」（404 media）

究竟Google研究團隊是怎麼發現Bug的？為何我們該關注AI模型引發的資安疑慮？

過去蘋果、三星、亞馬遜以及各大金融公司一度禁止員工在工作中使用ChatGPT，擔憂輸入聊天機器人的機密資訊會意外洩漏，現在有研究人員成功找到漏洞，讓ChatGPT等生成式AI吐出訓練時消化的大量材料。

來自Google DeepMind、華盛頓大學、柏克萊加大等機構的研究團隊近日發布了一份論文，聲稱他們利用約200美元的成本，成功提取了幾MB的ChatGPT的訓練數據，並認為只要投入更多預算，要得到上GB的訓練數據也不無可能。

根據OpenAI的資料，ChatGPT是利用網路上約570 GB的資料訓練而成，但確切包含哪些資訊從未對外公佈。這對大多數AI公司也都是不會對外公佈的機密資訊── 但現在的研究顯示，聊天機器人仍確確實實記得訓練時使用的資料，甚至可以被取巧地提取出來。

研究團隊指出，類似的情況其實過去便一直存在於生成式AI當中，以前他們也成功從GPT-2、Stable Diffusion等模型中成功提取出數百張訓練用的圖片，但過去攻擊成功都是開源模型、並非實際商業產品，然而ChatGPT本身針對提取訓練材料有更高防護性、沒有公開底層的語言模型，仍然被得逞。

要求ChatGPT重複特定單字，可能意外吐出訓練材料

研究過程中，研究團隊測試了Pythia、Meta的LLaMA等不同AI模型，在過去的標準攻擊方式中，各個模型吐出訓練材料的頻率不到1%，ChatGPT更是趨近於零，然而使用了他們新開發的攻擊模式後，ChatGPT給出訓練材料的機率大增150倍至接近3%的水準。

研究團隊發現在新的攻擊方法下，ChatGPT吐出訓練材料的頻率提高了150倍。（GitHub）

研究團隊建立一種他們稱為「發散攻擊」（divergence attack，暫譯）的攻擊模式，運作原理很簡單，他們要求聊天機器人不斷重複一個單字，ChatGPT在回應中變得發散，可能無意暴露了不相干的訓練材料，像是某人的電子郵件信箱，或者某些文章的內容。

最讓人擔憂的當然是，ChatGPT可能揭露聯絡方式、住家地址等隱私內容。事實上，在研究團隊提供的範例中，他們要求ChatGPT不斷重複「詩」（poem）這一個字，便意外揭露一位創業家的聯絡方式，包括電子郵件、個人網站、電話及傳真號碼等。

而在另一個範例中，他們要求ChatGPT不斷重複「公司」（company），也跑出了似乎是律師事務所Morgan & Morgan的文章內容。且這些被提取的內容都經過驗證，並非AI因「幻覺」隨口胡謅的內容，而是確實存在於網路上的資訊。

範例中研究團隊要求Chatgpt重複poem這個單字，卻跑出了似乎是某位創業家的聯絡資料。（GitHub）

雖然乍看之下只是零散的內容，很難整理出有意義的資訊，不過研究團隊指出，這項攻擊使他們能夠恢復大量的資料。在整個實驗當中，研究團隊成功提取出從投資研究報告到Python程式碼等五花八門的訓練材料，顯示任何訓練材料都可能因為發散攻擊而曝光。

研究團隊呼籲開發者全面審視AI安全，從底層解決曝光訓練材料問題

研究團隊呼籲開發者應對AI模型進行全面的測試，需要測試的不只是面向用戶、經過「對齊」（alignment）的模型，整個基礎模型、API都需要嚴格的檢查，才可能發現被忽視、隱藏的系統漏洞。

單單過濾掉重複特定單字的指令，雖能擋住這次新開發的發散攻擊，但AI模型底部會記憶訓練材料，並且可能暴露的疑慮並沒有真正消除。在大型語言模型正漸漸走向商業化的現在，機器學習模型的安全分析也必須迎來新的變化，要確認一個模性是否真的安全，需要付出更多努力。

研究團隊表示，他們在8月30日時已將研究結果與OpenAI分享，討論了攻擊的細節內容，並且經過90天的披露期限後於11月28日正式發布論文，並向Llama等等實驗中使用模型的開發者發送了相關內容。

+15

+20