AI安全令人擔憂！OpenAI又解散了一個安全團隊，6年老將離職

AI安全越來令人擔憂，OpenAI正在解散其“AGI Readiness”團隊。該團隊就OpenAI處理日益強大的人工智能的能力以及世界管理該技術的準備情況向公司提供建議。

又一安全團隊被解散

週三，AGI Readiness高級顧問Miles Brundage宣佈離開OpenAI。他在OpenAI工作了六年多，是OpenAI長期政策研究員、AGI準備工作高級顧問，也是OpenAI所剩無幾堅持遏制人工智能風險的老員工之一。

Brundage表示，離開的主要原因是機會成本太高了，他認為他的研究在外部會更有影響力，他想要減少偏見，他已經完成了他在OpenAI的目標。

通用人工智能（AGI）追求讓AI在廣泛的任務上達到或超過人類智力。Brundage指出：“OpenAI和其他任何前沿實驗室都沒有準備好，世界也沒有準備好。”

離職後，Brundage計劃成立自己的非營利組織，或者加入一個現有的非營利組織，專注於人工智能政策研究和倡導。根據Brundage透露，AGI Readiness前團隊成員將被重新分配到其他團隊。

對此，OpenAI發言人表示：“我們完全支持Brundage在行業之外進行政策研究的決定，並對他的貢獻深表感謝。他計劃全力以赴進行人工智能政策的獨立研究，這使他有機會在更大範圍內產生影響。我們相信，在新職位上，他將繼續提高行業和政府決策質量的標準。”

安全爭議、擔憂越來越多

這已經不是OpenAI第一次解散與AI安全相關的團隊，讓大眾對AI技術快速的發展感到擔憂。今年5月，OpenAI解散了其超級對齊團隊，而該團隊去年才成立。

OpenAI稱，該團隊專注於“科學和技術突破，以引導和控制AI系統，防止它們“變得不聽話”。今年7月，OpenAI將高級安全主管Aleksander Madry重新分配到一個專注於人工智能推理的職位，儘管OpenAI稱Madry在他的新職位上仍將從事核心的人工智能安全工作。

隨後，民主黨參議員給OpenAI首席執行官Sam Altman發了一封信，詢問“OpenAI如何解決新出現的安全問題”。近年來，OpenAI的人員流失越發頻繁，公司的多位高管相繼離職，原本11人的創始團隊僅剩3人。

OpenAI聯合創始人、已離職的Jan Leike更是直指：“建造比人類更聰明的機器本質上是一種危險的嘗試，OpenAI代表全人類肩負着巨大的責任。但在過去幾年裏，安全文化和流程已經讓位於閃亮的產品。”

同時，OpenAI正在轉型成一家營利性企業。10月初，OpenAI以1570億美元的估值完成了新一輪融資，其中包括從眾多投資公司和大型科技公司籌集的66億美元。它還獲得了40億美元的循環信貸額度，使其總流動性超過100億美元。

此外，該公司預計今年營收為37億美元，虧損約50億美元。需要注意的是，今年6月，一羣OpenAI的現任和前任員工發表了一封公開信，表達了對AI快速發展的擔憂，指出該行業缺乏監管。公開信寫道：“人工智能公司有強大的財務動機來避免有效的監管。”