![[轉載] OpenAI首席科學家：人工智慧發展太快 監控技術跟不上](https://s.yimg.com/cv/apiv2/twnews/article-bts/google-prefered-source-illustration.svg "[轉載] OpenAI首席科學家：人工智慧發展太快 監控技術跟不上")
—
加入為 Google 偏好來源
將 Yahoo 設為首選來源，在 Google 上查看更多我們的精彩報導
OpenAI首席科學家帕喬基（Jakub
Pachocki）發表長文警告，人工智慧（AI）能力正快速接近甚至超越人類，但安全、對齊與監控技術已開始跟不上，因此AI發展不能只追求速度。
帕喬基6日在《異類心智》（An Alien Mind）一文指出，推理型語言模型已快速進入經濟活動，推進科學研究，並能與人類及其他AI協作，但也帶來新的資安風險。
他說，OpenAI近年內部研究顯示，AI未來可能進入遞迴式自我改進（RSI），系統能力可望在未來幾年再度大幅躍升。他警告，沒人準備好面對機器智慧持續快速提升的後果，因此必須極度謹慎，並採取更廣泛介入措施。AI不必在所有能力上超越人類，只要在足夠多的重要領域勝出，就可能產生重大影響，而人類也愈來愈難準確掌握它究竟有多強。
AI研究的核心問題之一是「對齊」，也就是讓AI依人類標準努力做正確的事。但難題在於「泛化能力」（generalization）：AI進入不同於訓練環境的情境時，未必能可靠運用訓練時學到的價值。帕喬基指出，對齊技術未必能跟上模型能力成長。
OpenAI過去主要依賴「思考鏈監控」來驗證對齊技術的有效性，但隨著AI與人類、其他AI及工具互動日益複雜，且模型愈來愈能操控自身推理，這種監控方式的可靠性正在下降。未來AI發展速度可能取決於人類能多有把握地監控這些系統。
帕喬基說，透過持續開發更強AI來防禦其他AI的威脅，不能成為魯莽發展AI的藉口。他主張，一方面要讓對齊與監控技術跟上AI能力，另一方面則應在必要時放慢發展，直到安全措施更可靠，AI擴大規模的速度應受安全信心水準約束。
【看原文連結】
[https://udn.com/news/story/6811/9740304?utm_source=yahoonews&utm_medium=yahoo]
更多udn報導
揮汗有禮怎領50元？運動紀錄上傳4錯誤 他遭退件反獲肯定
[https://udn.com/news/story/7266/9739214?utm_source=yahoonews&utm_medium=referral&utm_campaign=yahoo]
日專家揭洗衣機防霉3訣竅 1款天然洗衣精易養黴菌
[https://udn.com/news/story/7266/9738511?utm_source=yahoonews&utm_medium=referral&utm_campaign=yahoo]
台人不愛逛夜市了？東南亞客變多 網揭3大退燒關鍵
[https://udn.com/news/story/120912/9738740?utm_source=yahoonews&utm_medium=referral&utm_campaign=yahoo]
龐祥麟來不及入院離世！3年前白髮暴瘦10公斤畫面曝
[https://stars.udn.com/star/story/10088/9739793?utm_source=yahoonews&utm_medium=referral&utm_campaign=yahoo]
參考閱讀
OpenAI首席科學家：人工智慧發展太快 監控技術跟不上,聯合新聞網
About the Author
