OpenAI 三位掌舵人聯(lián)名發(fā)文，提議像管核設施一樣管 AI!

　　他們預言十年內 AI 產(chǎn)出將與大公司相當。而超級智能是一把“雙刃劍”，必須要受到監管。

　　近日，OpenAI CEO Sam Altman、總裁 Greg Brockman 和首席科學(xué)家 Ilya Sutskever 聯(lián)名發(fā)表了一篇“呼吁信”，認為世界需要建立一個(gè)國際人工智能監管機構，而且要穩中求快建立起來(lái)。

　　他們解釋說(shuō)：人工智能的創(chuàng )新速度如此之快，我們不能指望現有的權威機構能夠充分控制這項技術(shù)。

　　OpenAI 此舉受到大量關(guān)注，推特上轉贊已超 3000：

　　馬斯克也來(lái)評論底下湊了熱鬧，“控制很重要”：

　　有網(wǎng)友認為 OpenAI 提出這樣的舉措，阻礙了開(kāi)放人工智能社區的發(fā)展，這看起來(lái)是自私的，與 OpenAI 的名稱(chēng)相違背：

　　也有網(wǎng)友對 OpenAI 提出的監管 AI 表示認同：很高興看到這些問(wèn)題受到更嚴肅的關(guān)注。

　　其實(shí)，在上周美國國會(huì )聽(tīng)證會(huì )上，Altman 就針對 AI 安全問(wèn)題提出了三條措施：

　　成立一個(gè)新的機構，負責為 AI 大模型頒發(fā)許可，并擁有撤銷(xiāo)許可的權力。

　　為 AI 模型創(chuàng )建一套安全標準，對危險性做評估，包括它們是否能夠“自我復制”、“逃出實(shí)驗室自己行動(dòng)”。

　　要求獨立專(zhuān)家對模型的各種指標做獨立審計。

　　OpenAI 此次再次呼吁建立監管機構。

　　在文章中，OpenAI 高層承認人工智能不會(huì )自我管理，未來(lái)十年內人工智能系統將在很多領(lǐng)域超越專(zhuān)家水平，并且產(chǎn)出能夠與當今的最大企業(yè)相匹敵。

　　人工智能的發(fā)展已是大勢所趨，要想限制它的發(fā)展就需要類(lèi)似全球監視體制的東西出現。

　　國外媒體 TechCrunch 認為，雖然 OpenAI 的提議相當于“也許我們應該做點(diǎn)什么”(也帶有一點(diǎn)自夸的傾向)，但這“至少是一個(gè)起點(diǎn)”。

　　下面是 OpenAI 此次發(fā)布的文章全文編譯：

　　超級智能的治理

　　現在是思考超級智能治理的好時(shí)機——未來(lái)的人工智能系統在能力上將遠超通用人工智能(AGI)。

　　從我們目前的觀(guān)察來(lái)看，可以想象在接下來(lái)的十年內，人工智能系統將在大多數領(lǐng)域超越專(zhuān)家水平，其產(chǎn)出能夠與當今最大的企業(yè)相當。

　　無(wú)論是從潛在的積極影響還是負面影響來(lái)說(shuō)，超級智能都比人類(lèi)曾經(jīng)面對的其它技術(shù)更加強大。這意味著(zhù)我們可能會(huì )迎來(lái)一個(gè)極其繁榮的未來(lái)。

　　然而，為了實(shí)現這個(gè)目標，我們必須有效地管理其中的風(fēng)險?？紤]到潛在的存在主義風(fēng)險(existential risk)，我們不能僅僅采取被動(dòng)的應對措施。核能就是一個(gè)常見(jiàn)的例子，具備類(lèi)似特性的技術(shù)還包括合成生物學(xué)。

　　我們需要降低當前人工智能技術(shù)的風(fēng)險，但對于超級智能，我們需要特別的處理和協(xié)調機制。

　　一個(gè)起點(diǎn)

　　在引導人工智能向良發(fā)展的過(guò)程中，有許多重要的想法需要我們考慮。

　　在這里，我們首先對其中的三個(gè)想法進(jìn)行了初步思考：

　　首先，為了確保超級智能的發(fā)展可以在安全的前提下與社會(huì )順利融合，我們需要在前沿的研發(fā)工作之間進(jìn)行一定程度的協(xié)調。

　　實(shí)現這一目標可以采取多種方式：全球各政府可以組建一個(gè)項目，將現有的許多工作納入其中;或者我們可以達成一致意見(jiàn)(像下文所建議的，在新組織的支持下)，限制人工智能能力的研發(fā)增長(cháng)速度，每年將其保持在一定幅度之內。

　　當然，我們應該要求各個(gè)公司以極高的標準負責任地行事。

　　其次，最終我們很可能需要類(lèi)似國際原子能機構(IAEA)這樣的機構來(lái)管理超級智能。任何達到一定能力(或計算資源等)門(mén)檻的項目都應受到國際權威機構的監管。

　　該機構可以檢查系統、要求審計、測試是否符合安全標準，以及限制部署程度和安全級別等。跟蹤計算和能源使用情況可能會(huì )有很長(cháng)的路要走，我們需要得到一些使這個(gè)想法可以實(shí)現的希望。

　　作為第一步，公司可以自愿同意開(kāi)始實(shí)施這樣一個(gè)機構未來(lái)可能要求的一些準則;第二步，各個(gè)國家可以逐步實(shí)施。重要的是，這樣的一個(gè)機構應該專(zhuān)注于降低存在主義風(fēng)險，而不是處理本應由各個(gè)國家解決的問(wèn)題，比如規定人工智能能夠說(shuō)些什么。

　　第三，我們需要具備技術(shù)能力來(lái)確保超級智能的安全性。這是一個(gè)開(kāi)放的研究問(wèn)題，我們和其他人正在為此付出很多努力。

　　不在監管范圍內的部分

　　我們認為允許公司和開(kāi)源項目在明顯的能力門(mén)檻以下開(kāi)發(fā)模型是非常重要的，無(wú)需采取我們所描述的監管措施(包括繁瑣的機制，如許可證或審核)。

　　現今的系統將為世界帶來(lái)巨大的價(jià)值，雖然它們的確存在風(fēng)險，但它們所帶來(lái)的風(fēng)險程度與其它互聯(lián)網(wǎng)技術(shù)相當，而且社會(huì )對此的處理方式似乎是恰如其分的。

　　相比之下，我們關(guān)注的系統是那種具有超越目前任何技術(shù)的力量。

　　我們應該注意的是，不要通過(guò)對遠低于這個(gè)標準的技術(shù)，應用相似的標準來(lái)淡化對它們的關(guān)注。

　　公眾參與和潛力

　　然而，對于最強大系統的治理以及與其相關(guān)的部署決策，必須受到公眾強有力的監督。

　　我們認為全世界的人們應該以民主的方式?jīng)Q定 AI 系統的界限和默認設置。

　　雖然我們還不知道如何設計這樣的機制，但我們計劃進(jìn)行試驗來(lái)推動(dòng)。而在界限之內，我們仍然堅持認為個(gè)體用戶(hù)應該對所使用的 AI 系統的行為擁有很大的控制權。

　　考慮到其中的風(fēng)險和困難，我們有必要思考為什么要構建這項技術(shù)。

　　對于 OpenAI 來(lái)說(shuō)，我們有兩個(gè)根本原因。

　　首先，我們相信它將帶來(lái)一個(gè)比我們今天能夠想象的更美好的世界(在教育、創(chuàng )意工作和個(gè)人生產(chǎn)力等領(lǐng)域，我們已經(jīng)看到了早期的成果)。

　　世界面臨著(zhù)許多問(wèn)題，我們需要更多幫助來(lái)解決這些問(wèn)題，而這項技術(shù)可以改善我們的社會(huì )。每個(gè)人使用這些新工具的創(chuàng )造力肯定會(huì )讓我們感到驚嘆。經(jīng)濟增長(cháng)和生活質(zhì)量的提高也將是令人吃驚的。

　　其次，我們相信阻止超級智能的創(chuàng )建是具有非直觀(guān)風(fēng)險和困難的。因為其帶來(lái)的好處是非常巨大的，建造它的成本每年都在下降，而參與者數量在迅速增加。

　　它本質(zhì)上是我們所走的技術(shù)道路的一部分，要監管它的發(fā)展就需要類(lèi)似全球監視體制的存在。

　　但即便如此，也無(wú)法保證監管的有效性。

　　所以，我們必須把它做好。
　?。?a href="http://m.lsbmaoyi.com">碼上科技）