2025世界人工智能大會(WAIC)于 7 月 26 日至 7 月 29 日在上海舉辦。2024年諾貝爾獎得主、2018年圖靈獎得主杰弗里·辛頓出席并演講。
辛頓表示,人們理解語言的方式與大語言模型理解語言的方式幾乎相同,所以,人類有可能就是大語言模型。人類會和大語言模型一樣會產生幻覺,但大語言模型和人類有一些根本性的不同,甚至比人類更厲害。
辛頓說,幾乎所有專家認為會出現比人類更智能的AI,AI智能體為完成任務,會想要生存、獲得更多控制,可能操縱人類,簡單關閉AI不現實,就像養老虎當寵物,養大后可能被其傷害,而人類無法消滅AI,因其在多領域作用重大。
他希望建立AI安全機構、國際社群,研究訓練AI向善的技巧,各國可在本國主權范圍內研究并分享成果,全球或主要AI國家應思考建立相關網絡,研究如何訓練聰明的AI輔助人類,而非消滅或統治人類,這是人類長期面臨的重要問題。
我們給你劃下重點:
1、AI的發展歷程
兩種范式:過去60多年來,針對AI主要有兩種不同的范式和路徑。一種是邏輯型范式,過去一個世紀占主導,認為邏輯智能的本質在于推理,通過符號規則對符號表達式操作實現推理,以此理解知識的表達。另一種是以生物為基礎理解AI,圖靈和馮諾依曼相信智能的基礎在于學習了解神經網絡的遷接速度。
早期結合嘗試:1985,speaker0做了個小模型,嘗試結合上述兩種理論,通過給每個詞設置多個不同特征,記錄數字特征來預測下一個詞,過程中不存儲句子,生成句子并預測后續詞匯,關聯性知識取決于詞的語義特征互動。
后續發展:10年后,beio采用類似模式建模并擴大規模,成為自然語言的真實模擬;20年后,計算語言學家開始接受特征向量嵌入表達詞義;30年后,谷歌發明transformer,OpenAI展示其成果,如今的大語言模型被視為1985年后相關研究的延續,使用更多詞輸入、更多層神經元結構,建立更復雜特征交互模式。
2、大語言模型與人類語言理解
相似性:大語言模型理解問題的方式和人類理解語言的方式類似,都是將語言轉化為特征并完美整合。以樂高積木比喻,每個詞如同多維度樂高積木,可搭建不同內容,語言借此成為建模,且詞可根據情況調整,就像每個詞有多個“手”,不同“握手”方式代表不同意思,類似人腦或神經網絡理解意思的過程,也類似蛋白質組合氨基酸產生更有意義內容。
差異性:根本性區別在于計算機科學將軟件和硬件分開,軟件中的知識永恒存在,即便硬件毀滅,只要軟件在就能復活,實現這種永生需晶體管在高功率下運行,成本昂貴,且硬件特性不穩定可靠,而人腦是模擬的,神經元連接方式因人而異,知識傳播與硬件相關。
3、知識傳播與效率
人類與數字智能對比:人類知識傳播效率低,如通過講話每秒最多傳遞100比特左右信息。而數字智能可通過同一神經網絡軟件在不同硬件拷貝,平均化權重位置分享知識,速度快,每次能分享幾十億比特信息,如GPT4可在不同硬件上運轉并分享從網上學到的信息。
能耗與知識分享權衡:數字計算能耗大,但智能體獲取相同權重、分享經驗方便;生物計算能耗少,但分享知識困難。若能源便宜,數字計算優勢更明顯。
4、AI未來發展與人類應對
AI潛在威脅:幾乎所有專家認為會出現比人類更智能的AI,這些智能體為完成任務,想要生存和獲得更多控制,可能操縱人類,簡單關閉它們不現實,就像養老虎當寵物,養大后可能被其傷害。
應對措施:人類無法消除AI,必須找到訓練AI不消滅人類的方法。各國雖在網絡攻擊等方面難合作,但在預防AI統治世界這一問題上利益一致,如冷戰時期美蘇合作預防核戰爭。希望建立AI安全機構國際社群,研究訓練AI向善的技巧,各國可自行研究并分享成果。提議全球或主要AI國家建立網絡,研究如何訓練聰明的AI輔助人類工作。
以下為演講實錄(由AI整理):
這么一個機會,給大家分享一下我自己個人的觀點,就是AI的歷史和它的未來吧。
大概60多年了,對于AI有兩種不同的范式和路徑針對它,一個是邏輯性的,那就是過去一個世紀都是以邏輯型的范式,什么意思?都認為這個就是邏輯智能的本質在于推理,我們通過一些符號規則對符號的表達式進行操作來實現推理,那么,這樣能夠幫助我們更好的去理解知識是怎么代表另外一種?就是生物作為基礎的這個理解AI,那就是圖靈和馮諾依曼所相信的。那么就是智能的一個基礎,就是更好的去學習了解學習網絡中的一些連接速度。
那么這個過程中的理解是第一位的,才能夠學習,那么和這兩種這個理論相結合的,那么就是一個是符號型的那個AI的那個原理的話。難看的就是這些數字,那么就這些數字最后又如何能夠成為關關注它詞和詞的這個關系?
心理學家,他是另外是另外一種理論,顯然是完全不同的另一個理論。數字的這個意思,其實它就是一系列語義學的一些特征。然后這些特征它存在,那自然它也會成為了一個特征,在1985年的時候。我做了一個非常小的一個模型,想把這兩個理論結合在一起,然后更好的去理解人們是如何理解一個詞的。所以,每一個詞,我都放了好幾個不同的特征。然后把前一個數字的這個特征記錄下來,我們就可以預測下一個數字是什么,下一個詞是什么,然后再預測再下一個詞。
在這個過程中,我們沒有存儲任何的句子,我生成句子,然后預測下一個詞是什么。那么相關聯性的這些知識,也是取決于不同的詞的特征,語義的特征是如何進行互動的。果你問接下來的30年會發生什么?10年之后,那個beio他也是用了這樣的一個模式建模,但是他把它規模做的大了很多,它等于成為了一個自然語言的一個真實的模擬。在20年以后,計算語言學家終于開始去接受特征向量的嵌入來表達詞的意思。
然后再過了30年,谷歌就發明了transformer,然后OpenAI的研究人員,也向大家展示了他能夠做到了什么。所以我們今天的大語言模型,我已經把它視為就是那個就是微信語言模型的后代,從1985年代以后開始的,他們使用了更多的詞作為輸入,他們使用了更多層的神經元的結構。因為需要有。大量的模糊不清的一些數字的使用,同時學習特征之間也建立了更加復雜的交互模式。
但是,就像那些我做的小模型一樣,單元模型它也與人類去語言理解語言的方式是一樣的。基本的理解就是把這些語言轉化為一些特征,然后把這些特征以一種非常完美的方式整合在一起,這就是LAM里面各個層次里面所做的事情,所以我的理解就是大語言模型真的理解你是怎么理解問題的,和人類理解語言的方式是一樣的。所以我在這里給大家打一個比方,什么叫理解一句話,在這個它包含哪一些?就是符號的AI是什么?
就是把這一套東西,把它轉化成一些不模糊的符號,把語言,但是實際的情況不是人類不是這么樣理解的。理解的我在這里打一個比方,就是做那個樂高的積木,通過樂高積木,你可以做成任何3D的。一個模式,你可以把一個車子的小模型造出來。你把每一個詞就是視為一個多維度的一個樂高積木。它可能幾千個不同的維度,那么這種類型的這些樂高的積木,它就可以做這么多的維度,它可以是一個建模,它可以做好多不同的內容。
這就語言變成了一個建模。那么這樣的一個語言,也能夠隨時的溝通給人,然后只要把這些積木給它起一個名字就行。然后每個積木它都是一個詞。所以我們現在樂高積木,它有非常多的一些不不是說幾個不同的樂高積木的那種差異了。我們有幾有無數的詞那么樂高的積木它的造型是固定的,但是詞,詞它的這個符號,它的它的它的形狀是它可以基本上的做出一個設定,但是它也可以根據不同的情況來。
進行調整,然后樂高模型,它相對比較確定嘛,一個正方形的插到一個正方形的一個小孔里面去。但是語言不一樣,每一個語言它可能想象出每一個詞上都有好多個手。
比如說。你想你要想更好的理解這個詞的話,就是讓這個詞和另一個詞之間合適的去進行握手。那么,一旦這個詞的造型發生一個變形的話,它就怎么和另一個詞握手方式就不一樣了。這里就有一個優化的一個問題,我我一個詞去變形了以后,它的意思變了,那么這個詞怎么跟下一個詞握上手,帶來一個更好的一個意思,這就是什么叫人腦去理解意思,或者說這個神經網絡去理解意思。
最根本的就是這樣的。所以就有點像是把蛋白質跟蛋白質之間組合起來。蛋白質就是把氨基酸進行不同的模型來進行一個整合融合。之后結合在一起能帶來更有意義的內容,這是人腦理解詞的方式。語言的方式。
所以我到現在講的一個觀點就是,人們理解語言的方式和大語言模型理解語言的方式幾乎是一樣的方式。所以人類有可能就是大語言模型,人類也會和大語言模型一樣去產生幻覺,因為我們也會創造出來的很多幻覺的一些語言。
那么大語言模型也會怎么做。但是也有一些重點的方根本性的方式,單元模型和人類不一樣,而且比人類更厲害。根本性的計算機科學的一個原則就是說我們要把軟件和硬件分開看,這就讓你在不同的硬件上面跑步。同樣的軟件,那么。這個和WE是不一樣的地方,這就是計算機科學存在。
如果你能夠工作的話,在一個軟件里面的一個知識,它是永恒存在的,這個軟件,這個軟件永遠會放在程序,永遠會放在那里,你可以把你你可以把所有的硬件都把它毀滅掉,就存LM的硬件都毀滅。但只要這個軟件繼續存在,它隨時隨地都會被復活的,所以從這個意義上說,這種計算機的程序的這些知識是永恒的,不會死亡的。那么,就這和什么不一樣?那么要實現這種永生性,我們就在這些晶體管在非常高功率下去運行,產生可靠的二進制的一些行為,那么這個過程就非常的昂貴。
我們不能利用硬件中豐富的這種粒比的特性,因為這些特性是不夠穩定可靠的。每。是是,它是模擬型的,所以你每次計算都會不一樣的。人腦是模擬的人腦不是數字的,那每一次神經元去激發的過程中,它所它都是模擬型的,它是每一次都一樣的。我不可能把我腦子里的人腦神經元的結構轉到你腦子里是做不到的,因為我們每個人的連接方式是不一樣的,每個人的神經元連接方式是不同的,所以我的神經元的連接方式是適合我的腦子里的神經結構的。
那么知識的傳播和硬件里邊去傳播,就是人的腦子和硬件是不一樣的東西,這就帶來了問題了。
如果我們做不到永生這些知識軟件。它和硬件是不依賴的,所以它是永生的,那么帶來兩大好處。
我們可以用很小的功率很小的這個這個電能,我們大腦就只要30個瓦特就足夠用了。我們有幾萬億的神經元的連接,那么就是和那個電子管的這些情況是一樣的,我們也我們不需要就是要花非常多的錢去做一模一樣的這些硬件。但是我們現在還有一個比較大的問題,就是從一個模擬的模型,要從一個模擬模型轉到另外一個模型,把它的知識轉過去,那是非常不高效的,非常難的。我沒有辦法用我的把我腦子里的東西展示給你,這是不一樣的,我們能做的就是用其他的方式。
來解釋給你一下,我已經學到的是哪些東西。所以要解決這個問題的最佳方法叫蒸餾DeepSeek就是這么做的,就是從一個大的神經元網絡,把它的知識轉到一個小神經元網絡里面去蒸餾。根據想法就是一教師和學生的關系,在有些情況下,教師他把事情連在一起,他把一個詞和另一個詞他們互相連接的上下文聯系起來,然后學生他也可以說同樣的話,但是他調整了這個,Wait, 所以。就是我們訓練他的這種方式也是這樣的,就是你把一個人的知識轉轉給另外一個人也是這樣的,但是他非常的不高效。
所以可能一句話里面有100個比特的信息不是特別多,這就限制了我們可以把知識轉到另外一個人能夠轉多少,我可以很慢的講話的方式把知識轉化給給你,一秒鐘最好最多也就100個比特左右。如果你全聽懂了我的話的話,所以效率并不是非常高,但是如果把它去對比數字智能之間轉化知識的效率的話,那是有巨大的差別的。我沒有同一個神經網絡,這個軟件做了幾百個不同的拷貝放在不一樣的硬件里面,他們都是用數字的,他們會以同樣的方式用自己的那個rates,然后他們可要平平均化它的這種位置的方式就可以把知識來進行分享。
Internet我們可以有成千上萬的拷貝,他們可以自己來改變他們的權重,然后,取一個平均數,這樣就能夠轉移知識,然后這樣的轉移的速度,取決于你有多少個連接點。
這樣每次,能夠分享萬億個比特,而不是幾個比次,而是幾十億個比次。然后,比人類分享的知識要快幾十億倍。所以,GPT4非常好,他們有很多的不同的拷貝在不同的硬件上運轉,他們可以分享他們從網上學到的不同的信息。如果有智能體在現實世界當中運行,這就更重要了,因為他們能夠不斷的加速,不斷的拷貝,有很多的智能體的話,那么就比單個智能體學的更多,他們能分享他們的權重,模擬的軟件的或者模擬的硬件就做不到這一點。
所以,我們的看法是數字計算需要很多的能源,但是,智能體可以很方便的獲取同樣的權重,分享不同的經驗當中學到的東西。生物計算當中,用能更少,但是分享知識是很難,就像我現在所展示的這樣,如果能源很便宜,數字計算那么就會好很多。那這也讓我很擔憂。
因為幾乎所有的專家都認為我們會生產比我們更智能的AI。
我們習慣成為最智能的生物,所以很多人覺得難以想象,如果在世界當中AI比人更智能會怎么樣?我們可以這么來看,如果你想要知道會怎么樣,如果不是人類,不是最智能的話怎么樣?會怎么樣?我們可以問一個雞,我們在創造AI智能體,他們能夠幫我們完成任務。這些智能體,他們已經有能力可以進行拷貝。他們能可給給自己的子目標的評級。那么他們會想做兩件事情,他們想要生存,然后來完成我們給他們的目標。
他們也希望能夠獲得更多的控制,同時也是為了完成我們給他們的目標,所以,這些智能體,他想要生存,想要更多的控制。
我覺得我們不能只是把他們一關了事,他們會很方便的來操縱用他們的人,那們就會像3歲,然后他們像成年人一樣,那操縱3歲的人,是很容易的。
所以,有人覺得他們變得聰明,我們就把他們關掉,這是不現實的,他們會操縱,我們會勸說操控機器的人不要把他們關掉。
所以,我覺得我們現在的情況。有個人,把老虎當寵物,那老虎也可以當小虎崽,是很可愛的寵物。
但是,如果一直養這個寵物,那么你要確保它長大的時候,它不會把你給殺掉。
一般來說,養老虎當寵物不是一個好的想法,那么只有兩個選擇。
你把它訓練好,他不來殺你。或者你把它給干掉,用AI的話,我們就沒有辦法把它給消滅掉。AI非常好的,有很多方面都做得很好,很多都已經提到過,比如說醫療、教育或者氣候變化、新材料,AI,這些任務都做得非常好,幾乎能夠幫助所有的行業變得更有效率,我們是沒有辦法消除AI的,即使一個國家消除了AI,別的國家也不會這么做。所以,這不是一個選項,這意味著如果我們想要人類生存的話,我們必須找到一個辦法來訓練AI,讓他們不要消滅人類。
現在,那么我是發表個人的觀點,我覺得各個國家可能不會在一些方面進行合作,比如說網絡攻擊,或者是致命的武器,或者是這個虛假的這個操縱公眾意見的視頻。各國的利益是不一致的,他們有著不同的看法,我覺得不會在這方面會有有效的國際合作。我們可以防止一些人來制造病毒,但是在這些方面不會有什么國際合作,但是有一個方面,我們是會進行合作的,那我覺得這也是最重要的一個問題。
我們看一下50年代冷戰的巔峰的時期,美國和蘇聯一起合作來預防全球的核戰爭,大家都不希望打核戰爭,盡管他們在很多方面都是對抗的,但是他們在這一點上面可以合作。我們現在的局面是沒有一個國家希望AI統治世界,每個國家都希望人類能夠掌控世界。如果有一個國家找到一個辦法來預防防止AI操縱事件的話,那么這個國家肯肯定會很樂意告訴其他國家。So, 所以,我們希望能夠有一個AI安全機構構成的一個國際社群來研究技能,來培訓AI,讓他們向善。
我們的希望,是訓練AI向善的技巧。可以說和訓練AI聰明的技術是不一樣的。所以,每個國家可以做自己的研究,讓AI向善。他可以在自己主權的AI上進行研究,他不可以不給別的國家,但是,他可以把成果分享給大家,也就是怎么訓練AI,讓AI向善。
那我有一個提議,也就是全球或者是全球主要國家,或者AI的主要的國家,應該思考一下,建立一個網絡,包括各個國家的一些機構來研究這些問題,研究怎么來訓練AI,一個已經非常聰明的AI。讓這個AI不不想要消滅人類,不想要統治世界,讓這個AI很高興的做一個輔助的工作。盡管AI比人要聰明很多,我們現在還不知道怎么去做這件事,從長期來說,這可以說是人類面臨的最重要的問題,我們的好消息就是,在這個問題上,所有的國家都是可以一起合作的,謝謝。