作者：董 雪 許東遠(yuǎn)

2024年的諾貝爾物理學(xué)獎(jiǎng)垂青的成果，令物理學(xué)界無(wú)不意外，居然是“為推動(dòng)利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)作出的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。人工神經(jīng)網(wǎng)絡(luò)到底是什么?它的潛力，真的可以與基礎(chǔ)物理科學(xué)相提并論嗎?

讓我們從數(shù)十年前說(shuō)起……

從數(shù)學(xué)說(shuō)起

1943年，神經(jīng)學(xué)家沃倫·麥卡洛克和數(shù)學(xué)家沃倫·皮茨提出一種以數(shù)學(xué)建模模擬人腦神經(jīng)元處理信息的系統(tǒng)，稱為“多層感知機(jī)”。

上海交通大學(xué)自然科學(xué)研究院和數(shù)學(xué)科學(xué)學(xué)院副教授王宇光介紹，“多層感知機(jī)”可視為人工神經(jīng)網(wǎng)絡(luò)的一個(gè)簡(jiǎn)化版本，它可以有很多層，每一層含有眾多神經(jīng)元，每個(gè)神經(jīng)元都是一個(gè)信息處理器。這一系統(tǒng)的原理頗近于數(shù)學(xué)中的復(fù)合函數(shù)，不同的層可以看作不同的函數(shù)。

王宇光展示團(tuán)隊(duì)研發(fā)的人工智能模型 許東遠(yuǎn) 攝

當(dāng)年，多層感知機(jī)已經(jīng)可以學(xué)習(xí)比較常見的映射。比如人看到一張圖片會(huì)分辨其類別，多層感知機(jī)大體能建立這種從圖片到類別的映射，前提是層數(shù)和神經(jīng)元足夠多，并且數(shù)據(jù)量充足，訓(xùn)練得比較好。

不過(guò)，早期人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練其實(shí)頗具挑戰(zhàn)性，系統(tǒng)參數(shù)量大幅增加，難免左支右絀。直到杰弗里·辛頓取法微積分的鏈?zhǔn)椒▌t設(shè)計(jì)了反向傳播算法，人工神經(jīng)網(wǎng)絡(luò)得以自動(dòng)調(diào)整輸入的海量數(shù)據(jù)的權(quán)重，科學(xué)家才看到了重大升級(jí)的曙光。

不過(guò)，前方的路會(huì)一直是坦途嗎?

走向深度學(xué)習(xí)

上世紀(jì)末，受制于算力稀缺等現(xiàn)實(shí)因素，人工神經(jīng)網(wǎng)絡(luò)一度陷于沉寂。直到21世紀(jì)初，這一領(lǐng)域才風(fēng)云再起。英偉達(dá)研發(fā)的GPU極大提升了計(jì)算機(jī)的并行計(jì)算能力，互聯(lián)網(wǎng)的普及更令人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練如虎添翼。

一個(gè)標(biāo)志性的轉(zhuǎn)機(jī)發(fā)生在2007年，斯坦福大學(xué)教授李飛飛帶領(lǐng)團(tuán)隊(duì)整理并構(gòu)建了名為ImageNet的大規(guī)模圖像數(shù)據(jù)集，包含約1000萬(wàn)張圖片，覆蓋1000個(gè)不同的類別，這一基礎(chǔ)工作為接下來(lái)的圖像識(shí)別研究樹立了驗(yàn)證算法是否有效的標(biāo)準(zhǔn)。為了帶動(dòng)更多人投入驗(yàn)證，ImageNet挑戰(zhàn)賽應(yīng)運(yùn)而生。

這一挑戰(zhàn)賽可謂是人工神經(jīng)網(wǎng)絡(luò)革命的催化劑，多層感知機(jī)在比賽中表現(xiàn)不佳，一步步淡出歷史舞臺(tái)，接力棒交給了AlexNet，時(shí)間在2012年。這一年，也就是我們今天耳熟能詳?shù)摹吧疃葘W(xué)習(xí)”閃亮登場(chǎng)的時(shí)刻。

AlexNet最重要的革新，就是引入卷積層，由此構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)能較好緩解梯度消失問(wèn)題。誤差梯度逐層減小乃至消失，以致無(wú)法獲得足夠梯度信息用以學(xué)習(xí)，是上一代人工神經(jīng)網(wǎng)絡(luò)頗覺為難的事。卷積神經(jīng)網(wǎng)絡(luò)的勝利，讓更有效率的深度學(xué)習(xí)成為可能。

模型百花齊放

過(guò)去10余年，神經(jīng)網(wǎng)絡(luò)模型可謂百花齊放。最具知名度的，可能是戰(zhàn)勝圍棋大師的AlphaGo、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的AlphaFold，二者均出自DeepMind。DeepMind總部位于英國(guó)倫敦，那里是劍橋大學(xué)和牛津大學(xué)畢業(yè)生的聚集地，多學(xué)科人才通力合作，激發(fā)了許多創(chuàng)新火花。目前，劍橋大學(xué)的科學(xué)家已嘗試開發(fā)基于圖神經(jīng)網(wǎng)絡(luò)的擴(kuò)散模型，用于蛋白質(zhì)序列設(shè)計(jì)。中國(guó)科學(xué)家也參與其中。

值得一提的是，AlphaFold斬獲2024年諾貝爾化學(xué)獎(jiǎng)，DeepMind于11月11日宣布AlphaFold3開源，科學(xué)家可以免費(fèi)下載軟件代碼，并將AlphaFold3用于非商業(yè)用途。

自然語(yǔ)言大模型是備受矚目的另一條路線。自然語(yǔ)言處理脫胎于計(jì)算語(yǔ)言學(xué)，與人工神經(jīng)網(wǎng)絡(luò)“合體”后，進(jìn)展日新月異，尤其是Transformer架構(gòu)的提出，為一系列新模型探索奠定了基礎(chǔ)，你我都不陌生的，就是OpenAI的ChatGPT了，可謂人工智能應(yīng)用的一座里程碑。

編輯：范鐘秀