摩爾定律曾是支撐半導體產業發展的經驗法則，指在固定成本下，晶片上的晶體管密度約每 18–24 個月翻倍，帶動計算能力提升與成本下降。
在AI時代，當前顯學則是「擴展律」（scaling laws）。按輝達執行長黃仁勳的定義，AI效能可隨「預訓練擴展」、「後訓練擴展」、「推理時擴展」三個階段的算力投入而呈現指數級增長。
在這套定義之下，只要增加模型的參數量（Parameters）與訓練數據量（Dataset Size），並投入更多算力進行訓練，模型就會變得更聰明。同時，在AI回答問題前給它更多「思考時間」，最終得到的答案品質也會更高。 換句話說，只要AI還在朝「更大、更複雜」的方向前進，市場對高階加速器的胃口就不會縮小。
回顧2023年起的AI投資狂潮，可以說就是建立在「擴展律」的假設之上： 只要投資多少「算力」，就會獲得多少「人工智慧」。
但近期，OpenAI共同創辦人、現為Safe Superintelligence（SSI）執行長的Ilya Sutskever指出，擴展律曾是一個強大且低風險的成功「配方」，引導AI產業進入一個特定時期，但他也認為這個時代即將結束或停滯， 因為單純的規模擴張，已無法解決AI模型「泛化能力不足」的根本問題。
Ilya Sutskever也明確指出，人類擁有一種比AI優越的學習機制。他歸因於人類擁有「更好的機器學習」（better machine learning）。這話怎麼說？
預言擴展律的時代終結，AI先驅為何「烏鴉嘴」？
Ilya Sutskever作為AlexNet、GPT-3等深度學習革命中里程碑研究的共同作者，他的名字與AI技術的數次躍遷緊密相連。近期他接受知名科技Podcast頻道「Dwarkesh Podcast」的專訪，將2020年到2025年這段時期稱為AI發展的「規模化時代」（the age of scaling）。
亦即，所有科技巨頭在這段時期的預設是「擴大規模，結果就會更好」。因此對公司來說，這是低風險的資源投入方式，相較投入資源進行「高風險研究」，僅擴大現有規格更為有利。
但Sutskever認為，當前的規模化做法會「走一段路然後逐漸消退」（peter out），並可能「停滯不前」（stall out）。這預示著業界需要「回到研究時代」（back to the age of research），才能突破當前AI發展的瓶頸。而Sutskever認為擴展律失效的主要原因，可歸納為兩點。
原因1：數據不足，規模化回報遞減
預訓練所需的數據量「非常明顯是有限的」（very clearly finite）。當數據耗盡時，公司必須思考下一步該怎麼做。這意味著依賴數據擴展的傳統配方將難以為繼。
也就是說，大規模語言模型（LLMs）的成功主要仰賴「預訓練」（pre-training）的機制。在預訓練階段，研究人員的共識是需要使用「所有」可用數據，通常包含人類思維及世界被投射到文本上的大量特徵。
Sutskever認為，儘管這些數據量極其龐大，但並非無限。這個數據集合（例如網際網路上所有公開文本、書籍、程式碼等）在邏輯與物理上都有明確界限。 在數據不足的情況下，若再將規模擴大100倍（100x），「一切都會被轉變」的信念顯然不足為信：「我不認為那是真的」（I don't think that's true）。
原因2：AI不懂舉一反三
當前AI的一大問題是，儘管模型在評估（evals）中得分很高，但在現實世界中的經濟影響卻「明顯落後」（dramatically behind）。Sutskever認為，造成這種「脫節」（disconnect）的根本原因在於模型的泛化能力遠不如人類。
為了進一步闡明當前模型的局限性，Sutskever提出一個比喻：
想像有兩位學生。第一位學生為了成為頂尖程式競賽選手，投入了一萬小時，背誦所有解法、練習所有題目。第二位學生或許只練習了一百小時，卻同樣表現優異。
你認為哪一位在未來的職業生涯中會更成功？
答案顯然是後者。
他解釋道，當前的AI模型更像那位「練習了一萬小時的選手」。為了讓它在特定任務上表現出色，投入了海量數據與訓練，使其在該領域達到極高熟練度。然而，它卻缺乏那位只練習一百小時學生的「it factor」（指某種難以言喻的特質），這一種舉一反三的天賦或洞察力，能將所學知識泛化到全新、未曾見過的領域。
為何業界需要重返「研究時代」？
Sutskever尖銳指出，AI的預訓練依賴「驚人」（staggering）數量的資料來學習世界模型。相比之下，人類即使在成長過程中接觸的資料量極少，卻能獲得更為「深刻」（deeply）的理解。更重要的是，人類不會犯下AI那種看似低級卻反覆出現的邏輯錯誤，這顯示了兩者在學習質量上的根本差異。
Sutskever認為，當前模型之所以泛化能力不足，可能是因為它們缺失了某些源於人類演化歷程的關鍵要素：
情感的角色：他引用一個神經科學案例：一位因腦損傷而失去情感處理能力的病人，雖然智力測驗正常，卻無法做出有效決策。這表明情感在人類決策中扮演著類似「價值函數」（value function）的重要角色，幫助我們快速判斷方向的好壞。
價值函數的潛力：在強化學習中，價值函數可以在漫長任務進行中途就提前判斷當前策略的優劣，而不必等到任務結束才獲得反饋，從而極大提升學習效率。然而，Sutskever指出，目前價值函數在AI訓練中的作用仍非常有限。
演化的先驗：演化可能為人類提供了關於視覺、運動控制等方面「難以置信的先驗知識」（unbelievable priors）。這些深植於我們生物結構的知識，是模型很難僅從文本數據中學到的。
總結來說，Sutskever認為，人類在學習新興領域（例如數學和編碼）時所展現出的強大能力、可靠性（robustness）和樣本效率（sample efficiency），表明人類的優勢不在於擁有複雜的先驗知識，而在於擁有「更好的機器學習原則」（better machine learning period）。
而正因泛化能力的根本差異，Sutskever對「超級智慧」的構想也與主流AGI（通用人工智能）概念大相逕庭。
重新定義AGI：像超聰明的15歲少年
Sutskever對「AGI」（通用人工智能）這個術語持批判態度。他認為，AGI概念主要作為「狹隘AI」（Narrow AI）的反動而誕生，其內涵又被「預訓練」這種一次性學習模式過度強化。他指出，人類本身並非AGI，因為我們並非無所不知，而是依賴「持續學習」（continual learning）不斷獲取新知。
因此，他提出全新願景： 真正的超級智慧並非無所不知的「成品」，而更像一個「超級聰明的15歲少年」。 它是一個擁有極強持續學習能力的系統，可在部署後像人類一樣透過學習與實踐，掌握各種專業技能。
他也預測， 真正的超級智慧將在未來5到20年內被發現並部署到現實世界，並透過在職的持續學習與經驗融合，迅速累積知識與技能，從而在功能上達成超智慧。
基於這種新的超級智慧觀，Sutskever對AI安全的思考也發生轉變。他坦言，自己現在更重視「漸進式部署」（incrementally and in advance）。與其在實驗室裡埋頭打造一個完美成品然後突然釋放到世界，不如讓世界能夠逐步「感受」AI的力量，並在此過程中共同學習如何與之共存。
思想背後的「研究品味」
Sutskever在訪談中坦承，他的研究哲學深受一種「關於AI應該是怎樣的」的個人美學所引導。這種美學由幾個核心原則構成：
美感（Beauty）
簡潔（Simplicity）
優雅（Elegance）
來自大腦的正確啟發（Correct inspiration from the brain）
他強調，AI不能盲目模仿大腦，而是要從中汲取「正確的」靈感。這種由美學與第一性原理構成的「自頂向下的信念」（top-down belief），是在實驗結果看似失敗或充滿矛盾時，依然能堅持方向、持續除錯與探索的內在驅動力。
總結來說，Sutskever的論調為當前瘋狂的AI發展敲下一記警鐘，提醒業界在規模化之後，有重返「研究時代」的必要。
在他的論述之中可以窺見：超級智慧可能是一個能夠持續學習的動態系統；而通往這個未來的安全之路，在於漸進、開放與對所有生命的關懷。也就是說，一個更具「人性」、更懂「情感」的AI，可能是突破當下瓶頸的一大關鍵。
資料來源：Dwarkesh Patel
本文授權轉載自《數位時代》，作者：李先泰，原文標題：AI擴展律失靈？Ilya Sutskever預言業界將重返「研究時代」：為何其實人類比AI更懂機器學習？
《數位時代》李先泰
