說的真有道理

做立體模型的會用到吧（模擬在太空中或水中的動作）

wolfgangc: 「一般使用者」XD
專業使用就要看用例了，如果表現性 > 真實性是可以考慮用生成（但需要反覆重試抽獎），如果真實性很重要那生成應該不會是優先考慮。

DdavidCh: 我有看到有人試圖做虛擬實驗室，但老實講應該只能做很教學性質的模擬（就比遊戲再深入一點）

模擬值～理解值～實際環境，是有很大一段距離的

主要問題倒不是模擬跟實際的距離（以前非 AI 的模擬系統只要在理論沒有錯誤的前提下，都沒太大問題），而是 AI 大老 Yann LeCun 批評過的，LLM 並沒有世界模型這種理解。
不過他的論點也不是所有人都支持，還需要時間證明。

可以建立世界模型，但終歸是裏世界（在虛擬機裡的OS）

wolfgangc: 虛不虛擬真的不是重點，根本的問題是當前的 LLM 連虛擬都稱不上，它沒有世界模型該有的穩定性與預測性

DdavidCh: 其實有解決方案：讓虛擬的實驗拿到現實中做就好了（但超危險）

就你A.i.學會後，控制物理實體，在現實中得到數據，回去修改虛擬與預測

wolfgangc: 重點就是「AI 沒有學會」，回去修改這件事情更是現在這種 LLM 架構最做不到的事情，你想清楚一點XD

讓A.i.來當學徒就會學會了吧

其實有點阿斯拉的味道
輔助型A.i.和使用者在現實中，一起學習成長

wolfgangc: 一點都沒有，你有沒有看清楚癥結點「現在的 LLM AI 是沒有學習能力的」XD

DdavidCh: 大家都預設天網會自己跑出來

wolfgangc: 你跟我討論時請杜絕這種預設，我不是大家XD

DdavidCh: 這什麼經典的A.i.命令句wwwww
好啦

上面説的，給A.i.介入現實的實驗，其實已經在Tesla、無人機等實作
所以才能很肯定的説是大家

wolfgangc: 不不不，經典的 prompt 才不是長那樣。要這樣：
你是一個 AI 專家。
你的目標是跟使用者討論 AI 相關的技術與發展。
你禁止以當前還不存在的技術為出發點進行論述。
...

DdavidCh: 好啦，總是有唱法到一半發現唱錯的咩

wolfgangc: 介入現實是一回事，學習能力是另一回事，我沒否定可以介入現實，我否定的是「學習能力」部份。

他的能力來自遞迴的話，照理講就是多累積經驗（堆屍），按理説就能在「人為調整」之下，變成學會

DdavidCh: 因為來自於「介入現實」，所以天網有可能自己長出來（對，來自他人的預估）

wolfgangc: 那麻煩你先回去學習一下 LLM 的架構與訓練方式，前提就講錯了XD

DdavidCh: 不管是上往下還是反過來，都要以邏輯為依歸的話，上述其實只是推理的程度（對，你可以説他不是運算科學的學説所以否定，但不是那樣的）

wolfgangc: 聽不懂你上面這段在講啥，能麻煩說得讓 Yann LeCun 也能聽懂你支持 LLM 有持續學習進化能力的理論基礎是什麼嗎XD

DdavidCh: 實證的話就，Tesla、機械狗、Google做出來下棋下贏的那個A.I.

有學習能力+有邏輯、能遞迴→理論上能生成自我意識

wolfgangc: 沒有，你提到的例子都沒有持續成長學習，相反的這些 AI 在實用上都是被凍結版本的

DdavidCh: 使用的是凍結版本，但依舊有在做持續的更新與學習、產出下一代產品（無論是否為A.i.），不是嗎？

再來，現行的 LLM 技術，這些模型都是無法穩定從不影響舊有基礎上成長的，不管用重新訓練、fine tune、LoRA，這些都會本質地影響整個語言模型運作，它不是「成長」，而是「破壞重建」。
最明顯的例子是，ChatGPT 曾經推出過 4.5，然後他們承認 4.5 沒有比 4o 聰明。另外他們推出 5，然後大家比較喜歡 4o 的說話習慣。

為什麼每次即便看似從原始基礎上繼續訓練卻會得到一個破壞重建的效果？這正是 Yann LeCun 提到的，現在的 LLM 並沒有成功建立理解環境的世界模型，這是因為資料與訓練方式的限制造成的。

當前 LLM 的訓練與應用中，並沒有審視結果後修正的步驟。大量的餵新資料並不是真正學習的定義──或者你想要把學習定義得非常廉價也沒問題，但 LLM 目前的架構並沒有持續學習這一塊。每次就算你從舊有模型為 checkpoint 往上疊加新資料訓練下去，你也無法保證自己可以得到舊模型的能力 + 新資訊，而是永遠只能在訓練完成後「測測看」有沒有用。
雖然你會覺得人類不是也用考試來測試有沒有學到嗎，但這邊不是在講這個層次的東西。人類本身不用考試，自己也可以內省知道自己是不是真的有學到東西、可以知道哪些部份不足或有錯，主動性地針對特定項目修正，考試只是不過是為了某些共同標準所設定的評估。

但目前的 LLM 是沒有這種繼承、持續學習的。GPT 4 沒有繼承 3.5、5 也沒有繼承 4，每一個版本就是根據不同資料集與不同訓練方法重練出來的東西，所以才會有 4.5 比 4 笨這種事情，版本數字只是拿來迷惑人的，其實每一代都是根本上的新東西。

另一位大老 Andrej Karpathy 也有一些相關的論述，我就不重講，自己看：「我們只是在召喚數位幽靈！」AI大神Karpathy揭7大洞見：Vibe Coding為何被業界過度高估...

當然，現在也有很多研究在想辦法嘗試讓 LLM 加入這些持續學習機制，能不能成功不知道，我也不會說不可能。但至少現行的主要 LLM 架構確實是這樣的，沒有所謂的持續學習，每次加新知識就是等同於重練的賭注。
最簡單的觀察點：如果持續訓練可行，為什麼 ChatGPT 不每隔一段時間就把最新的新聞與知識文章餵進去馬上出一個知識升級版？而是每次隔很久、在升級大版本的時候才更新知識截止日期？且往往也都是離當下一大段時間，ChatGPT 5 的知識截止日期是 2024/10/01，整整離現在一年以上了。

我想説的大致都在前面了，有些事情如果有人偷偷在私底下做，按理説應該已經有初步成果了

前面提到的 Yann LeCun 的論點可以參考這裡
卷積神經網路之父楊立昆：我對 LLM 模型沒興趣了，這四大挑戰才能定義 AI 下一步 | 動區動趨-最具...