大型語言模型混合現代網路與歷史文本,往往難以區分推理與資料背誦。研究者 Nick Levine、David Duvenaud 及前 OpenAI 科學家 Alec Radford 因此打造 talkie,並運用哈佛法學院圖書館 Institutional Data Initiative 整理的公共領域典藏,以「時間切片」檢驗有限年代知識如何形塑模型能力。
團隊於2026年4月發表 talkie-1930-13b-base,模型有130億參數,以1931年1月1日前的2,600億個英文 token 訓練,另設同架構的現代資料模型對照。測試顯示其語言理解與基礎數學表現相近;知識題雖明顯落後,但排除時代錯置後差距縮小約一半,顯示弱項主要來自知識斷層。
全部報導
2 篇原始報導馬克翻舊帳
這個事件的歷史脈絡這個訊號沒有歷史回聲
訂閱馬克雷達週報
每週五,本週最強訊號送進收件匣。隨時一鍵退訂。