文言文對話 AI 能否節省 Token 引發技術討論

文言文以少量漢字承載較多語意，因而被社群視為降低生成式 AI 使用成本的可能方法；但 Claude 開發商 Anthropic 等業者多以英文語料優化 tokenizer，漢字未必能用較少 Token 表示，帳面字數縮短不等於 API 計費金額下降，且可能犧牲模型理解與推理品質。

近日一張以文言文與 Claude 對話的截圖引發工程師討論，測試觀點指出，同一指令改用英文通常更符合 tokenizer 效率，實際 Token 數可能低於文言文；報導未提供統一測試日期、模型版本、Token 數或金額。另有資安疑慮認為，主流模型對文言文的安全訓練較少，可能更容易繞過防護限制。