傳統搜尋評測多採固定題庫,搜尋代理可直接取得公開答案,模型也可能早已記住題目,使高分無法證明即時檢索能力。Keenable AI 因此推出 NEEDLE,以持續更新的公開資料測試代理式搜尋,降低資料洩漏與過度擬合,並用一致協議比較不同搜尋服務。
8月27日,Keenable AI 開源 NEEDLE;新聞題每小時從約124個 RSS 來源與 Google Trends 重建,金融、學術、深尾與法律題每日更新。協議測試15個搜尋 API,證據上限2,000字元;截至8月28日的7日均值,Exa 得0.910、Keenable 得0.872,整體上限0.965。
全部報導
1 篇原始報導馬克翻舊帳
這個事件的歷史脈絡這個訊號沒有歷史回聲
訂閱馬克雷達週報
每週五,本週最強訊號送進收件匣。隨時一鍵退訂。