利用 NVIDIA NeMo 與 LanceDB 打造多模態 RAG 檢索管道

生成式 AI 應用若要理解含有文字、圖表與圖片的 PDF，傳統純文字 RAG 往往不足。這套架構結合 NVIDIA NeMo Retriever、託管 NIM 端點與向量資料庫 LanceDB，將多模態內容轉為可搜尋的嵌入，並透過引用支撐生成答案，降低模型產生無根據內容的風險。

最新技術流程先從 PDF 擷取文字與圖表，再把向量嵌入存入 LanceDB；查詢時加入視覺語言模型重排序，挑出最相關的文字或影像片段，最後生成附來源引用的回應。系統並以 recall-at-k 衡量前 k 筆結果涵蓋正確文件的能力；報導未揭露建置成本、效能數值或明確發布日期。