定義
KnowledgeFocus LLM 是 GoInsight 中一個預配置的 LLM 節點，內建問答模板，僅用於Interactive Flow。該節點提供預設的系統提示和限制，特別適合構建基於知識庫的聊天機器人。與General LLM Node 相比，KnowledgeFocus LLM 更著重於基於知識庫內容進行回答，減少與知識庫無關或偏離主題的回應。
KnowledgeFocus LLM 節點與General LLM Node 的區別
KnowledgeFocus LLM 是具有內建模板和系統限制的 LLM 節點，更適用於知識庫問答場景。
General LLM Node 則更具靈活性，適合用戶需要自行撰寫指令、組織上下文並控制模型輸出的情況。
簡而言之：
- 若構建一個基於知識庫的聊天機器人，建議使用KnowledgeFocus LLM。
- 若需要更高自由度來設計模型行為及輸出邏輯，可選擇LLM Node。
配置方式
在Interactive Flow 的編輯頁面中，右鍵點擊畫布或點擊前置節點尾端的 `+` 圖標以添加KnowledgeFocus LLM 節點。
1. 模型
根據實際任務選擇可用的模型。可用模型取決於管理員在模型管理中的配置及企業已接入的自定義模型。
2. 知識檢索結果
知識檢索結果 通常用於接收來自上游知識庫檢索節點的輸出，並將檢索到的相關內容傳遞給 KnowledgeFocus LLM。
若希望KnowledgeFocus LLM 根據知識檢索結果回答問題，需將此變數插入到Prompt 中。否則，即使知識檢索結果已配置變數，模型仍無法自動使用其作為回應上下文。
3. 用戶
用戶欄位預設使用來自起始節點的用戶 Query，代表用戶提交的當前問題。
4. Prompt和System Promp
KnowledgeFocus LLM 節點包含Prompt 和System Prompt。
Prompt 用於補充聊天機器人的角色、技能、回應風格、業務需求及其它指示。用戶可以直接在提示編輯器中編寫提示，或輸入 / 或 { 插入特殊變數塊或上游節點的變數。
如不確定如何編寫提示，可使用AI Writing 功能，讓 AI 根據您的業務場景自動生成提示。
System Prompt 用於控制聊天機器人的基礎行為和回應範圍。KnowledgeFocus LLM 包含內建的系統指令，限制回應範圍，使其更適合基於知識庫內容的問答。
若啟用 覆蓋預設指令，自定義的系統提示將覆蓋預設的系統指令。啟用後，聊天機器人可能不再完全受限於原始知識庫的回應範圍及安全規範，因此需謹慎使用此選項。
5. 推薦相關查詢
啟用此選項後，KnowledgeFocus LLM 在回應用戶時可以新增與當前問題相關的後續問題，幫助用戶繼續提問或探索相關內容。
若不需要在回應中顯示後續問題，則可禁用此選項。
6. Token Distribution
Token Distribution 用於調整上下文內容和聊天機器人回應之間的權杖分配比例。
- 上下文：控制分配給上下文內容的權杖比例。
- 回應：控制分配給聊天機器人回應的權杖比例。
若檢索到的知識庫內容較長，可以根據需要提高上下文比例。若想讓聊天機器人生成更完整的回應，則可提高回應比例。
7. Memory
啟用Memory 功能後，KnowledgeFocus LLM 節點在每次運行時可包含歷史會話內容。這可幫助模型理解先前的上下文，並提高多輪對話中的回應一致性。
對話歷史提供兩種配置方式：
- 指定 (Specified)：直接指定要參考的歷史消息數量。
- 插值 (Interpolated)：通過變數傳遞歷史消息。
8. 輸出變數
KnowledgeFocus LLM 節點的輸出通常連接到後續的Answer Node 或End Node，以向用戶返回模型生成的內容。
KnowledgeFocus LLM 也支援在Prompt 中引用上游節點的變數，例如知識庫檢索節點的輸出，以為模型提供回應上下文。
9. 錯誤處理
KnowledgeFocus LLM 節點支援錯誤處理。
當節點執行過程中發生錯誤時，可選擇以下處理選項之一：
- 無處理：若節點失敗，工作流程將中斷運行。
- 預設值：若節點失敗，工作流程將繼續運行，並使用配置的預設值作為節點輸出。
- 錯誤處理分支：若節點失敗，當前路徑將中斷並重定向至配置的錯誤處理分支。
總結
KnowledgeFocus LLM 是專為Interactive Flow 設計的知識庫問答 LLM 節點。
它非常適用於構建基於企業知識庫的聊天機器人。在配置時，重點關注模型、知識檢索結果、Prompt、System Prompt、Token Distribution、Memory 功能和錯誤處理。
發佈評論