1. LLM 節點是什麼
LLM 節點用於在工作流程中呼叫大語言模型，完成問答、總結、改寫、分類、資訊擷取、內容產生等任務。在 LLM 節點中，你可以設定模型、提示詞、歷史記憶、檔案輸入、結構化輸出和錯誤處理。
2. 模型選擇
LLM 節點支援三種模型設定方式：
- 模型：直接從模型清單中選擇模型。
- JSON：透過 JSON 設定傳入模型參數。
- 插值：透過變數動態指定模型與溫度值。
在「模型」模式下，可選擇的模型包括 系統模型 和 自有模型。
其中，系統模型是否可用，取決於管理員在「設定 → 模型管理」中的設定。只有管理員啟用後的模型，才會出現在可選模型清單中。
模型清單中會顯示模型名稱、價格與能力圖示，便於使用者根據任務需求選擇合適模型：
- 眼睛圖示：表示模型支援圖片理解能力。
- 檔案圖示：表示模型支援檔案處理能力。
- 花括號圖示 {}：表示模型支援結構化輸出能力。
- 藍色勾選圖示：表示該模型更適合企業級安全與法規遵循要求較高的情境。
設定 LLM 節點時，應根據實際任務選擇具備對應能力的模型。例如：處理圖片時選擇支援圖片理解的模型；處理檔案時選擇支援檔案處理的模型；使用結構化輸出時選擇支援結構化輸出能力的模型。
3. 提示詞與訊息設定
LLM 節點透過多條訊息建構模型上下文。常見訊息類型包括 SYSTEM、USER 和 ASSISTANT。
- SYSTEM 通常用於設定模型的角色、任務目標、回答規則和輸出規範。
- USER 通常用於提供使用者問題、輸入內容或前置節點傳入的資料。
- ASSISTANT 可用於補充模型歷史回覆或範例回覆，協助模型理解上下文。
編寫提示詞時，通常需要說明模型身分、任務目標、輸入資訊、處理要求、輸出格式，以及其他注意事項或限制條件。
輸入框支援直接輸入文字，也支援插入變數。例如， Start / Query 表示來自開始節點的使用者輸入變數，通常用於把使用者執行工作流程時提交的問題傳入 LLM 節點。
LLM 節點也支援 AI 編寫提示詞。使用者可以描述需求，由 AI 產生提示詞後再應用到節點中。提示詞編寫過程支援版本比對，方便檢視不同版本之間的變化。
使用者還可以透過「新增訊息」繼續增加 USER 或 ASSISTANT 訊息，用於建構更完整的多輪上下文。
4. 記憶設定「在對話式工作流中可用」
LLM 節點支援開啟「記憶」，讓模型在執行時引用歷史對話內容。
歷史記錄可以透過兩種方式設定：
指定 表示直接指定需要引用的歷史記錄數量；插值 表示透過變數傳入歷史記錄。
記憶範圍支援 會話 和 當前節點：
- 會話：從 $ChatHistory 中讀取最近 N 輪對話，作為模型上下文。 $ChatHistory 是開始節點提供的會話歷史變數，表示當前對話串中的歷史訊息。
- 當前節點：僅記錄當前 LLM 節點自己的輸入與輸出，作為該節點後續執行時可使用的上下文。
這兩個選項的差異在於：模型記住的是整個對話串，還是只記住當前節點自身的輸入與輸出。
例如，在多 LLM 工作流程或 Workspace 對話中，可能會有多個 LLM / Agent 共同參與同一個任務。選擇「會話」時，LLM 節點可以參考整個對話串；選擇「當前節點」時，則只關注當前節點自身的歷史輸入與輸出。
記憶的使用方式支援 內建 和 變數。
選擇「內建」時，歷史記錄會直接作為節點內部上下文傳入模型；選擇「變數」時，可以將歷史記錄作為變數使用，便於在提示詞中自行控制引用方式。
5. 檔案輸入「在對話式工作流中可用」
LLM 節點支援傳入檔案，讓模型結合圖片或檔案內容進行理解與輸出。
常見設定方式是使用開始節點中的檔案變數：
Start / $UserFiles$UserFiles 表示使用者在執行工作流程時上傳的檔案。該變數來自開始節點，且可在開始節點中設定是否開啟檔案上傳入口。
例如，開始節點開啟檔案上傳後，使用者可以在執行工作流程時上傳檔案；LLM 節點再透過 Start / $UserFiles 接收這些檔案，讓模型基於檔案內容進行分析、總結或回答。
需要注意的是，檔案輸入需要與模型能力配合使用：
- 處理圖片時，應選擇帶有眼睛圖示的模型。
- 處理檔案時，應選擇帶有檔案圖示的模型。
若模型不支援對應能力，可能無法正確處理相關檔案內容。
6. 輸出變數
LLM 節點預設輸出兩個變數：
| 輸出變數 | 型別 | 說明 |
|---|---|---|
| Text | 字串 | 模型產生的內容 |
| History | 陣列[物件] | 大模型節點實際使用的上下文，包含當前問答 |
Text 通常用於後續節點繼續處理模型產生結果。
History 可用於檢視或傳遞本次節點執行時實際使用的上下文。
7. 結構化輸出
LLM 節點支援結構化輸出。開啟後，可以為節點設定額外輸出欄位，模型會按欄位定義產生結果，並自動解析為對應欄位。
結構化輸出有三種設定方式：
- 停用：不啟用結構化輸出，僅輸出預設產生內容。
- 啟用：手動設定結構化輸出欄位。
- 變數：透過變數傳入結構化輸出設定。
設定結構化輸出欄位時，可以設定欄位名稱、欄位描述與欄位型別。
「變數」適用於結構化輸出設定需要動態變化的情境。例如，有些執行情境需要模型回傳結構化欄位，有些情境只需要一般文字輸出。透過變數方式，可以在工作流程執行時動態決定是否啟用結構化輸出，以及使用哪些結構化欄位。
結構化輸出適合用於擷取標題、輸出分類結果、產生摘要、輸出評分、回傳判斷結果等情境。
需要注意的是，使用結構化輸出時，應選擇帶有花括號圖示 {} 的模型。該圖示表示模型支援結構化輸出能力。
8. 錯誤處理
LLM 節點支援錯誤處理機制。
| 錯誤處理方式 | 說明 |
|---|---|
| 不做處理 | 節點執行出錯時，工作流程執行將中斷 |
| 預設值 | 節點執行出錯時，工作流程持續執行，並使用設定的預設值替代節點輸出 |
| 錯誤處理分支 | 節點執行出錯時，中斷當前路徑，並轉向已設定的錯誤處理分支 |
選擇「預設值」時，可以為 LLM 節點的輸出變數設定預設值，例如 Text 與 History。如此即使模型呼叫失敗，工作流程也可以繼續往後執行。
發佈評論