定义:
KnowledgeFocus LLM是GoInsight平台上的一个预设大模型节点,专为InteractFlow设计。它结合了安全性和知识库限制,使其成为通过引导式设置流程,创建问答聊天机器人的基础大模型。其响应均来源于已批准的知识库,有助于防止不相关回复或“越狱”行为。
如何配置:
1. 模型
GoInsight支持多种全球领先的大模型,包括微软Azure GPT系列(GPT-4o mini、GPT-4o、O1、O3-mini)、OpenAI的GPT系列、Claude 3.5系列、DeepSeek系列、通义千问增强版(Qwen-plus)等。用户可以根据需要配置模型温度等参数。为了获得最佳效果,请根据您的具体场景和任务需求选择适合的模型。
2. 知识库检索结果
“上下文”指的是提供给KnowledgeFocus LLM的背景信息,以提高其响应准确性。可将其视为大模型(LLM)生成准确回答的辅助提示。
3. 用户
“用户”字段会自动获取起始节点的查询内容,因此无需手动输入。
4. 提示词
KnowledgeFocus LLM节点使用两种类型的提示词来指导其响应:
- 用户提示:提供给大模型(LLM)的自定义指令,可与系统默认指令结合使用。用户也可以选择覆盖系统指令。
- 系统提示:这些内置的高级系统指令用于指导大模型(LLM)如何响应。覆盖这些指令可能会降低响应准确性。
5. 令牌分配
控制令牌(词或字符)在输入内容和输出响应之间的分配。增加输入令牌可实现更深入的内容分析,而增加输出令牌则能提供更详细的答案。
6. 记忆
启用记忆后,每次输入都将包含对话的聊天历史记录(不支持节点级记忆),以帮助大模型(LLM)理解上下文,从而提高在对话互动中的问题理解能力。
- 历史计数:选择大模型(LLM)记住的先前消息数量(范围:1到50条)。
7. 输出变量
文本(字符串):这是大模型(LLM)生成的最终文本结果,您可以在其他地方使用。
KnowledgeFocus LLM节点和通用LLM节点的区别:
- 相似点:两者都是生成文本响应的大模型(LLM)节点。
- 区别:KnowledgeFocus LLM节点具有预定义模板、安全规则,且响应被限制在知识库范围内。它非常适合基于其存储的知识库进行文档问答和常见问题(FAQ)系统。通用LLM节点允许完全自定义指令和开放式提示。它最适合不需要知识库的创意任务,如故事写作。
注意:
对于涉及常见问题(FAQ)或其他知识驱动型任务的工作流,请使用KnowledgeFocus LLM。但如果任务不涉及知识库,则通用LLM节点更为适用。