首页> 都市> KingFlow AI API中转接入 LlamaIndex 教程

KingFlow AI API中转接入 LlamaIndex 教程

著

本文标签：

KingFlow AI API中转接入 LlamaIndex 教程使用 OpenAI 兼容接口完成对话验证和最小文档问答 LlamaIndex 用于把大模型接入文档、索引和查询流程。KingFlow AI 提供 OpenAI Chat Completions 兼容接口，可以通过 OpenAILike 配置自定义 api_base、API Key 和模型 I

来源：灵能API 主角: 更新: 2026-11-03 12:02:45

在线阅读

【扫一扫】手机随心读

读书简介

KingFlow AI API中转接入 LlamaIndex 教程

KingFlow AI API中转接入 Lla**Index 教程

使用 OpenAI 兼容接口完成对话验证和最小文档问答

Lla**Index 用于把大模型接入文档、索引和查询流程。KingFlow AI 提供 OpenAI Chat Completions 兼容接口，可以通过 OpenAILike 配置自定义 api_*ase、API Key 和模型 ID。本文先完成基础对话验证，再使用 Sum**ryIndex 创建不依赖嵌入接口的最小文档问答，并补充向量检索、权限、成本和故障排查建议。

Claude中转、Claude中转站、API中转和API中转站的实际接入均需核对协议与模型权限。

内容核验日期 2026-11-03

常用接入术语

名称	常见含义	使用提示
Claude中转	把请求转发到可用 Claude 模型的接入方式	核对协议和模型权限
Claude中转站	提供 Claude 密钥、额度和路由管理的平台	Claude 客户端通常关注 Anthropic 协议
API中转	通过兼容接口转发不同模型请求	本文标题使用这一常见称呼
API中转站	提供统一 API 接入、模型选择和用量管理的服务	本文使用 OpenAI Chat Completions 方式

接入架构

环节	职责	注意事项
Python 应用	保存文档、提示词和查询逻辑	密钥不写入源码
Lla**Index	组织文档节点、索引和查询引擎	先用最小流程验证
OpenAILike	调用 OpenAI 兼容 Chat Completions	is_chat_model 设置为 True
KingFlow AI	认证密钥并路由模型请求	ase *L 填写到 /v1
目标模型	生成摘要和文档问答结果	完整模型 ID 以控制台为准

接入优势

OpenAILike 专门面向第三方 OpenAI 兼容接口，可以显式设置端点、超时、重试和上下文窗口。
Lla**Index 把文档加载、切分、索引、检索和回答拆成独立环节，便于逐步替换组件。
Sum**ryIndex 不需要嵌入接口，适合先验证 LLM 连接和小规模文档问答。
正式 RAG 可以增加独立嵌入模型与向量数据库，生成模型接入配置无需随之改写。
KingFlow 控制台集中管理模型、密钥和用量，便于隔离不同环境。

开始前的准备

准备 Python 3.10 或更高版本，并安装 uv。
在 KingFlow AI 控制台创建以 sk- 开头的 API Key，确认余额和模型分组可用。
复制目标模型的完整模型 ID，并确认上下文窗口满足待处理文档长度。
准备少量脱敏测试文本，首次联调不要直接加载生产知识库。
确认运行环境可以访问 api.**nju**shen.com。

创建 Lla**Index 测试项目

uv init lla**index-kingflow-demo
cd lla**index-kingflow-demo
uv add lla**-index-core lla**-index-llms-openai-like python-dotenv

验证 KingFlow 基础接口

curl https://api.**nju**shen.com/v1/chat/completions \
  -H "Authorization: *earer sk-你的密钥" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<KingFlow控制台中的完整模型ID>",
    "messages": [{"role": "user", "content": "只回复 LLAMAINDEX_READY"}],
    "stream": false
  }'

配置环境变量

KINGFLOW_*ASE_**L=https://api.**nju**shen.com/v1
KINGFLOW_API_KEY=sk-你的密钥
KINGFLOW_MODEL=<KingFlow控制台中的完整模型ID>

.env
.venv/
__pycache__/
storage/

编写最小文档问答示例

import os
from dotenv import load_dotenv
from lla**_index.core import Document, Settings, Sum**ryIndex
from lla**_index.llms.openai_like import OpenAILike

load_dotenv()

llm = OpenAILike(
    model=os.environ["KINGFLOW_MODEL"],
    api_*ase=os.environ["KINGFLOW_*ASE_**L"],
    api_key=os.environ["KINGFLOW_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=False,
    context_window=32000,
    **x_tokens=800,
    temperature=0.2,
    timeout=60,
    **x_retries=2,
)

Settings.llm = llm

ready = llm.complete("只回复 LLAMAINDEX_CONNECTED")
print(str(ready))

documents = [
    Document(
        text=(
            "上线要求：密钥必须放在 Secret 中；正式环境必须设置额度；"
            "日志不得记录完整密钥；高风险操作需要人工审批。"
        )
    ),
    Document(
        text=(
            "验收要求：基础接口返回成功；模型 ID 与控制台一致；"
            "错误码、耗时和 Token 用量可以追踪。"
        )
    ),
]

index = Sum**ryIndex.from_documents(documents)
query_engine = index.as_query_engine(response_mode="compact")

response = query_engine.query(
    "请只根据文档列出上线前检查项，并按安全和验收分类。"
)
print(response)

观察流式输出

for part in llm.stream_complete("用三点说明文档问答的验收方法"):
    print(part.delta or "", end="")

LlamaIndex RAG 安全流程三维图 — 图二 Lla**Index 文档切分、索引、检索、回答和安全控制。AI 生成示意图。

运行和验证

uv run python **in.py

先执行 KingFlow 基础请求，确认返回 LLAMAINDEX_READY。
创建 .env 和 .gitignore，再将完整示例保存为 **in.py。
运行程序，确认基础调用返回 LLAMAINDEX_CONNECTED。
检查文档问答结果是否只使用两段测试文本中的要求。
在 KingFlow 控制台核对模型、密钥、调用次数和 Token 用量。

检查点	预期结果	判断依据
基础接口	返回 LLAMAINDEX_READY	端点、密钥和模型可用
OpenAILike	返回 LLAMAINDEX_CONNECTED	兼容客户端配置生效
文档加载	两个 Document 成功进入索引	测试文本可**询
问答约束	答案只引用文档中的要求	提示词和上下文传递正确
平台记录	控制台出现对应调用	模型、密钥与用量符合预期

正式环境配置

context_window 必须按目标模型实际能力设置；过大可能导致服务端拒绝，过小会提前截断。
Sum**ryIndex 会把全部节点用于查询，只适合小规模验证；大知识库应使用向量索引或其他检索器。
向量检索需要单独配置嵌入模型。不要假设生成模型端点同时支持 em*eddings。
文档切分时保留来源、版本和权限元数据，检索后再做访问控制。
为 429 和 503 设置有限退避重试，并同时限制并发、请求时长和 Token 预算。
记录查询 ID、文档版本、模型、状态码、耗时和用量，但不要记录完整密钥和敏感原文。

文档与密钥安全

只在 .env、密钥管理器或部署平台 Secret 中保存 API Key，并定期轮换。
文档进入索引前完成脱敏、恶意内容检查和权限标记。
查询时先验证用户身份，再过滤无权访问的文档节点。
回答需要保留来源片段或文档 ID，无法找到依据时明确返回信息不足。
为开发、测试和生产设置独立密钥、额度和告警，异常用量出现后立即停用旧密钥。

上线检查清单

基础接口已经返回 LLAMAINDEX_READY。
KINGFLOW_*ASE_**L 为 https://api.**nju**shen.com/v1。
KINGFLOW_MODEL 使用控制台中的完整模型 ID。
OpenAILike 已设置 is_chat_model=True、超时和有限重试。
.env 已被 .gitignore 排除，仓库中没有明文密钥。
最小文档问答只依据测试文本回答。
正式知识库已配置来源、版本、权限和检索策略。
KingFlow 控制台的模型、密钥和用量符合预期。

常见故障排查

现象	常见原因	处理方法
返回 401	密钥错误、停用或 .env 未加载	检查变量名与文件位置，必要时重新创建密钥
返回 404	ase *L 或模型 ID 错误	保留 /v1，并复制控制台中的完整模型 ID
返回 429	额度不足、余额不足或请求过快	检查用量并降低并发，采用有限退避
返回 503	模型通道暂时不可用	稍后有限重试或切换已开通模型
调用了错误端点	is_chat_model 未设置为 True	启用 is_chat_model，确认使用 chat/completions
答案超出文档	提示词未限制来源或上下文过宽	要求只依据文档回答，并输出来源信息
长文档被截断	context_window 或切分策略不合适	核对模型窗口，缩小节点并使用检索
向量索引报错	未配置嵌入模型	单独安装和配置 em*edding 集成后再使用 VectorStoreIndex

《KingFlow AI API中转接入 LlamaIndex 教程》资讯列表：

KingFlow AI API中转接入 LlamaIndex 教程

相关小说

为您推荐

小说标签