GetRouter文档
  • 简体中文

    • LlamaIndex

    任意 GetRouter 模型 ID 应使用 LlamaIndex 的 OpenAI-like 集成。LLM 与 Embeddings 需要分别配置并独立验证。

    配置状态
    • 推荐协议： OpenAI Chat Completions / Embeddings
    • 配置格式核对： 2026-07-15（LlamaIndex 官方 OpenAI-like 文档）
    • 运行验证： 待验证

    安装

    pip install -U llama-index-llms-openai-like llama-index-embeddings-openai
export GETROUTER_API_KEY="YOUR_API_KEY"

    配置 LLM

    import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
    is_chat_model=True,
    context_window=int(os.environ["MODEL_CONTEXT_WINDOW"]),
)

print(llm.complete("只回复：连接成功"))

    请将 MODEL_CONTEXT_WINDOW 设置为所选模型真实的上下文窗口大小，并使用整数值，不要照搬其他模型的限制。只有确认该模型支持工具调用后，才添加 is_function_calling_model=True；否则应保持关闭。

    配置 Embeddings

    import os
from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model=os.environ["EMBEDDING_MODEL_ID"],
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
)

    请将 EMBEDDING_MODEL_ID 设置为模型目录中实际支持 Embeddings 的模型。不要假定 LLM 模型同时支持 Embeddings。更换 Embedding 模型或向量维度后，必须重新构建现有索引。

    上线前检查

    • 分别测试一次 LLM 请求和一次 Embedding 请求；
    • 根据所选模型的已知能力设置 MODEL_CONTEXT_WINDOW；
    • 固定每个索引使用的 Embedding 模型和向量维度；
    • 为批量入库设置并发、重试和成本上限；
    • Tool / Agent 工作流按工具调用指南单独验证。