GetRouter文件
  • 繁體中文

    • LlamaIndex

    任意 GetRouter 模型 ID 都應使用 LlamaIndex 的 OpenAI-like 整合。LLM 與 Embedding 模型需要分別設定並獨立驗證。

    整合狀態
    • 建議通訊協定： OpenAI Chat Completions / Embeddings
    • 設定核對日期： 2026 年 7 月 15 日（LlamaIndex 官方 OpenAI-like 文件）
    • 執行階段驗證： 待驗證

    安裝

    pip install -U llama-index-llms-openai-like llama-index-embeddings-openai
export GETROUTER_API_KEY="YOUR_API_KEY"

    設定 LLM

    import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
    is_chat_model=True,
    context_window=int(os.environ["MODEL_CONTEXT_WINDOW"]),
)

print(llm.complete("請只回覆：連線成功"))

    請將 MODEL_CONTEXT_WINDOW 設為所選模型實際的上下文視窗大小，並使用整數值，不要直接套用其他模型的限制。只有確認該模型支援工具呼叫後，才加入 is_function_calling_model=True；否則應維持停用。

    設定 Embedding

    import os
from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model=os.environ["EMBEDDING_MODEL_ID"],
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
)

    請將 EMBEDDING_MODEL_ID 設為模型目錄中確實支援 Embedding 的模型。不要假設 LLM 模型也支援 Embedding。變更 Embedding 模型或向量維度後，必須重新建立既有索引。

    上線前檢查

    • 分別測試一次 LLM 請求與一次 Embedding 請求；
    • 依所選模型的已知能力設定 MODEL_CONTEXT_WINDOW；
    • 固定每個索引使用的 Embedding 模型與向量維度；
    • 為批次匯入設定並行數、重試與成本上限；
    • Tool / Agent 工作流程應依工具呼叫指南個別驗證。