#LlamaIndex

Для произвольных идентификаторов моделей GetRouter используйте OpenAI-like интеграцию LlamaIndex. Настраивайте и проверяйте LLM и модель эмбеддингов отдельно.

#Установка

pip install -U llama-index-llms-openai-like llama-index-embeddings-openai
export GETROUTER_API_KEY="YOUR_API_KEY"

#Настройка LLM

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
    is_chat_model=True,
    context_window=int(os.environ["MODEL_CONTEXT_WINDOW"]),
)

print(llm.complete("Ответь только: соединение установлено"))

Задайте в MODEL_CONTEXT_WINDOW фактический размер контекстного окна выбранной модели в виде целого числа. Не копируйте ограничение другой модели. Добавляйте is_function_calling_model=True только после подтверждения поддержки вызова инструментов выбранной моделью; в остальных случаях оставьте эту возможность отключённой.

#Настройка эмбеддингов

import os
from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model=os.environ["EMBEDDING_MODEL_ID"],
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
)

Задайте в EMBEDDING_MODEL_ID модель из каталога моделей, которая действительно поддерживает эмбеддинги. Не предполагайте, что LLM также может создавать эмбеддинги. После смены модели эмбеддингов или размерности векторов существующие индексы необходимо перестроить.

#Проверка перед рабочим использованием

• Отдельно протестируйте один запрос к LLM и один запрос эмбеддингов.
• Задайте MODEL_CONTEXT_WINDOW согласно документированным возможностям выбранной модели.
• Зафиксируйте модель эмбеддингов и размерность векторов для каждого индекса.
• Настройте параллелизм, повторные попытки и лимиты затрат для массовой загрузки.
• Отдельно проверяйте сценарии Tool / Agent по руководству по вызову инструментов.