#LlamaIndex

Pour utiliser n’importe quel ID de modèle GetRouter, passez par l’intégration OpenAI-like de LlamaIndex. Configurez et vérifiez séparément le LLM et le modèle d’embeddings.

#Installation

pip install -U llama-index-llms-openai-like llama-index-embeddings-openai
export GETROUTER_API_KEY="YOUR_API_KEY"

#Configurer le LLM

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
    is_chat_model=True,
    context_window=int(os.environ["MODEL_CONTEXT_WINDOW"]),
)

print(llm.complete("Réponds uniquement : connexion établie"))

Définissez MODEL_CONTEXT_WINDOW sur la taille réelle de la fenêtre de contexte du modèle choisi, sous forme d’entier. Ne reprenez pas la limite d’un autre modèle. N’ajoutez is_function_calling_model=True qu’après avoir confirmé que le modèle prend en charge l’appel d’outils ; sinon, laissez cette capacité désactivée.

#Configurer les embeddings

import os
from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model=os.environ["EMBEDDING_MODEL_ID"],
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
)

Définissez EMBEDDING_MODEL_ID sur un modèle réellement compatible avec les embeddings dans le catalogue des modèles. Ne supposez pas que le LLM produit également des embeddings. Tout changement de modèle d’embeddings ou de dimensions vectorielles impose de reconstruire les index existants.

#Vérifications avant la mise en production

• Testez séparément une requête LLM et une requête d’embedding.
• Définissez MODEL_CONTEXT_WINDOW d’après les capacités documentées du modèle choisi.
• Verrouillez le modèle d’embeddings et les dimensions vectorielles de chaque index.
• Configurez la concurrence, les nouvelles tentatives et les plafonds de coûts pour les importations en volume.
• Vérifiez séparément les workflows Tool / Agent à l’aide du guide sur l’appel d’outils.