#LlamaIndex

Với ID model GetRouter bất kỳ, hãy dùng tích hợp OpenAI-like của LlamaIndex. Cấu hình và xác minh riêng model LLM và model embedding.

#Cài đặt

pip install -U llama-index-llms-openai-like llama-index-embeddings-openai
export GETROUTER_API_KEY="YOUR_API_KEY"

#Cấu hình LLM

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
    is_chat_model=True,
    context_window=int(os.environ["MODEL_CONTEXT_WINDOW"]),
)

print(llm.complete("Chỉ trả lời: đã kết nối"))

Đặt MODEL_CONTEXT_WINDOW thành kích thước cửa sổ ngữ cảnh thực tế của model đã chọn, dưới dạng số nguyên. Không sao chép giới hạn của model khác. Chỉ thêm is_function_calling_model=True sau khi xác nhận model hỗ trợ gọi công cụ; nếu không, hãy để tính năng này tắt.

#Cấu hình embedding

import os
from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model=os.environ["EMBEDDING_MODEL_ID"],
    api_key=os.environ["GETROUTER_API_KEY"],
    api_base="https://getrouter.ai/v1",
)

Đặt EMBEDDING_MODEL_ID thành một model thực sự hỗ trợ embedding trong danh mục model. Không giả định model LLM cũng hỗ trợ embedding. Khi thay đổi model embedding hoặc số chiều vector, bạn phải xây dựng lại các chỉ mục hiện có.

#Kiểm tra trước khi dùng trong production

• Kiểm thử riêng một request LLM và một request embedding.
• Đặt MODEL_CONTEXT_WINDOW theo khả năng được công bố của model đã chọn.
• Cố định model embedding và số chiều vector dùng cho từng chỉ mục.
• Cấu hình mức đồng thời, retry và giới hạn chi phí cho quá trình nhập dữ liệu hàng loạt.
• Xác minh riêng workflow Tool / Agent theo hướng dẫn gọi công cụ.