Настройка LlamaIndex

LlamaIndex — это фреймворк данных для создания LLM-приложений, ориентированный на сценарии RAG (генерация с дополнением из поиска) и AI Agent. Поскольку OfoxAI полностью совместим с протоколом OpenAI, достаточно изменить api_base для начала работы.

Предварительные требования

Аккаунт OfoxAI с API Key (Получить здесь )
Установлен Python 3.10+

Шаги настройки

Шаг 1: Установка зависимостей


pip3 install llama-index llama-index-llms-openai-like

Установка LlamaIndex

Шаг 2: Настройка и запуск

Создайте файл test_llamaindex.py:

test_llamaindex.py


from llama_index.llms.openai_like import OpenAILike
 
llm = OpenAILike(
    model="openai/gpt-4.1",
    api_base="https://api.ofox.ai/v1",
    api_key="<ВАШ_OFOXAI_API_KEY>",
    is_chat_model=True
)
 
response = llm.complete("Привет, расскажи о себе")
print(response)

Запуск:


python3 -W ignore test_llamaindex.py

Результат выполнения

Доступные модели

Рекомендуемые модели см. в Маркетплейсе моделей OfoxAI .

API LlamaIndex могут изменяться в разных версиях. Обратитесь к официальной документации LlamaIndex .

Часто задаваемые вопросы

Q: ModuleNotFoundError: No module named 'llama_index'

Выполните pip3 install llama-index llama-index-llms-openai-like для установки зависимостей.

Q: TypeError: unsupported operand type(s) for |

Ваша версия Python слишком старая. Обновите до Python 3.10 или выше.

Q: API Key недействителен

Убедитесь, что в api_key указан ваш API Key от OfoxAI. Его можно получить в Консоли OfoxAI .