Запуск моделей ChatGPT, Gemini, LLama без VPN через AITunnel

Часто бывает российским проектам необходимо использовать зарубежные LLM в своих проектах. И чтобы их использовать, обычно создаются прокси сервера личные и зарубежные аккаунты с оплатой иностранными картами.

Такой вариант подойдёт, если вы максимально хотите сократить возможности утечки персональных данных. Для максимальной сохранности подобных данных обычно запускают LLM на своих серверах.

Но если для Вас это не супер критично и данные не супер конфиденциальные, а обычные диалоги, то я бы рассматривал использование сервисов прокси. Хотя все сервисы утверждают, что данные и логи никакие не собирают.

Сегодня рассмотрим один из самых демократичных сервисов прокси — AITunnel.

На сайте думаю сами сможете ознакомиться со всем списком моделей, которые можно использовать. Покажу просто примеры использования.

Создание API-ключа

Просто откройте личный кабинет, пополните баланс и на вкладке "Управление ключами" создайте API-ключ.

ChatGPT

from openai import OpenAI

# У меня создан файл 'config', где я храню API-ключ
from ai_tunnel.config import ai_tunnel_api_key


client = OpenAI(
    api_key=ai_tunnel_api_key,
    base_url='https://api.aitunnel.ru/v1/',
)

completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "Скажи интересный факт"}],
    max_tokens=500,
    model='gpt-4o',
)

print(completion.choices[0].message.content)

Как видим использовать можно существующую библиотеку OpenAI, указав только base_url и название модели.

Gemini

from openai import OpenAI

# У меня создан файл 'config', где я храню API-ключ
from ai_tunnel.config import ai_tunnel_api_key


client = OpenAI(
    api_key=ai_tunnel_api_key,
    base_url='https://api.aitunnel.ru/v1/',
)

completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "Скажи интересный факт"}],
    max_tokens=500,
    model='gemini-pro-1.5',
)

print(completion.choices[0].message.content)

LLama

from openai import OpenAI

# У меня создан файл 'config', где я храню API-ключ
from ai_tunnel.config import ai_tunnel_api_key


client = OpenAI(
    api_key=ai_tunnel_api_key,
    base_url='https://api.aitunnel.ru/v1/',
)

completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "Скажи интересный факт"}],
    max_tokens=500,
    model='llama-3.2-90b-vision-instruct',
)

print(completion.choices[0].message.content)

Как видим, использование очень простое. Не требуется VPN и для оплаты нужна российская карта, а не зарубежная.

Если у вас не планируется большая нагрузка, то вполне можно пользоваться прокси. Работает быстро.

#python #ai #gpt #gemini #llama