Запуск Llama 3.1 70b и 3.1 8b через Yandex облако

Я уже ранее делал обзор библиотеки Yandex Cloud ML SDK для работы с YandexGPT и прочими инструментами. И Yandex облако добавили возможность использовать Llama 3.1 двух версий через их API.

Компания Meta признана в России экстремистской организацией и запрещены в РФ 21.03.2022

Я не буду вдаваться сильно в подробности работы с библиотекой, так как обзор уже делал ни раз. Вам потребуется знать id каталога внутри Yandex Cloud и API ключ для работы с AI.

Сначала импортируем нужные библиотеки и прочитаем ключи.

import asyncio
import os

from dotenv import load_dotenv
from yandex_cloud_ml_sdk import AsyncYCloudML


load_dotenv()


yandex_folder_id = os.getenv('YANDEX_FOLDER_ID')
yandex_api_key = os.getenv('YANDEX_AI_API_KEY')


# Создание экземпляра SDK
sdk = AsyncYCloudML(folder_id=yandex_folder_id, auth=yandex_api_key)

Далее просто сделаем функцию, которая будет в консоли симулировать чат:

async def main():
    model = sdk.models.completions('llama')
    model = model.configure(temperature=0.5)

    messages: list[dict[str, str] | str] = [
        {'role': 'system', 'text': 'Ты - Заботливый помощник'}
    ]

    while True:
        message = input('User: ')
        if message == 'стоп':
            break
        messages.append(message)
        result = await model.run(messages)
        messages.append(result[0])
        print('AI: ', result[0].text, '\n')


if __name__ == '__main__':
    asyncio.run(main())

'llama' — отвечает за Llama 3.1 70b
'llama-lite' — отвечает за Llama 3.1 8b

Меняя модель можно провести эксперименты, какая отвечает лучше.

На этом всё :) Подписывайтесь на телеграм канал, чтобы не пропускать обновления.

Вам также может понравиться:

#ai #ии #yandex #sdk #ml #llama