LLMOps и инференс

Месяц доступа по подписке.
Запуск открытой LLM в продакшене: vLLM, KV-кэш, батчинг, квантизация, выбор GPU и цена токена. Научитесь считать память и себестоимость, выбирать движок, разворачивать модель и выпускать обновления с мониторингом и откатом. 1 500 ₽ за один месяц доступа ко всем доступным курсам школы. Учитесь онлайн в своём темпе. Подписка продлевается ежемесячно до отмены. Первые 11 уроков бесплатно, нужна только почта.

Дистанционное обучение для взрослых. Начать можно в любое время. Уроки открываются по порядку; пройденные остаются доступны.

Программа курса:

Инференс как продукт
Как сервер генерирует токены
Движки
Память, квантизация и железо
Большие модели
Развёртывание: облако и своя инфраструктура
Токеномика
Качество модели
Выкладка, мониторинг и откат
Итог MLOps на собеседовании

Чему научитесь:

Понимать, как сервер генерирует токены и где теряется скорость
Выбирать движок и настраивать vLLM под свою нагрузку
Считать память модели, выбирать GPU и квантизацию
Разворачивать модель в контейнере с автоскейлингом и шлюзом
Считать себестоимость токена и собирать тарифы
Выкатывать новую версию модели с мониторингом и откатом
1 500 ₽ за один месяц доступа ко всем доступным курсам школы. Учитесь онлайн в своём темпе. Подписка продлевается ежемесячно до отмены. Первые 11 уроков бесплатно, нужна только почта.
Указанный месяц относится к сроку доступа по подписке. Курс проходите в своём темпе в течение действия подписки.