В рамках мероприятия «АстраКонф», посвященного информационным технологиям в России, Михаил Кобик, занимающий должность технического директора платформы «Боцман», выступит с докладом о Боцман AI и процессе запуска языковых моделей в условиях защищенной среды.
В своей презентации эксперт объяснит, как организовать собственный процесс инференса ИИ-моделей, минимизируя риски и обеспечивая стабильность работы, ответит на вопрос о том, почему использование vllm представляет собой лишь незначительную часть успеха.
На конкретных примерах будет продемонстрирован путь от базового инференса до создания надежной и безопасной системы, включающей контроль доступа и потребления ресурсов, защиту данных, масштабирование, обеспечение высокой доступности и мониторинг. Особое внимание будет уделено методам сохранения моделей и корпоративных данных внутри инфраструктуры компании, а также инженерным решениям, необходимым для безопасного использования ИИ в производственной среде.
«В настоящее время создание и запуск ИИ-модели не представляет большой технической сложности, однако разрыв между функционирующим процессом вывода результатов и полноценным промышленным AI-сервисом весьма существенен. В условиях корпоративного использования критически важны не только качество генерируемых ответов моделью, но и понимание местоположения данных, определение пользователей с правами доступа к модели, условий предоставления доступа, контроля над расходом ресурсов, а также прогнозирование последствий увеличения нагрузки или выхода из строя отдельных компонентов. В связи с этим мы рассматриваем безопасный ИИ как характеристику всей системы, окружающей модель — начиная от инфраструктуры и управления графическими ускорителями и заканчивая контролем доступа, мониторингом и обеспечением отказоустойчивости», — отмечает Михаил Кобик.
Конференция состоится 25 сентября в Москве, онлайн-регистрация доступна по сайте.
В рамках мероприятия «АстраКонф» вас ожидает возможность узнать:
– как использовать AI для эффективного мониторинга;
– о принципах построения инфраструктуры на базе Astra Linux с учетом экосистемного подхода;
– о платформе для разработки и сопровождения доверенного ПО;
– про доверенное облако КИИ и сервисы для ИИ-нагрузок;
– о методах защиты наиболее ценных данных организации.
