Яндекс представил пререлизную версию своей новой базовой большой языковой модели Alice AI Foundation LLM. Архитектура нейронной сети разработана с нуля, без применения зарубежных технологий и предварительно обученных весов других алгоритмов. Модель распространяется под лицензией Apache 2.0, что дает возможность разработчикам и исследователям использовать ее как в научных, так и в коммерческих целях.
Базовая версия включает в себя 80 миллиардов параметров и использует архитектуру Mixture of Experts, которая обеспечивает высокую эффективность вычислений при решении узкоспециализированных задач. В процессе создания обучающего набора данных специалисты компании оптимизировали процедуры фильтрации информации, а также значительно расширили базу знаний нейросети в области права, медицины, математики и программирования.
Выпуск отечественной языковой модели с открытым исходным кодом является частью стратегии «Яндекса» по развитию собственных открытых технологий и созданию независимой среды для разработки искусственного интеллекта. Открытые веса Alice AI Foundation позволят российскому ИТ-сообществу разрабатывать специализированные отраслевые решения и индивидуальные сервисы на базе фундаментальной русскоязычной модели.
