Исследователи из НИУ ВШЭ (Санкт-Петербург) создали методику, которая позволяет уменьшать размер нейронных сетей быстро и без потери качества, используя законы статистической физики. Результаты опубликованы в научном журнале Physica A: Statistical Mechanics and its Applications и доступны в открытом доступе.
«Мы проверили метод на большом числе моделей для классификации, обработки естественного языка и компьютерного зрения. Результаты показали ускорение оптимизации нейросетей от 10 до 500 раз по сравнению с традиционными подходами», — отмечают авторы.
Новая методика решает ключевую проблему больших языковых моделей и других крупных ИИ-систем — огромные требования к оперативной памяти, которые ограничивают доступ к технологиям. Традиционное «сжатие» нейросетей требует постепенного удаления параметров с постоянным контролем качества, что занимает много времени.
Российские ученые заметили, что нейросети с миллиардами параметров по своей структуре напоминают физические системы, такие как облака газа или магнитные материалы. Использование законов статистической физики позволяет в десятки и сотни раз ускорять поиск оптимального размера модели.
Авторы разработки под руководством профессора Сергея Кольцова подчеркнули, что метод уже опубликован и может быть использован любыми разработчиками. В будущем, по их прогнозам, подход позволит определять оптимальное количество блоков в архитектуре ИИ-моделей ещё до обучения, что сэкономит колоссальные ресурсы на разработку нейросетей.
