Pruning NN (Обрезка нейронных сетей на основе концепций статистической физики, таких как свободная энергия и энтропия), 2025

Руководитель проекта: Сергей Кольцов

Участники: Антон Сурков, Ксения Купитман, Вера Игнатенко

Проект по исследованию и разработке алгоритмов обрезки нейронных сетей с использованием функций из статистической физики, таких как свободная энергия и энтропия. Обрезка нейронных сетей позволяет сократить количество параметров нейронной сети и, соответственно, уменьшить вычислительную нагрузку и объём памяти, необходимые для её хранения и работы, при сохранении приемлемого уровня точности. На первом этапе данного проекте рассматриваются такие алгоритмы обрезки, как неструктурная обрезка весов на основе их величины, а также алгоритмы структурной обрезки нейронных сетей. Проведение процедуры обрезки анализируется с помощью концепции свободной энергии. На втором этапе проекта планируется разработка новых алгоритмов структурной обрезки на основе использования энтропии или других функций из статистической физики.