Pruning NN (Обрезка нейронных сетей на основе концепций статистической физики, таких как свободная энергия и энтропия), 2025

Руководитель проекта: Сергей Кольцов

Участники: Антон Сурков, Ксения Купитман, Вера Игнатенко, Раиса Мехмуд

Проект по исследованию и разработке критериев эффективной обрезки нейронных сетей с использованием функций из статистической физики, таких как свободная энергия и энтропия. Обрезка нейронных сетей позволяет сократить количество параметров нейронной сети и, соответственно, уменьшить вычислительную нагрузку и объём памяти, необходимые для её хранения и работы, при сохранении приемлемого уровня точности. В ракмках данного проекта рассматриваются такие алгоритмы обрезки, как неструктурная обрезка весов на основе их величины (magnitude weight pruning), а также алгоритм обрезки активаций (activation pruning) нейронных сетей. Проведение процедуры обрезки анализируется с помощью концепции свободной энергии.

Публикации по проекту:

1.    Anton Surkov, Sergei Koltcov, Vera Ignatenko, Rayeesa Mehmood, Ksenia Kupitman. Free energy of neural network can predict accuracy after pruning // Physica A: Statistical Mechanics and its Applications. 2025. Vol. 681. Article 131085.

2.    Rayeesa Mehmood, Sergei Koltcov, Anton Surkov, Vera Ignatenko. Modeling Pruning as a Phase Transition: A Thermodynamic Analysis of Neural Activations // Computers, Materials and Continua. 2026. Vol. 86. No. 3. Article 99