Equations (ИСПОЛЬЗОВАНИЕ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ ДЛЯ РЕШЕНИЯ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ)

Руководитель проекта: Сергей Кольцов

Участники проекта: Антон Сурков, Вера Игнатенко, Владимир Захаров

В данной работе исследуется возможность применимости больших языковых моделей для целей получения аналитических решений дифференциальных уравнений. В рамках такого подхода дифференциальные уравнения и их решения рассматриваются как символьные последовательности. Соответственно, предсказание таких последовательностей может быть сведено к проблеме применения моделей seq2seq. Представление дифференциальных уравнений и их решений в виде набора символов будет реализовано с помощью ряда Python библиотек, которые позволяют трансформировать формулы в текстовое представление в формате Latex.

На первом этапе проекта используются рекуррентные seq2seq-архитектуры, такие как RNN, LSTM и GRU, которые выступают в роли базовых моделей. На втором этапе применяются более мощные нейросетевые архитектуры, включая большие языковые модели на базе архитектуры Transformer (T5, DeepSeek-R1-Distill-Qwen-7B, Phi-4-mini), а также state-space модель Mamba, которые дообучаются на символьных представлениях дифференциальных уравнений.Также в рамках второго этапа рассматривается способность малых рассуждающих языковых моделей (таких как DeepSeek-R1-Distill-Qwen-1.5B, Qwen2.5-1.5B и Open-Reasoner-Zero-1.5B) из коробки к построению аналитических решений дифференциальных уравнений. 

Публикации по проекту:
1. Vladimir Zakharov, Anton Surkov, Sergei Koltcov. AGDES: a Python package and an approach to generating synthetic data for differential equation solving with LLMs // Procedia Computer Science, 2025, Volume 258, Pages 1169-1178, ISSN 1877-0509.
2. Anton Surkov, Vladimir Zakharov, Sergei Koltcov, Vera Ignatenko. Application of Large Language Models to Solving Differential Equations: Constructing Baseline Models with LSTM and GRU, in : Smart Technologies, Systems and Applications. SmartTech-IC 2024. / Ed. by F. Narváez, M. Villa, G. Díaz. Vol. 2: Revised Selected Papers, Part II Springer, 2025. P. 239–252.
3.   Ignatenko V., Surkov A., Zakharov V., Koltcov S. Transformers and State-Space Models: Fine-Tuning Techniques for Solving Differential Equations // Sci. 2025. Vol. 7. No. 3. Article 130.
4. Кольцов С. Н., Игнатенко В. В., Сурков А. Ю., Захаров В. О. Решение дифференциальных уравнений с помощью языковых моделей из коробки: потенциал небольших LLM в математике // Доклады Российской академии наук. Математика, информатика, процессы управления. 2025. Т. 527. С. 311–319.