СКИЛа выиграла грант РФН на изучение использования больших языковых моделей для решения дифференциальных уравнений

28 ноября 2023 года подведены итоги конкурса Российского научного фонда: заявка Лаборатории социальной и когнитивной информатики получила поддержку на 2024 год.

В рамках исследования под  руководством С. Н. Кольцова предполагается решение следующих задач:

1. Создание базы данных дифференциальных уравнений и их аналитических решений в виде текстовых последовательностей. Данная задача состоит из следующих подзадач: 1) реализация процедуры выделения дифференциальных уравнений и их решений из электронных справочников в формате pdf; 2) реализация процедуры выделения дифференциальных уравнений и их решений из электронных справочников в формате DjVu; 3) разработка процедуры преобразования полученных уравнений в формат Latex; 4) создание базы данных уравнений и решений в формате Latex.

2. Построение эмбедингов дифференциальных уравнений и решений по их текстовым представлениям.

3. Разработка нейросетевых моделей предсказания решений дифференциальных уравнений на основе модели Seq2Seq (Sequence-to-Sequence). Данная задача состоит из следующих подзадач: 1) обучение модели Seq2Seq на базе моделей RNN, LSTM и GRU и их комбинаций; 2) дообучение модели Seq2Seq на базе моделей Transformer (большие языковые модели: Bert, XLNet, T5).

4. Разработка нейросетевых моделей предсказания решений дифференциальных уравнений на основе модели Seq2Seq с учетом разработанных эмбедингов дифференциальных уравнений. Данная задача состоит из следующих подзадач: 1) обучение модели Seq2Seq на базе моделей RNN, LSTM и GRU и их комбинаций; 2) дообучение модели Seq2Seq на базе моделей Transformer (большие языковые модели: Bert, XLNet, T5).

5. Анализ существующих метрик качества работы нейронных сетей для генерации текстовых данных и адаптация этих метрик для задачи предсказания решений дифференциальных уравнений.