Psych_ML (ИИ АССИСТЕНТЫ ДЛЯ ПСИХОЛОГИИ И ПСИХИАТРИИ)

Современное развитие больших языковых моделей (LLM) привело к возможности практического создания AI assistant в области психологии и психиатрии на основе LangChain технологии. Но разработка таких ассистентов затруднена потому, что сложно получить качественные данные для обучения LLM и создания векторной базы для оптимизации промпт-запросов. Сложность получения данных обусловлена тем, что как правило, беседы пациента и психиатра не присутствуют в открытом доступе по этическим причинам. Тем не менее, в социальных сетях существуют обширные треды дискуссий пользователей, которые доступны для анализа. Однако такие обсуждения представляют собой крайне зашумленные данные, поэтому необходимо тестировать и адаптировать LLM для очистки и предварительной классификации психологических данных из интернета.

Проект по созданию AI-ассистента для психологической и психиатрической помощи на базе LLM-технологий фокусируется на использовании открытых, но зашумлённых пользовательских дискуссий из соцсетей как альтернативы недоступным терапевтическим стенограммам; в новой работе авторы исследуют потенциал четырёх LLM в zero-shot-режиме для автоматической очистки и предварительной классификации 64 404 русскоязычных сообщений, размеченных по семи распространённым расстройствам (депрессия, невроз, паранойя, тревожное, биполярное, ОКР, пограничное), показывая, что поверхностная фильтрация данных даёт лишь умеренный прирост, тогда как fine-tuning (как стандартный, так и в режиме NLI) повышает точность более чем втрое, причём NLI-подход достигает максимального accuracy ≈ 0,64, но работает в шесть раз медленнее, что требует оптимизации гипотез; при этом мультиязычные модели на исходном тексте немного превосходят англоязычные варианты с машинным переводом; в итоге представлен первый открытый русскоязычный датасет и обученные модели, призванные упростить аннотирование и стать основой для создания расстройство-специфичных разговорных агентов в области психического здоровья.

Публикации по проекту:
Koltcov S, Surkov A, Koltsova O, Ignatenko V. Using large language models for extracting and pre-annotating texts on mental health from noisy data in a low-resource language // PeerJ Computer Science, 2024 10:e2395 DOI