Ученые обнаружили аналоги языковой сети мозга в ИИ-моделях

Команда из лабораторий NeuroAI и обработки естественного языка проанализировала 18 популярных языковых моделей. Исследователи сравнивали активность нейронов при обработке осмысленных предложений и случайных списков слов. Нейроны, которые активнее реагировали на осмысленные предложения, были названы «языковыми». Таких нейронов оказалось менее 1% от общего числа — около 100. При их удалении модели теряли способность генерировать связный текст и показывали плохие результаты на языковых тестах. Удаление случайных нейронов не вызывало таких последствий.

Метод, использованный учеными, был заимствован из нейронауки, где аналогичные подходы помогают изучать функции мозга. Ученые были удивлены, насколько эффективно простая техника анализа мозга помогла выявить ключевые элементы в искусственном интеллекте (ИИ). Это открытие упрощает понимание того, как модели обрабатывают язык, без применения сложных методов машинного обучения.

Кроме того, исследователи проверили, существуют ли в моделях нейроны, отвечающие за логическое мышление или социальное взаимодействие, как в сетях мозга, связанных с теорией разума. В некоторых моделях такие элементы были обнаружены, в других — нет. Ученые планируют исследовать, почему это происходит и как связано с процессом обучения моделей и используемыми данными.

В дальнейшем команда намерена изучить мультимодальные модели, которые обрабатывают не только текст, но и изображения, видео и звук.