Нейросеть научилась "читать мысли" по активности мозга
Реконструкция изображений по нейронной активности развивается с каждым годом все больше и больше. Недавно Брайс Кюль из США поставил несколько успешных опытов над расшифровкой данных по активности головного мозга, которая позволили воссоздать изображение человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об увиденных когда-то лиц. Но все данные только анализировались, без возможности реконструкции изображений непосредственно из данных по активности головного мозга.
Однако нейробиологи из университета Киото в Японии завершили этот сложный эксперимент, в котором нейросеть способна провести реконструкцию изображения по активности головного мозга, не обращаясь к уже существующим базам данных. Нейросеть с очень высокой степенью сходства воспроизвела геометрические фигуры, символы, животных и черты человека.
Нейросеть, которую разработали в Киото, не требует базы данных для подбора изображений. Она учится распознавать небольшие изменения активности головного мозга, которые возникают при просмотре почти подобных изображений. Чтобы научить этому нейросеть, добровольцам которые были помещении в сканера функциональной магнитно-резонансной томографии, демонстрировали изображения. Изображений было всего 1200. Каждое изображение каждый участник наблюдал по 5 раз.
После проведенного обучения, нейросеть генерировала изображения, отталкиваясь от анализа активности головного мозга во время сканирования в МРТ. Несмотря на то, что на этапе обучения добровольцам демонстрировали только фотографии реальных объектов, система смогла реконструировать изображения абстрактных предметов, показанным участникам эксперимента после завершения обучения. Это говорит о том, что нейросеть научилась обобщать информацию, извлеченную из данных активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.
Cтатьи опубликован в репозитории bioRxiv.org.