Новый алгоритм на базе искусственного интеллекта (ИИ) может преобразовать активность вашего мозга в образы. Он сумел распознать тысячу картинок с точностью совпадения около 80%.

На картинке выше в верхнем ряду изображения, на которые смотрели люди. В нижнем ряду изображения, созданные алгоритмом, проанализировавшим мысленную активность этих людей.

За основу был взят алгоритм нейросети DALL-E 2 от OpenAI, которая с помощью стабильной диффузии (LDM), создает изображения по текстовому описанию.

Команда ученых из Японии раздала подопытной группе набор с картинками, а когда люди рассматривали картинки, им делали МРТ (магнитно-резонансная томография). Затем снимки МРТ были отданы на расшифровку искусственному интеллекту.

«Мы показываем, что наш метод может реконструировать изображения высокого разрешения с высокой семантической точностью по активности человеческого мозга», — поделилась команда в исследовании, опубликованном в bioRxiv.

«В отличие от предыдущих исследований реконструкции изображений, наш метод не требует обучения или тонкой настройки сложных моделей глубокого обучения».

По словам Ю Такаги, руководителя этого исследования, алгоритм извлекает информацию из частей мозга, участвующих в восприятии изображений, таких как затылочная и височная доли.

Команда использовала МРТ, потому что она улавливает изменения кровотока в активных областях мозга. МРТ может обнаруживать даже молекулы кислорода, поэтому сканеры могут видеть, где в мозге наши нейроны — нервные клетки мозга — работают больше всего (и потребляют больше всего кислорода), когда мы думаем или испытываем эмоции. 

В этом исследовании участвовали всего четыре участника, каждый из которых просматривал набор из тысячи изображений.

«Мы демонстрируем, что наша простая структура может восстанавливать изображения с высоким разрешением из активности мозга с высокой семантической точностью», — говорится в исследовании.

«Мы количественно интерпретируем каждый компонент LDM с точки зрения неврологии, сопоставляя конкретные компоненты с отдельными областями мозга.

Мы представляем объективную интерпретацию того, как процесс преобразования текста в изображение, реализованный LDM, включает семантическую информацию, выраженную условным текстом, и в то же время сохраняет внешний вид исходного изображения».

Объединение искусственного интеллекта со сканерами мозга было давней задачей научного сообщества, которая, по их мнению, является новым ключом к открытию нашего внутреннего мира.