Модели разума. Как физика, инженерия и математика сформировали наше понимание мозга

Неврологи знают немного о том, как животные перемещаются по миру. Это во многом связано с типом нейронов, называемых "клетками сетки" (см. рис. 26).3 Клетки сетки - это нейроны, которые активны, когда животное находится в определенных местах. Представьте себе мышь, бегущую по открытому полю. Одна из ее решетчатых клеток будет активна, когда мышь окажется прямо в центре поля. Эта же клетка будет активна, когда мышь переместится на несколько длин тела к северу от центра, а затем снова на несколько длин к северу от него. Та же картина активности будет наблюдаться, если мышь переместится на 60 градусов к западу от севера. В самом деле, если составить карту всех мест, где активна эта клетка, то она будет представлять собой горошек по всему полю . Все эти точки будут равномерно распределены по вершинам треугольной сетки (отсюда и название). Различные ячейки сетки различаются по размеру и ориентации этой сетки, но все они имеют одну общую особенность.

Рисунок 26

Впечатленный их способностью представлять пространство, Хокинс сделал ячейки сетки неотъемлемой частью своей теории о том, как неокортекс познает мир. Однако существует проблема: клетки решетки не находятся в неокортексе. Вместо этого они находятся в эволюционно более древней части мозга, известной как энторинальная кора. Несмотря на отсутствие доказательств существования клеток решетки за пределами этого региона, Хокинс предположил, что на самом деле они прячутся в шестом слое каждой колонки неокортекса.

Что именно они там делают? Чтобы объяснить это, Хокинс любит использовать пример, когда вы проводите пальцем по кофейной чашке (Хокинс на самом деле приписывает возникновение своей теории моменту эврики, который он пережил, созерцая кофейную чашку, и даже приносит чашку на переговоры для демонстрации). Колонки в сенсорной части неокортекса будут получать сигналы от кончика пальца. Согласно теории Хокинса, клетки решетки в нижней части этих колонок также будут отслеживать местоположение кончика пальца. Комбинируя информацию о том, где находится палец и какова на ощупь чашка, колонка может узнать форму объекта, перемещаясь вокруг него. В следующий раз, когда встретится тот же объект, колонка сможет использовать эти накопленные знания для его распознавания.

Поскольку эти корковые колонки существуют во всем неокортексе, этот процесс может происходить параллельно повсюду. Например, колонки, представляющие другие части руки, будут строить свои собственные модели кофейной чашки по мере соприкосновения с ней. А участки зрительной системы, объединяя визуальную информацию с расположением глаз, тоже строили бы свое представление о чашке. В общем, целостное понимание мира строится благодаря этим распределенным вкладам, как будто тысячи мозгов работают в унисон.

Теория Хокинса постоянно развивается, и многие детали еще не проработаны, но он возлагает на нее большие надежды. По его мнению, как колонки могут изучать формы буквальных объектов, так и они могут изучать формы абстрактных объектов. Навигация в пространстве мысли или языка может осуществляться с помощью тех же механизмов, что и навигация в реальном, физическом мире. Если это правда, то это объясняет, как повторяющийся паттерн в неокортексе может использоваться для выполнения стольких различных действий - от зрения до слуха, от движения до математики.

Однако то, насколько идентичны эти колонки, является предметом споров. С первого взгляда неокортекс может показаться однородной мозаикой, но при ближайшем рассмотрении обнаруживаются различия. Некоторые исследования показали, что размер колонок, количество и тип содержащихся в них нейронов, а также их взаимодействие друг с другом в разных областях неокортекса различаются. Если эти колонки не анатомически идентичны, то они могут отличаться и по функциям. Это означает, что каждая область мозга может быть более специализированной для выполнения тех задач, которые ей приходится решать, чем предполагает теория тысячи мозгов. Если это так, то надежда на универсальный алгоритм интеллекта может рухнуть.

Как видно из этой книги, математические модели мозга обычно строятся путем выделения из огромного количества имеющихся данных нескольких фактов, которые кажутся релевантными. Затем эти факты упрощаются и собираются воедино таким образом, чтобы продемонстрировать, как теоретически может работать часть мозга. Кроме того, выясняя, как именно собрать воедино эту игрушечную версию биологии, можно сделать несколько новых и удивительных предсказаний. Если сравнивать с этой схемой, то "Теория тысячи мозгов" - это модель, подобная любой другой в нейронауке. Действительно, многие из составляющих ее концепций - колонки, ячейки сетки, распознавание объектов - уже были подробно изучены как экспериментально, так и с помощью вычислений. Таким образом, теория не является уникальной; это предположение, которое может быть правильным, может быть неправильным или может - как и многие теории - быть немного и тем, и другим.

Возможно, работу Хокинса и Numenta отличает просто неослабевающий оптимизм в отношении того, что этот случай - другой, что впервые ключ, который откроет все двери коры головного мозга, действительно находится в пределах досягаемости. Когда в интервью 2019 года Хокинса спросили, насколько далеко еще до полного понимания неокортекса, он ответил: "Я чувствую, что уже прошел один этап. Так что если я смогу правильно выполнять свою работу в течение следующих пяти лет - то есть я смогу проповедовать эти идеи, убеждать других людей в их правильности, мы сможем показать, что другим специалистам по машинному обучению стоит обратить внимание на эти идеи, - то мы определенно окажемся в промежутке до 20 лет". Такая уверенность не часто встречается у ученых, а поскольку у Хокинса есть частное финансирование для поддержки, эта уверенность не сдерживается обычным научным давлением.

Хокинс известен своей самоуверенностью в своих утверждениях о мозге. Однако в прошлом его способность выполнять обещания по созданию прорывных алгоритмов на основе мозга вызывала сомнения. Джеффри Хинтон, один из лидеров в области исследований искусственного интеллекта, назвал вклад Хокинса в эту область "разочаровывающим". А в 2015 году профессор психологии Гэри Маркус сравнил работу Numenta с другими методами искусственного интеллекта, заявив: "Я не видел ни одного убедительного аргумента в пользу того, что они дают лучшую производительность в любой важной проблемной области". Каковы шансы "Теории тысячи мозгов" когда-нибудь предоставить в распоряжение специалистов набор действительно универсальных механизмов интеллекта? Только время - концепция, занимающая центральное место в мышлении Хокинса, - покажет это.

* * *

По некоторым оценкам, ни одна теория мозга не может быть полной без объяснения его самой большой и долговечной загадки - сознания. Слово на букву "С" может быть сложной темой для ученых, поскольку оно отягощено многовековым философским багажом. Однако в глазах некоторых исследователей точное научное определение, которое можно было бы использовать не только для идентификации, но и для количественной оценки сознания, где бы оно ни существовало, является святым Граалем их работы. Это также обещание "интегральной теории информации".

Интегральная теория информации (или ИТИ) - это попытка определить сознание с помощью уравнения. Изначально она была предложена итальянским нейробиологом Джулио Тонони в 2004 году, и с тех пор он и другие исследователи продолжают ее развивать. IIT предназначена для измерения сознания в чем угодно: в компьютерах, камнях и инопланетянах так же легко, как и в мозге. Выдвигая универсальное утверждение о том, что такое сознание, он отличается от более биологически ориентированных теорий, разработанных некоторыми нейробиологами.

IIT способен освободиться от специфических физических особенностей мозга, потому что его вдохновение исходит из другого источника: интроспекции. Размышляя о сознательном опыте от первого лица, Тонони пришел к пяти важным характеристикам, фундаментальным для сознания; это "аксиомы", на которых строится IIT. Первая аксиома - это основной факт существования сознания. Другие включают в себя наблюдение, что сознательный опыт состоит из множества различных ощущений, опыт специфичен, он предстает перед нами как единое целое и является уникальным - ни больше, ни меньше - тем, что он есть.

Тонони рассмотрел, какие виды систем обработки информации могут породить эти аксиомы опыта. Благодаря этому он смог перевести аксиомы в математические термины. В итоге получилась единая мера так называемой "интегрированной информации", которую Тонони обозначил греческой буквой phi. В целом phi показывает, насколько перемешана информация в системе. Предполагается, что правильное смешение дает богатство и целостность опыта. Согласно IIT, чем выше phi у системы, тем более осознанной она является.

Как оказалось, вычислить phi для системы любой разумной степени сложности практически невозможно. В случае с человеческим мозгом это потребовало бы проведения практически бесконечного количества экспериментов, чтобы выяснить, как взаимодействуют различные подструктуры мозга. Даже если это удастся сделать, начнется долгая и изнурительная серия вычислений. Чтобы преодолеть это препятствие, были разработаны многочисленные приближения к phi. Благодаря этому можно сделать обоснованное предположение о значении phi в системе. Это было использовано для объяснения того, почему определенные состояния мозга приводят к более осознанному опыту, чем другие. Например, во время сна способность нейронов к эффективной коммуникации прерывается. Это делает мозг менее способным интегрировать информацию, что приводит к снижению phi. Согласно теории Тонони, подобные рассуждения могут объяснить и бессознательное состояние, возникающее при припадках.

Теория также делает некоторые, возможно, удивительные предсказания. Например, phi среднего термостата невелик, но все же не равен нулю. Это означает, что устройство, регулирующее температуру в вашей комнате, обладает определенным сознательным опытом. Более того, некоторые очень простые устройства - если их правильно собрать - могут иметь значение phi гораздо выше, чем предполагаемое phi человеческого мозга. Эти контр интуитивные выводы заставляют некоторых ученых и философов скептически относиться к IIT.

Другая критика теории направлена на ее аксиоматическую основу. Согласно этому аргументу, аксиомы, выбранные Тонони, не являются единственными, на которых можно построить теорию сознания. И его способ отображения этих аксиом на математику, очевидно, тоже не единственный и не лучший. Проблема в том, что если основы IITпроизвольны, то как мы можем доверять выводам, которые из них следуют, особенно если они нас удивляют

Неофициальный опрос ученых, изучающих сознание, проведенный в 2018 году, показал, что IIT не является предпочтительной теорией среди экспертов (она заняла четвертое место после двух других теорий и общей категории "другое"). Но в том же опросе выяснилось, что среди неспециалистов IIT оказалась лучше: фактически, она заняла первое место среди той части неспециалистов, которые посчитали, что обладают достаточными знаниями, чтобы ответить. Некоторые авторы опроса подозревают, что это может быть результатом пиара IIT. Со стороны теория выглядит вполне обоснованной хотя бы потому, что за ней стоит авторитет строгой математики. И больше, чем большинство научных теорий сознания, IIT была представлена в популярной прессе. В том числе в работах Кристофа Коха, выдающегося нейробиолога, который стал соратником Тонони и публичным защитником IIT. В своей книге "Сознание: Confessions of a Romantic Reductionist" Кох описывает свой личный путь в научном изучении сознания, включая работу с лауреатом Нобелевской премии Фрэнсисом Криком, и свои взгляды на IIT. Такие популярные статьи могут быть эффективны для донесения теории до широкой аудитории, но не обязательно убедят знающих ученых.

Даже те ученые, которые не верят в силу IIT, все равно склонны аплодировать этой попытке. Сознание, как известно, трудноуправляемая концепция, поэтому попытка IIT подчинить его упорядоченному научному исследованию - это шаг в правильном направлении. Как написал в своем блоге ярый критик IIT физик Скотт Ааронсон: "Тот факт, что интегральная теория информации неверна - явно неверна, по причинам, которые лежат в ее основе, - ставит ее примерно в 2 процента от всех когда-либо предложенных математических теорий сознания. Почти все конкурирующие теории сознания, как мне кажется, были настолько расплывчатыми, пушистыми и податливыми, что они могут только стремиться к ошибочности".

* * *

ГУТ могут быть скользкой штукой. Чтобы быть великими и объединяющими, они должны делать простые утверждения о невероятно сложном объекте. Почти любое утверждение о "мозге" гарантированно содержит исключения. Поэтому, если сделать ГУТ слишком грандиозным, он не сможет объяснить много конкретных данных. Но если слишком сильно привязать ее к конкретным данным, она перестанет быть великой. Будучи непроверяемыми, непроверенными или проверенными и провалившимися, ГУТ мозга, пытаясь объяснить слишком много, рискуют не объяснить вообще ничего.

В то время как для нейробиологов, стремящихся к GUT, это представляет собой нелегкую задачу, в физике это не так сложно. Причина такого различия может быть проста: эволюция. Нервные системы развивались на протяжении веков, чтобы удовлетворить потребности ряда конкретных животных в конкретных местах, сталкивающихся с конкретными проблемами. Изучая такой продукт естественного отбора, ученые не имеют права на простоту. Биология выбрала любой путь, необходимый для создания функционирующих организмов, не обращая внимания на то, насколько понятной будет та или иная их часть. Поэтому нет ничего удивительного в том, что говорится о том, что мозг - это просто сборная солянка из различных компонентов и механизмов. Это все, что нужно для его функционирования. В общем, нет никаких гарантий - и, возможно, даже нет убедительных причин ожидать, - что мозг можно описать простыми законами.

Некоторые ученые предпочитают принять этот беспорядок. Вместо того чтобы сократить мозг до самых простых элементов, они строят некую "большую единую модель", которая соединяет все части воедино. В то время как традиционные модели GUT по простоте напоминают стейк, приготовленный с добавлением соли, эти модели больше похожи на большую кастрюлю супа. И хотя они не такие изящные и элегантные, как GUT, они могут быть лучше оснащены для выполнения работы.

Одним из примеров такого более инклюзивного подхода является сверхдетальное моделирование, созданное в рамках проекта Blue Brain Project, о котором говорилось в главе 2. Эти исследователи извлекли бесчисленное количество деталей о нейронах и синапсах с помощью серии кропотливых экспериментов. Затем они собрали все эти данные в сложную вычислительную модель небольшого участка мозга. Такой подход предполагает, что каждая деталь ценна и что мозг не понять, если их отбросить. Это искреннее принятие всех нюансов биологии в надежде, что, собрав все воедино, мы получим более полное представление о том, как работает мозг. Однако проблема здесь заключается в масштабах. При восходящем подходе к восстановлению мозга можно работать только с одним нейроном за раз, а значит, до создания полной модели еще далеко.

Семантическая архитектура указателей (Semantic Pointer Architecture Unified Network), более известная как SPAUN, подходит к делу с совершенно другой стороны. Вместо того чтобы фиксировать все тонкости нейробиологии, SPAUN, разработанная командой под руководством Криса Элиасмита в Университете Ватерлоо (Онтарио, Канада), направлена на создание работающей модели мозга. Это означает, что мы получаем те же сенсорные входы и имеем те же двигательные выходы. В частности, SPAUN получает на вход изображения и управляет симулированной рукой для создания выходных данных. Между этими входами и выходами находится сложная сеть из 2,5 миллионов простых модельных нейронов, расположенных таким образом, чтобы в общих чертах имитировать структуру всего мозга. Благодаря этим нейронным связям SPAUN может выполнять семь различных когнитивных и моторных задач, таких как рисование цифр, запоминание списков объектов и составление простых узоров. Таким образом, SPAUN отказывается от элегантности в пользу функциональности. Конечно, человеческий мозг содержит в десятки тысяч раз больше нейронов и может выполнять гораздо больше, чем семь задач. Смогут ли принципы утилитарности и масштабирования, благодаря которым SPAUN достигла своей цели, довести ее до полноценной модели мозга - или нужно будет добавить еще больше нюансов работы нейронов - пока неизвестно.

Истинные ГУТ стремятся к конденсированию. Они переплавляют разнообразную информацию в компактную и легко усваиваемую форму. Благодаря этому GUT кажутся удовлетворительными, потому что они дают ощущение, что работу мозга можно полностью охватить одним взглядом. Такие модели, как SPAUN и симуляция Blue Brain Project, однако, являются экспансивными. Они привлекают множество источников данных и используют их для построения сложной структуры. Таким образом, они жертвуют интерпретируемостью ради точности. Их цель - объяснить все, включив в себя все, что можно объяснить.

Хотя, как и в случае со всеми другими моделями, даже эти, более обширные, все равно не являются идеальными копиями. Создателям этих моделей все равно приходится выбирать, что включать, а что не включать, что объяснять, а что игнорировать. Если стремиться к чему-то сродни ГУТ, всегда хочется найти простейший набор принципов, способный объяснить наибольший набор фактов. С таким плотным и запутанным объектом, как мозг, этот простой набор может оказаться довольно сложным. Заранее знать, какой уровень детализации и какой масштаб потребуется для отражения соответствующих особенностей работы мозга, невозможно. Прогресс в этом вопросе возможен только благодаря построению и тестированию моделей.

В целом, нейронаука поддерживает очень плодотворные отношения с более "тяжелыми", количественными науками. Она получила множество подарков от таких наук, как физика, математика и инженерия. Эти аналогии, методы и инструменты изменили представление обо всем - от нейронов до поведения. А изучение мозга дало ответную отдачу, став источником вдохновения для искусственного интеллекта и полигоном для испытания математических методов.

Но нейронаука - это не физика. Она не должна играть роль младшего брата или сестры, пытаясь в точности следовать по стопам этой более старой дисциплины. Принципы, которыми руководствуется физика, и стратегии, которые привели ее к успеху, не всегда будут работать, если применить их к биологии. Поэтому вдохновение следует воспринимать с осторожностью. При создании моделей разума эстетика математики не является единственным путеводным маяком. Скорее, это влияние должно всегда взвешиваться с уникальными реалиями мозга. При правильном балансе хитросплетения биологии можно свести к математике таким образом, чтобы получить истинное понимание и не подвергнуться чрезмерному влиянию других областей. Таким образом, изучение мозга прокладывает свой собственный путь к использованию математики для понимания мира природы.

Математическое приложение

Глава 2: Как нейроны получают спайки

Лапик разработал уравнение, описывающее, как напряжение на мембране клетки меняется с течением времени. Уравнение основано на тех, которые используются для описания электрических цепей. В частности, напряжение, V(t), определяется в соответствии с уравнением для цепи с параллельно включенными сопротивлением (R) и емкостью (C):

где t = RC. Внешний вход в клетку (от экспериментатора или воздействия другого нейрона) представлен I(t). Таким образом, клеточная мембрана интегрирует этот внешний входной ток с некоторой утечкой.

Уравнение Лапика не отражает того, что происходит с мембранным потенциалом во время потенциала действия. Однако мы можем добавить простой механизм, который указывает, когда мембрана клетки достигла своего порога и вызовет спайк. В частности, чтобы превратить это уравнение в модель нейрона, который стреляет, напряжение сбрасывается в состояние покоя (Vrest ), как только оно достигает порога спайка (Vthresh ):

Это не имитирует сложную динамику потенциала действия (для которой нужна модель Ходжкина-Хаксли), но обеспечивает простой способ вычисления времени спайка.

Глава 3: Учимся вычислять

Перцептрон - это однослойная искусственная нейронная сеть, которая может обучаться выполнению простых задач классификации. Обучение происходит за счет обновления весов между входными и выходными нейронами, которые рассчитываются на основе конкретных примеров входных и выходных сигналов.

Алгоритм обучения начинается с набора случайных весов, по одному для каждого из N двоичных входов, xn. Выходная классификация, перцептрона рассчитывается как:

где b - смещение, сдвигающее порог. При обучении каждая запись w обновляется в соответствии с правилом обучения:

где - правильная классификация, а - скорость обучения. Если xn равно единице, то знак разности между правильной классификацией и выходом перцептрона будет определять способ обновления. Если xn или разница равны нулю, обновление не происходит.

Глава 4: Создание и сохранение воспоминаний

Сеть Хопфилда представляет воспоминания как паттерны нейронной активности. Связи между нейронами позволяют сети реализовать ассоциативную память - то есть полное воспоминание можно получить, активировав его подмножество.

Сеть состоит из N ячеек, взаимодействия между которыми определяются в соответствии с симметричной матрицей весов (W). Каждая запись (nm ) в этой матрице определяет силу связи между ячейками n и m. В каждый момент времени состояние активности для каждой ячейки (cn для n=1...N) обновляется в соответствии с:

где 𝜃n - пороговое значение.

Каждая память, 𝝐i, представляет собой вектор длины N, определяющий состояние активности каждого нейрона. Если активность сети изначально установлена на зашумленную, частичную версию памяти, она будет развиваться до состояния аттрактора этой памяти (определяемого 𝝐i), и в этот момент активность сети c перестанет меняться.

Весовая матрица определяется хранящимися в сети воспоминаниями.

Поэтому пары нейронов с одинаковой активностью во многих воспоминаниях будут иметь сильные положительные связи; пары с противоположной активностью будут иметь сильные отрицательные связи.

Глава 5: Возбуждение и торможение

Сети с соответствующим балансом между возбуждением и торможением могут создавать стабильную, не зашумленную нейронную активность. Такие сети можно анализировать с помощью среднеполевого подхода, который упрощает математику полной сети до нескольких уравнений.

Уравнения среднего поля для сбалансированной сети начинаются с сети из N нейронов (как возбуждающих, так и тормозящих), причем нейроны получают как внешний, так и рекуррентный вход. Для рекуррентного входа каждый нейрон получает K возбуждающих и K тормозящих входов. Предполагается, что K намного меньше N:

Если рассматривать случай большого K и постоянного внешнего входа в сеть, то средний вход в клетку типа j (возбуждающий или тормозной) определяется следующим образом:

И дисперсия этого входа составляет:

Термины Xj и x представляют силу связи внешнего входа с популяцией j и скорость ее возбуждения соответственно; 𝜃j - порог для возникновения спайков. WjI - мера общей силы связи тормозной популяции с популяцией j (соответствующее значение возбуждающей популяции определено как единица). WjI определяется как сила одной связи, умноженная на √K.

j - средняя активность j-й популяции, определяемая в диапазоне от нуля до единицы. Эти значения определяются средним значением и квадратным корнем из дисперсии входных данных в соответствии с:

где H - дополнительная функция ошибки.

Чтобы убедиться, что ни возбуждающий, ни тормозной вход в клетку не подавляет ее выход, первый член в уравнении для mj должен быть того же порядка, что и порог, который равен единице. Для этого сила отдельных связей должна быть равна 1/√K.

Глава 6: Этапы развития зрения

Конволюционные нейронные сети обрабатывают изображения, повторяя некоторые из основных особенностей зрительной системы мозга. Они состоят из нескольких основных операций. Начиная с изображения I, первым шагом является свертка этого изображения с фильтром F. Результат этой свертки пропускается через элементарную нелинейность (𝜙), чтобы получить активность для простого слоя, похожего на клетку:

Наиболее распространенной нелинейностью является положительное выпрямление:

Если предположить, что изображение и фильтр являются двумерными матрицами, то AS также является двумерной матрицей. Чтобы воспроизвести сложные клеточные реакции, к простой клеточной активности применяется операция 2D max-pooling. Каждый элемент матрицы сложной клеточной активности (AC) определяется в соответствии с:

где Pij - двумерная окрестность AS с центром в месте ij. В результате этой операции активность сложной клетки становится просто максимальной активностью участка простых клеток, от которых она получает входные сигналы.

Глава 7: Взлом нейронного кода

Шеннон определил информацию в терминах битов, которые вычисляются как логарифм обратной вероятности символа. Это также можно записать как отрицательное значение логарифма вероятности:

Общая информация в коде, известная как энтропия (H), является функцией информации в каждом из его символов. В частности, энтропия - это сумма информации, содержащейся в каждом символе (xi) кода X, взвешенная по его вероятности, P(xi ).

Глава 8: Движение в низких измерениях

Анализ главных компонент (PCA) может быть использован для уменьшения размерности активности популяции нейронов. Применение PCA к нейронным данным начинается с матрицы данных (X ), в которой каждая строка представляет нейрон (из N нейронов), а каждый столбец - среднюю вычитаемую активность этих нейронов за время (длиной L):

Ковариационная матрица этих данных имеет вид

Разложение по собственным значениям говорит:

где каждый столбец в Q - собственный вектор K, а 𝛬 - диагональная матрица, где записи на диагонали - собственные значения соответствующих собственных векторов. Главные компоненты данных определяются как собственные векторы K.

Для того чтобы свести полноразмерные данные к D измерениям, в качестве новых осей используются D собственных векторов (ранжированных по собственным значениям). Проецирование полноразмерных данных на эти новые оси дает новую матрицу данных:

Если D равно трем или меньше, то эту уменьшенную матрицу данных можно визуализировать.

Глава 9: От структуры к функции

Уоттс и Строгац утверждали, что многие графы реального мира можно описать как сети с малым миром. Сети с малым миром имеют низкую среднюю длину пути (количество ребер, пройденных между любыми двумя узлами) и высокие коэффициенты кластеризации.

Предположим, что граф состоит из N узлов. Если данный узел n соединен с kn другими узлами (называемыми его соседями), то коэффициент кластеризации этого узла равен:

где En - количество ребер, существующих между соседями n, а член в знаменателе - общее количество ребер, которые могут существовать между этими узлами. Таким образом, коэффициент кластеризации - это мера того, насколько взаимосвязаны или "кликабельны" группы узлов.

Коэффициент кластеризации для всей сети определяется как среднее значение коэффициентов кластеризации для каждого узла:

Глава 10: Принятие рациональных решений

Полная форма правила Байеса такова:

где h - гипотеза, а d - наблюдаемые данные. Член в левой части уравнения известен как апостериорное распределение. Байесовская теория принятия решений (BDT) рассматривает, как правило Байеса может направлять принятие решений, указывая, как апостериорное распределение должно быть сопоставлено с конкретным восприятием, выбором или действием.

В BDT функция потерь указывает на штраф, который налагается за принятие различных типов неправильных решений (например, неправильное восприятие красного цветка как белого и восприятие белого цветка как красного может иметь различные негативные последствия). В самой базовой функции потерь любаяневерно выбранная гипотеза влечет за собой одинаковый штраф, в то время как правильный выбор (h*) не влечет никакого штрафа:

Общий ожидаемый убыток при выборе определенной гипотезы (h) рассчитывается путем взвешивания этого убытка на вероятность каждой гипотезы:

что дает:

Поэтому, чтобы минимизировать эти потери, следует выбрать вариант, максимизирующий апостериорное распределение. То есть наилучшая гипотеза - это гипотеза с наибольшей апостериорной вероятностью.

Глава 11: Как вознаграждение руководит действиями

Обучение с подкреплением описывает, как животные или искусственные агенты могут научиться вести себя, просто получая вознаграждение. Центральным понятием в обучении с подкреплением является ценность - мера, которая сочетает в себе размер вознаграждения, полученного в данный момент, и ожидаемого в будущем.

Уравнение Беллмана определяет ценность (V) состояния (s) в терминах вознаграждения ( ), полученного, если в этом состоянии будет выполнено действие a, и дисконтированной стоимости следующего состояния:

Здесь - коэффициент дисконтирования, а T - функция перехода, определяющая, в каком состоянии окажется агент после выполнения действия a в состоянии s. Операция max служит для того, чтобы всегда выполнялось действие, приносящее наибольшую ценность. Вы можете видеть, что определение ценности является рекурсивным, поскольку сама функция ценности появляется в правой части уравнения.

Глава 12: Великие единые теории мозга

Принцип свободной энергии был предложен в качестве объединяющей теории мозга, которая может описать нейронную активность и поведение. Свободная энергия определяется как:

где s - сенсорные входы, m - внутренние состояния мозга, а x - состояния мира. Первый член в этом определении (отрицательная логарифмическая вероятность s) иногда называют "удивлением", поскольку он высок, когда вероятность сенсорных входов низка.

DKL - это расхождение Куллбэка-Лейблера между двумя распределениями вероятностей, определяемое как:

Таким образом, второй член определения свободной энергии измеряет разницу между вероятностью состояний мира с учетом внутреннего состояния мозга и вероятностью состояний мира с учетом сенсорных входов. Можно считать, что мозг пытается приблизить p(x | s), используя свои собственные внутренние состояния (q(x | m)), и чем лучше приближение, тем меньше свободная энергия.

Поскольку принцип свободной энергии гласит, что мозг стремится минимизировать свободную энергию, он должен обновлять свои внутренние состояния в соответствии с этим:

Кроме того, выбор действий (a), предпринимаемых животным, влияет на получаемые им сенсорные сигналы:

Поэтому действия также должны выбираться с учетом их способности минимизировать свободную энергию: