4 Нейронные сети и глубокое обучение

Замкнутый морем, сказал: «Пусть земли и воды преградой

Встали, зато небеса — свободны, по ним понесёмся!

Всем пусть владеет Минос, но воздухом он не владеет!»

Молвил — и всею душой предался́ незнакомому делу.

Новое нечто творит, подбирает он перья рядами,

С малых начав, чтоб за каждым пером шло другое, длиннее, —

Будто неровно росли: всё меньше и меньше длиною, —

Рядом подобным стоят стволы деревенской цевницы:

Ниткой средину у них, основания воском скрепляет.

Перья друг с другом связав, кривизны незаметной им придал

Так, чтобы были они как у птицы…

Овидий. Метаморфозы. Кн. VIII

4.1 Бионика и история изучения мышления

13 сентября 1960 г. в Дейтоне (штат Огайо, США) открылся первый симпозиум по бионике — прикладной науке, сфера деятельности которой находится на границе между биологией и техникой. Цель бионики — применение биологических методов или систем, найденных в природе, для изучения и разработки инженерных систем и новых технологий[912]. Девиз бионики: «Живые прототипы — ключ к новой технике», а на эмблеме изображены скальпель и паяльник, соединённые знаком интеграла.

Одним из отцов бионики и автором самого термина считается американский военный нейроанатом Джек Стил[913]. Стил был мастером на все руки: медик по образованию, с обширной областью медицинских интересов от физиологии до психиатрии и нейроанатомии, он разбирался также в инженерном деле и электротехнике, увлекался архитектурой, умел управлять самолётом и был остроумным рассказчиком. В рамках своей армейской исследовательской деятельности Стил работал над инженерными приложениями биологических моделей. Под впечатлением от работы Стила писатель-фантаст Мартин Кейдин создал роман «Киборг», по которому в начале 1970-х был снят сериал «Человек на шесть миллионов долларов» (The Six Million Dollar Man)[914].

Пионерские работы Стила способствовали оформлению и утверждению новой междисциплинарной науки, название которой, составленное из частей слов «биология» и «электроника»[915], Стил предложил в августе 1958 г.[916] Впрочем, идея в некотором роде витала в воздухе, и Стил не был одинок в желании заимствовать принципы устройства биологических объектов для решения инженерных задач. В 1950-е гг. другой американский учёный, биофизик Отто Шмитт, предложил использовать термин «биомиметика» (biomimetics, от латинских слов bios — жизнь и mimesis — подражание). Поскольку в поп-культуре слово bionic обычно ассоциируется со сверхчеловеческими способностями, в англоязычной среде сегодня чаще используют вариант Шмитта, а иногда даже термин «биомимикрия» [biomimicry], который впервые появился в работах популяризатора науки Жанин Беньюс, посвятившей этому направлению целых шесть книг[917].

Термин «биомиметика» впервые появляется в словаре Мерриам — Уэбстера в 1974 г., где определяется как «изучение строения, функций и способов формирования структур и веществ биологического происхождения (таких как ферменты или шёлк), а также биологических процессов и механизмов (например, синтеза белков или фотосинтеза) — главным образом для создания схожих продуктов искусственными методами, подобными природным»[918].

Многократное «переизобретение» бионики, по всей видимости, было связано с тем, что это направление является для развития технологий весьма древней и органической частью — при отсутствии собственного эффективного решения технология часто пытается оттолкнуться от существующего в природе «рабочего прототипа». По мере роста могущества науки и техники мы замахиваемся на копирование принципов работы всё более и более сложных биологических объектов. Озаботившись идеей создания летательного аппарата, великий Леонардо да Винчи посвятил много времени изучению полёта птиц, о чём нам известно из его записей и чертежей, но, к сожалению, задача оказалась непосильной для технологий XV–XVI вв. Однако спустя четыре столетия французский изобретатель Клеман Адер, основываясь на данных Луи Пьера Мойяра о полёте птиц, а также на собственных исследованиях принципов полёта различных живых существ — от насекомых до летучих мышей, построил летательный аппарат «Эол» (Éole), ставший, по всей видимости, первым в истории самолётом, осуществившим взлёт за счёт тяги собственной силовой установки. Девятого октября 1890 г. оснащённый паровым двигателем «Эол», похожий на гигантскую летучую мышь, смог оторваться от земли и пролетел около 50 метров[919], [920], [921].

К плодам бионики XX в. относят обычно и застёжку-липучку, принцип действия которой позаимствован у репейника[922], и поверхности, копирующие структуру акульей кожи, позволяющие улучшить аэро- и гидродинамические характеристики изделий[923] и даже препятствующие размножению бактерий[924]. Изучение крыльев бабочек помогло в разработке технологии RFID-чипов[925], изучение лап гекконов[926] и клея устриц[927] — в создании медицинских адгезивов[928]. Гидрофобные структуры[929], наносенсоры[930], холестерические жидкие кристаллы[931] — перечислять заимствованные у природы идеи можно долго.

Конечно, наши самолёты не машут крыльями, и развитие технологий зачастую приводит к тому, что в промышленных образцах мы уже с трудом можем опознать их природные прототипы: особенности производственных процессов, а также эксплуатационные требования накладывают свои ограничения на выпускаемые продукты.

Часто бионика влияет на развитие техники не напрямую. Например, наличие в природе «рабочего прототипа» может быть свидетельством принципиальной возможности создания того или иного устройства: если птицы могут летать, значит, возможно создание летательного аппарата тяжелее воздуха; если растения способны синтезировать сахара и крахмал из углекислого газа и воды, значит, можно создать устройство, выполняющее ту же функцию.

Решения, существующие в природе, являются продуктом сложного оптимизационного процесса, известного под названием «эволюция». С одной стороны, масштабы и значительная продолжительность эволюции приводят к появлению биологических систем, хорошо приспособленных к тем условиям, в которых они действуют. С другой же — решения, найденные эволюцией, могут являться оптимальными лишь локально, то есть может возникнуть ситуация, когда дальнейшее «улучшение» системы возможно только за счёт временного её «ухудшения», что затруднено давлением естественного отбора. И наконец, эволюция оптимизирует устройство живых организмов в направлении их приспособленности к среде обитания, а вовсе не к задачам, которые человек пытается решать при помощи создаваемой техники. С точки зрения эволюции человеческий мозг должен потреблять мало энергии, должен быть устойчивым к физическим воздействиям (вряд ли вам понравится, если от падения яблока на голову вы будете полностью терять память), голова младенца должна беспрепятственно преодолевать родовые пути при рождении и так далее. Все эти ограничения будут только мешать, если мы стремимся создать устройство, единственная цель которого — достижение максимальной эффективности при решении интеллектуальных задач. Словом, у нас есть основания полагать, что мозг далёк от идеала думающей машины. В конце концов, его роль в организме заметно шире: мозг — это не только думающая, но и управляющая «машина», с важной задачей поддержания автоматических процессов в организме. Головной мозг вообще не является чем-то радикально обособленным от человеческого тела — например, около 500 млн связанных с ним нейронов входят в состав так называемой энтеральной нервной системы, состоящей из нервных сплетений в оболочках полых органов желудочно-кишечного тракта[932], а ещё около 200 млн нейронов находится в спинном мозге[933]. Впрочем, задачи, которые мозгу приходится решать в связи с его управляющей функцией, можно, по всей видимости, отнести к разряду интеллектуальных, хотя их решение часто происходит без сознательного контроля.

Так или иначе, на сегодняшний день человеческий мозг — это лучшая известная нам «машина» для решения неопределённо широкого спектра интеллектуальных задач. Поэтому ещё с первой половины XX в. взоры учёных были обращены именно на этот «рабочий прототип», который позволяет нам оценить, какие именно задачи и какими средствами могут быть решены в принципе.

Вплоть до второй половины XIX в. наука немного знала о строении мозга. Учёные ограничивались самыми общими соображениями о природе мышления, выдвигая различные гипотезы о лежащих в его основе закономерностях и процессах. При этом внимание было сфокусировано в большей мере на принципах, составляющих основу умозаключений, а вопрос о физическом субстрате человеческого разума обходился стороной — в этой области царствовали либо наивные механистические гипотезы, либо откровенно магические по своей природе соображения о «тонкой материи», непознаваемой душе и так далее.

Логика Аристотеля, Мо-цзы, Акшапады Гаутамы, Нагарджуны и других интеллектуалов древности весьма преуспела в вопросах изучения структуры суждений, однако не все древние мыслители считали, что мышление является продуктом деятельности мозга. Тот же Аристотель приписывал эту роль сердцу. Появление в античной философии идеи о том, что именно мозг есть пристанище человеческого разума, традиционно приписывают Алкмеону Кротонскому, труды которого посвящены преимущественно медицинской тематике[934]. То, что было не до конца ясным для логиков, было вполне понятно врачам. По крайней мере, точку зрения Алкмеона вполне разделяли и «отец медицины» Гиппократ, и «отец анатомии» Герофил, и даже их коллега и по совместительству внук Аристотеля Эрасистрат[935]. Люди, чья работа заключалась в «ремонте» сложной машины под названием «человеческий организм», неизбежно лучше разбирались в особенностях его работы, чем философы. Аналогия между человеческим организмом и машиной стала особенно популярна в Новое время благодаря успехам в области механики. «Левиафан» Гоббса предваряет яркая метафора автора: «…наблюдая, что жизнь есть лишь движение членов, начало которого находится в какой-нибудь основной внутренней части, разве не можем мы сказать, что все автоматы (механизмы, движущиеся при помощи пружин и колёс, как, например, часы) имеют искусственную жизнь? В самом деле, что такое сердце, как не пружина? Что такое нервы, как не такие же нити, а суставы — как не такие же колёса, сообщающие движение всему телу так, как этого хотел мастер?» Столь же механически Гоббс определяет рассуждение [reason] как одну из способностей человеческого ума: «рассуждение <…> есть не что иное, как подсчитывание (т. е. складывание и вычитание) связей общих имён с целью отметить и обозначить наши мысли»[936]. Неслучайно в истории философии направление, к которому принято относить Гоббса, получило название «механической философии» или «механицизма». Позже Лейбниц в отзыве на работу Гоббса выражает её квинтэссенцию самым радикальным образом: «Томас Гоббс, повсеместно глубоко исследующий основы, справедливо заметил, что всё, что делает наш ум, — это вычисление». Философское наследие Лейбница включает в себя обширные исследования в области теории мышления, благодаря чему этого немецкого мыслителя нередко называют «дедушкой искусственного интеллекта»[937].

Впрочем, как бы ни велики были успехи логики, математики, медицины и механики Нового времени, их возможностей было явно недостаточно, чтобы продвинуться в деле создания машин на основе принципов бионики для решения сложных интеллектуальных задач. Механические вычислительные устройства могли производить математические расчёты, оперировать с нехитрыми логическими суждениями, выполнять несложный статистический анализ, но сделать заметный шаг вперёд удалось только в эпоху электричества.

4.2 Лягушки, мыши, кальмары, люди и другие животные в цепких руках нейрофизиологов

К первой строке приступая, я Муз хоровод с Геликона

Сердце моё вдохновить умоляю на новую песню, —

С писчей доской на коленях её сочинил я недавно, —

Песню о брани безмерной, неистовом деле Арея.

Я умоляю, да чуткие уши всех смертных услышат,

Как, на лягушек напавши с воинственной доблестью, мыши

В подвигах уподоблялись землёю рождённым гигантам.

Война мышей и лягушек (Батрахомиомахия)

4.2.1 От экспериментов на животных до открытия нейронов


Представления о том, что активность мышц и нервов живых существ имеет электрическую природу, восходят к исследованиям Луиджи Гальвани, который опубликовал результаты своих опытов в 1791 г. Используя ручную динамо-машину, Гальвани пропускал слабые импульсы электрического тока через лягушачьи лапки и обнаружил, что ток заставляет мышцы сокращаться. Эти опыты дали начало исследованиям в области биоэлектрических явлений. Первое убедительное доказательство электрической природы нервных импульсов было получено в 1850-е гг. немецким физиологом Эмилем Дюбуа-Реймоном, которому удалось впервые в истории науки измерить электрические импульсы, бегущие по нервам к мышце (также для лягушки). В 1870-е гг. английский врач из Ливерпуля Ричард Катон обнаружил, что мозг генерирует электрический ток. Катон экспериментировал с отражающим гальванометром, состоящим из провода и катушки, которые вибрировали при обнаружении слабых токов. Прибор также имел небольшое зеркало, прикреплённое к катушкам, а яркая кислородно-водородная лампа направляла на зеркало узкий луч света, который затем, отражаясь, попадал на изображённую на стене затемнённой комнаты шкалу длиной около двух с половиной метров. Чем сильнее был сигнал, тем выше поднимался по шкале световой луч. Катон прикасался электродами инструмента к мозгу во вскрытых черепах кроликов, кошек и обезьян[938] и обнаружил, что внешняя поверхность серого вещества заряжена более положительно, чем глубокие структуры мозга. Он также отметил, что электрические токи головного мозга, по-видимому, имеют отношение к основной функции: «Когда какая-либо часть серого вещества находится в состоянии функциональной активности, сила электрического тока в нём обычно уменьшается»[939].

Когда животное двигалось, жевало пищу или улавливало глазами свет, прибор регистрировал возрастание электрической активности. Мысли, заметил Катон, также порождали активность. Он подключил обезьяну к устройству и записывал ток, связанный с жеванием. «Когда я показал обезьяне изюм, но не дал его, произошло небольшое уменьшение силы тока», — писал он[940].

Катону также иногда приписывают пионерскую работу в области «вызванных потенциалов» (т. е. электрических потенциалов в некоторой части нервной системы, возникающих вследствие воздействия стимула, такого как, например, вспышка света или звуковой сигнал). Впрочем, историки науки позже указывали, что гальванометр Катона вряд ли был способен регистрировать частоты свыше 6 Гц, что ставит под сомнение возможность регистрации Катоном вызванных потенциалов, наблюдаемых обычно на более высоких частотах.

Разница в полярности между поверхностью коры головного мозга и более глубокими областями, обнаруженная Катоном, может быть интерпретирована как открытие им «уровня постоянного потенциала» (steady potential, DC-potential; уровень постоянного потенциала — это слабый, медленно изменяющийся устойчивый потенциал между мозгом и референтными областями, один из сверхмедленных физиологических процессов, отражающий индивидуальные особенности энергозатрат, связанных с функциональным состоянием головного мозга и всей нервной системы)[941].

Также, практически случайно, Катон смог уловить слабый электрический ток и сквозь невскрытую черепную коробку: это стало первым опытом в области неинвазивной (т. е. не связанной с проникновением через естественные внешние барьеры организма) электроэнцефалографии[942].

Катон, исследования которого осуществлялись за счёт средств гранта Британской медицинской ассоциации, представил свои выводы 24 августа 1875 г., по результатам которых в Британском медицинском журнале появился короткий отчёт, состоявший из двадцати строк. Более подробное описание опытов было представлено в том же журнале в 1877 г. и содержало сведения об экспериментах на более чем сорока кроликах, кошках и обезьянах (в основном использовались кролики).

Катон получил определённое признание благодаря этой работе и в 1884 г. возглавил кафедру физиологии в Университетском колледже Ливерпуля (сейчас — Ливерпульский университет, University of Liverpool), затем стал там деканом медицинского факультета, а в 1907 г. — лорд-мэром Ливерпуля[943].

Работа Катона, впрочем, оставалась не замеченной научным сообществом в течение пятнадцати лет — научная коммуникация в конце XIX в. была довольно медленной.

В 1890 г. физиолог Адольф Бек из Ягеллонского университета в Кракове (Польша) обнаружил низковольтные высокочастотные колебания электрических потенциалов, возникающие между двумя электродами, помещёнными в затылочную кору мозга кролика. Не зная о более ранних работах Катона, Бек заявил, что стал первым, кто обнаружил электрическую активность мозга животных. Однако другой физиолог, Эрнст Флейшл фон Марксов из Венского университета, также описал электрическую активность мозга животных и оставил свои находки в запечатанном конверте в Венской имперской академии наук в 1883 г. (размещение запечатанного конверта, содержащего сведения о научных открытиях в ожидании их подтверждения, было обычной практикой европейского научного сообщества того времени). Очевидно, что фон Марксов также не знал о работе Катона. Когда статья Бека появилась[944] в немецком журнале Zentralblatt für Physiologie в 1890 г.[945], она привлекла внимание фон Марксова, который после вскрытия конверта заявил свои притязания. Бек и фон Марксов вступили в полемику по поводу приоритета открытия. Их спор разрешил Ричард Катон, указав на свою публикацию 1875 г.[946]

В 1870-е гг., когда физиологи обратили внимание на глобальную электрическую активность полушарий головного мозга, нейроанатомам удалось сделать серьёзный шаг вперёд в деле изучения структуры нервной ткани. За два года до экспериментов Катона, в 1873 г., был открыт метод Гольджи (сам автор называл его «чёрной реакцией»), позволяющий окрашивать отдельные нейроны (правда, слово «нейрон» до 1891 г. не употреблялось). До этого открытия Камилло Гольджи в биологии была популярна концепция, предложенная немецким гистологом Йозефом Герлахом, который считал, что волокна, выходящие из различных клеточных тел, соединены в единую сеть, получившую название «ретикулум» [reticulum]. Популярность идей Герлаха была связана с тем, что, в отличие от сердца или печени, мозг и нервную систему не получалось разделить на отдельные структурные единицы: хотя нервные клетки были описаны в составе ткани многими исследователями того времени, связь между нервными клетками и связывающими их аксонами и дендритами оставалась неясной. Главной причиной этого были недостатки микроскопии.

Благодаря своему открытию Гольджи увидел, что разветвлённые отростки одного клеточного тела не сливаются с другими. Он, однако, не стал отбрасывать концепцию Герлаха, предположив, что длинные тонкие отростки, вероятно, соединены в одну непрерывную сеть.

Четырнадцать лет спустя, в 1887 г., испанский нейроанатом Сантьяго Рамон-и-Кахаль узнал о «чёрной реакции» от психиатра Луиса Симарро, которому удалось улучшить оригинальную технику Гольджи. Рамон-и-Кахаль был удивлён тем, что лишь немногие исследователи используют этот замечательный способ исследования нервной системы. Ещё более усовершенствовав метод Гольджи, Рамон-и-Кахаль применил эту технику к различным типам нервной ткани животных и людей и выполнил подробные зарисовки того, что увидел под микроскопом.

Исследования испанского учёного показали, что, вопреки концепции Герлаха и предположению Гольджи, длинные тонкие отростки, выходящие из тел клеток, вовсе не связаны в единую сеть. Хотя многие волокна в образце ткани накладывались друг на друга, они оставались отдельными физическими структурами, подобно ветвям деревьев в лесной чаще. Нервная система, как и все другие живые ткани, состояла из отдельных элементов, как выразился сам Рамон-и-Кахаль — из «абсолютно автономных единиц».

В октябре 1889 г. Рамон-и-Кахаль посетил конгресс Немецкого анатомического общества в Берлине, чтобы представить свои открытия ведущим нейроанатомам. Хотя многие учёные издевались над Рамоном-и-Кахалем и его зарисовками, презентация учёного смогла убедить уважаемого швейцарского гистолога Рудольфа фон Кёлликера. В 1891 г. немецкий анатом Генрих Вильгельм Вальдейер объединил новаторское исследование Рамона-и-Кахаля с клеточной теорией и идеями швейцарского психиатра Огюста-Анри Фореля, а также с идеями швейцарского эмбриолога Вильгельма Гиса (именно он в 1889 г. предложил называть тонкие ветвящиеся отростки нервных клеток дендритами, от греческого слова δένδρον — дерево). В итоге на свет появилось то, что сегодня носит название нейронной доктрины. Именно Вальдейер назвал нейронами клетки, из которых состоит нервная система. В 1896 г. фон Кёлликер ввёл термин «аксон» для обозначения длинных тонких отростков, передающих электрические сигналы от тела клетки (направление передачи сигналов, основываясь на своих наблюдениях, установил Рамон-и-Кахаль)[947].

В 1906 г. Рамон-и-Кахаль и Камилло Гольджи за труды по строению нервной системы получили Нобелевскую премию в области физиологии и медицины[948].

До наших дней дошло около трёх тысяч зарисовок Рамона-и-Кахаля[949], которые и сегодня остаются одними из самых подробных описаний структурного разнообразия мозга и нервной системы.


Рис. 75. Один из рисунков Рамона-и-Кахаля

4.2.2 История исследований электрической активности мозга

Впрочем, и до открытий Гольджи, Рамона-и-Кахаля и их коллег нейроанатомам было известно, что клетки серого вещества[950] связаны между собой нервными волокнами. Отталкиваясь от знания об электрической природе нервных импульсов, было весьма естественно предположить, что электрическая активность будет наблюдаться и в полушариях мозга. Однако в то время это предположение не удавалось подтвердить, потому что множество десинхронизированных потенциалов с разными полярностями производят очень слабый совокупный потенциал, который было трудно обнаружить доступными в то время измерительными устройствами. Несмотря на это, фон Марксову удалось показать, что периферическая стимуляция сенсорных органов способна вызывать небольшие колебания электрического потенциала в областях поверхности коры головного мозга, отвечающих за проекцию соответствующих чувств.

К сожалению, исследования фон Марксова были прерваны из-за его трагической смерти в 1891 г. В юности, работая в качестве ассистента известного патологоанатома Карла фон Рокитанского, фон Марксов в процессе препарирования трупа поранил большой палец правой руки. Заражение привело к ампутации пальца, и всю последующую жизнь фон Марксов страдал от хронических болей, которые утолял при помощи инъекций морфина и героина. Зигмунд Фрейд, близкий друг фон Марксова, в конце XIX в. изучал медицинские свойства кокаина и был убеждён, что кокаин может быть использован не только в качестве средства, вызывающего эйфорию, афродизиака и болеутоляющего средства, но также и для лечения морфинизма. Он порекомендовал его фон Марксову, который принял совет друга. Увы, кокаин лишь усугубил состояние учёного. Опустошённый болью, зависимостью и болезнью, он снова начал принимать морфин. В итоге здоровье фон Марксова не выдержало, и он скончался 22 октября 1891 г. в возрасте 45 лет[951], [952].

На мир нейробиологии сильно повлияло ещё одно открытие 1870-х гг. В совместном исследовании 1870 г. Густав Фрич и Эдуард Гитциг продемонстрировали возможность электрической стимуляции коры головного мозга. Фрича побудило к исследованиям необычное наблюдение: в ходе Австро-прусско-датской войны (в 1864 г.) он наблюдал сокращения мышц пациента во время перевязки открытой раны головного мозга[953]. Работы Фрича и Гитцига были продолжены Дэвидом Ферье и Джеральдом Йео в 1880 г., которые выполняли электрическую стимуляцию головного мозга обезьян, а также пациента во время операции по поводу опухоли головного мозга.

Исследования электрической активности мозга на границе XIX и XX вв. активно велись и на территории Российской империи. Их начал Василий Данилевский — ему исполнилось всего 25 лет, когда он защитил написанную в Харьковском университете диссертацию, озаглавленную «Исследования по физиологии мозга». Эта работа была основана на электростимуляции, а также на изучении спонтанной электрической активности мозга животных[954].

Данилевский проводил исследования на мозге собак. Независимо от Катона он обнаружил изменения электрических потенциалов в мозге в ответ на воздействие звуковых раздражителей и при электрическом раздражении седалищного нерва. Данилевский также отмечал, что у собаки наблюдались «самостоятельные или спонтанные токи мозга», хотя животному не предъявлялось никаких внешних раздражений. Слуховые стимулы вызывали отрицательное или положительное колебание в задних областях полушарий, а раздражение кожных нервов — в передних. Аналогичные реакции в коре мозга наступали и при раздражении ветвей блуждающего нерва током, а также если обонятельные рецепторы собаки подвергались воздействию различных запахов (аммиака, амилнитрита, жареного мяса).

Данилевский писал: «Процессы возбуждения, возникающие в большом мозге под непосредственным влиянием внешних чувственных раздражений, сопровождаются характерными электродвигательными явлениями. Поэтому мы вправе признать, как наиболее вероятную, гипотезу, что физиологическая функциональная деятельность нервных мозговых (и других) клеточек также тесно связана с проявлением электрической реакции, как это уже признано для нервного волокна. Таким образом, изучение электрических явлений в головном мозге даёт возможность исследовать те объективные материальные процессы, которые представляют собой субстрат для субъективных психических явлений»[955], [956].

После защиты диссертации Данилевский стажируется за границей — в лабораториях немецкого физиолога Карла Людвига и французского физика и физиолога Жака Арсена Д’Арсонваля, одного из основателей биофизики. В зрелом и позднем возрасте фокус исследований Данилевского смещается в сторону эндокринологии. По его инициативе в 1919 г. Харьковским медицинским обществом основано первое в советской республике учреждение эндокринологического профиля — Органотерапевтический институт. Четыре года спустя именно в этом учреждении было налажено первое в СССР производство инсулина[957], [958].

Эстафету Данилевского в области исследования электрической активности мозга подхватили три российских физиолога: Николай Введенский, Павел Ростовцев (при рождении Кауфман, во время Первой мировой войны ввиду антинемецких настроений сменил фамилию на Ростовцев) и Владимир Правдич-Неминский.

Николай Введенский, ученик Сеченова (создателя российской физиологической научной школы), в 1884 г. защитил магистерскую диссертацию по теме «Телефонические исследования над электрическими явлениями в мышечных и нервных аппаратах». В этой работе рассматривается среди прочего использование телефона (как устройства, способного преобразовать электрические импульсы в звуковые колебания) для регистрации нервных импульсов в обнажённом мозге лягушек, кроликов и собак. Именно таким образом Введенскому удалось подтвердить результаты своего учителя, которые тот получил ранее, применяя гальванометр[959].


Рис. 76. Обложка книги Н. Е. Введенского

Ростовцев (Кауфман) выдвинул гипотезу, что эпилептический приступ должен быть связан с аномальными электрическими разрядами, и занялся изучением эффектов корковой электростимуляции.

Правдич-Неминский регистрировал электрическую активность мозга животных при помощи струнного гальванометра[960]. Его записи, выполненные в 1912 г. и опубликованные годом позже в журнале Zentralblatt für Physiologie[961], являются первыми в истории электроэнцефалограммами (сам учёный использовал термин «электроцереброграмма»), то есть графическими представлениями электрической активности головного мозга. Правдич-Неминский записывал сигналы из мозга, твёрдой мозговой оболочки и с поверхности черепа собаки, он описал ритм частотой от 12 до 14 колебаний в секунду в нормальных условиях и отметил его замедление при асфиксии.


Рис. 77. Пример «электроцереброграммы» из работы Правдича-Неминского

Потом Наполеон Цыбульский, который был учителем ранее упомянутого Адольфа Бека в Кракове и всемирно известным лидером в области общей физиологии, используя гальванометр с присоединённым к нему фотографическим устройством, получил электроэнцефалограмму собаки в момент эпилептического припадка, вызванного электростимуляцией. Приоритет же в получении первой человеческой электроэнцефалограммы принадлежит немецкому нейропсихиатру[962] Хансу Бергеру.

Бергер не был ведущим специалистом ни в неврологии, ни в психиатрии. Без его новаторской работы в области электроэнцефалографии имя его, скорее всего, было бы забыто. Биографические очерки изображают Бергера чрезвычайно дотошным и добросовестным человеком, несколько отстранённым при общении с пациентами, строгим руководителем отделения, трудолюбивым профессором, anima candida [чистой душой], не испытывавшей никакого интереса к факультетским интригам и распрям, почти никогда не посещавшим ежегодные собрания Немецкого психоневрологического общества. Электроэнцефалографическая работа Бергера велась в небольшой и очень примитивной лаборатории[963].

Начало исследованиям Бергера положил случай. Молодой Ханс изначально не собирался идти по стопам отца и становиться доктором. Получив аттестат зрелости в 1892 г., Бергер вначале поступил на математический факультет Берлинского университета, планируя стать астрономом. Однако юношу быстро постигло разочарование жизнью в большом городе. Чтобы сменить обстановку, Бергер принимает решение поступить на службу в кавалерию, предвкушая год катания на лошади на свежем воздухе.

Во время прохождения службы с Бергером приключился неприятный случай. Однажды во время учений его лошадь внезапно встала на дыбы, и Ханс, не удержавшись, упал на землю, оказавшись на пути упряжки лошадей, тащивших пушку. К счастью, в последний момент лошадей удалось остановить и Ханс смог избежать серьёзных травм. Через некоторое время Бергер впервые в жизни получил телеграмму от отца — старшей сестре Ханса приснился сон о том, что её любимый брат упал с лошади и сломал ногу, причём она увидела этот сон примерно в то же время, когда с Бергером приключился злополучный инцидент!



Молодой офицер решил, что совпадение в данном случае невозможно и дело не могло обойтись без телепатии[964], [965].

Уволившись с военной службы, Бергер начал изучать медицину. Желая найти естественно-научное объяснение произошедшему с ним случаю, Ханс мечтал открыть физиологические основы «психической энергии» и установить взаимосвязь между процессами в мозге и психикой человека[966].

Успешно окончив университет Йены (Герцогский Саксонский университет, Großherzogliche Herzoglich-Sächsische Gesamtuniversität, ныне — Йенский университет имени Фридриха Шиллера) в 1897 г., Бергер начал работу под руководством Отто Людвига Бинсвангера, который возглавлял кафедру психиатрии и неврологии в университете Йены и заведовал клиникой при университете. В 1901 г. Бергер стал приват-доцентом, в 1906-м — экстраординарным профессором, а в 1912-м — главным врачом клиники. Во время Первой мировой он служил военным нейропсихиатром, а после возвращения в Йену в 1919 г. в конце концов сменил ушедшего на пенсию Бинсвангера на посту главы кафедры[967].

В 1924 г. Бергер перешёл от опытов с животными к первым опытам над людьми. Будучи знаком с работами Катона, Бека, Правдича-Неминского и других своих предшественников, он предполагал, что электромагнитные волны, генерируемые человеческим мозгом, могут быть волнами телепатии. Поскольку в то время телепатия уже считалась оккультным предметом, эксперименты Бергера проводились в полуподпольных условиях в лаборатории, расположенной в небольшом здании на территории клиники.

На первом этапе исследований ввиду недостаточной чувствительности применяемой в те времена техники Бергер отдавал предпочтение пациентам с повреждениями черепа (их было несложно найти в достаточном количестве в послевоенной Германии). С 1902 по 1910 г. Бергер изучал электрическую активность головного мозга собак с помощью капиллярного электрометра Липпмана, но результаты исследований оказались неудовлетворительными.

Необходимо сказать несколько слов об оборудовании того времени, поскольку без этого будут не до конца понятны трудности, возникавшие в работе учёных. Капиллярный электрометр появился в 1875 г. после того, как Габриэль Липпман обнаружил, что капля ртути на кислоте изменяет свою форму при пропускании через неё даже очень слабого электрического тока. Другому исследователю, Этьен-Жюлю Маре, пришла в голову блестящая идея поместить небольшое количество кислоты и ртути в тонкую трубку. Пропуская через трубку луч яркого света, Маре смог регистрировать даже небольшие движения на поверхности ртути — и фиксировать их при помощи камеры. В 1876 г. Маре с гордостью объявил членам Парижской академии наук, что они с Липпманом смогли записать на плёнку сердцебиение лягушки и черепахи. Способность капиллярного электрометра регистрировать работу сердечной мышцы побудила других исследователей опробовать устройство на нервных импульсах. В 1888 г. два выдающихся английских учёных Фрэнсис Готч и Виктор Горслей (Хорсли) продемонстрировали, что капиллярный электрометр может обнаруживать электрические изменения в периферических нервах и спинном мозге.

При помощи капиллярного электрометра Готч в 1899 г. обнаружил явление, получившее название «рефракторного периода». Он заметил, что нервные импульсы не могут следовать один за другим без паузы — между разрядами должен быть небольшой интервал времени. Несмотря на этот успех, чувствительности капиллярного электрометра явно не хватало для точного измерения величины и продолжительности нервного импульса, а также интервалов между последовательными импульсами. Искажения были связаны, в частности, с тем, что ртуть продолжала двигаться по инерции уже после прекращения действия раздражителя.

В начале XX в. у нейрофизиологов появился более чувствительный инструмент — струнный гальванометр. Это устройство было детищем Виллема Эйнтховена, заведующего кафедрой физиологии в Лейденском университете в Нидерландах. В основу прибора было положено следующее наблюдение: небольшой меняющийся ток может заставить очень тонкую проволоку («струну») вибрировать, если она находится в сильном магнитном поле. Изготовление первого струнного гальванометра заняло несколько лет и было завершено в 1901 г. Прибор весил несколько тонн, занимал целую комнату, а для электромагнита пришлось создать систему водяного охлаждения. Однако гальванометр работал достаточно точно, чтобы обеспечить потребности кардиологии того времени. Таким образом, Эйнтховен фактически стал основоположником электрокардиографии, а в 1924 г. за своё изобретение и открытия в области сердечных ритмов он был удостоен Нобелевской премии[968].

Теперь, имея перед мысленным взором картину техники, с которой приходилось работать нейрофизиологам в начале XX в., можно вернуться к деятельности Бергера. С 1910 г. он переключается на использование струнных гальванометров: сначала работает с конструкцией Эйнтховена, а затем с различными версиями гальванометра Эдельмана[969], в которых в целях повышения чувствительности прибора серебряные электроды вводились под кожу головы испытуемого[970].

6 июля 1924 г. небольшой струнный гальванометр Эдельмана показал колебания, предположительно исходящие от мозга, — так была получена первая электроэнцефалограмма[971] человека. Первые человеческие электроэнцефалограммы представляли собой записи активности мозга самого Бергера, его сына Клауса и пациентов с различными повреждениями черепа. В 1925 г. Бергер пришёл к выводу, что дефекты черепа необязательно являются преимуществом при получении записи (из-за утолщения твёрдой мозговой оболочки, послеоперационных спаек и т. д.) и что записи могут быть сделаны столь же хорошо (или даже лучше) и без повреждения кожи головы[972].

С 1926 г. Бергер начинает использовать более мощный гальванометр Сименса с двойной катушкой (обладавший огромной по тем временам чувствительностью — 130 мкВ/см), что позволяет учёному окончательно отказаться от введения электродов под кожу и перейти к использованию электродов из серебряной фольги, прикреплённых к голове при помощи резинового бандажа[973].

В первом докладе Бергера 1929 г. продемонстрированы электроэнцефалограммы людей, выполненные как при помощи игольчатых электродов, так и неинвазивным методом. Записи были сделаны на фотобумаге и имели продолжительность от одной до трёх минут.


Рис. 78. Пример электроэнцефалограммы из доклада Бергера

Между 1926 и 1929 гг. Бергер получил хорошие записи альфа-волн[974]. Ранние данные часто были несовершенными, и в 1928 г. Бергер всё ещё сомневался в достоверности своих наблюдений. Первый отчёт 1929 г. показывает существование альфа-ритма и реакцию альфа-блокировки, а также описание меньших бета-волн. В отчёте Бергер указывает на недостатки работ предшественников и демонстрирует исключительную скрупулёзность в деле отсеивания посторонних источников сигнала[975], [976].

Более поздние отчёты Бергера, выходившие в 1930-е гг., содержали настоящие жемчужины: исследования флуктуаций сознания, первые электроэнцефалограммы, выполненные во время сна, исследование влияния гипоксии (кислородного голодания) на мозг человека, исследование различных мозговых расстройств и даже догадки о наличии пароксизмальных разрядов[977] при эпилептических приступах.

В конце 1930-х гг. у Бергера развивается серьёзная депрессия, которая приводит к самоубийству учёного 1 июня 1941 г. По мнению некоторых биографов Бергера, одной из причин этого — помимо затяжного заболевания, похожего по симптомам на грипп, — могло стать соперничество с группой учёных из Института исследований мозга в Берлине, которой руководил Алоис Корнмюллер. У последнего предположительно были связи в правительственных учреждениях в Берлине, и тревожный и мнительный Бергер боялся, что его открытия будут отобраны более агрессивными коллегами. Другие исследователи часто приводят в качестве главного источника депрессии Бергера его неважные отношения с нацистским режимом, указывая, например, в качестве довода перевод его на должность заслуженного профессора [Professor Emeritus] в 1938 г.[978] Однако последние исследования говорят о том, что отношения Бергера с нацистами, возможно, не были столь уж плохими[979], [980].

В своей книге «Душа» (Psyche), написанной за год до смерти, Бергер вновь обращается к проблеме экстрасенсорного восприятия, оценивая способность электроволновой модели объяснить этот феномен и приходя к неизбежному выводу о том, что электромагнитная экстрасенсорика вряд ли возможна. Электромагнитные волны, испускаемые мозгом, слишком слабы для того, чтобы преодолевать сколь-нибудь значимое расстояние по воздуху[981]. Таким образом, результатом многолетних исследований Бергера стало крушение его первоначальных надежд. Однако он, будучи добросовестным исследователем, не стал предаваться самообману. Подобно средневековым алхимикам, получившим ценные для науки результаты в попытках достичь иллюзорной цели, Бергер обогатил современную науку и медицину ценными знаниями и инструментами.

4.2.3 Первые математические модели нейрона — Хорвег, Вейс и Лапик

Итак, первые шаги в изучении электрической активности нервной системы были сделаны. Однако для того, чтобы приблизиться к возможности создания устройства, симулирующего работу мозга, нужно было идти дальше. И важной задачей, стоявшей перед исследователями, было изучение физических характеристик отдельных строительных кирпичиков мозга — нейронов и их отростков — аксонов и дендритов. Нервные волокна, пронизывающие тело человека и других животных, как раз и есть не что иное, как длинные отростки нейронов, покрытые глиальными оболочками.

Нейроглия, или просто глия (от др.-греч. γλία — клей), — это совокупность вспомогательных клеток нервной ткани, составляющих около 40% объёма центральной нервной системы. Глия состоит из различных типов клеток, выполняющих различные функции. Например, олигодендроциты формируют оболочки, окружающие тела нейронов, и выполняют изолирующую и опорную функции. Эти оболочки и называют глиальными.

Ещё со времён Гальвани было известно, что нервы возбуждаются под воздействием электричества. Но каковы должны быть параметры этого воздействия? Как успех стимуляции нерва зависит от силы и продолжительности импульса электрического тока и какие биофизические процессы лежат в основе этой зависимости?

В 1840-е гг. этими вопросами задался отец-основатель электрофизиологии Эмиль Дюбуа-Реймон. Отталкиваясь от результатов экспериментов, он пришёл к выводу, что электрический ток оказывает возбуждающее действие на нерв или мышцу только при изменении его силы. Согласно теории Дюбуа-Реймона, постоянный ток способен возбуждать нерв только в начале и в конце своего импульса, а не в средней части импульса, когда сила тока не меняется. Если это так, то пороговая сила (т. е. минимальная сила тока, достаточная для возбуждения нерва) должна быть полностью независима от длительности импульса. Ни абсолютное значение силы тока, ни количество электричества, переносимого по нерву, не играют особой роли, важна только величина перепада в силе тока. Дюбуа-Реймон опубликовал свои выводы в работе под названием «Исследование животного электричества» (Untersuchungen über tierische Elektrizität)[982], увидевшей свет в 1848 г.

Авторитет Дюбуа-Реймона во второй половине XIX в. был столь велик, что даже в случаях, когда результаты опытов входили в явное противоречие с его теорией, получившей известность как «основной закон возбуждения», другие электрофизиологи предпочитали не подвергать её сомнению. В течение десятилетий исследователи прилагали все возможные усилия, чтобы согласовать с нею новые экспериментальные данные[983].

Например, немецкий физиолог Адольф Фик в ходе экспериментов обнаружил, что длительность импульса тока является важным фактором возбуждения. Фик писал, что при заданном уровне силы тока он должен поддерживаться в течение определённого времени, чтобы произвести эффект[984]. Он также заметил, что некоторые мышцы беспозвоночных остаются в состоянии устойчивого сокращения, пока поддерживается ток (без каких-либо изменений в его силе). Существование таких устойчивых реакций мышцы прямо противоречит фундаментальному закону Дюбуа-Реймона. Казалось бы, этих результатов было достаточно, чтобы подвергнуть общепринятую теорию пересмотру. Вместо этого Фик резюмирует: «Принципиально новая формулировка закона мышечного возбуждения пока что не рассматривается». Примерно так же поступили Иоганн Крис[985] и Эдуард Пфлюгер[986].

Однако факты — упрямая вещь, и по мере накопления экспериментальных данных становилось всё труднее и труднее мириться с их несоответствием теории. Первым, кто открыто бросил вызов общепризнанной доктрине, стал учёный из Утрехта Ян Хорвег[987].

В своих многочисленных опытах Хорвег использовал для стимуляции нервов разряды лабораторных электрических конденсаторов Гефа с переключаемой ёмкостью от 1 до 1000 нФ. Эксперименты проводились на теле человека. В статье не указывается, на какую именно часть тела накладывались электроды, но, по всей видимости, это была рука. Для зарядки конденсаторов применялась батарея, содержавшая сорок элементов Лекланше[988] напряжением 1,5 В, что позволяло получить напряжение от 1,5 до 60 В[989].

Обобщив экспериментальные данные, учёный пришёл к выводу, что пороговое напряжение, необходимое для стимуляции нерва (успех стимуляции определялся по минимальному подёргиванию мышцы), описывается следующей эмпирической зависимостью:

V = aR + b/C,

где R — сопротивление электрической цепи, C — ёмкость конденсатора, а a и b — некоторые константы.

Следовательно, напряжение, необходимое для стимуляции нерва, возрастает по мере уменьшения ёмкости. Заряд, необходимый для стимуляции, q = V × C, уменьшается с уменьшением C до конечного предельного значения b. Напротив, электрическая энергия ½ CV ² достигает минимума при некоторой определённой величине ёмкости. Хорвег сделал следующий вывод: «Возбуждение нерва не является следствием изменения силы тока di/dt…; процесс возбуждения является только функцией силы тока i(t)». Это заявление, по всей видимости, стало первой решительной критикой закона Дюбуа-Реймона.

В 1892 г. Хорвег опубликовал статью[990] со своими смелыми выводами в журнале Pflügers Archiv für die gesamte Physiologie des Menschen und der Tiere (Архив Пфлюгера общей физиологии человека и животных).

Интересно, что подавляющее большинство физиологов во времена Хорвега не осознавало, что такое же по сути соотношение между ёмкостью и порогом возбуждения получил Алессандро Вольта ещё в 1803 г. Вольта ориентировался на ощущение покалывания, вызываемое электрическим током в его собственном пальце[991].

Необходимость радикального пересмотра общепринятых взглядов напугала научное сообщество, и многие известные учёные, такие, например, как Эдуард Пфлюгер, поспешили с порога отвергнуть[992] идею Хорвега, не слишком утруждая себя доказательствами. Прошло целых девять лет, пока в 1901 г. Жорж Вейс не установил[993] связь между электрическим зарядом, используемым для стимуляции, и её продолжительностью, продемонстрировав, что измерения Хорвега были правильными[994].

На основе экспериментальных данных Вейс предложил простую эмпирическую формулу, связывающую необходимые для стимуляции силу тока и продолжительность импульса:

i = a/t + b,

где i — сила тока, t — продолжительность импульса, a и b — некоторые константы[995].

В 1909 г. Луи Лапик переформулировал[996] результаты в знаменитую кривую силы — времени, носящую сегодня наименование кривой Хорвега — Вейса — Лапика и являющуюся одним из фундаментальных принципов нейронной стимуляции[997].


Рис. 79. Кривая Хорвега — Вейса — Лапика
(зависимость между силой тока и временем его действия)

Исследования и жизнь Лапика заслуживают подробного обзора.

Он родился в городе Эпинале в 1866 г. Его отец был ветеринарным врачом и поощрял страсть сына к естествознанию. После окончания местного колледжа юноша поступил на факультет естественных наук Парижского университета, который окончил в 1886 г., а затем продолжил обучение на медицинском факультете. То, что Лапик проявлял активный интерес к физике и химии, в те дни было весьма необычно для медицинских кругов. Поэтому знаменитый врач Жермен Се поручил ему организовать небольшую химическую лабораторию в больнице «Божий приют» [Hôtel Dieu, Отель-Дьё], где Лапик занялся исследованием циркуляции железа в организме позвоночных. Результаты исследований были представлены в диссертации на соискание степени доктора наук, успешно защищённой в 1897 г.

Экспериментальная работа молодого учёного в области химии и физиологии осуществлялась с перерывами на другие исследования. Например, как-то вдова сахарного магната мадам Лебоди, недовольная разгульным образом жизни своего сына Макса, решила отправить его в научную экспедицию на яхте «Семирамида» (Semiramis) с группой увлечённых молодых учёных, которые могли бы вдохновить сына на изменение образа жизни[998]. Несмотря на то что её сын так и не захотел[999] взойти на борт яхты, экспедиция всё же состоялась, и в путешествии 1893 г. Лапик по поручению Министерства общественного образования занимался изучением различных групп коренного населения островов Индийского океана. Спустя несколько лет он осуществил и вторую миссию в Индию от имени того же министерства в целях изучения дравидийского населения юга[1000].

Во времена печально известного дела Дрейфуса Лапик и его друзья становятся на сторону несправедливо осуждённого офицера и решительно выступают против шовинистических и антисемитских настроений в обществе[1001], [1002].

В 1899 г. Лапик стал доцентом в Сорбонне, а с 1902 г. занялся изучением физиологии нервной системы[1003].

Лабораторные исследования в области электрофизиологии начала XX в. весьма поучительны — в отсутствие сложного технического арсенала, доступного современной науке, учёные были вынуждены полагаться на собственную инженерную смекалку.

В своём первом исследовании[1004], [1005] 1907 г. Лапик представляет модель нерва, построенную на простой конденсаторной схеме, которую он сравнивает с данными, полученными при стимуляции нерва лягушки.

Поскольку отдельные нейроны было трудно выделить, Лапик стимулировал нервные волокна внеклеточно. Обычно он использовал седалищный нерв лягушки, который возбуждает мышцы ног.

В качестве стимула Лапик использовал короткий электрический импульс, который подавался через два электрода, разработанных и изготовленных специально для этой цели. В идеале в экспериментах по стимуляции можно было бы использовать импульсы тока, но подходящие источники тока создать было непросто. Вместо этого Лапик использовал источник напряжения — батарею. Регулировка напряжения осуществлялась при помощи делителя напряжения, представлявшего собой длинный провод с ползунком, похожий на современный потенциометр. Кроме того, чтобы обеспечить практически неизменную силу тока во время стимуляции, Лапик поместил в цепь последовательно с электродом мощный резистор.

Получить точные импульсы длительностью всего несколько миллисекунд тоже было непросто, изобретённый несколько ранее инструмент для этого был назван реотомом (rheotome, буквально «резак для тока»). Существовало множество оригинальных конструкций реотомов, например использующих маятники или вращающиеся диски. Лапик, вслед за Вейсом, использовал более экзотический, а именно баллистический реотом. Это устройство состояло из пистолета с капсюльным замком, пуля которого сначала разрывала первую перемычку, создавая ток в стимулирующей цепи, затем разрывала на своём пути вторую перемычку, прерывая контакт (Лапик жаловался на неприятный запах от выстрела; Вейс был лишён этого неудобства, так как использовал пневматическую винтовку, приводимую в действие баллоном с жидкой углекислотой[1006]). Изменяя расстояние между проводами, Лапик мог точно настраивать длительность импульса. Для каждого варианта его длительности учёный варьировал напряжение, чтобы определить величину, необходимую для достижения порога раздражения. Мы точно не знаем, как именно определялось достижение порога, но, по всей видимости, экспериментатор просто наблюдал, была ли стимуляция достаточной для того, чтобы заставить ногу лягушки двигаться.



Модель Лапика стала основой для будущих моделей клеточной мембраны нейрона.

Лапик начинает свою статью 1907 г. с утверждения, что нервные мембраны являются не чем иным, как поляризуемыми полупроницаемыми мембранами. Поляризуемые мембраны в первом приближении могут быть смоделированы при помощи конденсатора с утечкой. Лапик сравнивает полученные данные с предсказаниями модели, предложенной Вейсом, и показывает, что модель Вейса с постоянной (независимой от напряжения) утечкой предсказывает прямую линию на графике зависимости порога возбуждения от произведения напряжения на длительность импульса, в то время как расположение точек лучше описывается выпуклой кривой, соответствующей альтернативному уравнению, предложенному Лапиком.

Любопытно, что уравнение Лапика также не слишком точно описывает данные. Учёного это, однако, не смущает. Он пишет, что, разумеется, существует некоторая погрешность. Действительно, в этом нет ничего удивительного, учитывая, что нервный пучок стимулируется внеклеточно при помощи весьма примитивного оборудования.

Темой дальнейших исследований Лапика стала связь между параметрами мембраны и возбудимостью. В 1909 г. он вводит в оборот понятия «реобаза» и «хронаксия»: реобазой называют минимальную силу тока, вызывающую возбуждение мышечной либо нервной ткани при неограниченном времени воздействия, а хронаксией — минимальное время, требуемое для возбуждения мышечной либо нервной ткани постоянным электрическим током силой удвоенной реобазы. В формуле Вейса константа b представляет собой реобазу, а отношение a / b соответствует хронаксии. Концепция хронаксии иногда используется и в наши дни при разработке кардио- и миостимуляторов[1007].

Фактически хронаксия является выражением функциональной скорости исследуемой ткани: медленные мышцы и нервы характеризуются длинной хронаксией, а быстрые мышцы и нервы — короткой. Благодаря измерениям хронаксии удалось численно оценить эффекты разных воздействий на нервную систему (изменение температуры, приём различных лекарственных средств и т. п.), а измерение хронаксии двигательных нервов позволяет количественно оценивать развитие дегенеративных или регенеративных процессов в тканях, а также раскрыть особенности движения человеческого тела.

Работа 1907 г. привела Лапика к ряду теоретических рассуждений. Он постулировал, что активация цепочки нервных клеток зависит от последовательной электрической стимуляции каждой клетки импульсом (потенциалом действия[1008]) предыдущей.

Лапик предложил теорию нервных процессов, которая напоминала подстройку или резонанс между колебательными радиоконтурами. Теория показывала, что передача возбуждения между двумя нервными клетками происходила наилучшим образом, когда клетки имели одну и ту же хронаксию. Когда вторая клетка имела более длинную хронаксию, её возбуждение требовало многократной активации первой. В этом случае числовые значения, полученные в соответствии с моделью Лапика, являются адекватными независимо от того, производится ли стимуляция электрически или химически (например, под воздействием нейромедиатора[1009], такого как ацетилхолин)[1010].

Лапик считал хронаксию важной величиной, характеризующей физиологические свойства возбудимой ткани. Он собрал значения хронаксии, измеренные на различных тканях в разнообразных экспериментальных условиях. Лапик изучал блокирование передачи нервных импульсов при помощи яда кураре, рассматривая воздействие яда как изменение хронаксии мышцы. Теория французского учёного произвела большое впечатление на многих исследователей, которые пытались на её основе интерпретировать сложные явления в центральной нервной системе[1011].

Появление новых методов и технологий, позволяющих регистрировать реакцию нервных клеток, позволило подтвердить некоторые предсказания теории. Например, в 1913 г. Лапик и Рене Лежандр показали, что хронаксия моторных волокон, или аксонов, обратно пропорциональна их диаметру, что было продемонстрировано в катодно-лучевых осциллографических записях, полученных Эрлангером и Гассером в 1928 г.[1012]

Но даже на пике популярности измерений хронаксии появилось несколько работ, поставивших важность таковых под сомнение. Американский физиолог Хэллоуэлл Дэвис, например, указал[1013], что хронаксия мышцы, измеренная с помощью крупных электродов, намного больше, чем хронаксия, измеренная с помощью небольшого стимулирующего катода. В 1930-е гг. кембриджский физиолог Уильям Раштон показал[1014] зависимость хронаксии от расположения электродов, используемых для стимуляции[1015]. Причины этого стали понятны, когда исследователям удалось разобраться в роли, которую при передаче нервных импульсов играют оболочки нервных волокон, но об этих открытиях мы поговорим немного позже.

Стоит поговорить о незаурядной личности Лапика. Спектр физиологических проблем, интересовавших учёного, был весьма широк — физиология питания, термогенез, коэффициент цефализации, физиология морских водорослей, защита от отравляющих веществ, механизмы действия ядов. Лапик занимал престижные преподавательские должности: он был профессором общей физиологии в Музее естествознания с 1911 г. и в Сорбонне с 1919 по 1936 г.[1016] В 1911 г. Лапик участвовал в создании Французского института антропологии — научного общества, объединяющего учёных из разных областей науки для обмена знаниями по антропологии.

Луи Лапик также являлся одним из участников «научной колонии» на мысе Аркуэст в Плубаланеке, также известной под названием «Сорбонна-Пляж». С 1900 г. группа интеллектуалов — включавшая среди прочих историка Шарля Сеньобоса, физиков Жана Перрена, Пьера Оже, Марию Склодовскую-Кюри, Пьера Кюри, Ирен и Фредерика Жолио-Кюри, а также математика Эмиля Бореля — во время совместного пляжного отдыха занималась обсуждением актуальных вопросов науки и общественной жизни. Будучи страстным республиканцем, Лапик, как и многие его близкие друзья, всю жизнь боролся против милитаризма, за секуляризм и социалистические идеи.

Лапик был отличным моряком. Каждое лето он выводил двадцатитонную яхту, носившую имя «Аксон» (Axone), в сложные воды у побережья Северной Бретани. Члены его лаборатории часто также присутствовали на борту, сочетая изучение физиологии с мореплаванием.

В 1943 г. увидела свет книга Лапика «Нервная машина» (La machine nerveuse)[1017], подводящая итог многолетних исследований учёного и написанная им во время заключения в тюрьме гестапо (в октябре 1941 г. он вместе с Эмилем Борелем и двумя другими членами Французской академии наук был арестован по обвинению в ведении антинемецкой пропаганды среди студентов[1018]). Этот факт из биографии учёного — примечательное дополнение к его портрету.

В 1902 г. Лапик женился на своей университетской ученице Марселле де Эредиа. В 1903 г. Марселла защитила докторскую диссертацию, посвящённую изучению нервных импульсов. У пары не было собственных детей, и они усыновили племянника Лапика — Шарля, рано ставшего сиротой[1019]. Шарль получил образование инженера, но в 1940 г. оставил инженерную деятельность ради карьеры художника.

Лапик и его жена тесно сотрудничали в течение почти пятидесяти лет в лаборатории физиологии Сорбонны, опубликовав более восьмидесяти статей. В «Нервной машине» учёный пишет о том, что все предыдущие годы жена была равным партнёром в его исследованиях. После смерти Лапика в 1952 г. Марселла заняла место своего мужа на посту главы лаборатории[1020].


Рис. 80. Луи и Марселла Лапик в лаборатории

В рассуждениях о важности результатов работы Лапика для вычислительной нейробиологии нередко можно столкнуться[1021], [1022], [1023] с утверждением, что он является создателем и исследователем первой модели нейрона, носящей название «интегрировать-и-сработать» [integrate-and-fire]. В соответствии с этой моделью алгоритм работы нейрона можно описать следующим образом: когда на вход нейрона подаётся ток, разность потенциалов (напряжение) на мембране возрастает со временем, пока не достигает некоторого порогового значения, при котором происходит скачкообразное изменение потенциала на выходе, напряжение сбрасывается до остаточного потенциала, после чего процесс может повторяться снова и снова.

В действительности связь между возбуждением нерва и образованием нервного импульса во времена Лапика была ещё неясной, и учёный не выдвигал гипотез ни об этом, ни о том, как мембрана возвращается в исходное состояние после выдачи импульса. Это поднимает вопрос о том, кто в действительности предложил модель «интегрировать-и-сработать». Достоверного ответа на него нет. Зато можно с уверенностью сказать, что первые работы, в которых описана модель «интегрировать-и-сработать» в современном виде, относятся к 1960-м годам (хотя сходные идеи звучали и в более ранних статьях). Название для неё предложил Брюс Найт, а одним из первых исследователей стал Ричард Стейн[1024].

4.2.4 Принцип «всё или ничего» — Лукас, Эдриан, Като

Рассказав о вкладе Луи Лапика в моделирование нервной деятельности, нельзя не упомянуть работы двух других замечательных нейрофизиологов — Кита Лукаса и Эдгара Эдриана.

Лукас, сын управляющего директора британской Telegraph Construction and Maintenance Company, любил, как и его отец, работать с механическими и электрическими устройствами. Во время учёбы в кембриджском Тринити-колледже Лукас заинтересовался физиологией — эта дисциплина остро нуждалась в создании чувствительных измерительных инструментов. В 1932 г. ученик Лукаса Эдгар Эдриан, ставший к тому времени нобелевским лауреатом, заметил, что «история электрофизиологии определялась историей приборов для регистрации электрических сигналов»[1025].

Основной сферой интересов Лукаса в области физиологии стала работа мышц. Ему было интересно: почему мышца может сокращаться только частично и как нервная система управляет степенью её сокращения? На этот счёт существовало две гипотезы: или все мышечные волокна могут подвергаться частичному сокращению, или же каждое мышечное волокно может сокращаться только полностью, а при частичном сокращении всей мышцы сокращается лишь часть волокон. Лукас надеялся определить, какая из этих гипотез верна, проводя эксперименты на лягушках. Его логика была довольно проста: если верна вторая гипотеза (сокращается часть волокон), то сокращение будет состоять из конечного числа дискретных шагов, в противном случае функция сокращения будет гладкой[1026].

Эксперименты Лукаса с кожной мышцей спины (M. cutaneus trunci) лягушки свидетельствовали в пользу «дискретной гипотезы» (её обычно называют «всё или ничего» [all or nothing]), что согласовывалось с результатами более ранних опытов[1027], [1028] гарвардского исследователя Генри Боудича на сердечных мышцах. Лукас опубликовал[1029] свои первые результаты в 1905 г. Затем он продолжил опыты, стимулируя уже нервы, управляющие мышцей. Во второй статье, увидевшей свет в 1909 г., он писал: «В каждом мышечном волокне сокращение всегда максимально, независимо от силы стимула, который возбуждает нервное волокно». Последние эксперименты привели Лукаса к вопросу о физиологии нервной деятельности, а именно: можно ли быть уверенным в том, что аксоны также действуют в соответствии с принципом «всё или ничего»?[1030], [1031] Однако, чтобы дать ответ на этот вопрос, нужны были более чувствительные регистрирующие устройства. Лукас отказался от идеи использования струнного гальванометра, вместо этого он внёс ряд усовершенствований в конструкцию капиллярного электрометра Липпмана с целью повысить чувствительность прибора. С новым измерительным устройством он был готов к новой серии опытов, помощником в которых стал молодой Эдгар Эдриан.

Эдгар Эдриан родился в 1889 г. в богатой лондонской семье. Хотя изначально его привлекали греческий и латинский языки, а также авторы классической эпохи, к 1906 г. у юноши пробудился интерес к естественным наукам. Два года спустя он начал посещать занятия в кембриджском Тринити-колледже, где быстро приобрёл репутацию очень умного и чрезвычайно трудолюбивого студента. В 1911 г., получив учёную степень по физиологии, Эдриан начал работать в лаборатории Лукаса. Сначала — над экспериментом, показывающим, что стимулы, близкие друг к другу во времени, могут суммироваться. Затем Лукас попросил его попытаться определить, действует ли принцип «всё или ничего» для нервов. Хотя Лукасу и удалось усовершенствовать оборудование, но всё же в 1911 г. оно было недостаточно точным, поэтому Эдриан при поиске ответа на главный вопрос был вынужден полагаться на косвенный метод. Последний заключался в том, чтобы поместить сегмент изолированного нерва лягушки в камеру, наполненную парами алкоголя в концентрации, позволяющей ослабить нервный импульс, но не блокировать его полностью[1032]. Метод не был изобретением Лукаса и Эдриана: впервые его применил, ещё в XIX в., немецкий медик Альфред Грюнхаген[1033], а затем развил немецкий же физиолог Макс Ферворн, которому удалось показать, что величина стимуляции не влияет на способность нервного импульса преодолевать затронутую алкогольными парами зону[1034].

Эдриан предположил, что если соблюдается принцип проводимости «всё или ничего», то импульс должен быстро восстановить свою силу после того, как покинет зону воздействия алкоголя. Чтобы проверить эту гипотезу, Эдриан решил расположить на некотором расстоянии от первой затронутой алкоголем зоны вторую и измерить, насколько сильной должна быть в ней концентрация паров алкоголя, чтобы полностью блокировать импульс. Выяснилось, что концентрация паров алкоголя во второй зоне для полной остановки импульса должна быть столь же высокой, как и их концентрация в первой зоне для остановки неослабленного импульса. Эдриан также обнаружил, что вывод Лукаса в отношении мышц выполняется и применительно к нервам: если уровень раздражителя достаточен, чтобы вызвать нервный импульс, то сила данного импульса не зависит от уровня раздражителя (от едва заметного до очень сильного).

Эдриан полагал, что для продолжения исследований ему следует получить медицинское образование, и в 1914 г. он начал клиническую подготовку в лондонском госпитале Святого Варфоломея. К сожалению, Первая мировая война нанесла непоправимый удар по совместным экспериментам учёных. В 1915 г. Эдриан после получения медицинской степени стал врачом и лечил солдат с поражением нервов, контузиями и истерическим параличом. Лукас же присоединился к исследовательскому коллективу Королевского авиационного завода в Фарнборо, где использовал свои инженерные навыки для разработки новых бомбовых прицелов и авиационных компасов. Но в 1916 г. в результате нелепой случайности жизнь Лукаса прервалась — во время испытания авиационного оборудования его самолёт столкнулся с другим над равниной Солсбери.

После потери наставника Эдриан взял на себя ответственность отредактировать и опубликовать незаконченную книгу Лукаса[1035], [1036] — «Распространение нервного импульса» (Conduction of the Nervous Impulse)[1037], которая увидела свет в 1917 г. Эта работа подробно описывает эффекты, известные Лукасу и Эдриану: рефракторный период, суммирование нервных импульсов и принцип «всё или ничего». Безусловно, это были захватывающие достижения, но всё же оставалось чувство, что можно достичь гораздо большего — с помощью более чувствительных приборов.

Интересно, что человек, сумевший добиться существенного прогресса в этом направлении, в наши дни не так уж широко известен. Его звали Александр Форбс, и он происходил из богатой бостонской семьи — в «Википедии» вы легко найдёте множество статей, посвящённых его знаменитым родственникам. Мать Александра была дочерью поэта Ральфа Эмерсона, а отец — героем Гражданской войны и президентом телефонной компании Bell. Перед юным Александром было открыто множество дорог, и выбранная им привела его в Гарвард, где он занял главную позицию в футбольной команде университета. Занятия спортом подстегнули у Александра интерес к физиологии. В 1905 г. он получил степень магистра, а спустя ещё пять лет — доктора медицины. После этого Александр выбрал академическую карьеру и остался в стенах Гарварда уже в роли сотрудника факультета физиологии.

Большое впечатление на Форбса оказали исследования Чарльза Шеррингтона, занимавшегося исследованием синаптических связей. Именно Шеррингтон в 1897 г. ввёл в оборот и сам термин «синапс», предложенный специалистом по Античности Артуром Верралом[1038].

Для того чтобы лучше изучить работу учёного, Форбс попросил отпуск и вместе с женой отправился на корабле в Великобританию.

Во время поездки он познакомился с работой физиологических лабораторий Кембриджа. Возвратиться в США Александр поначалу предполагал на жемчужине роскошных лайнеров — только что спущенном на воду «Титанике». Однако общение с Лукасом и Эдрианом так увлекло Форбса, что он отменил первоначальное бронирование билетов для себя и своей жены ради того, чтобы провести вместе со своими новыми знакомыми несколько экспериментов. Кто знает, какой была бы история нейрофизиологии, если бы Форбс всё-таки отправился в этот злополучный рейс?

Прибыв домой на другом известном корабле, «Лузитания», Форбс заполнил свою лабораторию оборудованием, подобным тому, которое использовали Лукас и Эдриан. Среди прочего он обзавёлся улучшенным капиллярным электрометром вдобавок к струнному гальванометру Эйнтховена, который уже был на его факультете. Используя знания, полученные у Шеррингтона, Лукаса и Эдриана, Форбс начал с изучения рефлексов у кошек.

Когда разразилась Первая мировая война, он поступил на службу во флот — его и раньше привлекало море, к тому же у Форбса была собственная яхта, на которой он регулярно плавал. На флоте он применил свои инженерные познания для работы с электрической техникой. Именно здесь он впервые столкнулся с электронными лампами (тогда их называли «аудионами»), позволявшими усиливать радиосигналы с минимумом искажений. После окончания войны Форбс использовал эти лампы, чтобы сконструировать новый усилитель для физиологических исследований. В 1919 г., когда он подключил свой термоэмиссионный усилитель к цепи, включавшей нерв и струнный гальванометр Эйнтховена, он обнаружил, что может усилить едва уловимый нервный импульс в целых пятьдесят раз. В течение нескольких следующих лет Форбс подробно описал свой усилитель и провёл с его помощью несколько исследований. Большая часть из них подтвердила результаты других исследователей. Хотя сам Форбс и не сделал каких-либо прорывных открытий в области физиологии, но он смог совершить в этой области настоящую технологическую революцию, важность которой была немедленно признана другими нейрофизиологами.

Эстафету у Форбса приняли «аксонологи» [axonologists] (как называл их Форбс) Герберт Гассер и Джозеф Эрлангер из Университета Вашингтона в Сент-Луисе (Washington University in St. Louis, WUSTL). Гассер вместе с талантливым конструктором Гарри Ньюкомером сконструировал многокаскадный усилитель. Это устройство позволяло передавать выходной сигнал одного лампового усилителя на вход следующего усилителя, что сделало возможным ещё большее усиление слабого входного сигнала. Строго говоря, Гассера, Эрлангера и Ньюкомера нельзя считать прямыми «наследниками» Форбса, поскольку собственные эксперименты по усилению нервных импульсов при помощи электронных ламп они начали ещё до вступления США в Первую мировую войну, однако Форбсу удалось первым опубликовать свои результаты[1039], [1040].

Ещё одним важным шагом вперёд стало появление чувствительного катодного осциллографа, созданного инженерами компании Western Electric. Хотя инженеры компании и оказывали некоторую помощь учёным в работе над многокаскадным усилителем, Western Electric отказалась продать исследователям экспериментальную катодную лампу, лежащую в основе устройства, поэтому Гассеру и его коллегам пришлось самостоятельно смастерить её аналог в своей лаборатории. Подключив осциллограф к усилителю, Гассер и Эрлангер впервые в истории смогли получить временну́ю развёртку отдельных нервных импульсов.

Этот технологический прорыв принёс учёным удивительное открытие: оказалось, что то, что прежде считалось отдельным потенциалом действия, на деле представляло собой совокупность импульсов от различных типов аксонов, сплетённых вместе в единое нервное волокно. Исследования различных нервов показали, что нервные импульсы быстрее распространяются вдоль толстых аксонов, чем вдоль тонких. Это стало блестящим подтверждением гипотезы, предложенной в 1907 г. шведским физиологом Густавом Гётлином. В конце 1920-х гг. Эрлангеру и Гассеру удалось показать, что слабо концентрированный раствор местного анестетика, обеспечивающий эффективную блокаду тонких нервных волокон, неспособен блокировать распространение нервного импульса в толстых волокнах[1041], [1042]. Интересно, что в исследованиях Лукаса и Эдриана эффективность блокады нервного импульса парами алкоголя зависела от протяжённости участка блокады, что на первый взгляд выглядело весьма логично. Однако, когда этот результат попыталась произвести группа японских исследователей во главе с Гэнъити Като, выяснилось, что результаты экспериментов не согласуются с наблюдениями Эдриана.

Като не смог подтвердить зависимость времени достижения полной блокады нервной проводимости от длины участка нерва, подвергающегося обработке парами алкоголя. Эксперимент Эдриана был повторён с большой точностью с использованием различных анестетиков (алкоголя, хлороформа, уретана, хлоралгидрата, кокаина): время достижения блокады (определяемое путём регистрации сокращений мышц или измерением амплитуды электрического сигнала на участках нерва, расположенных после затронутой алкоголем зоны) было одинаковым вне зависимости от протяжённости данной зоны. Като предположил, что ошибка в опытах Эдриана была связана с тем, что при малой длине затронутого парами алкоголя участка не удавалось добиться той же концентрации паров, как в случае более длинного участка[1043]. Этот результат вызвал нешуточную полемику в среде нейрофизиологов. Выводы Лукаса и Эдриана активно поддерживал немецкий физиолог Макс Ферворн, авторитет которого был чрезвычайно высок. Именно с его именем ассоциировалась в первую очередь «теория убывания» [decrement theory], в основе которой лежало предположение о том, что сила нервного импульса убывает постепенно по мере прохождения участка блокады. Като же стал основателем альтернативной парадигмы, получившей название «теория неубывания» [decrementless theory]. Драматизма этой полемике добавила позиция учителя Като — Хидэцурумару Исикавы, который был учеником Ферворна. Като впервые представил свои результаты на собрании Японского физиологического общества, состоявшемся в Фукуоке в апреле 1923 г. Вот как сам Като описывает реакцию учителя на свой доклад:

Когда я уже собирался ликуя сойти с трибуны после прочтения своей статьи, он, покраснев от ярости, встал и сказал мне, что «подвергать критике профессора Ферворна так, как это сделано в таком незрелом исследовании, как ваше, — акт высокомерия. Верите ли вы, что такие обширные экспериментальные результаты, как у профессора Ферворна и доктора Лукаса, можно объяснить при помощи такой дрянной идеи, как теория неубывания? Дайте мне два часа, и я разнесу теорию Кейо (университета, где работал Като. — С. М.) на куски! Что скажете?» Гром среди ясного неба! Он был искренним последователем этих двух учёных. Несколько лет он учился у Ферворна. Я, побледнев, замер в углу сцены, не проронив в ответ ни слова из тех возражений, которые можно было бы представить в ответ на его яростный упрёк. Опустив глаза, я вернулся на своё место. В моей жизни не было ничего более шокирующего. Я не мог понять, почему профессор Исикава так покраснел от гнева, потому что был твёрдо уверен, что он меня похвалит. Я был достаточно глуп и не знал, что нельзя оценивать людей своей меркой.

Несмотря на столь тяжёлый удар, Като опубликовал результаты в монографии «Теория неубывающего распространения» (The Theory of Decrementless Conduction), которая была завершена в 1924 г. Он разослал работу по ведущим университетам мира и в том же году получил подтверждение своей теории в опытах Форбса, который воспроизвёл опыты Като, используя нервы кошек. Чтобы окончательно убедить научный мир в своей правоте, Като и его коллеги решили представить полученные результаты на XII Международном конгрессе по физиологии, который должен был состояться в Стокгольме в 1926 г.

Надо сказать, что воплощение в жизнь этого плана было связано с нешуточными трудностями: Като и его коллеги ставили свои опыты на японских черепахах, которые могли и не перенести предстоящее многодневное путешествие по Транссибирской магистрали. Хищные черепахи признавали только живую пищу, что создавало учёным дополнительные проблемы. Советская Россия 1920-х гг. представлялась довольно опасным местом — по словам Като, «все железные дороги и станции были заняты рабочими и крестьянами». Впрочем, советские власти снабдили Като и его коллег специальной «защитной грамотой», так что учёным удалось без ущерба здоровью добраться до Стокгольма, чего, к сожалению, нельзя было сказать о черепахах — несмотря на все принятые меры предосторожности, животные не пережили путешествия.

К счастью для Като и его коллег (и к несчастью для лягушек), замену удалось найти на месте.



Вот как описывает сам Като ход экспериментов:

Доктор Фёлих (последователь Ферворна) был весь внимание и наблюдал за происходящим широко открытыми глазами. В наркотизирующей камере были натянуты два отрезка седалищных нервов (длиной 3,0 и 1,5 см), взятые с правой и левой стороны одной и той же лягушки из Голландии. Время угасания [нервных импульсов] предполагалось измерить в присутствии зрителей. Результаты были следующими: в более длинном отрезке проводимость была полностью приостановлена ​​спустя 24 минуты и 16 секунд, а в более коротком — спустя 24 минуты и 15 секунд, и хотя в случае последнего процесс занял на секунду меньше, но время было практически одинаковым. Как отмечалось позже, моё объявление о результатах эксперимента было слишком напряжённым, точнее — мой голос срывался на фальцет под влиянием переполняющего меня восторга. Меня не так сильно волновал второй эксперимент, потому что провал в нём был значительно менее вероятен. Как и ожидалось, два импульса, сильный и слабый, исчезли одновременно. Но оставался ещё третий эксперимент — по разрезанию. К этому моменту я в целом успокоился. По истечении времени угасания [нервных импульсов] в наркотизированной области в неё были даны два электрических стимула, сильный и слабый. Слабый стимул не вызывал мышечных сокращений, в отличие от сильного. До этого момента всё было так, как утверждал Ферворн. Сразу после этого наркотизированная область должна была быть разрезана в том месте, куда подавался электрический стимул. Это должно было показать, что сильный электрический стимул вызывает сокращение мышцы, в то время как разрез (механическое раздражение) не вызывает его. Когда доктор Утимура сразу после электрической стимуляции собрался выполнять разрез, из глубины зала раздался голос: «Отсюда не видно состояния мышц!» Действительно, многие наблюдатели хотели своими глазами увидеть, будет ли сокращаться мышца или нет. Это был доктор Бёйтендейк, профессор Университета Гронингена в Голландии, бывший ближе всего к столу, который предложил объявлять остальным, будет ли движение мышцы или нет. Доктор Утимура снова взял ножницы и поднёс их к нерву, чтобы разрезать его. Его рука дрожала; это могло оказать некоторое давление на нерв и привести к сокращению мышцы. У меня не хватило смелости наблюдать сам момент разреза. Шли секунды. Неожиданно прозвучало: «Keine Zuckung!!» [Нет сокращения!!] Это был голос профессора Бёйтендейка. Следом прозвучал другой возглас: «Revolution der Physiologie!» [Революция в физиологии!], автора которого я не смог определить. Учёные один за другим поздравляли меня и жали мне руку. Профессор Кремер из Берлина и профессор Ашер из Бернского университета похлопали меня по плечу и сказали: «Демонстрационные эксперименты обычно проходят не так хорошо, как это должно быть. Но сегодня они были необычайно успешны, просто превосходны». Здесь, в Японии, где я родился, ко мне никогда не относились с таким участием, едва не вызвавшим у меня на глазах невольные слёзы[1044].

Когда в 1932 г. Эдгар Эдриан был удостоен (совместно с Чарльзом Шеррингтоном) Нобелевской премии за «открытия, касающиеся функций нейронов», в своей нобелевской речи он упомянул вклад Като в устранение первоначальных заблуждений[1045]. В 1944 г. Нобелевскую премию получили и Гассер с Эрлангером — «за открытия, имеющие отношение к высокодифференцированным функциям отдельных нервных волокон»[1046].

В то время как другие учёные развивали исследования Эдриана, сам он постепенно отошёл от изучения влияния анестетиков на распространение нервных сигналов, сосредоточившись на более общих вопросах, связанных с генерацией и распространением нервных импульсов. Например, ему впервые в истории науки удалось зарегистрировать электрическую активность отдельной клетки. Благодаря работам Эдриана мы узнали, что частотно-импульсная модуляция[1047] — это способ, при помощи которого нервные клетки могут представлять информацию в виде электрических сигналов. Более того, термин «информация» в нейрофизиологическом контексте, по-видимому, впервые был использован именно Эдрианом — в 1928 г. он применил его для обозначения сообщения, связанного с электрическими нервными импульсами сенсорных волокон[1048].

Интересно, что вклад Эдриана в развитие нейрофизиологии не ограничился его собственными исследованиями. Например, именно он привлёк внимание научной общественности к исследованиям Бергера. К 1933 г. немецкий учёный опубликовал семь из четырнадцати своих отчётов, и все они остались не замеченными коллегами и прессой. Когда Эдриан впервые познакомился с работами Бергера в 1934 г., он поначалу скептически отнёсся к этому исследованию и решил повторить эксперименты Бергера, рассчитывая, что ему удастся опровергнуть существование альфа-волн. Каково же было его изумление, когда он обнаружил эти волны в мозгах коллег по лаборатории! Эдриан использовал свой авторитет нобелевского лауреата и знаменитого электрофизиолога для популяризации работы, которая изначально не нравилась даже самому Бергеру, причём настойчиво подчёркивал вклад последнего, дав альфа-волнам альтернативное название «ритм Бергера».

Помимо привлечения внимания общественности к открытиям Бергера, Эдриан и его коллега Брайан Мэтьюз значительно усовершенствовали машину немецкого учёного, снабдив её усилителем сигнала, а также реализовав возможность записи сигнала одновременно из нескольких областей мозга. Кроме того, Мэтьюз собрал струйный осциллограф для улучшения визуализации регистрируемых сигналов. С помощью этого оборудования Эдриан и Мэтьюз подтвердили многие открытия Бергера и представили собственные данные. Например, они отметили, что альфа-ритм был особенно сильным, когда электроды располагались над затылочной долей мозга, которая, как считалось (и считается), задействована в обработке зрительных сигналов. Эдриан и Мэтьюз проанализировали зависимость данных электроэнцефалограммы в различных визуальных условиях (например, в полной темноте, при вспышках света и т. д.) и пришли к выводу, что альфа-ритм специфичен для нейронов, обрабатывающих зрительную информацию, — интерпретация, которая противоречила утверждению Бергера о том, что альфа-волны — это результат работы всего мозга в целом, связанный с умственной деятельностью. Признавая, что его собственный альфа-ритм практически неотличим от альфа-ритма водяного жука, Эдриан не решился связать его со сложным познавательным процессом[1049].

Что же касается Като, то он так и не стал лауреатом Нобелевской премии, хотя и был неоднократно номинирован на неё, в том числе и Иваном Петровичем Павловым. Как и опыты Эдриана, эксперименты Като оказали большое влияние на дальнейшее развитие нейрофизиологии. Стремясь преодолеть трудности, связанные с интерпретацией экспериментов по блокированию проводимости нервных стволов, и доказать свою «теорию неубывания», Като и его коллеги разработали в начале 1930-х метод, который позволил производить анатомическое разделение живого нервного волокна. Эта процедура послужила важным подспорьем при изучении «микрофизиологии» нервов, в частности для исследования роли перехватов Ранвье в распространении нервных импульсов в миелинизированных волокнах.

Немного о термине «миелинизированные». Дело в том, что оболочки нервных волокон позвоночных значительно различаются по своему строению, и в зависимости от этого оболочки разделяют на миелиновые (мякотные) и безмиелиновые (безмякотные), последние сходны по строению с нервными волокнами беспозвоночных. Сами же волокна, в зависимости от типа оболочки, называют миелинизированными или немиелинизированными. Те и другие состоят из отростков (аксонов) нервных клеток, но в случае миелинизированных волокон аксоны окружены электроизолирующей оболочкой. Миелиновая оболочка состоит из глиальных клеток: в периферической нервной системе это шванновские клетки, а в центральной нервной системе — олигодендроциты. Данная оболочка формируется из плоского выроста тела глиальной клетки, который многократно оборачивает аксон подобно изоленте. Цитоплазма в этом выросте практически отсутствует, поэтому миелиновая оболочка по сути представляет собой множество слоёв клеточной мембраны.

Миелинизированные нервные волокна характерны для соматического отдела нервной системы, управляющего скелетной мускулатурой, а для вегетативного отдела, регулирующего деятельность внутренних органов, характерны немиелинизированные волокна.

В покрытии миелинизированных волокон по всей их длине регулярно (через каждые 1–2 мм) расположены микроскопические разрывы миелиновой оболочки, получившие название перехватов Ранвье — в честь своего первооткрывателя, французского гистолога и анатома Луи Антуана Ранвье. По сути, перехваты Ранвье — это промежутки между двумя смежными клетками, образующими миелиновую оболочку нервного волокна. Хотя перехваты Ранвье открыты ещё в XIX в., их функция долгое время оставалась неясной.

Но, благодаря экспериментам Като по блокированию проводимости, в 1950-х гг. Исидзи Тасаки, Тайджи Такеуси, Эндрю Хаксли и Роберт Штемпфли смогли провести исследования отдельных волокон и установить сальтаторный (скачкообразный, от лат. saltare — прыгать, скакать) характер проводимости в миелинизированных нервах.

О том, какие конкретные биологические и электрохимические механизмы лежат в основе сальтаторной проводимости и нервной проводимости вообще, мы поговорим в следующем разделе.

4.2.5 Два английских джентльмена и долгопёрый прибрежный кальмар

Дальнейшее развитие идей Лапика в рамках вычислительной нейробиологии привело к появлению множества более точных и полных моделей биологического нейрона. В их числе модели «интегрировать-и-сработать с утечками» [leaky integrate-and-fire], «интегрировать-и-сработать с утечками дробного порядка» [fractional-order leaky integrate-and-fire], модель Гальвеса — Лёкербаха [Galves–Löcherbach model], «экспоненциальный вариант модели „интегрировать-и-сработать“» [exponential integrate-and-fire] и многие другие. Поскольку погружение в пучины вычислительной нейробиологии стоило бы нам нескольких сотен страниц, переполненных формулами и экспериментальными данными, мы остановимся здесь только на одном из ключевых исследований в этой области, обойти которое никак нельзя — тем более что его авторы в 1963 г. получили за него Нобелевскую премию в области физиологии и медицины. Речь, разумеется, об исследованиях сэра Алана Ходжкина, ученика Эдриана, и сэра Эндрю Хаксли. Эти два почтенных английских джентльмена навсегда останутся в истории науки благодаря тому, что любили резать кальмаров не только за ужином, но и на протяжении всего рабочего дня.

Интересно, что Эндрю Хаксли был не только братом другого знаменитого биолога, Джулиана Хаксли, одного из основателей Синтетической теории эволюции, не только братом знаменитого писателя Олдоса Хаксли (подарившего миру знаменитый роман-антиутопию «О дивный новый мир»), но и внуком Томаса Гексли, известного учёного-эволюциониста и популяризатора науки, получившего прозвище Бульдог Дарвина. Как вы уже, наверное, догадались, Гексли и Хаксли — это одна и та же фамилия, которую в разные годы по-разному записали по-русски.


Рис. 81. Долгопёрый прибрежный кальмар

Долгопёрый прибрежный кальмар (Doryteuthis pealeii), как и другие кальмары, является чрезвычайно удобным для нейрофизиологов модельным организмом благодаря наличию у него гигантских аксонов.

Гигантский аксон кальмаров — это очень большой (обычно около 0,5 мм в диаметре, но иногда достигает 1,5 мм) аксон, который контролирует часть водореактивной системы кальмара, используемой им в основном для коротких, но очень быстрых перемещений в воде. Впервые гигантский аксон описан Леонардом Уильямсом в 1909 г., однако это открытие было забыто более чем на двадцать лет, вплоть до исследований английского зоолога и нейрофизиолога Джона Янга в 1930-е гг.

Между щупальцами кальмара расположен сифон, через который вода может быстро выталкиваться за счёт сокращений мышц стенки тела животного. Это сокращение инициируется потенциалами действия в гигантском аксоне. Поскольку электрическое сопротивление обратно пропорционально площади поперечного сечения объекта, потенциалы действия распространяются быстрее в большем аксоне, чем в меньшем. Поэтому увеличение диаметра гигантского аксона поддерживалось в процессе эволюции, так как позволяло увеличить скорость мышечной реакции.

Это стало настоящим подарком для Ходжкина и Хаксли, которых интересовал ионный механизм потенциалов действия, — ведь благодаря большому диаметру аксона в его просвет можно было невозбранно установить электроды!


Рис. 82. Гигантский аксон кальмара

В итоге учёные создали модель Ходжкина — Хаксли, но для её рассмотрения надо вначале поговорить о механизмах, лежащих в основе нервной проводимости.

Мембрана (оболочка) нейрона поляризована. Это означает, что существует постоянная разность потенциалов между внутренней и наружной поверхностью клеточной мембраны. Эта разность получила название «мембранный потенциал». Мембранный потенциал нейрона в обычном состоянии («потенциал покоя») отрицателен и у млекопитающих равен примерно −70 мВ. Смещение мембранного потенциала в отрицательную сторону относительно потенциала покоя называется гиперполяризацией, а в положительную — деполяризацией. Под воздействием слабых (подпороговых) импульсов электрического тока в клетке возникает «электротонический потенциал», то есть сдвиг мембранного потенциала клетки, вызываемый действием постоянного электрического тока. Передача импульса по нервным волокнам происходит в виде волны возбуждения, в основе которой лежат электротонические потенциалы и потенциалы действия, которые распространяются вдоль нервного волокна.

В участках нервного волокна, изолированных миелиновыми оболочками, распространение электрических импульсов происходит очень быстро, скачкообразно. Почему это происходит, позволяет понять школьный курс физики. Электрический ток — это направленный поток частиц — носителей электрического заряда в проводнике. Такими частицами в случае металлов являются электроны, а в случае электролитов — ионы. Цитоплазма нейронов — это электролит, в котором функцию переноса зарядов выполняют различные типы ионов. Вообще говоря, этих типов ровно четыре: положительно заряженные ионы калия, кальция и натрия и отрицательно заряженные ионы хлора. Пока разность потенциалов на разных концах изолированного проводника отсутствует, заряженные частицы движутся хаотически, в разных направлениях. Как только возникает разность потенциалов на одном из концов проводника, частицы практически мгновенно выстраиваются в цепочку, благодаря чему тут же возникает разность потенциалов на втором конце изолированного проводника. Распространение электрического сигнала тем самым происходит со скоростью света, что куда быстрее скорости перемещения самих заряженных частиц в проводнике. Например, скорость движения электронов в металлическом проводнике составляет доли миллиметра в секунду (величина этой скорости зависит от величины разности потенциалов), а скорость распространения электрического тока — порядка 300 000 км/с.

Однако в случае, когда проводник не изолирован или изолирован плохо, скорость распространения сигнала сильно падает из-за утечек. Мембраны нейронов содержат молекулярные механизмы, отвечающие за регуляцию разности потенциалов между внутренним пространством клеток и внешней средой. Это ионные насосы (помпы) и ионные каналы.

Ионные насосы — специальные белки, которые обеспечивают активный перенос ионов из области с меньшей концентрацией в область с большей концентрацией за счёт энергии гидролиза аденозинтрифосфорной кислоты (АТФ). Именно в результате работы ионных насосов создаётся и поддерживается разность концентрации ионов по обе стороны мембраны (так называемый трансмембранный ионный градиент).

Ионные каналы — белки (или белковые комплексы), которые обеспечивают пассивный транспорт ионов из области с большей концентрацией в область с меньшей концентрацией как раз за счёт разности концентраций. Ионные каналы делятся на селективные и неселективные. Последние всегда находятся в открытом состоянии и пропускают все типы ионов (при этом их проницаемость для положительно заряженных ионов кальция значительно выше, чем для других ионов). Селективные каналы пропускают только один вид ионов — для каждого вида ионов существует свой вид каналов. При этом селективные каналы могут находиться в одном из трёх состояний: активированном, инактивированном и закрытом[1050].

Кроме того, в зависимости от способа управления, ионные каналы подразделяются на потенциал-зависимые (потенциал-управляемые), лиганд-зависимые (лиганд-управляемые), стимул-управляемые, неуправляемые, а также некоторые другие, на которых мы не будем заострять особого внимания.

Потенциал-зависимые ионные каналы открываются и закрываются в ответ на изменение мембранного потенциала. Лиганд-зависимые каналы открываются, когда вещество-нейромедиатор, связываясь с их наружными рецепторными участками в синаптической щели, меняет их конформацию (т. е. пространственное расположение атомов в молекуле). Стимул-управляемые каналы открываются ввиду действия какого-либо стимула и бывают механочувствительные, протон-активируемые, температурно-чувствительные и так далее. Что касается неуправляемых каналов, то они, как можно догадаться из их названия, постоянно находятся в открытом состоянии[1051], [1052].

Однако даже и в изолированном миелином нервном волокне электрический сигнал постепенно затухает. Поэтому, чтобы компенсировать этот эффект, и требуются упомянутые ранее перехваты Ранвье. Они выполняют роль своеобразных «трансформаторных подстанций», усиливающих сигнал до необходимого уровня. Таким образом, электрический импульс в миелинизированных волокнах перескакивает от одного перехвата к другому, чтобы получить в нём очередное подкрепление. Такой механизм хорошо объясняет экспериментальные результаты, полученные Эдрианом, Като и их коллегами.

Возможность быстрой передачи нервных сигналов по миелинизированным нервным волокнам стала важным эволюционным преимуществом позвоночных организмов, увеличив скорость их мышечной реакции на внешние раздражители и позволив им увеличиваться в размерах. В наши дни учёные продолжают изучение механизмов действия перехватов Ранвье. Например, исследуются механизмы, связанные с влиянием на их функции инфракрасного излучения[1053], [1054]. Не исключено, что дальнейшие исследования помогут ещё лучше уточнить детали устройства тонкой биохимической и биофизической «машинерии».

Теперь можно наконец и рассмотреть модель Ходжкина — Хаксли. Она представляет собой систему нелинейных дифференциальных уравнений, которая приближённо описывает электрические характеристики возбуждаемых клеток. Модель сопоставляет каждому компоненту клетки его физический аналог, рассматривая его в качестве элемента электрической цепи.


Рис. 83. Электрическая схема, соответствующая модели Ходжкина — Хаксли

Внутреннему липидному слою клеточной мембраны соответствует электроёмкость Cm. Потенциал-зависимые ионные каналы обеспечивают нелинейную электропроводность gn (где n — отдельный вид ионных каналов), зависящую от величины потенциала и времени. Эта часть системы, как было обнаружено в более поздних исследованиях, базируется на белковых молекулах, образующих потенциал-зависимые ионные каналы. Вероятность открытия канала зависит от электрического потенциала (или электрического напряжения) мембраны клетки. Как мы уже знаем, каналы мембранных пор обеспечивают пассивный переток ионов в направлении области с их меньшей концентрацией. Участок цепи, соответствующий электропроводности gL, отвечает как раз за возникающий в результате этого электрический ток, называемый «током утечки» (L от англ. leak — течь, утечка). Разность концентрации ионов, ввиду которой ионы перемещаются через мембранные каналы, показана на схеме при помощи источников напряжения с электродвижущей силой En и EL. Ионные насосы соответствуют источникам тока Ip[1055].

Модель Ходжкина — Хаксли считается одним из величайших достижений биофизики XX в. Со временем она подверглась модификациям и улучшениям. На базе экспериментальных данных в модель были добавлены новые виды ионных каналов и транспортёров. Модель была модифицирована с целью её согласования с теорией переходного состояния, что привело к созданию термодинамических моделей Ходжкина — Хаксли[1056]. Создание стохастических (т. е. связанных со случайностью, от греческого слова στοχαστικός — умеющий угадывать) моделей поведения ионных каналов привело к появлению стохастических гибридных систем, в которых детерминистические описания непрерывной динамики сочетаются со скачкообразными марковскими процессами[1057], а также модели Пуассона — Нернста — Планка (PNP) для моделирования процессов ионного обмена в каналах. Дело в том, что ионные каналы — это весьма сложные приспособления, для моделирования которых необходимо учитывать самые разные физические и химические эффекты. Здесь есть место как для электрохимии, так и для гидродинамики. Через каждый канал может проходить от миллиона до 100 млн ионов в секунду, при этом на открытие или закрытие канала уходит всего порядка миллисекунды, и оно может происходить под влиянием разных механизмов, а на активность работы канала оказывает влияние несколько модулирующих факторов[1058], [1059]. Именно поэтому модели, учитывающие все особенности работы ионных каналов, являются весьма сложными.

Учёными было разработано несколько упрощённых моделей нейронов (таких как модель Фитцхью — Нагумо[1060] или модель Ижикевича[1061]), облегчающих эффективное крупномасштабное моделирование их групп. Кроме того, современные модели обычно подразумевают наличие разветвлённой структуры аксонов и дендритов[1062].

4.2.6 Мышонок Гарольд и его увлекательная жизнь после смерти

В наши дни нейробиологи обладают весьма изощрёнными инструментами для воссоздания так называемых коннектóмов — карт связей нейронов в нервной ткани. Один из наиболее интересных проектов в этой области осуществляется учёными из лаборатории Себастьяна Сеунга в Принстонском университете, а ранее — в MIT (Massachusetts Institute of Technology, Массачусетский технологический институт). Ближайшей целью проекта является создание карты связей нейронов сетчатки мышонка по имени Гарольд. Сетчатка — это часть мозга, осуществляющая первичную обработку зрительной информации. Она была выбрана в качестве модельного объекта для обкатки технологий, необходимых для достижения долгосрочной научной цели — полного описания коннектома мозга человека.

По всей видимости, в силу того, что при жизни Гарольд был хорошим мышонком, после смерти его тельце не было отправлено в утиль (по крайней мере полностью). Мышиный мозг извлекли из черепной коробки и нарезали на тонкие слои при помощи микротома (инструмента для приготовления тонких срезов образцов). Полученные срезы пропустили через электронный микроскоп в Институте медицинских исследований Общества Макса Планка, в результате чего в 2010 г. был сформирован большой массив изображений[1063], который и использовали исследователи из MIT. Когда сотрудники лаборатории осознали, что воссоздание карты связей одного-единственного нейрона требует около пятидесяти часов рабочего времени специалиста и картирование сетчатки мыши у группы из ста учёных займёт почти двести лет, стало ясно, что необходимо принципиально иное решение. И оно было найдено. Им стало создание онлайн-игры EyeWire, в которой игроки соревнуются друг с другом в деле окраски фотографий срезов мышиного мозга.



Карта сетчатки состоит из множества частей (кубов), каждую из которых должны обработать несколько игроков. Экран игры разделён на две части, слева — трёхмерная модель нейрона, которую можно поворачивать и двигать, справа — множество наложенных друг на друга снимков последовательно идущих слоёв. Прокручивая двумерные снимки сетчатки, можно представить объёмную картину, при этом по модели вертикально движется прозрачная планка: так игра даёт понять, какой слой просматривает игрок. Чтобы «восстановить» ветки нейрона, нужно закрасить соответствующие фрагменты на фотографиях.

После завершения работы над кубом программа сравнивает решения, определяет, какое из них верное, и присуждает очки. Искать ошибки в нейронной карте приходится учёным и самим игрокам, поэтому в сообществе EyeWire создана строгая иерархия. Для каждой роли определены требования, возможности и обязанности. Продвинутые игроки делятся на «скаутов» (помечают подозрительные кубы), «жнецов» (исправляют ошибки), «модераторов» (поддерживают порядок в чате) и «менторов» (помогают игрокам).


Рис. 84. Игра EyeWire

В 2014 г., через два года после запуска EyeWire, сотрудники лаборатории сделали первое открытие и рассказали о нём в журнале Nature. Учёным удалось выяснить, как именно млекопитающие распознают движение. То, что в процессе участвует не только зрительная кора (часть коры головного мозга, отвечающая за обработку зрительного сигнала), но и сетчатка, уже было известно, но сам механизм подробно изучен не был[1064].


Рис. 85. Схема организации дирекциональной избирательности ганглиозных клеток сетчатки.

SAC — звёздчатая амакриновая клетка (ЗАК);

Bc2 — биполяры, образующие синапсы на дендрите ЗАК вблизи тела клетки;

Bc3a — биполяры, образующие синапсы на дендрите ЗАК вдали от тела клетки;

Bc5 — биполяры, образующие возбудительные синапсы на дендритах дирекционально избирательных ганглиозных клеток;

DS GC — дирекционально избирательные ганглиозные клетки, выделяющие противоположные направления движения стимулов, левая DS GC — слева направо, правая DS GC — справа налево (обозначено стрелками)


Когда свет попадает на клетки фоторецепторов, они передают сигнал биполярным клеткам[1065], затем амакриновым[1066] — и, наконец, ганглионарным[1067].

Учёные проанализировали 80 амакриновых нейронов (29 из них помогли описать игроки EyeWire) и соединённые с ними биполярные клетки. Они заметили, что разные типы биполярных клеток по-разному соединяются с амакриновыми нейронами: биполярные клетки одного типа располагаются далеко от тела (сомы) звёздчатой клетки и передают сигнал быстро, клетки другого типа располагаются близко, но сигнал передают с задержкой.

Если стимул в поле зрения удаляется от тела (сомы) звёздчатой амакриновой клетки, то первой активизируется «медленная» биполярная клетка, затем — «быстрая». Тогда, несмотря на задержку, сигналы клеток обоих типов достигают звёздчатого амакринового нейрона одновременно, он испускает сильный сигнал и передаёт его дальше ганглионарным клеткам. Если же стимул движется по направлению к соме, сигналы разных типов биполярных нейронов не «встречаются» и сигнал амакриновой клетки получается слабым[1068].

Разумеется, игра EyeWire в силу присущей ей некоторой криповатости не входит в топы рейтингов онлайн-игр, а следовательно, объём людских ресурсов, привлекаемых в рамках этого образчика гражданской науки [civil science], весьма ограничен. Однако создатели и не рассчитывали на то, что в данном проекте можно будет полагаться только на ресурсы краудсорсинга. Размеченные игроками данные были использованы для того, чтобы обучить на них соответствующие модели машинного обучения, которые затем смогут выполнять раскраску самостоятельно[1069]. Своеобразная ирония заключается в том, что в основе этих моделей лежат свёрточные нейронные сети (о них мы поговорим подробно несколько позже), созданные, в свою очередь, под влиянием научных данных, полученных в ходе изучения зрительной коры головного мозга. Так что EyeWire в некотором смысле напоминает змея уробороса, кусающего самого себя за хвост.


Рис. 86. Изображение уробороса в алхимическом трактате 1478 г.,
автор Феодор Пелеканос (греч. Θεόδωρος Πελεκάνος)

4.2.7 Коннектомика сегодня

Чего не могу воссоздать, того не понимаю.

Ричард Фейнман

EyeWire не единственный из современных проектов, посвящённых развитию технологий для создания моделей коннектомов живых существ (напоминаем, что коннектом — это карта связей нейронов в нервной ткани).

Второго апреля 2013 г. администрация Президента США дала старт амбициозной частно-государственной исследовательской программе BRAIN Initiative (Brain Research through Advancing Innovative Neurotechnologies, Исследование мозга через продвижение инновационных нейротехнологий), глобальной целью которой является достижение динамического понимания принципов работы мозга. Инициатива была разработана Управлением по научной и технологической политике (Office of Science and Technology Policy, OSTP) в рамках более широкой программы Neuroscience Initiative (Инициативы нейронауки)[1070]. Созданная под впечатлением от проекта «Геном человека» (Human Genome Project) BRAIN Initiative среди своих публичных целей заявляет помощь исследователям в деле изучения мозговых расстройств, таких как болезни Альцгеймера и Паркинсона, депрессии и травматических поражений мозга.



Первым кирпичиком в фундаменте BRAIN Initiative стала статья Павлоса (Пола) Аливизатоса из Калифорнийского университета в Беркли и его коллег, вышедшая на страницах престижного журнала Neuron под названием «Проект карты активности мозга и проблема функциональной коннектомики» (The Brain Activity Map Project and the Challenge of Functional Connectomics) за год до старта проекта. В статье были изложены экспериментальные планы для более скромного проекта, в том числе рассмотрены методы, которые могут быть использованы для построения «функционального коннектома», а также перечислены технологии, которые необходимо будет разработать в ходе проекта. Авторы указывают, что первоначальные исследования могут быть проведены на излюбленных объектах исследователей — нематодах Caenorhabditis elegans, затем на плодовых мушках Drosophila melanogaster — обладателях сравнительно простых нервных систем. На следующем этапе исследований предлагалось перейти к рыбкам Danio rerio (известных в англоязычной литературе под именем Zebrafish — рыба-зебра), мышам и (ВНЕЗАПНО!) этрусской землеройке (она же карликовая многозубка)[1071].

Кстати сказать, эта чудесная многозубка — самое маленькое по массе тела из известных науке млекопитающих (если брать в качестве критерия длину тела, то свиноносая летучая мышь оказывается всё же немного покороче), а её мозг состоит из всего примерно миллиона нейронов. Сердечко этрусской землеройки бьётся с частотой до 1511 ударов в минуту[1072]. А с какой частотой билось бы твоё сердце, %USERNAME%, если бы ты узнал, что учёные хотят нарезать твой мозг на тонкие ломтики?

От землероек можно будет перейти к приматам, в том числе — на последнем этапе — к​​ людям. Среди технологий, предлагаемых для разработки авторами статьи: наночастицы, которые могли бы использоваться в качестве датчиков, способных определять потенциалы действия в отдельных нейронах; нанозонды, которые могли бы служить в качестве электрофизиологических многоэлектродных массивов; многообещающие методы, основанные на синтетической биологии, и множество других прекрасных гитик[1073].

Интересен мультидисциплинарный состав авторов этого своеобразного манифеста. Аливизатос — химик и пионер в области развития наноматериалов, Миянг Чунь — биохимик, Джордж Чёрч — генетик, химик и молекулярный инженер, Ральф Гринспен и Рафаэль Юст — нейробиологи, Майкл Рукс — физик.

Что сделано сегодня из обозначенного в статье 2012-го? Не так уж мало.

Первый коннектом живого существа, а именно нематоды C. elegans, был построен в далёком 1986 г. группой исследователей во главе с биологом Сидни Бреннером из Кембриджа. Бреннер и его коллеги аккуратно нарезали миллиметровых червей на тонкие ломтики и сфотографировали каждый срез с помощью плёночной камеры, установленной на электронном микроскопе, а затем по полученным снимкам вручную проследили все связи между нейронами[1074]. Однако у C. elegans всего 302 нейрона и около 7600 синапсов. В 2016 г. команда учёных из Университета Дэлхаузи в Канаде повторила подвиг своих коллег для личинки морского оболочника Ciona intestinalis, центральная нервная система которого, как выяснилось, состояла из 177 нейронов и 6618 синаптических соединений[1075]. Однако надо заметить, что методы, используемые для построения коннектома, неэффективны для крупных нервных систем. Исследователи не задумывались всерьёз о том, чтобы приступить к осуществлению значительно более крупных проектов до 2004 г., когда физик Винфрид Денк и нейроанатом Хайнц Хорстманн из Института медицинских исследований Общества Макса Планка предложили новый метод, основанный на использовании автоматического микроскопа для разрезания и визуализации мозга, а также специализированного программного обеспечения для сбора и соединения результирующих изображений[1076].

В 2019 г. в журнале Nature появилась публикация доктора Скотта Эммонса и его коллег из Медицинского колледжа Альберта Эйнштейна (Albert Einstein College of Medicine) с подробным отчётом о воссоздании коннектома обоих полов (гермафродита и самца) нематоды C. elegans при помощи вышеуказанного метода[1077]. Годом раньше группа учёных под руководством Чжихао Чжэна из Принстонского университета завершила работу над сканированием мозга дрозофилы, состоящего из примерно 100 000 нейронов. Система, разработанная Чжэном и его коллегами, позволила пропустить через просвечивающий растровый электронный микроскоп более 7000 тончайших срезов мозга мушки, толщина каждого из которых составляла порядка 40 нм, а суммарный размер полученных в результате изображений составил 40 трлн пикселей[1078], [1079].

Пятого августа 2019 г. команда, в которую, помимо Чжэна, входили специалисты из исследовательской группы Connectomics компании Google, а также их коллеги из Медицинского института Говарда Хьюза (HHMI) и Кембриджского университета, опубликовала основанную на собранных годом ранее данных работу «Автоматическая реконструкция мозга дрозофилы на базе электронной микроскопии последовательных сечений с помощью закрашивающих сетей и локальной коррекции выравнивания» (Automated Reconstruction of a Serial-Section EM Drosophila Brain with Flood-Filling Networks and Local Realignment), в которой демонстрируется метод, способный с использованием нейросетевой модели автоматически воссоздавать объёмную карту связей нейронов[1080]. Запись в блоге Google AI, опубликованная за год до выхода статьи, посвящённой реконструкции мозга дрозофилы, показывает работу алгоритма на примере мозга зебровой амадины (Taeniopygia guttata)[1081], которая по-английски называется Zebra finch. Быть может, какой-то стажёр из Google перепутал Zebrafish с Zebra finch, а в эти минуты уже подкрадывается с микротомом к кубинскому щелезубу, перепутав его с карликовой многозубкой?


Рис. 87. Карликовая многозубка (лат. Suncus etruscus)

В апреле 2019 г. сотрудники Алленовского института головного мозга в Сиэтле отпраздновали преодоление последнего рубежа в проекте по картированию одного кубического миллиметра мозга мыши с его 100 000 нейронов и одним миллиардом связей между ними. Чтобы обработать образец размером с горчичное зёрнышко, микроскопы работали непрерывно в течение пяти месяцев, собрав более 100 млн изображений 25 000 срезов зрительной коры. Затем программному обеспечению, разработанному учёными института, потребовалось около трёх месяцев, чтобы объединить изображения в единый трёхмерный массив объёмом 2 петабайта (т. е. 2 млн гигабайт). Все собранные более чем за тридцать лет миссиями Landsat снимки нашей планеты занимают всего около 1,3 петабайта, что делает сканы мозга мыши практически «целым миром в песчинке», говорит нейробиолог Клэй Рэйд, обыгрывая слова английского поэта Уильяма Блейка [To see a World in a Grain of Sand].

Первого июня 2021 г. в исследовательском блоге компании Google появилось сообщение[1082], что её исследователи совместно с коллегами из Лаборатории Лихтмана (Lichtman Laboratory) в Гарвардском университете опубликовали датасет под названием H01. Этот набор данных объёмом 1,4 петабайта содержит информацию о небольшом фрагменте коры головного мозга человека. Ряд технических подробностей можно узнать из сопроводительной статьи под названием «Коннектомное исследование петамасштабного фрагмента коры мозга человека» (A connectomic study of a petascale fragment of human cerebral cortex)[1083], вышедшей днём ранее на сайте препринтов bioRxiv.

В ходе хирургической операции из височной доли коры головного мозга 45-летней пациентки, страдающей от устойчивой к медикаментам эпилепсии, был извлечён положенный в основу исследования фрагмент ткани объёмом около кубического миллиметра. При помощи микротома этот фрагмент был разделён более чем на 5000 срезов толщиной 30 нм, а затем обработан многолучевым сканирующим электронным микроскопом с разрешением 4 × 4 нм. После этого полученные данные были превращены в трёхмерную модель при помощи уже ранее знакомых нам закрашивающих сетей (Flood-Filling Networks, FFNs) и вспомогательных вычислительных моделей. Полученный датасет содержит детальные сведения о 50 000 клеток, сотнях миллионов их отростков (авторы статьи употребляют термин «нейриты» — собирательное понятие для аксонов и дендритов) и примерно 130 млн синапсов. На сегодняшний день H01 является крупнейшим размеченным набором данных, описывающим образец мозговой ткани человека.

Ознакомиться с данными можно в обычном браузере при помощи специального интерфейса, получившего название Neuroglancer (дословно: нейронаблюдатель)[1084].


Рис. 88. Трёхмерная модель мозга в Neuroglancer

Ещё одним важным результатом, полученным в последнее десятилетие, стало создание трёхмерной модели синапса в атомарном разрешении, включающей около 300 000 молекул, принадлежащих к 60 различным белкам[1085], [1086].

Хотя в ходе упомянутых исследований и достигнут несомненный прогресс, конечная цель — наноразмерный коннектом человеческого мозга — пока ещё далеко. Число нейронов в нём сопоставимо с количеством звёзд в Млечном Пути (порядка 1011). При использовании современной технологии обработки изображений потребуются десятки микроскопов, работающих круглосуточно на протяжении тысячи лет, чтобы собрать данные, необходимые для достижения конечной цели.

Удивительно, что лишь недавно удалось обнаружить некоторые новые типы клеток мозга, а также уточнить функции известных ранее клеток. Например, в 2015 г. учёные из Федеральной политехнической школы Лозанны (École Polytechnique Fédérale de Lausanne) разработали количественную модель ранее неизвестной взаимосвязи между астроцитами[1087] и нейронами[1088]. А в 2023 г. учёным из Лозаннского университета (Université de Lausanne) удалось обнаружить новую разновидность специализированных астроцитов, участвующих в переносе одного из нейромедиаторов — глутаминовой кислоты (глутамата)[1089]. Словом, в 2020-е гг. рубрика «Новости анатомии» всё ещё не является курьёзным анахронизмом.

Но достижения в области микроскопии, а также разработка более мощных компьютеров и алгоритмов для анализа изображений продвинули область коннектомики вперёд столь быстро, что это удивляет и самих исследователей. «Пять лет назад было слишком амбициозно думать о кубическом миллиметре», — говорил Рэйд в 2019 г. Сегодня многие исследователи считают, что полное картирование мозга мыши, объём которого составляет около 500 кубических миллиметров, станет возможным уже в этом десятилетии. «Сегодня картирование человеческого мозга на синаптическом уровне может показаться невероятным. Но если прогресс в вычислительных мощностях и в научных методах будет идти вперёд теми же темпами, ещё одно тысячекратное увеличение возможностей уже не кажется нам немыслимым»[1090].

BRAIN Initiative — не единственная масштабная программа в этой области. Созданием функциональной модели мозга крысы (с прицелом на мозг человека) заняты и учёные из проектов Blue Brain Project и Human Brain Project. Не стоит на месте и China Brain Project. Пожалуй, при взгляде со стороны сегодняшние усилия в области моделирования мозга напоминают космическую гонку середины XX в.

4.3 История первой модели искусственного нейрона: Мак-Каллок и Питтс

— Да, видите, папенька, — сказал Миша, протирая глазки, — мне всё хотелось узнать, отчего музыка в табакерке играет; вот я принялся на неё прилежно смотреть и разбирать, что в ней движется и отчего движется; думал-думал и стал уже добираться, как вдруг, смотрю, дверца в табакерке растворилась…

Одоевский В. Ф. Городок в табакерке

Но вернёмся в суровую действительность первой половины XX в. Учёные, ставившие перед собой цель создать системы для автоматизации решения интеллектуальных задач, не могли ждать появления биологически достоверных моделей мозга. Только сегодня мы располагаем достаточными знаниями и вычислительными мощностями для того, чтобы попытаться на клеточном уровне симулировать работу нервной системы сравнительно простых живых организмов, таких как, например, нематоды C. elegans (в проектах OpenWorm[1091] и Worminator[1092]) или головастика[1093], [1094]. Если бы пионеры авиации ждали появления биологически достоверных моделей птиц, самолёты и сегодня оставались бы лишь мечтой.

Поиск разумного компромисса между биологической достоверностью моделей и их практической применимостью начался параллельно с созданием первых электронно-вычислительных машин. Истоком исследовательского направления, связанного с применением искусственных нейронных (или, как выражались сами авторы, «нервных») сетей, стала пионерская работа[1095] Уоррена Мак-Каллока и Уолтера Питтса, написанная ими в 1943 г. (эту статью под заголовком «Логическое исчисление идей, имманентных нервной деятельности» (A Logical Calculus of the Ideas Immanent in Nervous Activity), вышедшую в «Бюллетене математической биофизики» (Bulletin of Mathematical Biophysics), я буду далее по тексту называть просто «статьёй Мак-Каллока и Питтса 1943 г.»). Но, как и в случае с другими трудами, закладывающими основы того или иного направления, работа Мак-Каллока и Питтса появилась не на ровном месте, что становится ясно после знакомства со средой, в которой работали авторы. А история их жизни и творчества весьма поучительна.

4.3.1 Учёный, беспризорник и иммигрант

Уоррен Мак-Каллок родился в Оранже (штат Нью-Джерси, США) 16 ноября 1898 г., в семье Джеймса Мак-Каллока и его жены Мэри Мак-Каллок (Брэдли). Джеймс Мак-Каллок был бизнесменом, собственноручно сколотившим состояние. Он управлял крупным бизнесом, имевшим доли в железнодорожных и горнодобывающих предприятиях. Мать Уоррена была религиозной женщиной, активно участвовавшей в жизни епископальной церкви. Помимо Уоррена, в семье было ещё двое детей: младшая сестра Уоррена Маргарет и его сводный старший брат. Лето семья часто проводила на острове Нантакет у Кейп-Кода, где Уоррен учился плавать и грезил о приключенческом мире кораблей и китобойных капитанов. В 1917 г. он поступил в квакерский колледж в Хаверфорде с намерением стать священником, в соответствии с пожеланиями своей семьи, однако вскоре его привлекли философия и математика (надежды родителей в этом отношении оправдала лишь сестра Уоррена, которая посвятила жизнь религии и стала активной участницей квакерской общины и пацифисткой). Уоррен искал понимания того, кем мы являемся, причём его интересовали не религиозные воззрения, а конкретные механизмы. По его словам, «наконец, мы учимся признавать собственное невежество, избегать суждений и отказываться от объяснения ignoti per ignotium [неизвестных через ещё более неизвестное] — «бога», который показал себя в этом деле столь же бесполезным, как и всё мирское. Вместо этого мы ищем механизмы…»[1096].

Поиск механизмов работы мозга, раскрывающих суть процессов познания, в конечном итоге и стал центральной темой в работе Мак-Каллока.

Окончив колледж в Хаверфорде, Мак-Каллок посвятил себя изучению философии, психологии и «экспериментальной эстетики» в стенах Йельского университета, где в 1921 г. получил степень бакалавра искусств. Двумя годами позже, уже в Колумбийском университете, он получает степень магистра. Следующим этапом в образовании юноши становится звание доктора медицины, полученное Мак-Каллоком в 1927 г. в Колледже врачей и хирургов всё того же Колумбийского университета. После семилетней стажировки в Госпитальном центре Бельвю (Bellevue Hospital Center) в Нью-Йорке Мак-Каллок возвращается в Йельский университет, где с 1934 по 1941 г. работает в Лаборатории нейрофизиологии, а потом переходит на факультет психиатрии Иллинойсского университета в Чикаго (University of Illinois at Chicago).

У его молодого соавтора, Уолтера Питтса, судьба была более сложной — отец Питтса был простым водопроводчиком и часто избивал сына, в итоге мальчик сбегал из дома и фактически жил на улице. Однажды, спасаясь от преследования хулиганов, Уолтер спрятался в библиотеке, среди стеллажей, на которых хранились книги по математике. Там он наткнулся на книгу «Принципы математики» (Principia Mathematica) Бертрана Рассела и Альфреда Уайтхеда, которая всерьёз увлекла мальчика. Он провёл в библиотеке целую неделю, за которую внимательно изучил все три тома. Затем Уолтер написал критический отзыв на один из больших разделов первого тома и отослал его в Англию Расселу. Реакция учёного была весьма положительной: он отправил Питтсу ответ, в котором пригласил его учиться в аспирантуре в Кембридже. Здесь нужно отметить, что в ту пору Питтсу было всего 12 лет, так что, к сожалению, он не мог принять приглашение Рассела[1097]. Однако три года спустя, когда 15-летний подросток узнал, что осенью 1938 г. Рассел начинает читать лекции в Чикагском университете (University of Chicago) в качестве приглашённого профессора, он навсегда сбежал из дома и отправился в Чикаго[1098].

Рассел направил Питтса к Рудольфу Карнапу, одному из активных членов Венского кружка[1099], недавно приехавшему в Америку из Австрии и обосновавшемуся в университете. Этой же осенью, не имея ещё диплома об окончании средней школы, Уолтер стал неофициальным студентом Чикагского университета. Джером Летвин, близкий друг Питтса и будущий соавтор многих его исследований, позже вспоминал начало учёбы последнего: «Уолтер время от времени посещал занятия. У него не было денег, поэтому он не мог быть зачислен официально. Он был бездомным беспризорником и обитал в утлой комнатёнке за четыре доллара в неделю, но его быстро признали „странным вундеркиндом“ и выделили небольшую стипендию от университета».

Знакомство Питтса с Карнапом напоминало знакомство с Расселом. «Карнап только что написал книгу по логике (здесь имеется в виду книга «Логический синтаксис языка», написанная Карнапом в 1934 г. и опубликованная на английском языке в 1937 г.[1100]С. М.), и Уолтер принёс свой экземпляр с письменными аннотациями, указывающими на то, что он считал несколькими серьёзными дефектами, — сообщил Летвин, оказавшийся свидетелем произошедшего. — Он [Питтс] вошёл в кабинет Карнапа с книгой и безо всякого представления начал задавать вопросы. Карнап был в восторге». Пробыв некоторое время учеником Карнапа и освоив его сложную для понимания символьную нотацию, Питтс был заинтригован исследованиями другого выдающегося преподавателя университета — Николая Рашевского, отца-основателя математической биофизики, стремившегося перестроить биологию на базе физических наук с использованием новых передовых инструментов математической логики[1101].

Исследования Рашевского оказали огромное влияние на дальнейшие исследования нейронных сетей, причём как напрямую, так и через Питтса. Как позднее вспоминал Летвин, факультет Рашевского был единственным, который Питтс считал своим домом[1102]. Тем более удивительно, что биографические сведения о Рашевском крайне скудны, а в отечественной литературе его имя почти не упоминается. Отчасти виноват в этом сам Рашевский, который был твёрдо убеждён, что «единственное, что стоит знать о человеке науки, — это его научная работа и научные публикации». Именно поэтому архив учёного почти не содержит материалов о его личной жизни. Кроме того, непростой жизненный опыт Рашевского привёл его к убеждению в том, что «учёный должен держаться подальше от любой политики» (такую же позицию он занимал и в отношении религии)[1103]. И всё же мы позволим себе дерзость не согласиться с мнением этого великого человека и приоткроем завесу тайны, скрывающую от нас подробности его жизни.

Николай Рашевский родился в 1899 г. в Чернигове в семье сахарозаводчика Петра и Надежды Рашевских. Мать мальчика рано умерла, и отец женился повторно, при этом у мачехи Николая уже было двое детей от первого брака. Вся большая семья поселилась в просторном красивом доме Рашевских, расположенном на северной окраине Чернигова в урочище Черниговская Швейцаровка (Рашевщина)[1104], [1105]. Во втором браке Петра Рашевского родилось ещё двое детей.

Будучи ребёнком из богатой семьи, Николай получил хорошее образование. Он владел латинским, английским, немецким и французским языками, хорошо разбирался в русской литературе и благодаря безупречной памяти мог цитировать наизусть целые страницы русских и греческих классиков[1106].

С самого детства Николай был увлечён наукой и стремился к научной карьере. Весной 1915 г. он ушёл из шестого класса частной гимназии В. П. Науменко, а весной 1916 г. сдал экстерном в Черниговской гимназии экзамен на аттестат зрелости. В том же году он поступил в Императорский университет Святого Владимира в Киеве и с жаром принялся за работу в лаборатории профессора Косоногова — выдающегося физика, специалиста в области электрических и оптических явлений. После некоторых колебаний Рашевский пришёл к выводу, что среди всех областей физики его более всего интересует теория электромагнитного поля и связанные с ней вопросы. Весной 1918 г. юноша закончил свою первую научную работу — «К вопросу о фотомагнетизме», а летом следующего года представил Киевскому физико-математическому обществу работу под названием «К вопросу о дифракции рентгеновых лучей в псевдоаморфных телах», посвящённую исследованию кристаллической структуры веществ рентгеновскими лучами. В 1919 г. Рашевский параллельно с учёбой работал в Комиссии по изучению производительных сил под председательством академика Владимира Ивановича Вернадского.

Но в жизнь юноши внесла коррективы Гражданская война: осенью того же года, будучи студентом четвёртого курса, Рашевский отправился в Крым, чтобы поступить добровольцем в Белый Черноморский флот. Он получает нижний чин на миноносце «Жаркий», однако на смену первоначальному энтузиазму быстро приходит разочарование. Тоска по науке вынуждает юношу написать письмо Вернадскому (который в тот момент также был в Крыму — на позиции ректора Таврического университета) с просьбой прикомандировать его к Таврическому университету, чтобы продолжить свои исследования, пусть и в условиях скудности лабораторных средств[1107]. Вернадский, откликнувшись на просьбу Рашевского, пишет письмо барону Врангелю с просьбой прикомандировать к Таврическому университету двух талантливых студентов, находящихся на военной службе: Николая Рашевского и Отто Струве[1108], ставшего впоследствии одним из крупнейших астрофизиков XX в.

В 1920 г. Николай женится на Эмилии Золотарёвой, с которой он познакомился в киевском университете. Эмилия Ивановна также изучала физику и стала в будущем соавтором ряда совместных с мужем экспериментов в области биофизики. В одной из биографических работ, посвящённых Рашевскому, Эмилия Ивановна названа «осиротевшей княжной из Владикавказа» [an orphaned princess from Vladekavkaz][1109] (sic!), в других источниках она именуется просто «княжной с Кавказа» [princess from the Caucasus][1110], а в третьих она и вовсе «графиня Эмилия» [Countess Emily][1111]. В действительности Эмилия Ивановна была дочерью офицера со Ставрополья Ивана Васильевича Золотарёва, к концу карьеры дослужившегося до генеральского звания.

В том же 1920 г., после окончательного поражения Белой армии, Николай с женой и его родители со своей большой семьёй покидают Россию. Их первым эмигрантским пристанищем становится Константинополь, где Николай устраивается преподавателем на физическом факультете Американского колледжа Роберта (İstanbul Özel Amerikan Robert Lisesi или Robert Kolej). Однако разорённая послевоенная Турция, наводнённая русскими эмигрантами, оказалась не слишком подходящим местом для научной работы, поэтому в 1921 г. Рашевские перебираются в Прагу[1112].

В течение трёх лет Рашевский работал в Пражском университете на кафедре русистики и в Пражском политехническом институте, где читал лекции по термодинамике и теории электричества. Работы, опубликованные Рашевским в эти годы, относятся к области фотомагнетизма, дифракции рентгеновских лучей на псевдоаморфных телах, а также электродинамики и теории относительности. Большая их часть вышла на немецком языке в научном журнале Zeitschrift für Physik [Журнал о физике]. Лишь одна работа была опубликована на английском языке в престижном издании Physical Review.

Все эти годы Рашевский ищет возможности перебраться в США. На фоне Европы, разорённой войной и переживающей череду революционных потрясений, Соединённые Штаты выглядели для учёных островком стабильности и относительного благополучия. Но для того, чтобы перебраться через Атлантику, нужны были немалые средства и уверенность в том, что на новом месте удастся получить работу. Ни того ни другого у Рашевских не было.

В апреле 1924 г. Рашевскому, благодаря помощи некоторых друзей, удалось добиться внесения своего имени в лист ожидания на должность инженера-исследователя в исследовательских лабораториях Westinghouse Electric в Питтсбурге (штат Пенсильвания). Этого было достаточно для получения визы в США. Место в списке и средства на поездку удалось получить благодаря опять же помощи друзей и коллег, а также гуманитарной организации «Русский студенческий фонд» (Russian Student Fund).

Но на этом трудности, с которыми пришлось столкнуться Рашевским, не закончились. Первоначальный план эмиграции всей семьёй провалился, поскольку Рашевский не смог получить визы для жены и двух дочерей: трёхлетней Эмили и годовалой Нины. Поэтому 1 июля 1924 г. Рашевский поднялся на борт океанского лайнера в одиночку, надеясь получить визы для своей семьи уже в США. По прибытии он был подвергнут проверке со стороны административного иммиграционного комитета (Board of Special Inquiry, BSI), которую удалось пройти только благодаря связям в США.

Ожидая вестей от Westinghouse Electric, Рашевский получил приглашение прочитать курс лекций в Колледже Вашингтон-сквер Нью-Йоркского университета (Washington Square College, New York University). В это время его жена с детьми перебралась в Париж, где задержалась на несколько месяцев, пока не удалось договориться об их приезде в Соединённые Штаты[1113].

В университете Рашевский читал лекции по теории относительности и опубликовал в Scientific American статью[1114] о «четвёртом измерении». Журнал Current Opinion [Общее мнение] за 1924-й сообщает[1115], что Рашевский совместно с физиком Харольдом Шелдоном планируют попытку воспроизвести в американской лаборатории нашумевший эксперимент немецкого учёного Адольфа Мите (одного из пионеров цветной фотографии), в ходе которого Мите якобы обнаружил, что из паров ртути под воздействием ультрафиолетового излучения образуются золото и серебро. Мы не знаем, что именно произошло в ходе совместных экспериментов, но именно из-за разногласий с Шелдоном Рашевскому пришлось в декабре 1924 г. покинуть университет.

К счастью, компания Westinghouse Electric наконец-то предложила ему должность физика-исследователя, благодаря которой Рашевский получил возможность обеспечивать семью и продолжать занятия наукой. Параллельно с работой в Westinghouse Electric Рашевский читал лекции по теории относительности на физическом факультете Питтсбургского университета, а также занимался переводами научных статей с немецкого и русского языков. Тем не менее он продолжал искать постоянную позицию в академической сфере, чтобы иметь возможность уделять больше времени чистой науке и преподаванию.

Во время работы в Westinghouse Electric Рашевский занимался преимущественно проблемами промышленной физики. Большая часть работ, опубликованных им в это время, относится к изучению дисперсных систем[1116], а именно динамики коллоидных частиц. Причина, по которой Рашевский занимался коллоидными частицами, была проста — компанию интересовали свойства красителей и клеев, применяемых в промышленности[1117]. Рашевский исследовал процесс, при котором увеличение капель приводило к их нестабильности и последующему распаду на более мелкие. На одном из мероприятий он поинтересовался у биолога из Питтсбургского университета, сходен ли процесс разделения капель с процессом деления живых клеток. Каково же было его удивление, когда в ответ он услышал, что «(1) никто не знает, как делятся биологические клетки, и, более того, (2) никто не может знать, как делятся биологические клетки, потому что это биология»[1118]. Рашевский был возмущён таким заявлением и решил попытаться объяснить процесс деления клеток с помощью системы дифференциальных уравнений. По всей видимости, именно с этого и началась главная научная работа в жизни Рашевского — его смелый и, даже можно сказать, донкихотский проект по созданию математической биофизики. В 1950 г. Эндрю Хаксли, вспоминая об этом, сказал, что Рашевский «в широком диапазоне пытался создать синтез, для которого [в то время] не существовало адекватной экспериментальной основы».

В 1934 г. Рашевский меняет место в Westinghouse Electric на постоянную работу на кафедре физиологии Чикагского университета. В ту пору кафедру возглавлял известный учёный-физиолог Аякс Карлсон, с которым у Рашевского быстро возникли методологические разногласия.

Рашевский описывал свою методологию следующим образом: «Сначала изучение… чрезмерно упрощённых примеров, которые, возможно, даже не имеют аналогов в реальности», и лишь затем изучение «реалистичных» примеров. Упрощение использовалось для прогнозирования тенденций, а не вычисления точных значений. Рашевский полагал, что такая методология поможет увидеть всю сложность биологических явлений и сделать их предметом «точной науки»[1119]. Такой подход, напоминающий анекдот про «сферического коня в вакууме»[1120], не вызывал особого восторга у биологов. Профессор Джек Коуэн, будущий преемник Рашевского на посту председателя Комитета по математической биологии в Чикагском университете, рассказал в одном из своих интервью такую историю: «Аякс Карлсон, который был весьма известным физиологом, выставил его [Рашевского] через год, потому что тот не провёл ни одного эксперимента. Рассказывают, что однажды Карлсон вошёл в кабинет Рашевского, где были письменный стол, стул и Рашевский, сидящий за столом с карандашом в руке. Карлсон спросил: „Где ваш аппарат?“ [Where is your apparatus?], на что Рашевский ответил с русским акцентом: „Какой аппарат? Я математический биолог“ [What apparatus? I am a mathematical biologist]. В итоге Рашевский был выставлен вон»[1121].

К счастью, разногласия с Карлсоном не привели к увольнению Рашевского из университета, он лишь был вынужден перейти на кафедру психологии. А в 1938 г. Рашевскому удалось убедить администрацию университета создать отдельное подразделение — секцию по математической биофизике (Section of Mathematical Biophysics). В 1939 г. при активной поддержке Уоррена Уивера из фонда Рокфеллера Рашевский основал научный журнал — уже упомянутый нами «Бюллетень математической биофизики», в котором впервые была опубликована революционная работа Мак-Каллока и Питтса[1122].

Ещё в начале 1930-х гг. Рашевский опубликовал несколько работ по математической теории нервной проводимости, основанных на собственных исследованиях в области цитологии (раздел биологии, изучающий живые клетки). В 1933 г. он представил детальную теорию нервного возбуждения и торможения, основанную на понятии диффундирующих веществ и электрохимических градиентов. Рашевский начал с обзора предыдущих теорий, разбив их на две группы. Первая группа включала теории Вальтера Нернста и Арчибальда Хилла. В 1910 г. Хилл представил гипотезы, основанные на взглядах Нернста на природу нервного возбуждения, и сравнил результаты расчётов с экспериментальными данными. Эти теории, утверждал Рашевский, начинались с определённых предположений о роли ионов, их распределении и движении в электрическом поле. Хилл и Нернст предположили, что для нервного возбуждения необходима критическая концентрация ионов, и вывели формулы, позволяющие рассчитать необходимую силу тока и продолжительность электрической стимуляции. Вторая группа теорий (в неё входили теории Хорвега и Лапика), по мнению Рашевского, демонстрировала «феноменологический метод», поскольку эти теории устанавливали математические закономерности без попыток их физической интерпретации[1123].

Фактически Рашевский стал пионером в области математического моделирования биологических нейронов, и его подход заключался в попытке использовать дифференциальные уравнения для описания процессов возбуждения и торможения. Интересно, что уравнения, найденные Рашевским, были несколько позже независимо получены и Арчибальдом Хиллом. Впрочем, Рашевского и Хилла, по всей видимости, мало интересовали вопросы моделирования процесса мышления, поэтому достроить первый мостик между нейрофизиологией и логикой было суждено не им. И именно в тот момент, когда науке предстояло сделать последний решительный шаг в этом направлении, в неё и оказался вовлечён молодой Уолтер Питтс.

К 1941 г. Питтс уже поглотил значительную часть содержимого университетских библиотек и большую часть учебной программы. Юноша выглядел тихоней, но в его характере проявлялись и озорные черты. «Однажды Уолтер явился в аудиторию, в которой проходил экзамен в виде теста да/нет, — вспоминал Летвин. — Он уселся в первом ряду, подбрасывая монету и отмечая ответы, вновь подбрасывая и снова отмечая. Он получил наивысшую оценку в своей группе. Конечно, подбрасывание монеты было нужно только ради эффекта». В 1941 г. Мак-Каллок перебрался в Иллинойсский университет в Чикаго. Летвин, который в то время учился на врача, стал одним из первых, кто узнал об исследованиях мозга, проводимых в лаборатории Мак-Каллока. Познакомившись с Мак-Каллоком, Летвин вскоре представил ему Питтса.

Подобно Расселу, Карнапу и Рашевскому, Мак-Каллок мгновенно распознал гениальность Питтса и вскоре привлёк его к своему проекту по созданию логической модели мозга и нервной системы. Мак-Каллок проявлял персональное участие к молодым людям, входившим в его научный кружок. Он часто приглашал нуждающихся студентов к себе домой, где их радушно встречала семья Мак-Каллока — жена Рук и трое детей. В начале 1942 г. Питтс и Летвин перебрались в шумный дом Мак-Каллока на окраине Чикаго. Там, в ночной тиши, после того как собственные дети Мак-Каллока, которые были ненамного моложе Питтса, укладывались в постель, Мак-Каллок и Питтс занимались «взломом» логики нейронных сетей мозга. Неделями анализируя потоки сигналов по разветвлённым мозговым путям, они старались, по выражению Летвина, «понять, как мозг может функционировать так, чтобы быть механизмом, обеспечивающим существование психических процессов»[1124].

Первое, что бросалось в глаза тем, кто видел рядом Мак-Каллока и Питтса, — разительный контраст между ними. На момент их знакомства Мак-Каллоку было 42 года, он носил бороду, курил трубку, постоянно пил виски, любил поговорить о поэзии и философии, был обладателем выразительного лица, живой яркой мимики и буквально излучал уверенность. Питтс являл собой полную ему противоположность: небольшого роста, застенчивый восемнадцатилетний паренёк, чьи пухлые губы и неизменные очки на лице с высоким лбом и маленьким подбородком делали его похожим на умного утёнка.

4.3.2 «Мы знаем, как мы знаем»

Мак-Каллок объяснил Питтсу, что пытается смоделировать мозг при помощи логического исчисления Лейбница. Он черпал вдохновение в работе «Принципы математики» (Principia Mathematica), в которой Рассел и Уайтхед пытались показать, что вся математика может быть построена с нуля, на основе базовой, бесспорной логики. Их строительными блоками были высказывания — предложения, выражающие суждения, которые могли быть либо истинными, либо ложными. Авторы книги использовали базовые логические операции, такие как конъюнкция (операция «и»), дизъюнкция (операция «или») и отрицание (операция «не»), чтобы связывать высказывания во всё более усложняющиеся сети. Из базовых положений Рассел и Уайтхед выводили всё многообразие современной им математики.

Это привело Мак-Каллока к рассуждениям о нейронах. Он знал, что каждая из нервных клеток мозга порождает электрический импульс только после достижения минимального порога напряжения: для этого импульсы соседних нервных клеток, передаваемые через синапсы, должны в сумме сформировать достаточную разность потенциалов на клеточной мембране нейрона. Мак-Каллок предположил, что эти процессы могут быть описаны при помощи двоичной логики: либо нейрон срабатывает, либо нет. Он пришёл к выводу, что сигнал нейрона является аналогом высказывания, а нейроны работают как логические элементы — принимая несколько значений на вход и формируя одно на выходе. А изменяя порог срабатывания нейрона, можно тем самым смоделировать операции «и», «или» и «не».

Глотком свежего воздуха для Мак-Каллока стала статья Тьюринга, в которой была предложена идея машины, способной рассчитать любую эффективно вычислимую функцию. Мак-Каллок пришёл к выводу, что мозг является именно такой машиной, использующей для вычислений закодированную в нейронных сетях логику. Нейроны, рассуждал он, могут быть связаны между собой логическими правилами для построения более сложных цепочек рассуждений подобно тому, как в «Принципах математики» из отдельных цепочек высказываний возводится здание математики.

Питтс сразу понял замысел Мак-Каллока, более того — он точно знал, какой математический инструментарий необходим для его воплощения в жизнь.

Дом Мак-Каллока в Хинсдейле, сельском пригороде на окраине Чикаго, был шумным пристанищем местной богемы. Чикагские интеллектуалы и литераторы постоянно приходили в гости к Мак-Каллоку, чтобы обсудить поэзию, психологию и политику. Тишина наступала лишь глубокой ночью, когда гости расходились по домам, а дети ложились спать. Именно в эти редкие тихие часы Мак-Каллок и Питтс, затаившись с бокалами виски, пытались построить вычислительный мозг из отдельного нейрона.

Перед тем как Питтс включился в работу, Мак-Каллок зашёл в тупик: ничто не мешало цепочкам нейронов формировать петли таким образом, что выход последнего нейрона в цепочке попадал на вход первого. Мак-Каллок не знал, как правильно математически описать эту ситуацию. С точки зрения логики петля похожа на парадокс: вывод становится предпосылкой, а следствие — причиной. Мак-Каллок пометил каждое звено в цепочке временно́й меткой, так что если первый нейрон сработал в момент времени t, то следующий срабатывал в момент времени t + 1 и так далее. Однако если цепь нейронов делала петлю, то момент времени t + 1 внезапно наступал раньше, чем t, и логика ломалась.

Питтс знал решение этой проблемы. Он использовал модульную арифметику (арифметические операции с остатками чисел по фиксированному модулю), которую можно проиллюстрировать на примере часов: если отсчитать 13 часов от 3 часов после полудня, то получится 4 часа утра следующего дня: (3 + 13) mod 12 = 4. Питтс показал Мак-Каллоку, что парадокс момента времени t + 1, предшествующего времени t, вовсе не является парадоксом, потому что в подобных вычислениях время исключается из уравнения и понятия «до» и «после» утрачивают своё значение.

Если кто-то видит вспышку молнии на небе, то фоторецепторы в сетчатке его глаза посылают через цепочку нейронов сигнал в зрительную кору мозга. Начав с любого нейрона в цепи, можно проследить шаги сигнала и выяснить, как давно ударила молния, но только если эта цепочка не содержит петли. В таком случае информация, кодирующая разряд молнии, просто бесконечно ходит по кругу и не имеет уже никакого отношения ко времени, когда в действительности ударила молния. Она становится, как выразился Мак-Каллок, «идеей, извлечённой из времени». Иными словами, памятью.

К тому времени, когда Питтс закончил вычисления, они с Мак-Каллоком уже имели в руках механистическую модель разума, первое использование вычислений в применении к мозгу и первый аргумент в пользу того, что мозг по сути является устройством для обработки информации. Объединяя простые двоичные нейроны в цепочки и петли, Питтс и Мак-Каллок показали, что мозг может выполнять все возможные логические операции и произвести любые вычисления, доступные гипотетической машине Тьюринга. Петли (или циклы) подсказали им и способ, позволяющий мозгу выделять из информации фрагменты, формировать на их основе абстракции, сохранять, а затем таким же образом создавать новые абстракции уже на их основе. Так мозг формирует сложные и глубокие иерархии сохранённых идей в процессе, который мы называем мышлением.

Мак-Каллок и Питтс изложили свои выводы в новаторской статье «Логическое исчисление идей, присущее нервной деятельности» (A Logical Calculus of Ideas Immanent in Nervous Activity), опубликованной в «Бюллетене математической биофизики». Разумеется, их модель представляла биологический мозг в упрощённом виде, но она демонстрировала жизнеспособность предложенного подхода. «Впервые в истории науки, — заявил Мак-Каллок группе студентов-философов, — мы знаем, как мы знаем»[1125].

4.3.3 Удивительные приключения нейронных сетей в мире кибернетики: работа с Норбертом Винером

В конце 1920-х гг. семейство Мак-Каллок приобрело ранчо с фермой в Олд-Лайме (штат Коннектикут). Их первым предприятием на земле был летний лагерь для нуждающихся детей, который они называли «лагерь Аладдин»[1126]. В 1940-е гг. ферма Мак-Каллоков стала центром притяжения для интеллектуалов, учёных и академиков. Места здесь было предостаточно, чтобы гости могли переночевать у Мак-Каллоков или даже остаться на несколько дней. Одним из частых гостей фермы был Норберт Винер. Озеро, природа, поздние беседы за напитками в течение целых выходных — всё это было расслабляющим противоядием для напряжённого ума Винера. На ферме царили либеральные порядки: такие вещи, как плавание в обнажённом виде в озере, были привычными как для хозяев, так и для гостей. Винера часто видели в полуобнажённом виде с сигарой в руке на берегу озера. Такова была беззаботная атмосфера ранчо Мак-Каллока.

Жена Винера Маргарет, в отличие от жён других гостей, никогда не сопровождала Норберта во время его поездок на ранчо. Эксцентричность Мак-Каллока в сочетании с его явно либеральными взглядами были неприемлемы с позиции консервативных пуританских взглядов Маргарет, она не скрывала отвращение к Уоррену с момента их первой встречи. Резюмируя своё жизненное кредо, она писала: «Один из способов стать аристократом, если вы им не родились, — это отказаться от всех форм либерализма»[1127]. Консерватизм взглядов Маргарет был весьма радикальным — она была довольно откровенной поклонницей взглядов Адольфа Гитлера и даже заставляла дочерей читать «Мою борьбу» (Mein Kampf). «Однажды она сказала нам, что члены её семьи в Германии были сертифицированы как Judenrein (люди без еврейской примеси). Она думала, что нам будет приятно это узнать, — вспоминала позже одна из их дочерей. — Она сказала, что я не должна жалеть евреев Германии, потому что они были не очень хорошими людьми». Как-то во время рождественской вечеринки Маргарет пыталась убедить гостей, что арийская родословная простирается до самого сына Божьего: «Иисус был сыном немецкого наёмника, из числа расквартированных в Иерусалиме, и это было научно доказано». Довольно неловкая ситуация, принимая во внимание то, что её муж был евреем немецкого происхождения и, следовательно, её дочери были наполовину еврейками[1128].

Учитывая левые взгляды самого Винера, они с Маргарет были весьма странной парой. Винер женился по совету родителей, которые[1129], по всей видимости, считали, что такая женщина, как Маргарет, сможет позаботиться об их сыне, славившемся своей рассеянностью. Известный математик и историк математики Говард Ивс так вспоминал знакомство с Винером:

Впервые я столкнулся с ним в связи с собранием математиков, проходившим в ​​Йельском университете в 1955 или 1956 году. В то время я был аспирантом в Гарварде. В те дни у профессоров были машины, а у студентов — нет. Кажется, сейчас всё обстоит ровным счётом наоборот. Мы с однокурсником узнали, что Винер поедет на встречу из MIT. Тогда мы дошли до MIT, который был расположен ниже по той же улице, что и Гарвард, и спросили его, можем ли мы поехать вместе на его машине? Винер был не против, и мы встретились с ним в условленное время. Дирк Ян Стройк и Винер сидели на переднем сиденье, а мы, двое студентов, уселись сзади. Это была самая страшная поездка, потому что автомобиль петлял от одной стороны дороги к другой, поскольку Винер, жестикулируя во время беседы со Стройком, почти не держал руки на руле. Удивительно, как мы не попали в аварию. В итоге мы приехали немного раньше срока. <…> Мы зашли в маленький кафетерий, чтобы перекусить перед началом встречи. Закончив трапезу, мы подошли к вешалке, чтобы забрать свои плащи и шляпы, и, конечно, мы, студенты, с уважением отступили назад, чтобы позволить профессорам забрать свои вещи первыми. И Винер схватил мою шляпу. Он был обладателем довольно большой головы. Моя шляпа сидела на ней, как маленькая клоунская шляпка, и мы все рассмеялись. Винер, однако, ничего не заметил.

Поэтому я взял его шляпу и надел её, она опустилась мне до носа, и я посмотрел на него, подумав, что теперь-то он что-то заметит. Но Винер снова ничего не заметил, таким образом я и заполучил его шляпу для своего математического музея. Он ушёл с моей шляпой, а я пошёл домой с его. Собираясь в обратный путь, мы предпочли воспользоваться иным транспортом. Когда мы наконец возвратились в Кембридж (в повествовании про США под словом «Кембридж» имеется в виду пригород Бостона, в котором расположен Гарвардский университет и Массачусетский технологический институт. — С. М.) и включили радио следующим утром, то услышали, что автомобиль профессора Винера был украден. Он, видимо, забыл, что приехал в Нью-Хейвен на машине, и вернулся обратно на автобусе. Собираясь утром на работу, он обнаружил, что гараж пуст, поэтому сообщил полиции, что кто-то украл его машину. Поэтому я был вынужден пойти туда и сказать им, что автомобиль припаркован на Мэйн-стрит в Нью-Хейвене[1130].

Кстати говоря, другой участник этой забавной истории, Дирк Ян Стройк, также был весьма незаурядной личностью. Уроженец Нидерландов, Дирк Стройк в 23 года защитил диссертацию, а в 30 лет получил приглашение сразу от двух университетов — МГУ и MIT, сделав выбор в пользу последнего, где он затем работал вместе с Винером над проблемами дифференциальной геометрии. Стройк был стойким марксистом — вступив в Коммунистическую партию Нидерландов в 1919 г., он оставался её членом всю жизнь. На вопрос, по случаю своего 100-летнего юбилея, о том, как ему удаётся писать статьи в рецензируемые научные журналы в таком преклонном возрасте, Стройк ответил, что у него для этого есть все три «M», которые нужны мужчине: marriage (брак; жена Стройка, тоже математик, прожила почти 100 лет), mathematics (математика) и Marxism (марксизм)[1131], [1132].

Но вернёмся к Винеру и его знаменитой рассеянности. Ивс рассказывал и другие истории, дополняющие колоритный портрет основателя кибернетики. Например, однажды Винер, приехав на конференцию, оставил свою машину на парковке. Когда конференция закончилась, он обнаружил, что забыл место, где именно припарковался, и не помнил, как выглядела его машина. Поэтому он просто дождался, когда разъедутся все остальные автомобили, а затем забрал оставшуюся машину.

Когда Винер и его семья переехали в новый дом в нескольких кварталах от старого, жена снабдила его запиской, в которой содержались указания о том, как добраться до нового места. Однако когда Винер уходил с работы в конце дня, то не смог вспомнить, куда именно он подевал эту записку, и, разумеется, не мог вспомнить, где находится его новый дом. Поэтому он поехал на старое место. Увидев маленькую девочку, он спросил её: «Девочка, можешь подсказать мне, куда переехали Винеры?» «Да, папочка, — ответила та, — мама сказала, что ты, вероятно, будешь здесь, поэтому прислала меня, чтобы показать тебе дорогу домой».

Однажды, сидя в холле кампуса, Винер был погружен в изучение газеты, лежавшей перед ним на столе. Несколько раз он вставал, делал несколько шагов, а затем вновь возвращался к газете. На его лице отражалось огромное усилие мысли. Он снова поднялся от своей газеты, сделал несколько быстрых шагов и столкнулся со студентом. Студент сказал ему: «Добрый день, профессор Винер!» Винер остановился, поднял глаза и, хлопнув себя ладонью по лбу, воскликнул: «Винер! Вот это слово!» — и побежал обратно к столу, чтобы вписать слово «винер» в кроссворд, разгадкой которого он был занят[1133].

Роберт Фано, ещё один коллега Винера, профессор электротехники и информатики в MIT, рассказывал, что однажды в конце беседы в институтском коридоре Винер спросил своего собеседника, в каком направлении он шёл, и, услышав ответ, сказал: «Хорошо! Это значит, что я уже пообедал».

Несколько выпускников MIT вспоминали, что во время своих странствий по залам института Винер обычно держался одной рукой за стену. По всей видимости, он использовал этот трюк для того, чтобы быть уверенным в том, что в конце концов найдёт дорогу обратно в корпус № 2.

Несмотря на всю свою рассеянность, Винер был обладателем исключительного и универсального ума. Веб-сайт музея MIT среди прочих воспоминаний современников о Винере приводит такую историю: Джей Болл рассказал, как сидел в кембриджской кофейне с китайским другом и пригласил Винера присоединиться к их столу. Винер обратился к другу на беглом путунхуа (mandarin, официальный стандарт китайского языка), а когда оказалось, что друг говорит только на кантонском диалекте, Винер легко перешёл на него. «Мой отец свободно говорил на семнадцати языках, — сказал он, — но я глуп, поэтому могу говорить только на двенадцати»[1134].

В 1943 г. Летвин привёл Питтса в кабинет Норберта Винера в Массачусетском технологическом институте. Винер безо всяких церемоний подвёл Питтса к доске, на которой выводил математическое доказательство, взял в руку мел и продолжил работу. Питтс включился в неё: стал задавать вопросы и выдвигать собственные предложения. По словам Летвина, когда они добрались до второй доски, стало ясно, что Винер нашёл себе нового помощника. Позже Винер напишет, что Питтс «без сомнения был самым сильным молодым учёным из тех, кого я когда-либо встречал. <…> Я буду крайне удивлён, если он не окажется одним из двух или трёх самых важных учёных своего поколения, не только в Америке, но и во всём мире».

Винер был так впечатлён, что пообещал Питтсу докторскую степень по математике в Массачусетском технологическом институте, несмотря на то что он так и не окончил среднюю школу (в то время как правила Чикагского университета строго запрещали подобные вольности). Это было предложение, от которого Питтс не мог отказаться. К осени 1943 г. он переехал в кембриджскую квартиру, был зачислен в качестве специального студента в Массачусетский технологический и учился у одного из самых влиятельных учёных в мире. Воистину судьба завела его далеко от жизни работяг Детройта.

Винер хотел, чтобы Питтс сделал модель мозга более реалистичной. Дело в том, что, несмотря на прорыв, совершённый Мак-Каллоком и Питтсом, их работа не произвела сильного впечатления в среде нейрофизиологов: отчасти из-за того, что была полна сложной для понимания символьной логики, но также и потому, что столь грубая и упрощённая модель не отражала в полной мере хаотических нагромождений структуры биологического мозга. Винер, однако, понимал значение сделанного открытия и рассчитывал на то, что более реалистичная модель способна всё изменить. Но, что ещё важнее, он также понимал, что нейронные сети Питтса могут лечь в основу конструкции вычислительных машин, что возвещало эру кибернетической революции. Винер полагал, что если Питтс собирается создать реалистичную модель миллиардов взаимосвязанных нейронов мозга, то ему понадобится помощь статистики, а статистика и теория вероятностей были одними из основных областей знаний Винера. В конце концов именно Винер был тем учёным, кто дал математическое определение информации, связав её с вероятностью и энтропией.

Начав работу, Питтс быстро пришёл к выводу, что хотя наши гены и должны определять крупномасштабное строение мозга, но они никак не могут задавать каждую из триллионов синаптических связей: объём генетической информации, необходимой для этого, был бы слишком велик. Питтс предположил, что развитие человека начинается с практически случайных нейронных сетей, с большой вероятностью содержащих очень мало информации (тезис, который продолжает обсуждаться и в наши дни). Он подозревал, что в результате некоторого процесса изначально случайные пороги срабатывания нейронов со временем упорядочиваются, в результате чего происходит накопление информации.

Питтс решил смоделировать этот процесс с привлечением инструментов статистической механики. Винер взволнованно подбадривал его, понимая, что, если такая модель будет воплощена в машине, эта машина будет способна учиться.

«Теперь я понимаю семь восьмых того, что говорит Винер, что, как мне говорят, является чем-то вроде достижения», — писал Питтс в письме Мак-Каллоку в декабре 1943 г., примерно через три месяца после переезда. Его работа с Винером состояла в том, чтобы «начать первое адекватное обсуждение статистической механики, понимаемой в самом общем смысле, что включает в себя, к примеру, проблему вывода психологических или статистических законов поведения из микроскопических законов нейрофизиологии… Разве это не звучит замечательно?»[1135]

В январе 1945 г. Питтс принял участие в конференции в Принстоне, которую организовал Винер вместе с Говардом Эйкеном и фон Нейманом[1136]. Последний, познакомившись с Питтсом, был также весьма впечатлён его интеллектом. В итоге бывший беспризорник стал важнейшим участником группы кибернетиков. «Никто из нас и не помышляет о публикации статьи без его исправлений и одобрения», — писал Мак-Каллок. «[Питтс] однозначно был гением нашей группы, — говорил Летвин. — Он был абсолютно бесподобен в знании химии, физики, всего, что касалось истории, ботаники и так далее. Задавая ему вопрос, вы получали в ответ целый учебник… Для него весь мир был связан очень сложным и чудесным образом»[1137].

Традиция конференций по кибернетике, подобных той, на которой оказался Питтс, берёт своё начало из двух встреч, на которых в общих чертах были сформулированы стоящие перед кибернетикой цели. Первой такой встречей стал семинар, организованный в 1942 г. Фрэнком Фремонтом-Смитом при финансовой поддержке фонда имени Джозайи Мейси — Младшего (Josiah Macy Jr. Foundation). Семинар был посвящён проблеме церебрального торможения. Эта встреча, как и более поздние конференции по кибернетике, имела междисциплинарный характер. В качестве приглашённых лекторов на ней выступили Милтон Эриксон, рассказавший о гипнотизме, а также Говард Лидделл с докладом об условных рефлексах. Участниками семинара были: Мак-Каллок, антрополог и лингвист Грегори Бейтсон, вице-президент фонда Мейси Ларри Фрэнк, культурный антрополог Маргарет Мид, психиатр Лоуренс Кьюби и физиолог Артуро Розенблют. Примечательно, что на этом семинаре были представлены ранние версии двух основополагающих статей о кибернетике. Розенблют обрисовал в общих чертах, как работа Винера и Бигелоу над прибором управления огнём для зенитных систем помогла дать общее описание целенаправленного (телеологического) поведения как живых организмов, так и механических устройств[1138], [1139]. Второй статьёй стала работа Мак-Каллока и Питтса[1140]. Применение инструментария математики, техники и нейрофизиологии для размытия границы между людьми и машинами вызвало неподдельный интерес участников семинара. Маргарет Мид вспоминала: «Эта первая небольшая конференция была настолько захватывающей, что до конца конференции я не замечала, что сломала себе зуб»[1141].

Второй встречей, продолжающей зародившуюся традицию, как раз и стала конференция в Принстоне, на которую был приглашён Питтс.

Позже, с 1946 г., конференции по кибернетике стали регулярными, и до 1953-го их состоялось десять. Проводились они при поддержке фонда Мейси и назывались, соответственно, «конференции Мейси».

Фонд помогал организовывать конференции не только по кибернетике, но и, например, нейрофармакологические, и за 19 лет активности провёл 160 конференций, на которых в междисциплинарных группах учёные обсуждали широкий спектр проблем — от машинного обучения до LSD[1142]. Уже в нашем веке семья Мейси совершила неожиданный вклад в американскую археологию: в 2016 г. в штате Нью-Йорк строители обнаружили подлинное надгробие римского сборщика налогов, умершего в 54 г. н. э. Эту красивую мраморную плиту в конце XIX в. купила в Риме вдова Джозайи Мейси. Надгробие хранилось в особняке Мейси, сгоревшем в 1970-х гг. Разбиравшие руины рабочие не придали значения находке и закопали её вместе с прочим строительным мусором[1143]. Мак-Каллока и Питтса редко называют в числе учёных, повлиявших на развитие вычислительной техники, — в историографии акцент обычно делается на их заслугах в области создания первых искусственных нейронных сетей. Однако сфера информационных технологий на заре компьютерной эры была куда более тесной и связанной, чем сегодня, и взаимное влияние тех или иных пионерских идей и концепций не всегда просто разглядеть сквозь десятилетия стремительного прогресса.

Теперь, после небольшого отступления, можно вернуться в 1945-й.

В июне 1945 г. фон Нейман подготовил исторический документ под названием «Первый проект отчёта об EDVAC»[1144]. Он представлял собой первое в истории опубликованное описание вычислительной машины на основе двоичной логики с хранимой программой. Описанная в документе архитектура (подразумевающая хранение программы и данных в единой памяти) сегодня известна под названием «архитектура фон Неймана» («фон-неймановская») или «принстонская архитектура». Проект EDVAC был продуктом опыта работы над ENIAC, его основная цель — создание новой машины, свободной от ошибок, допущенных в предыдущем проекте. ENIAC тоже был программируемой машиной, однако процесс программирования осуществлялся при помощи перенаправления проводов и переключателей и был чрезвычайно трудоёмким. В ходе обсуждений участники команды ENIAC пришли к выводу, что конфигурацию коммутаторов и проводов, необходимую для выполнения машиной новой функции, можно закодировать внутри машины аналогично кодированию данных.

фон Нейман рассматривал электронные лампы в качестве аналогов нейронов модели Мак-Каллока и Питтса. Объединив их в сеть, можно выполнять любые вычисления. Для хранения программы и данных машине нужна память — те самые петли Питтса с циркулирующими по ним сигналами. «Элемент, который стимулирует сам себя, будет удерживать стимул бесконечно», — писал фон Нейман, пересказывая идею Питтса и привлекая к рассуждениям модульную арифметику. Его отчёт подробно описывает каждый из аспектов новой вычислительной архитектуры, а во всём документе цитируется только одна статья — та самая пионерская работа Мак-Каллока и Питтса «Логическое исчисление идей, присущее нервной деятельности»[1145].

«Первый проект отчёта об EDVAC» был революционной работой, определившей пути развития вычислительной техники на много лет вперёд. Но в то же время он стал и своеобразным яблоком раздора. Несмотря на то что «Первый проект» не предназначался для публикации, его широкое распространение считалось публикацией в юридическом смысле. Это спровоцировало конфликты между участниками проекта EDVAC: Эккертом и Мокли с одной стороны и Голдстайном и фон Нейманом — с другой. На то было две причины: во-первых, публикация привела к тому, что создатели EDVAC теряли право запатентовать свои идеи; во-вторых, ключевая идея хранимой в памяти программы была плодом дискуссий всего коллектива создателей ENIAC и EDVAC ещё до того, как фон Нейман присоединился к этим проектам, а на титульном листе документа было указано только имя фон Неймана, что создавало впечатление, что именно фон Нейман является автором всех изложенных в «Первом проекте» идей[1146].

Но вернёмся к Питтсу. К 1946 г. он жил в Бостоне с Летвиным, Оливером Селфриджем, студентом Массачусетского технологического института, который в будущем станет «отцом машинного восприятия», и Хайманом Мински, будущим известным экономистом и автором гипотезы финансовой нестабильности. Питтс преподавал математическую логику в MIT и работал с Винером над статистической механикой мозга. В следующем году на Второй кибернетической конференции Питтс объявил, что пишет докторскую диссертацию о вероятностных трёхмерных нейронных сетях. Несмотря на чрезвычайную сложность темы, все, кто знал Питтса, были уверены, что ему она по плечу.

В письме к Карнапу Мак-Каллок перечислил достижения Питтса: «Он самый всезнающий из учёных и экспертов. Он стал отличным специалистом в области химии красителей, хорошим маммологом, он разбирается в осоках, грибах и птицах Новой Англии. Он знает нейроанатомию и нейрофизиологию из первоисточников на греческом, латинском, итальянском, испанском, португальском и немецком языках, поскольку изучает любой необходимый ему язык, как только он ему понадобится. Такие вещи, как теоретические расчёты электрических цепей и практическая сборка силовых, световых и радиотехнических схем, он выполняет собственноручно. За всю свою долгую жизнь я никогда не видел такого эрудированного и в то же время на самом деле практичного человека»[1147].

4.3.4 Научная богема и экспериментальная эпистемология

Однако в жизни Питтса не всё было так безоблачно. В октябре 1946 г., прибыв в Нью-Йорк для участия в одной из конференций Мейси, он оставил чемодан с личными вещами в камере хранения Центрального вокзала. Среди прочего в чемодане находилась одна из рукописей Винера, которую тот отдал Питтсу на редактуру. В хороводе событий юноша забыл забрать чемодан, а спохватившись, передал багажную квитанцию Летвину, который в свою очередь спустя две недели передал её Селфриджу. Оливер, однако, не смог разыскать чемодан Питтса. Несколько месяцев спустя Летвин, во время своей следующей поездки в Нью-Йорк, осуществил новую попытку найти потерянный багаж и в итоге обнаружил, что чемодан как невостребованное имущество был отправлен в Чикаго[1148]. В конце концов благодаря Джорджо де Сантильяне, профессору гуманитарных наук в Массачусетском технологическом институте и другу Винера, чемодан удалось получить назад, и рукопись вернулась к Винеру в начале апреля 1947 г.

Винер был не на шутку рассержен. «Учитывая эти обстоятельства, пожалуйста, считайте меня больше не связанным с вашей будущей карьерой», — писал он Питтсу. Он жаловался Розенблюту на «полную безответственность парней» (Питтса, Летвина и Селфриджа), а Мак-Каллоку — на то, что потеря рукописи означала бы «утрату приоритета в важной работе». «Один из моих конкурентов, Шеннон из Bell Telephone Company, выпускает свою статью раньше моей», — возмущался он. Это, кстати говоря, вовсе не обязательно было паранойей: к этому моменту Шеннон анонсировал свою ещё не опубликованную работу на конференциях 1947 г. в Гарвардском и Колумбийском университетах. Винер был хорошо знаком с идеями Шеннона, поскольку в апреле 1947 г. они выступали на одной сцене, где у обоих была возможность поделиться своими мыслями[1149], [1150].

Винер был обеспокоен недостаточным прогрессом в работе Питтса над диссертацией и считал корнем проблемы разрушительное влияние на него приятелей — Летвина и Селфриджа, вместе с которыми Питтс постоянно ввязывался в различные авантюры. Одна из них касалась геологии. Питтс был уверен, что в скалах Массачусетса должны быть изумруды, и с помощью Селфриджа раздобыл динамит, чтобы устроить взрыв в предполагаемом районе месторождения. Итогом этого взрыва стала сломанная рука Питтса. Другой авантюрой был дебют Летвина и Питтса в роли начинающих голливудских сценаристов. Они написали пьесу «Шестое королевство» о не говорящем по-английски поляке, который приходит к врачу с жалобой на головную боль и в результате серии недоразумений оказывается в сумасшедшем доме. Летвин и Питтс показали пьесу поэту Уистену Одену, который написал рекомендательное письмо писателю Кристоферу Ишервуду. Однако незадолго до прибытия в Голливуд Питтс упал с горного уступа и повредил несколько позвонков. Он был прикован к постели в течение восьми недель, в то время как Летвин устроился писателем-ассистентом в студию Warner Brothers и начал работу над «Бунтарём без причины» (Rebel Without a Cause) режиссёра Николаса Рэя. Питтс и Летвин предложили поместить «Слепящую тьму» — роман Кёстлера, посвящённый политическим репрессиям, — в сеттинг гангстерского фильма и занимались разработкой этой идеи, пока совладелец студии Джек Уорнер собственноручно не прикрыл этот странный проект[1151].

Вообще Питтсу, как и Мак-Каллоку, трудно было отказать в наличии литературного таланта. Их интеллектуальная поэзия производит впечатление и сегодня.

We build our castles in the air,

And from the air they tumble down,

Unless we carry them up there

Until they crack the pate they crown.

And we must lug them everywhere,

From garden walk to crowded town;

We build our castles in the air,

And from the air they tumble down.

And lucky, if when sere and brown,

Before our eyes too lofty stare,

We scape with life and pate, though bare,

On which to plant an honest frown.

We build our castles in the air,

And from the air they tumble down.

Warren McCulloch

Мы за́мки на́ небе возводим,

И не растаять им в пыли,

Пока мы ими сумасбродим,

Пока с ума нас не свели.

Таскай их (жребий безысходен)

По разным уголкам Земли.

Мы замки на небе возводим,

И не растаять им в пыли.

И славен час, коль отцвели,

Но прежде, чем во тьму уходим,

Находим ум, что плодороден,

Где б семена идей взошли.

Мы замки на небе возводим,

И не растаять им в пыли.

Уоррен Мак-Каллок, пер. С. Маркова

On Quantity of Information

Random remarks are traced by little boys

In wet cement; synapses in the brain

Die off; renewing uplift glyphs mountain

And valley in peneplane; the mouth rounds noise

To consonants in truisms: Thus expands law

Cankering the anoetic anonymous.

“If any love magic, he is most impious:

Him I cut off, who turn his world to straw,

Making him know Me.” So speaks the nomothete

Concealed in crystals, contracting myosin,

Imprisoning man by close-packing in his own kind.

We, therefore, exalt entropy and heat,

Fist-fight for room, trade place, momentum, spin,

Successful enough if life is undesigned.

Walter Pitts

О количестве информации

Случайные наблюдения маленькие мальчики

Запечатлевают во влажном цементе; синапсы в мозге

Отмирают; повторяющийся подъём вырезает гору

И долину на пенеплене[1152]; рот выпячивает шум

Согласных звуков в трюизмах: так расширяется закон,

Изъязвляя анонимного аноэтика[1153].

«Любящий магию — самый худший из нечестивцев:

Отвергаю его, он превращает свой мир в солому,

Заставь его познать Меня». Так говорит номотет[1154],

Укрытый в кристаллах, сжимающийся миозин,

Пленяющий человека, плотно пакуя его в своём роде.

Поэтому мы превозносим энтропию и тепло,

Кулачный бой за место, торговые площади, импульс, спин,

Весьма успешно при условии, что жизнь возникла без умысла.

Уолтер Питтс, пер. С. Маркова

Перебравшись в Массачусетс, Питтс не забыл своего друга. В письме к Мак-Каллоку он писал: «Примерно раз в неделю я сильно тоскую по дому, по разговорам с тобой на протяжении всего вечера и ночи». Несмотря на успех, Питтс тосковал по дому — а дом для него означал Мак-Каллока, продуктивная работа с которым приносила радость. Мак-Каллок также чувствовал себя потерянным без своего помощника.

Внезапно тучи рассеялись. В 1952 г. Джерри Визнер, заместитель директора Исследовательской лаборатории электроники Массачусетского технологического института, пригласил Мак-Каллока возглавить новый научный проект, посвящённый изучению мозга. Мак-Каллок ухватился за эту возможность, так как это означало, что он снова будет работать с Питтсом. Он с радостью обменял профессорскую должность и большой дом в Хинсдейле на звание научного сотрудника и скромную квартиру в Кембридже (пригороде Бостона). План проекта состоял в том, чтобы использовать инструментарий теории информации, нейрофизиологии, статистической механики и вычислительной техники, чтобы понять, как мозг порождает разум. Летвин вместе с молодым нейробиологом Патриком Уоллом присоединились к Мак-Каллоку и Питтсу в их новом офисе, на двери которого была вывешена табличка с надписью: «Экспериментальная эпистемология»[1155].

4.3.5 Грустный эпилог

Беда подкралась незаметно. В 1951 г., через три года после публикации «Кибернетики» и спустя год после выхода «Кибернетика и общество» (The Human Use of Human Beings), Винер попытался опубликовать свои мемуары, но потерпел неудачу — издатели сочли, что рукопись является излишне едкой и изображает в неприглядном виде как самого Винера, так и его наставников, некоторые из которых были ещё живы.

Отказы, полученные от всех издательств, в которые обращался Винер, включая издательство его родного вуза, ещё недавно боровшееся за то, чтобы быть соиздателем «Кибернетики», крайне негативно сказались на душевном состоянии учёного. Фактически они усугубили сильную депрессию, в которую Винер погрузился, когда писал о своём не особенно счастливом детстве. Норберт находился в крайне уязвимом состоянии. Этим воспользовалась его жена Маргарет, которая давно хотела избавить мужа от влияния Мак-Каллока.

Несколькими годами ранее, когда дочь Винера Барбара начала институтское обучение в Чикаго, Мак-Каллок предложил ей временно поселиться в его доме, расположенном недалеко от места учёбы. Винер с благодарностью принял предложение друга и отправил Барбару жить к Мак-Каллокам. Уоррен и Рук чувствовали свою ответственность за 19-летнюю девушку и однажды даже попытались вразумить её, когда она начала встречаться с одним из студентов-медиков. Всё было весьма невинно, если бы не одно но — напомним, что всё это происходило в то же время, когда Мак-Каллок предоставил убежище Питтсу и Летвину. Когда Норберт находился в большой депрессии, Маргарет рассказала ему, что во время пребывания Барбары у Мак-Каллоков Питтс и Летвин якобы много раз соблазняли его дочь. Для Винера это стало шоком, и он впал в бешенство.

Ничего не подозревавшие Питтс и Летвин находились в прекрасном расположении духа. У новой лаборатории было более чем достаточно средств для серьёзных исследований, и её руководителем был Уоррен Мак-Каллок. Друзьям предстояло исследование, направленное на познание секретов человеческого разума. Питтс и Летвин с их новыми модными машинами и блестящими перспективами захватывающих исследований пребывали в состоянии восторженного веселья. В соответствии со своим настроением они написали Винеру (и Розенблюту) напыщенное письмо, язык которого должен был восприниматься как шутка. Оно началось со слов «Знайте, о благороднейшие, великодушные и могущественные лорды…». По всей видимости, Винер счёл бы это письмо забавным, если бы находился в «нормальном» психическом состоянии. «Откровения» Маргарет о чести его дочери, «запятнанной» этими «мальчиками», были выплеснуты на Норберта всего за сутки до получения письма. Ответ Винера был резким и кратким. Телеграмма, которую он послал Визнеру, гласила:

ПОЛУЧИЛ ДЕРЗКОЕ ПИСЬМО ОТ ПИТТСА И ЛЕТВИНА. ПОЖАЛУЙСТА, ПРОИНФОРМИРУЙТЕ ИХ, ЧТО ВСЯКАЯ СВЯЗЬ МЕЖДУ МНОЙ И ВАШИМИ ПРОЕКТАМИ ПРЕКРАЩЕНА НАВСЕГДА. ТЕПЕРЬ ОНИ ВАША СОБСТВЕННАЯ ПРОБЛЕМА. ВИНЕР.

Мак-Каллок пережил разрыв очень тяжело. Хотя он и старался вести себя «как обычно» в жизни и на работе, тем, кто его окружал, было ясно, что он несёт в душе тяжкий груз. Позднее Винер признался, что разрыв с коллегами и друзьями оказал разрушающее воздействие на его здоровье. Но тяжелее всего воспринял произошедшее Питтс[1156].

А затем случилась история с лягушками. В подвале строения № 20 в Массачусетском технологическом институте Летвин держал группу лягушек вместе с мусорным баком, полным сверчков. В то время биологи полагали, что глаз похож на фотопластинку, которая пассивно регистрирует пятнышки света и в виде нервных импульсов пересылает их в мозг, который производит сложную обработку полученных сигналов. Летвин решил проверить эту идею, вскрыв череп лягушки и прикрепив электроды к отдельным волокнам зрительных нервов.

Вместе с Питтсом, Мак-Каллоком и чилийским биологом и философом Умберто Матураной он проводил эксперименты со зрением лягушек — увеличивал и снижал яркость источника света, показывая лягушкам цветные фотографии их естественной среды обитания, а также управляемых магнитами искусственных мух. При этом Летвин записывал сигналы, передаваемые глазом в мозг, сопоставляя их с применёнными стимулами. Ко всеобщему удивлению, глаз не просто регистрировал то, что видел, а фильтровал и анализировал информацию о визуальных характеристиках, таких как контрастность, кривизна и движение. «Глаз говорит с мозгом на уже хорошо воспринимаемом, истолкованном и организованном языке», — сообщили авторы в ставшей затем классической статье «Что сообщает глаз лягушки мозгу лягушки», опубликованной в 1959 г.



Результаты этого эксперимента потрясли мировоззрение Питтса до основания. Ранее он считал, что мозг обрабатывает информацию при помощи цифровых нейронов и математической логики. Но оказалось, что беспорядочные аналоговые процессы в сетчатке глаза выполняли как минимум часть этой работы. «После того как мы изучили лягушку, ему стало очевидно, что даже если логика [мозга] и имела значение, она не играла столь важной роли, какой можно было бы ожидать, — говорил Летвин. — Это разочаровало его. Он никогда не признался бы в этом, но это, видимо, усиливало его отчаяние из-за потери дружбы Винера». Поток неприятных событий усугубил депрессию, с которой Питтс боролся годами. «У меня есть что-то вроде личного горя, о котором я хотел бы услышать твой совет», — писал Питтс Мак-Каллоку в одном из своих писем. «В последние два-три года я заметил растущую тенденцию к меланхоличной апатии или депрессии. [Её] эффект состоит в том, что позитивная ценность, кажется, исчезает из мира, так что кажется, что ничего не стоит усилий и что я бы ни делал или что со мной ни происходило, перестаёт иметь большое значение…»

Теперь без Винера отчаяние Питтса стало смертельным. Он начал сильно пить и всё больше отдалялся от друзей. Когда ему предложили докторскую степень, он отказался подписать документы. Питтс сжёг свою диссертацию вместе со всеми своими заметками и бумагами. Были уничтожены плоды многих лет работы — важные результаты, которые все с нетерпением ждали. Визнер предложил Летвину улучшить поддержку лаборатории, если тот сможет восстановить какие-либо фрагменты диссертации, но всё было утрачено.

Питтс остался работать в MIT, но это было едва ли чем-то большим, чем просто жестом сострадания; он почти ни с кем не разговаривал и часто исчезал. «Мы должны были следить за ним ночь за ночью, — говорил Летвин. — Ужасно было наблюдать за тем, как он себя разрушает».

В понедельник, 21 апреля 1969 г., дрожащей рукой алкоголика, путаясь в днях недели, Питтс отправил письмо из своей палаты в больнице Бет-Исраэль в палату Мак-Каллока в отделении интенсивной терапии сердца в госпитале Бригама. «Я понимаю, что у тебя был лёгкий коронарный приступ <…> что ты присоединён ко множеству датчиков, подключённых к панелям и сигналам тревоги, которые постоянно контролирует медсестра, и в силу этого ты не можешь перевернуться в постели. Без сомнения, это кибернетика. Но всё это вызывает во мне ужасную грусть». Сам Питтс провёл в больнице три недели из-за проблем с печенью и желтухи. 14 мая 1969 г. он умер в одиночестве в пансионате в Кембридже от кровотечения из варикозно расширенных вен пищевода, что было связано с циррозом печени. Четыре месяца спустя скончался и Мак-Каллок, как будто существование одного без другого было просто нелогичным. Петля, по которой циркулировал сигнал, разомкнулась[1157].

Мак-Каллок и Питтс пережили Винера на пять лет — Норберт умер в 1964 г. от сердечного приступа, случившегося с ним во время лекционного тура в Стокгольме. Летвин, последний из первоначальной группы кибернетиков, сильно пережил всех и ушёл из жизни только в 2011 г.

На склоне лет Летвин вспоминал, что после его почтительной речи о Норберте Винере на конференции в Генуе (по всей видимости, в 1965 г.[1158]) вдова Винера Маргарет подошла к нему, чтобы поблагодарить за добрые слова о покойном муже. Летвин тогда уже знал о причине злосчастной телеграммы Винера — ему об этом в начале 1960-х рассказал Артуро Розенблют, и вот как Летвин описал эту встречу: «Я подготовил очень осторожную и хвалебную речь, и после неё миссис Винер подошла поблагодарить меня и протянула руку — вы знаете, она была хрупкой женщиной, — но я на самом деле хотел ударить её так сильно, как мог, потому что знал, что это она устроила разрыв»[1159].

4.4 Фрэнк Розенблатт, перцептрон, кот Тобермори и крысы

— Вы на самом деле хотите, чтобы мы поверили, — говорил сэр Уилфрид, — что вам удалось найти способ обучения животных человеческой речи и что старина Тобермори оказался вашим первым удачным учеником?

— Над этой проблемой я работал 17 лет, — отвечал мистер Эппин, — но лишь в последние 8–9 месяцев появились первые проблески успеха. Разумеется, я провёл эксперименты с тысячами животных, однако последнее время работал только с кошками, этими чудесными созданиями, которые смогли столь блестяще вписаться в нашу цивилизацию, сохранив при этом все свои высокоразвитые животные инстинкты. То у одной, то у другой кошки обнаруживал я выдающийся интеллект, впрочем, как бывает и с человеческими особями. Когда же я познакомился с Тобермори, то сразу понял, что имею дело с суперкотом, существом экстраординарного интеллекта. В предшествующих экспериментах я далеко продвинулся по пути к успеху, но в работе с Тобермори, можно сказать, я достиг своей цели.

Саки. Тобермори

4.4.1 Наследие Мак-Каллока и Питтса

Итак, Мак-Каллоку и Питтсу удалось создать первую модель искусственного нейрона, разрешить кажущийся парадокс с петлями, образуемыми нейронными цепями, обнаружить гипотетический механизм, при помощи которого сеть, составленная из искусственных нейронов, могла бы запоминать информацию. Какие проблемы теперь отделяли человечество от умения создавать машины, способные, например, отличить фотографию котика от фотографии собаки?

Искусственный нейрон Мак-Каллока и Питтса через множество входных синапсов получает некоторый набор двоичных сигналов (т. е. нулей или единиц). Сигнал может поступить от рецептора (например, фоторецептора, который реагирует на освещённое пятнышко в некотором месте изображения, выдавая на выход единичный сигнал; Мак-Каллок и Питтс в своей статье 1943 г. называют входные нейроны нейронной сети «периферическими афферентами»[1160] — мне нравится этот термин, и я просто оставлю его здесь) или от предыдущего нейрона в цепочке. Каждый из сигналов умножается на некоторый синаптический вес, который может быть положительным или отрицательным числом. Положительный вес соответствует возбуждающему синапсу, отрицательный — тормозящему. Если сумма входных сигналов, перемноженных на соответствующие синаптические веса, превышает порог активации нейрона, то нейрон передаёт на выход сигнал, равный 1, в противном случае — сигнал. равный 0.

Так обычно описывают искусственный нейрон Мак-Каллока и Питтса в современной литературе по машинному обучению. В действительности дело обстояло не совсем так. Статья 1943 г. написана с применением весьма сложной и непривычной для большинства современных читателей нотации. Даже Стивен Клини, работавший со статьёй в 1950-е гг., столкнулся с рядом нешуточных сложностей.

«Настоящая статья является частично изложением их результатов; но мы обнаружили, что часть их [Мак-Каллока и Питтса] работы обращается с произвольными нервными сетями малопонятным [obscure] образом, поэтому мы пошли здесь своим путём», — писал он в 1951 г. Позже, обнаружив явную неточность в одном из результатов, полученных Мак-Каллоком и Питтсом, Клини в конце концов сдаётся: «Этот очевидный контрпример отвратил нас от дальнейших попыток расшифровать третий раздел статьи Мак-Каллока и Питтса»[1161].

Первое отличие, которое бросается в глаза внимательному читателю статьи: условие срабатывания нейрона у Мак-Каллока и Питтса сводится к тому, что нейрон i запускается в момент времени t тогда и только тогда, когда ни один из нейронов, имеющих тормозящий синапс к нему, не сработал в момент времени t − 1 и более θ[1162] нейронов, имеющих возбуждающий синапс к нему, сработали в момент времени t − 1. При этом целое положительное число θ называется порогом активации нейрона i. Таким образом, возбуждающие синапсы в модели Мак-Каллока всегда имеют единичные веса, а тормозящие всегда имеют отрицательный вес, который по модулю не уступает сумме весов всех возбуждающих синапсов к тому же нейрону минус порог активации (то есть вес каждого из тормозящих синапсов всегда оказывается достаточным, чтобы «перевесить» все возбуждающие нейроны, даже если они сработают все вместе), а θ всегда является целым положительным числом. Впоследствии исследователи отказались от этих ограничений, по сути заменив логику высказываний, лежащую в основе модели Мак-Каллока — Питтса, на нечёткую логику. Кроме того, при помощи нехитрого трюка можно избавиться и от порога активации нейрона как от отдельного параметра. Для этого достаточно добавить в нейронную сеть фиктивный входной нейрон («периферический афферент»), срабатывающий на каждом шаге времени. Этот нейрон должен иметь синапсы к каждому из остальных («непериферических») нейронов, при этом веса этих синапсов будут равны тому самому порогу θ, взятому с противоположным знаком. Однако ничего этого в работе Мак-Каллока и Питтса мы не находим[1163], всё это уже более поздние трансформации, проделанные другими исследователями.

фон Нейман так оценивал модель, созданную Мак-Каллоком и Питтсом: «„Функциональность“ такой сети может быть задана путём выделения некоторых входов системы и некоторых её выходов с последующим описанием того, какие входные стимулы для первого должны вызывать какие конечные стимулы для второго… Важным достижением Мак-Каллока и Питтса является то, что такая формальная нейронная сеть способна реализовать любую функциональность, которую можно в принципе определить логически, строго и однозначно при помощи конечного числа слов»[1164], [1165].

Строго говоря, фон Нейман в данном случае был не совсем прав. Работы Мак-Каллока и Питтса не содержат формального доказательства тезиса о тьюринг-полноте рекуррентных нейронных сетей, Мак-Каллок и Питтс считали его тривиальным.

Именно задачу формально доказать этот тезис и ставил перед собой Клини, когда предпринял попытку разобрать исследование Мак-Каллока и Питтса. В процессе он определил понятие «регулярные события» [regular events] (сегодня называемые «регулярными языками» [regular languages], «рациональными языками» [rational languages] или «регулярными множествами» [regular sets]) и доказал, что сети Мак-Каллока и Питтса могут «представлять» [represent] регулярные события (в современной терминологии они могут «принимать» [accept] регулярные языки)[1166], [1167]. Именно от этого термина происходит понятие «регулярные выражения» [regular expressions], хорошо известное большинству современных программистов.

Забавно, что термин «регулярные» в отношении событий, языков, множеств и выражений является хорошей иллюстрацией принципа «нет ничего более постоянного, чем временное». В своей работе Клини пишет: «Сейчас мы опишем класс событий, которые будем называть „регулярными событиями“ (мы будем рады любым предложениям относительно более наглядного термина)». Как видим, за 70 лет подходящих предложений не поступило. Прилагательное regular в английском языке имеет несколько значений. Это и «регулярный», и «обычный», и «очередной», и «правильный», и даже «официальный». Что именно из этого имел в виду Клини? Этим вопросом исследователи задаются и в наши дни[1168], [1169], [1170]. По всей видимости, он хотел указать на то, что эти события обязательно происходят всякий раз, когда модель находится в одном и том же состоянии и получает на вход один и тот же сигнал.

В той же статье Клини также определил альтернативный формализм, являющийся обобщением сетей Мак-Каллока и Питтса, позволив «ячейкам» (т. е. нейронам) сети принимать любые из конечного числа внутренних состояний. Клини назвал свой новый формализм «конечными автоматами» [finite automata] и показал, что сети Мак-Каллока и Питтса вычислительно эквивалентны конечным автоматам[1171], [1172].

В общем, так или иначе, для того чтобы заставить работать сеть, составленную из нейронов Мак-Каллока и Питтса, вам пришлось бы запрограммировать её для выполнения задачи собственноручно. То, каким образом подобная сеть может обучаться, было совершенно неясно. Модель не предполагала, что в процессе работы сети пороги активации нейронов могут изменяться, синапсы менять свой тип (с возбуждающих на тормозящие или наоборот) или, тем более, появляться либо исчезать. Единственной доступной такой сети формой памяти были петли из нейронов, но довольно сложно представить себе механизм обучения, основанный на использовании такого типа памяти.

4.4.2 Развитие нейросетевых моделей

В целом на первый взгляд, модель Мак-Каллока и Питтса порождала больше вопросов, чем давала ответов. Но всё же это было куда лучше, чем отсутствие даже вопросов. Вопрос побуждает кого-то задуматься над ответом на него, а удачные ответы двигают науку и технологии вперёд. У Мак-Каллока и Питтса нашлось немало последователей, желающих улучшить исходную модель или даже предложить новую.

В развитии нейросетевых моделей в 1950-е гг. можно выделить два принципиально разных подхода: монотипический и генотипический. В рамках монотипического подхода свойства нейронов задаются изначально, а топология сети полностью фиксирована. Собственно, монотипический подход эквивалентен обычному программированию, в котором роль программы выполняет конструируемая создателем нейронная сеть. Символьные модели нейронных сетей, подобные модели Мак-Каллока и Питтса, точно так же, как и языки программирования, основаны на формальной логике.

Альтернативой монотипическому стал генотипический подход. При его использовании свойства элементов сети могут быть полностью определены, но параметры этих элементов задаются только частично (например, с помощью набора ограничений и параметров вероятностных распределений). При использовании генотипического подхода описание сети соответствует по сути не отдельному её экземпляру, а целому классу возможных сетей, обладающих заданными свойствами. Это различие в подходах приводит к важным различиям в типах создаваемых моделей и в том, как их можно применять. Например, в случае монотипических моделей можно применять бинарную алгебру логики (высказываний), а вот теория вероятностей плохо подходит для анализа качества работы такой системы. Статистика и теория вероятностей предназначены для анализа множеств объектов или событий и малополезны в случае изучения свойств системы с детерминированным поведением. Конечно, мы можем сделать вывод о том, решает или не решает данная сеть поставленную перед ней задачу. Однако если мы принимаем принцип «либо да, либо нет», то с точки зрения вероятностного подхода задача превращается в абсурдный анекдот: «Какова вероятность встретить на улице динозавра? Пятьдесят процентов: или встретишь, или не встретишь!»

С другой стороны, при работе с генотипическими моделями бинарная алгебра логики может стать неадекватным задаче инструментом. Хотя конкретный экземпляр системы, созданной при помощи генотипического подхода, вполне может быть описан языком формальной логики, наибольший интерес представляют свойства класса систем, порождаемого заданными правилами их построения. Эти свойства лучше всего описывать статистически, поэтому теория вероятностей играет важную роль в генотипическом подходе[1173].

Мы уже упоминали про попытку Питтса применить статистическую механику к нейронным сетям, осуществлённую им под влиянием идей Винера. Вместе с Мак-Каллоком и учеником Рашевского Гербертом Лэндалом Питтс в 1943 г. опубликовал в «Бюллетене математической биофизики» работу «Статистическое следствие логического исчисления нервных сетей» (A Statistical Consequence of the Logical Calculus of Nervous Nets). Хотя топология сети в статье полагается по-прежнему неизменной, выдвигается предположение, что нервные импульсы генерируются в нейронах с различными частотами. Авторы вводят понятие «период латентного суммирования» [period of latent addition] — промежуток времени, в пределах которого нервные импульсы на входе нейрона суммируются (или же происходит торможение — в случае получения на этом промежутке времени импульса от нейрона, связанного с нашим нейроном тормозящей связью). Это расширение исходной модели, по мнению авторов, «позволяет нам производить определённые предсказания количественных характеристик ответа на основе количественных характеристик стимула. Эти предсказания можно сравнивать с наблюдениями и, если необходимо, изменять сети до тех пор, пока последующие предсказания не будут подтверждены»[1174].

В некотором смысле эта процедура напоминает обучение искусственной нейронной сети, хотя в действительности авторы работы формулируют несколько иную цель, а именно подбор параметров модели таким образом, чтобы её предсказания соответствовали «численно измеримым психическим феноменам», возникающим в результате нервной активности в биологической сети. Словом, речь идёт о создании достоверной модели естественной нейронной сети, а не об обучении искусственной нейронной сети для решения прикладных задач. Кроме того, чётких представлений о конкретных алгоритмах подбора параметров сети у создателей первой модели искусственного нейрона, по всей видимости, не было.

Тьюринг интересовался возможностью моделирования работы нейронных сетей по крайней мере с 1946 г., когда писал в одном из писем к Россу Эшби: «В работе над [компьютером] ACE [Automatic Computing Engine] меня больше интересует возможность создания моделей работы мозга, чем использование машины для прикладных вычислений. <…> Хотя мозг в действительности может работать, изменяя свои нейронные цепи за счёт роста аксонов и дендритов, мы, однако, могли бы создать модель внутри ACE, позволяющую нам делать то же самое без изменения существующей конструкции ACE, изменяться будут только хранящиеся в памяти машины данные…»[1175], [1176]

В неопубликованной работе под названием «Мыслящие машины» (Intelligent Machinery)[1177], написанной в 1948 г., Тьюринг описал сети нейроноподобных логических элементов, названных им «неорганизованными машинами» [unorganized machines].

Машины типа A, описанные в статье, состоят из случайно соединённых логических элементов, каждый из которых имеет два входа и один выход. Логические элементы имеют два состояния — 0 или 1. Это состояние в момент срабатывания элемента определяется при помощи логического вентиля «И-НЕ» — такие вентили называют также NAND-вентилями или элементами Шеффера в честь американского математика и логика Генри Шеффера, который в 1913 г. доказал, что функция «И-НЕ» (инверсия конъюнкции) является универсальной, которой можно заменить все другие логические функции.

Последовательностью срабатывания элементов управляет синхронизирующее устройство, подключенное к каждому из элементов. Это устройство через определённые интервалы времени одновременно посылает сигналы всем элементам, вызывая их срабатывание.

Тьюринг отметил, что последовательность внутренних состояний такой машины будет носить циклический характер, при этом длина цикла будет не более 2N, где N — число элементов в машине.

Затем Тьюринг предложил модификацию машины типа A, при которой в каждую связь «И-НЕ» между двумя элементами добавляется сеть из трёх элементов (где все связи тоже типа «И‑НЕ»):


Рис. 89. Предложенная Тьюрингом модификация связей машины типа A

Такая сеть выполняет роль модификатора сигнала. Несложно заметить, что в результате соединение может — в зависимости от значений, помещённых в «нижние» ячейки модификатора (две единицы, два нуля, ноль и единица), — приобрести три возможных типа поведения соответственно: 1) оно будет инвертировать проходящий через него сигнал, то есть заменять 1 на 0, а 0 на 1; 2) оно будет превращать все сигналы в 1; 3) оно будет чередовать поведение (1) и (2) в чётные и нечётные моменты времени. Машина с такими модификаторами соединений получила у Тьюринга название «машина типа B». Все машины типа B являются в то же время и машинами типа A, но не все машины типа A являются машинами типа B.

В целом сети Тьюринга напоминают сети Мак-Каллока и Питтса: даже использование цикла в качестве механизма памяти для хранения состояния модификатора отсылает нас к рассуждениям Питтса. Однако Тьюринг делает два важных шага вперёд. Во-первых, он рассматривает возможность моделирования работы сети на программном уровне при помощи электронной вычислительной машины общего назначения. А во-вторых, в его статье содержится целый раздел, посвящённый машинному обучению или, как называет его сам Тьюринг, «образованию машин» [Education of Machinery]! Для этого он анализирует возможные способы «организации неорганизованных машин». Тьюринг вносит изменение в архитектуру модификатора соединения, снабжая его двумя внешними входами.


Рис. 90. Предложенное Тьюрингом изменение архитектуры модификатора соединения

Таким образом, работа соединения становится управляемой: подавая на входы A и B разные сигналы, можно добиться переключения поведения модификатора.

По словам Тьюринга, благодаря применению «соответствующих вмешательств, имитирующих обучение [education]», машина может быть обучена «выполнять любую требуемую работу при наличии достаточного времени и при условии достаточного количества элементов».

Тьюринг рассуждает о том, что настройка машины для выполнения конкретной операции может производиться как вручную, так и на основе системы подкреплений и штрафов, соответствующих удовольствию и боли у живых организмов. При этом сами принципы функционирования сети достаточно просты — в живой природе они могут быть описаны сравнительно небольшим набором генов, благодаря чему такие принципы могут быть выработаны в процессе эволюции. Некоторые исследователи считают, что в этих рассуждениях Тьюринг предвосхитил появление генетических алгоритмов, то есть алгоритмов, имитирующих процессы естественной изменчивости, скрещивания и отбора для решения различных задач оптимизации. Сегодня машины типа A и машины типа B часто называют нейронными сетями Тьюринга или просто сетями Тьюринга.

Тьюринг не приводит конкретных алгоритмов обучения машин типа B, замечая, что обучение таких машин слишком сложный процесс для того, чтобы его можно было смоделировать при помощи бумаги и карандаша, однако приводит пример более простой машины (машина типа P), которая первоначально обладает случайным поведением, выдавая случайные ответы на все запросы. Если ответ окажется правильным, машина запомнит, что в такой ситуации следует дать именно этот ответ (положительное подкрепление). Если же ответ окажется неправильным, машина, напротив, запомнит, что в этой ситуации именно этот ответ давать не следует. Тьюринг ограничивается описанием принципа работы машины, опуская детальное описание её архитектуры[1178], [1179].

Причина, по которой работа Тьюринга не была опубликована, довольно забавна. Можно сказать, что она пала жертвой отбора. Начальник Тьюринга по имени Чарльз Дарвин, внук знаменитого основоположника теории эволюции, отозвался о статье Тьюринга в критическом ключе, заявив, что по своему качеству она ничем не лучше школьного сочинения.

Между тем исследования в области искусственных нейронных сетей продолжались. В 1948 г. Альфонсо Шимбел и Анатоль Рапопорт из Чикагского университета описали семейство статистически организованных сетей. Отталкиваясь от модели Мак-Каллока и Питтса, Шимбел и Рапопорт рассмотрели различные параметры нейрона и его компонентов в качестве случайных величин, имеющих некоторые вероятностные распределения. Из них они вывели общее уравнение для расчёта вероятности того, что нейрон в указанном месте сработает в указанное время[1180].

4.4.3 Исследования нейробиологов

Работа Шимбела и Рапопорта, как и исследования Тьюринга, не получила дальнейшего развития, и инициатива перешла в стан нейропсихологов, а именно к Дональду Хеббу. В книге «Организация поведения: нейропсихологическая теория» (The Organization of Behavior: A Neuropsychological Theory) он сформулировал принцип, который сегодня известен под названием «хеббовское обучение» (Hebbian learning): «Когда аксон клетки A находится достаточно близко, чтобы возбудить клетку B, и многократно или постоянно принимает участие в её срабатывании, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения таким образом, что эффективность A как одной из клеток, возбуждающих B, растёт». Часто этот принцип афористично формулируют так: «нейроны, которые возбуждаются вместе, связываются вместе» [neurons that fire together, wire together].

После установления таких связей нейроны образуют клеточный ансамбль таким образом, что любое возбуждение хотя бы одного относящегося к нему нейрона приводит в возбуждение весь ансамбль. Сочетание их связей формирует постоянно меняющийся алгоритм, определяющий реакцию мозга на раздражители[1181].

Хебб не был первым, кто высказал эту идею. Ещё в 1932 г. американский психолог Эдвард Торндайк предположил, что обучение заключается в постепенном усилении проводящих путей между нейронами. В начале века Торндайк изучал поведение кошек при помощи так называемого проблемного ящика [puzzle box]. Помещённое в ящик животное могло освободиться в результате некоторого действия (например, потянув за рычаг или нажав на педаль). Когда кошка выбиралась из ящика, то получала вознаграждение, обычно еду. Поначалу кошки, помещённые в ящик, беспокойно бродили по нему и мяукали, но не знали, как выбраться. В конце концов они случайно наступали на педаль на полу — и дверь открывалась. Чтобы выяснить, могут ли кошки обучаться «вприглядку», Торндайк заставлял их наблюдать за выбиравшимися из ящика сородичами. Однако эта серия экспериментов завершилась неудачей: кошки упорно не желали учиться. Тогда Торндайк вернулся к методике обучения методом проб и ошибок. Он обнаружил, что после случайного нажатия на педаль кошки начинали в каждом последующем испытании нажимать на неё быстрее. Наблюдая за животными, Торндайк замерял время, потраченное ими на побег из ящика, а затем построил график времени в зависимости от номера эксперимента — он назвал его «кривая обучения» (у психологов принято говорить «кривая научения» [learning curve]). Этот же термин используется сегодня при обучении искусственных нейронных сетей. Оказавшись в ящике, кошки поначалу испытывали трудности, но в итоге схватывали закономерность и выбирались всё быстрее и быстрее в каждом последующем опыте. В результате время сокращалось до некоторой минимальной величины и стабилизировалось на ней. В итоге Торндайк получил S‑образные кривые. Позже он повторил те же опыты с другими видами животных и обнаружил, что все они обучаются примерно одинаково, различия наблюдаются только в скорости этого процесса[1182].



В книге «Основы обучения» (The Fundamentals of Learning, 1930) Торндайк высказывает догадку, развитую позже Хеббом: «…должен быть некоторый физиологический отбор в результате повторения. Это может быть изменение в синапсах, в результате которого многократное прохождение стимула по одному и тому же пути активно увеличивает проводимость за счёт снижения проводимости в других местах. Или это может быть своего рода избирательная интеграция, посредством которой повторяющееся действие более или менее ассоциативной системы в целом по определённому шаблону подавляет тенденцию к действию по другим шаблонам. Или это может быть что-нибудь ещё»[1183]. Это высказывание Торндайка развивает предложенную им ещё в 1911 г. концепцию «закона эффекта»: «Из нескольких реакций на одну и ту же ситуацию те, которые сопровождаются удовлетворением воли животного или за которыми удовлетворение вскоре следует, при прочих равных условиях будут более прочно связаны с ситуацией, так что, когда она [ситуация] повторяется, они [реакции] с большей вероятностью будут повторяться; те же, которые сопровождаются дискомфортом для воли животного или за которыми дискомфорт вскоре следует, при прочих равных обстоятельствах ослабляют свои связи с этой ситуацией, поэтому, когда она повторяется, вероятность их возникновения будет меньше. Чем больше удовлетворение или дискомфорт, тем больше укрепление или ослабление связи»[1184].

Параллельно с Торндайком исследованием процессов обучения у животных занимался знаменитый российский, а затем советский учёный Иван Павлов, создатель теории условных рефлексов. Среди прочего Павлов и его коллеги исследовали влияние соотношения силы условного и безусловного подкрепления на интенсивность и продолжительность условного рефлекса. Соответствующая закономерность, сформулированная Павловым и его учеником Борисом Бабкиным, получила название «закон относительной силы»[1185]. Исследования Павлова стали источником многих новаторских идей в области физиологии нервной деятельности, однако они были по большей мере сосредоточены в области крупномасштабной структуры и функций — на страницах его работ почти не встречаются рассуждения о процессах, происходящих на клеточном уровне.

Однако там, где Павлов всё-таки спускается на клеточный уровень, его суждения весьма точны и одновременно осторожны: «…связывание импульсов в разных областях мозга путём образования новых нервных связей является первым нервным механизмом, с которым мы столкнулись при изучении физиологии полушарий. Вопрос о месте, где возникает эта новая нервная связь, ещё не получил чёткого ответа. Это происходит исключительно в коре или между корой и подкорковыми областями? <…> В любом случае клетки, преимущественно возбуждённые в данный момент времени, становятся очагами, притягивающими к себе нервные импульсы, возбуждённые импульсами новых стимулов, которые при повторении имеют тенденцию следовать по тому же пути и, таким образом, устанавливать условные рефлексы»[1186].

Хотя работа Хебба является гораздо более полной в деле определения модели процесса обучения, чем большинство предыдущих работ в этой области, она всё ещё слишком вольна в своих определениях, чтобы найти однозначное отражение в виде алгоритма. Однако соображения Хебба оказались важным отправным пунктом, который позволил сразу нескольким группам исследователей разработать конкретные алгоритмические версии принципа Хебба и даже воплотить их в конструкциях экспериментальных устройств.

4.4.4 Первые эксперименты в области искусственных нейронных сетей

Одним из первых таких устройств стал SNARC (Stochastic Neural Analog Reinforcement Calculator, стохастический нейронный аналоговый калькулятор с подкреплением), разработанный Марвином Минским.

По просьбе Минского Джордж Миллер, один из основателей когнитивной психологии, договорился о финансировании проекта за счёт средств Управления научных исследований военно-воздушных сил США летом 1951 г. (речь шла о нескольких тысячах долларов). «Рабочими руками» проекта стал сам Минский, который был тогда аспирантом-математиком в Принстонском университете, а также аспирант-физик Дин Эдмондс, умелый электронщик, добровольно вызвавшийся участвовать в проекте.

Сама машина представляла собой случайное соединение из сорока искусственных нейронов и моделировала поведение крысы, пытающейся отыскать выход из лабиринта.

Каждый из нейронов был реализован при помощи шести электроламп и двигателя. Память машины сохранялась в положениях ручек управления — по одной на каждый искусственный нейрон, — и, когда машина обучалась, она использовала сцепления для регулировки своих ручек. Для перемещения сцеплений использовался резервный гиропилот[1187] от бомбардировщика B-24.

Топология сетей выбиралась случайным образом. «Крыса» создавалась в какой-то точке в сети и затем отправлялась изучать путь к заданной конечной точке. Сначала «крыса» перемещалась по лабиринту хаотически. Если в результате этих хаотических перемещений ей удавалось наткнуться на выход, то для закрепления удачного поведения в систему путём нажатия кнопки подавался сигнал подкрепления. Индикаторная панель с рядами ламп позволяла наблюдателям следить за перемещениями «крысы». В ходе экспериментов выяснилось, что из-за недоработки в архитектуре системы несколько крыс, помещённых в один и тот же лабиринт, могли взаимодействовать друг с другом: если какая-то из «крыс» находила путь, другие были склонны следовать за ней.

Устройство Минского и Эдмондса было, вероятно, первой самообучающейся электронной машиной[1188], [1189]. В данном случае слово «электронной» является важной оговоркой, поскольку самообучающиеся машины на электромеханической основе к тому моменту уже были известны. Часто первой такой машиной называют «мышь» из проекта «Тезей» [Theseus], созданную примерно за год до SNARC Клодом Шенноном. Робомышь, в основу которой была положена система телефонных реле, успешно находила и запоминала путь в лабиринте размером 5 × 5 клеток, используя метод проб и ошибок[1190].

Но, возможно, пальму первенства стоит отдать Россу Эшби с его гомеостатом [Homeostat]. Мы уже упоминали письмо, в котором Тьюринг пытался убедить Эшби использовать для своих экспериментов машину ACE. Эшби, однако, не внял советам коллеги и решил создать специализированное устройство, которое должно было стать работающей иллюстрацией принципа гомеостаза. Мы остановимся на этом любопытном устройстве несколько подробнее. Хотя гомеостат обычно и не относят к числу нейросетевых систем, в действительности он как раз являлся одним из первых примеров реализации искусственных нейронных сетей. Причиной недостаточной очевидности этого факта является весьма оригинальный подход, применённый Эшби, который остался во многом непонятым как современниками этого неординарного учёного, так и впоследствии специалистами по истории науки. Коллега Винера кибернетик Джулиан Бигелоу, ознакомившись с устройством гомеостата, задал вопрос: «Имеет ли эта специфическая модель какое-либо отношение к нервной системе? Это, возможно, прекрасная копия чего-то, но бог знает чего именно».

Давайте попробуем разобраться по порядку, какую именно задачу стремился решить Эшби и что представляли собой методы, положенные в основу гомеостата.

Термин «гомеостаз» (или «гомеостазис», homeostasis), предложенный в 1932 г. американским физиологом Уолтером Кенноном, образован от греческих слов ὅμοιος, что означает «одинаковый», «подобный», и στάσις — «стояние», «неподвижность». Кеннон использовал введённый им термин для обозначения устойчивых состояний организма. Учёный так объяснил необходимость использования нового понятия: «Постоянные условия, которые поддерживаются в организме, можно назвать равновесием [equilibria]. Это слово, однако, приобрело весьма определённое значение применительно к относительно простым физико-химическим состояниям в закрытых системах, где известные силы уравновешивают друг друга. Скоординированные физиологические процессы, которые поддерживают большинство устойчивых состояний в организме, настолько сложны и настолько специфичны для живых существ, что предполагают в ряде случаев совместную работу мозга и нервов, сердца, лёгких, почек и селезёнки. Поэтому я предлагаю специальное обозначение для этих состояний — гомеостаз. Это слово не означает что-то застывшее и неподвижное, стагнацию. Оно обозначает состояние, которое может изменяться, но при этом сохраняет относительное постоянство»[1191]. Термин быстро обрёл популярность в среде кибернетиков и стал трактоваться в более широком ключе — как механизм саморегуляции открытой системы, направленный на достижение «динамического равновесия». Под последним понималась способность системы поддерживать определённое состояние за счёт того, что её компоненты скоординированно реагируют на возмущающие воздействия.

В воскресном выпуске The New York Times от 23 января 1949 г. была опубликована рецензия на книгу «Кибернетика» Норберта Винера под названием «Вещи, о которых мечтают» (The Stuff That Dreams Are Made On)[1192]. Автор статьи, Джон Пфейффер, рассказал читателям о смелых предсказаниях Норберта Винера, а именно о думающих машинах будущего. Автор рецензии был весьма осторожен в своих оценках. Даже сегодня, изучая этот текст с позиции послезнания, в нём трудно найти суждение, к которому можно было бы легко придраться. У Пфейффера было всего 3/5 газетной полосы, чтобы рассказать читателям о ключевых идеях Винера, и среди прочего он посвятил абзац упомянутым в книге Винера исследованиям Мак-Каллока и Питтса. В качестве одного из основных выводов этих исследований Пфейффер указал тот факт, что между нейронами человеческого мозга и радиолампами существует некоторое сходство.

Вечером того же дня свет увидел очередной выпуск еженедельника Time, сообщивший читателям сенсационную новость: будущее уже наступило и первая в мире «думающая машина» уже построена! Причём не в MIT или Bell Labs, а в психиатрической больнице Барнвуд-хаус, расположенной в английской деревеньке неподалёку от Глостера, в которой майор медицинской службы Росс Эшби руководил исследованиями человеческой психики. Именно в этой провинциальной больнице Эшби и создал свой гомеостат. В интервью Time Эшби уверенно заявил, что его машина была «наиболее близка к искусственному мозгу, чем всё когда-либо созданное человеком»[1193].

Машина стала плодом пятнадцатилетних размышлений Эшби. Ещё два года потребовалось на её постройку, которая обошлась в 50 фунтов стерлингов. Гомеостат, первая версия которого была завершена в мае 1947 г., состоял из четырёх блоков, каждый из которых имел четыре «входных» контакта и один «выходной». Блоки объединялись в электрическую цепь таким образом, что напряжение на выходе каждого из них подавалось на вход и трёх других блоков, и его самого. Каждый из четырёх входов блока был оснащён переключателем полярности и реостатом, что позволяло регулировать сопротивление на входе, а также менять полярность входного напряжения (фактически это означало, что у каждого блока было восемь настраиваемых параметров: четыре соответствовали положениям переключателей полярности, а ещё четыре — задаваемой величине сопротивления каждого из реостатов). После соответствующих трансформаций соответствующие каждому из входов провода переходили в установленную вертикально четверную обмотку электромагнита. Поверх обмотки располагалась установленная на игольчатой оси проволочная петля, на одном конце которой находился постоянный магнит, который, благодаря изгибу петли, оказывался внутри обмотки. Ввиду этого сама проволочная петля вела себя подобно стрелке компаса — угол её поворота менялся в зависимости от суммы токов, проходящих через обмотку. Если суммарное напряжение имело отрицательную полярность, то петля поворачивалась на своей оси в одну сторону (тем быстрее, чем больше была абсолютная величина напряжения), если же положительную — то в другую. На втором конце петли была закреплена пластинка, которая опускалась в полукруглый лоток, заполненный водой. К противоположным краям лотка были подведены источники напряжения таким образом, что напряжение на одном его краю составляло –2 вольта, а на другом — –15 вольт. В зависимости от угла поворота проволочной петли и, соответственно, от позиции пластинки в лотке на ней возникало напряжение, равное одному из промежуточных значений между напряжениями на краях лотка. Это напряжение передавалось затем на управляющую сетку триода, а усиленный триодом сигнал поступал на выход блока. В цепь триода был добавлен резистор, сопротивление которого подобрано таким образом, чтобы при нахождении пластинки в центре ванны напряжение на выходе блока было нулевым.


Рис. 91. Вверху: фотография гомеостата (четыре блока). Внизу: фотография отдельного блока.
Буквами ABCD обозначена четверная обмотка электромагнита, буквой М — магнит

Таким образом, при нахождении всех пластин в центре соответствующих лотков вся система находилась в состоянии покоя. Однако стоило внести в неё некоторое возмущение (например, механически сместить одну из пластин, изменить какой-либо из параметров системы, воспользовавшись переключателем полярности или реостатом на одном из входов какого-либо блока, либо вообще разрезать один или несколько проводов), как система выходила из состояния равновесия. Напряжение на выходе блока, в который было внесено «возмущение», становилось отличным от нуля, это ненулевое напряжение попадало на вход других блоков — и вся система начинала «жить своей жизнью».


Рис. 92. Электрическая схема гомеостата

И тут в дело вступала главная изюминка гомеостата. Как только выходное напряжение блока выходило за пределы диапазона, соответствующего отклонению проволочной петли от центрального положения более чем на 45°, срабатывал шаговый искатель (электромеханический аппарат, предназначенный для переключения пути следования тока в электрической цепи при поступлении управляющего электрического импульса), который добавлял в цепь на входе блока случайные сопротивления и случайно выбранные перемены полярности (вдобавок к установленным вручную). Наборы этих параметров, «зашитых» в шаговый искатель, были составлены на основе таблицы случайных чисел. Каждый шаговый искатель имел 25 возможных позиций, что давало в сумме 254 = 390 625 наборов параметров. Таким образом, выведенный из равновесия гомеостат начинал перебирать различные варианты параметров, пока не находил такой их набор, который позволял ему вернуться в состояние динамического равновесия (что, разумеется, гарантировалось не всегда, но в большинстве случаев происходило). Это свойство гомеостата Эшби назвал ультрастабильностью (или ультраустойчивостью) [ultrastability][1194], [1195], [1196], [1197], [1198], [1199], [1200],[1201].

Хотя гомеостат и не умел распознавать котиков на картинках и даже искать путь в лабиринте, он был простой самообучающейся системой, причём обладающей довольно интересными свойствами. Во-первых, на примере гомеостата Эшби показал, что процесс поиска решения вполне может быть распределённым. В гомеостате нет какого-то главного управляющего элемента, его блоки идентичны и равнозначны. И тем не менее он в состоянии демонстрировать «ультрастабильное» поведение. Во-вторых, для каждого блока остальные блоки, в сущности, являются элементами внешней среды, поэтому гомеостат, по сути, одинаково реагирует на внешние и внутренние возмущения: неважно, является ли причиной выхода из равновесия самопроизвольная поломка или воздействие среды. Элементы системы вовсе не обязаны содержать сведения об устройстве системы, чтобы система демонстрировала «ультрастабильное» поведение. Жизненно важным свойством является лишь наличие отрицательной обратной связи. Это были довольно интересные и не совсем очевидные результаты опытов с гомеостатом.

Можно ли было приспособить гомеостат для решения более привычных нам задач машинного обучения, таких, например, как задачи классификации? В принципе, да, но сделать это можно лишь довольно контринтуитивным способом. Например, «предъявлять» гомеостату различные прецеденты: факторы (допустим, что их три) в виде входных напряжений на три блока и метку класса в виде входного напряжения на четвёртый. Многократно пропустив таким образом обучающую выборку через гомеостат, можно дождаться, когда он придёт в состояние динамического равновесия (т. е. «научится» подбирать правильный ответ). Затем же, если предъявить ему лишь факторы (в виде напряжений на три блока), можно замерить степень отклонения от равновесия в четвёртом блоке (соответствующем метке класса). Эта величина, взятая с противоположным знаком, и будет ответом на задачу классификации. Конечно, гомеостат из четырёх блоков не годился для решения сколь-нибудь серьёзных задач, но сам Эшби видел в гомеостате прототип полноценного электронного мозга. Учёный не преминул поделиться своими провидческими соображениями с журналистами. Несложно догадаться, что произошло в результате.

Публикация в Time была не первым сенсационным сообщением о создании рукотворного мозга. Заголовок статьи в газете Daily Herald от 13 декабря 1948 г. прямо, без обиняков сообщал читателям: «Щёлкающий мозг умнее человеческого!» [The Clicking Brain Is Cleverer Than Man’s][1202]. Щелчки от переключения шаговых искателей гомеостата произвели на журналиста неизгладимое впечатление. «Щелчки — это „мысли“ <…>, — написал он. — Машина всё время думает о своей задаче и поправляет себя».

По мнению журналиста, машина была «всегда права» [always right] и «эгоистична» [it’s selfish]. Не обошлось и без предсказания техноапокалипсиса: «Однажды она [машина] может решить, что человеческий обслуживающий персонал ей больше не нужен». Довершал мрачную картину заголовок следующей статьи, размещённой чуть ниже: «Проблемы, ещё больше проблем» [Trouble, More Trouble]. Вообще, вся полоса Daily Herald производила впечатление, что наш мир уже получил фатальную пробоину и скоро пойдёт на дно подобно «Титанику».

В научной среде появление гомеостата было воспринято более спокойно. Весной 1952 г. Эшби пригласили на очередную конференцию Мейси, где предложили выступить с докладом о полученных научных результатах. Среди слушателей были помимо прочих Уоррен Мак-Каллок, Уолтер Питтс, Маргарет Мид, Джулиан Бигелоу, Джерри Визнер и Артуро Розенблют. Самого Винера, правда, на конференции не было. Выступление Эшби о гомеостате было включено в программу между докладом об эмоциях в контуре обратной связи и докладом об обучении осьминогов. Эшби привёз гомеостат с собой, чтобы продемонстрировать участникам конференции его возможности.

Выступление Эшби привело к серьёзной полемике, поскольку метод случайного поиска, положенный в основу системы, вызвал у многих участников вопросы. Мак-Каллок, Питтс и Бигелоу не были готовы признать, что такой неэффективный метод оптимизации можно было применять в системе, моделирующей работу мозга. Гомеостат «ощупывал» пространство параметров подобно слепому котёнку. Если бы в этом «механическом мозге» было не четыре нейрона, а гораздо больше, он вряд ли мог бы достигать стабильного состояния за разумное время[1203], [1204]. Впрочем, на деле гомеостат был всё-таки несколько сложнее, чем машина для демонстрации метода проб и ошибок. Рекуррентный характер связей в нём, а также гидродинамические эффекты, возникающие при движении пластинок в лотках с водой, и наличие толерантности (невосприимчивости) к определённым отклонениям от точки равновесия делали его поведение не совсем очевидным. В общем, Эшби прекрасно справился с задачей создания классического «чёрного ящика», способного решать некоторый класс задач на основе отрицательной обратной связи. В будущем учёные не раз предпринимали попытки создания более сложных вариантов гомеостата. А идея использования потенциометров в качестве модели синаптической связи в нейронной сети, как мы увидим позже, оказалась весьма плодотворной и не раз была использована при создании более поздних нейросетевых систем.

Вклад Эшби в развитие того направления науки, которое мы называем сегодня искусственным интеллектом, оказался в первую очередь философским и методологическим. Помимо идеи единства адаптирующейся системы и внешней среды, Эшби подчёркивал, что к мозгу следует подходить не только как к мыслящей, но и как к действующей машине. За одно только это утверждение его можно считать одним из основателей современного агентного подхода в ИИ. Возможно, именно поэтому Эшби предпочёл действовать там, где другие стремились сперва в полной мере осмыслить существующие проблемы, прежде чем приступить к созданию моделей. Унаследовали деятельный подход Эшби и его ученики. Например, Стаффорд Бир стал пионером в области создания кибернетических систем для управления хозяйственными процессами. Под его руководством в Чили во времена Сальвадора Альенде была начата работа над первым в мире проектом централизованного компьютерного управления плановой экономикой — знаменитым проектом «Киберсин» (Cybersyn).

Хотя участники девятой конференции Мейси и критиковали гомеостат Эшби, они не могли не понимать, что наличие какой-никакой действующей системы было серьёзным шагом вперёд. Полемика на конференции показала, что научное сообщество занято активным поиском механизмов, которые могли бы обеспечивать самообучение в нейросетевых моделях. Кроме того, к 1952 г. гомеостат уже не был единственным устройством, претендующим на реализацию принципа самообучения.

Практически одновременно с Эшби работу над собственной реализацией самообучающейся системы вёл другой классик кибернетики — нейрофизиолог Грей Уолтер.

Ещё в юности Уолтер познакомился с работами Ивана Павлова и его учеников. Влияние взглядов Павлова ясно прослеживается в дальнейших исследованиях Уолтера. Кроме того, он посетил лабораторию Ханса Бергера и позже сконструировал собственные улучшенные версии электроэнцефалографа, благодаря которым получил ряд важных научных и медицинских результатов[1205]. Сочетание интересов к изучению поведения живых существ, к электрической активности мозга и к электротехнике было весьма удачным для того, чтобы внести своё имя в список первопроходцев новой междисциплинарной области исследований.

Весной 1948 г. Уолтер начал работу над конструкцией «кибернетической черепахи». Первые экземпляры, получившие имена Элмер и Элси, были завершены к Рождеству 1949 г. Эти имена Грей составил из акронимов: ELectro MEchanical Robots, Light Sensitive with Internal and External stability [чувствительные к свету электромеханические роботы с внешней и внутренней стабильностью]. Уолтер считал Элмера и Элси представителями нового вида — Machina speculatrix [механизм изучающий]. По аналогии со своими машинами Уолтер присвоил «мыши» Шеннона видовое обозначение Machina labyrinthia, а гомеостату Эшби — Machina sopora [механизм спящий], подчёркивая постоянное стремление гомеостата к покою.

Каждая черепашка Уолтера двигалась на трёх колёсах, приводимых в движение двумя электромоторами, один из которых отвечал за передвижение, а второй — за рулевое управление. «Мозг» машины состоял из двух электронных ламп, которые, по словам Уолтера, служили эквивалентами двух нейронов. Машины были оснащены фотоэлементами, выполнявшими роль источника обратной связи. Обнаружив свет, черепашка двигалась к его источнику, но при превышении определённой яркости отходила назад. Также черепашки были снабжены ходовыми огнями. Изначально они были предназначены для того, чтобы сообщать наблюдателям о процессах, происходящих в «электронном мозге» машины. Но быстро выяснилось, что наличие собственного источника света порождало довольно интересные последствия. Если черепашка замечала себя в зеркале, то она начинала приближаться к изображению, но когда свет становился слишком ярким, то она начинала отходить. Если две черепашки находились в одной комнате и видели огни друг друга, то они тоже сначала начинали сближаться, но, как только оказывались слишком близко, отворачивали и расходились. Уолтер, любивший биологические аналогии, назвал это брачным танцем.


Если черепашка сталкивалась с препятствием, срабатывал датчик нажатия, который заставлял машину изменить направление движения. Когда заряд аккумулятора черепашки подходил к концу, она самостоятельно отправлялась на подзарядку. В общем, её поведение выдавало в ней предка современных роботов-пылесосов. Поведение Элмера и Элси было полностью основано на заложенных в них «инстинктах», но для Уолтера это был только первый шаг в его экспериментах. Следующей «ступенью эволюции» стало появление Machina docilis [механизм обучаемый]. Идея заключалась в том, чтобы реализовать в машинах механизм формирования условных рефлексов. Там, где Павлов использовал собак, еду и звуки (а иногда и свет), Уолтер решил попытать счастья с кибернетическими черепахами, светом и свистком. «Мозгом» нового вида черепашек была схема CORA (COnditioned Reflex Analog, аналог условных рефлексов), распознававшая повторяющееся поступление одновременных сигналов по разным каналам. Фиксируя определённое количество повторений, CORA формировала связь стимула с результирующим поведением, что Уолтер описывал как аналог формирования условного рефлекса. Таким образом, черепашки обучались воспринимать звук свистка как свет и двигаться на свист даже при отсутствии света. CORA могла как выучить новое поведение, так и забыть его (т. е. если оператор «дразнил» черепашку, не включая свет при звуке свистка, то CORA вскоре отменяла установленную связь между событиями)[1206], [1207], [1208].

Демонстрация подобных устройств производила большое впечатление на современников, но необходимость менять аппаратное устройство машин для того, чтобы опробовать новые модели, существенно замедляла прогресс в области создания самообучающихся устройств. Поэтому некоторые исследователи решили прислушаться к совету Тьюринга и организовать эксперименты при помощи универсальных вычислительных машин.

В 1954 г. Бельмонт Фарли и Уэсли Кларк из MIT осуществили первые симуляции нейронных сетей при помощи цифрового компьютера. Фарли и Кларк смогли обучить хеббовские сети (т. е. сети, обучение которых производится в соответствии с правилом Хебба), содержащие до 128 нейронов, для распознавания простых паттернов[1209]. В ходе экспериментов они обнаружили, что случайное удаление по крайней мере до 10% нейронов в обученной сети не влияет на её способность успешно выполнять стоящую перед ней задачу[1210], [1211], [1212]. Это свойство искусственной нейронной сети напоминало способность мозга до некоторой степени переносить ущерб, причинённый хирургической операцией, несчастным случаем или болезнью.

В 1955–1956 гг. группа из исследовательской лаборатории IBM в Покипси (Нью-Йорк, США) под руководством Натаниэля Рочестера провела ряд вычислительных экспериментов с хеббовскими сетями, используя машину IBM 704, при этом размер сетей доходил до 512 нейронов. В ходе этих экспериментов было подтверждено формирование клеточных ансамблей в процессе хеббовского обучения[1213].

4.4.5 Перцептрон Розенблатта

Закономерным итогом ранних теоретических работ, а также первых экспериментов в области искусственных нейронных сетей стало появление перцептрона (perceptron, в русскоязычной литературе иногда используется альтернативное написание этого термина — «персептрон») — модели искусственной нейронной сети, опыты с которой были начаты в 1957 г. под руководством Фрэнка Розенблатта в Авиационной лаборатории Корнелла. Перцептроны Розенблатта отличались лишь в некоторых деталях от нейронных сетей, предложенных ранее Фарли и Кларком, а также рядом британских исследователей, таких как Реймонд Бёрл, Уилфред Тейлор и Альберт Аттли. Вклад Розенблатта заключался в развитии математического аппарата теории нейронных сетей, а также в обширных экспериментальных исследованиях в этой области. Именно Розенблатт, стремясь подчеркнуть особую важность связей между нейронами, изобрёл термин «коннекционизм», используемый сегодня для обозначения подхода в области искусственного интеллекта (а также когнитивистики, нейробиологии, психологии и философии сознания), в рамках которого мыслительные или поведенческие явления моделируются при помощи процессов, происходящих в сетях, состоящих из связанных между собой простых элементов (введённое позже более общее понятие «параллельная распределённая обработка» отражает тот факт, что в искусственных нейронных сетях и подобных им моделях большое количество относительно простых процессоров работает параллельно, и то, что сети хранят информацию распределённым образом).

Розенблатт разделил нейронные сети на простые двухслойные (один слой для ввода, а второй для вывода; такой перцептрон он назвал α-перцептроном) и многослойные сети (с одним или несколькими промежуточными слоями). Он обобщил тип обучающей процедуры, использованной Фарли и Кларком при обучении двухслойных сетей, таким образом, чтобы её можно было применять и к многослойным сетям[1214].

Биография Розенблатта заслуживает подробного изложения.

Фрэнк Розенблатт родился 11 июля 1928 г. в городке Нью-Рошелле на юго-востоке штата Нью-Йорк. Основанный в 1688 г. гугенотами, бежавшими из Франции из-за религиозных преследований, город получил своё название в честь Ла-Рошели, откуда происходили многие колонисты.

Поэт Джим Монтегю запечатлел образ Нью-Рошелла того времени в стихотворении «Queen City of the Sound» (1926)[1215]. В начале 1930‑х гг. Нью-Рошелл был лидером по среднедушевым доходам населения в штате Нью-Йорк и занимал по этому показателю третье место в стране[1216].

Отец Фрэнка, Фрэнк Фердинанд Розенблатт, происходил из местечка Лабунь (ныне — Хмельницкая область Украины), находившегося на территории Российской империи. В юности Фрэнк Фердинанд участвовал в революционной деятельности и иммигрировал в США из-за угрозы ареста[1217]. Позже он стал известным экономистом и социологом, доктором Колумбийского университета, автором ряда научных трудов (например, фундаментального исследования по истории чартистского движения), редактором рабочих периодических изданий на идише и руководителем левой еврейской рабочей организации Arbeter Ring (Workmen’s Circle, «Рабочий кружок»). После Первой мировой войны Фрэнк Фердинанд участвовал в качестве консультанта в восстановлении разрушенной войной экономики Австрии, занимал пост исполнительного директора Объединённого распределительного комитета американских фондов помощи евреям, пострадавшим от войны (American Jewish Joint Distribution Committee, «Джойнт»), а также основал небольшое издательство Frank-Maurice Inc.[1218], [1219] В апреле 1919 г. Розенблатт-старший занимался распределением гуманитарной помощи в Сибири и на Дальнем Востоке. Он пытался добиться прекращения еврейских погромов и пропаганды антисемитизма и, вопреки инструкциям «Джойнта», был вынужден неоднократно конфликтовать с американскими представителями в Сибири — дипломатами, военными, руководителями миссии Красного Креста, поддерживавшими правительство Колчака. Так, например, телеграмма Розенблатта в Нью-Йорк о еврейском погроме в Екатеринбурге, проведённом казаками, вызвала гнев генерального консула США в Омске Эрнеста Ллойда Харриса, который обвинил его в искажении фактов[1220]. Фрэнк Фердинанд Розенблатт скоропостижно скончался 7 ноября 1927 г., за восемь месяцев до рождения своего младшего сына.

Мать Фрэнка, Кэтрин Розенблатт, была социальным работником. Старший брат Фрэнка — Морис Розенблатт, в будущем известный американский политик, лоббист и консультант сенатора Ральфа Фландерса. Именно благодаря усилиям Мориса удалось сместить сенатора Джозефа Маккарти с поста главы сенатских комитетов и прервать мрачную эпоху маккартизма[1221], [1222], [1223].

После окончания Высшей школы наук в Бронксе (Bronx High School of Science)[1224] в 1946 г. Фрэнк поступил в Корнеллский университет, где в 1950 г. получил степень бакалавра наук, а через шесть лет — степень доктора философии, защитив диссертацию «Расчёт K-коэффициента и пробное применение новой техники многомерного анализа» (The K-coefficient Design and Trial Application of a New Technique for Multivariate Analysis). После окончания учёбы Фрэнк стал сотрудником Авиационной лаборатории при Корнеллском университете и через некоторое время возглавил там секцию когнитивных систем[1225].

Именно в лаборатории Корнелла Розенблатт начинает свою работу над перцептронами. В январе 1957 г. секция Розенблатта публикует первый отчёт по проекту «Перцептрон: воспринимающий и распознающий автоматон» (The Perceptron: A Perceiving and Recognizing Automaton, далее PARA)[1226], и в том же году Розенблатт выступает с докладом о перцептроне на XV Международном конгрессе по психологии, проходившем с 28 июля по 5 августа в Брюсселе[1227].

В отчёте по проекту PARA Розенблатт впервые приводит определение перцептрона, а также вводит несколько дополнительных терминов:

Недавние теоретические исследования, проведённые автором, показывают, что целесообразно создать электронную или электромеханическую систему, которая научится распознавать наличие сходства или тождества между образцами оптической, электрической или тональной информации способом, который может быть очень похож на процессы восприятия биологического мозга. Предлагаемая система основывается на вероятностных, а не на детерминистических принципах в своей работе и обретает надёжность благодаря свойствам статистических измерений, полученных из больших совокупностей элементов. Система, которая работает в соответствии с этими принципами, будет называться перцептроном. Модель, которая предназначена для приёма оптических или визуальных изображений в качестве входных данных, будет называться фотоперцептроном. Та [модель], которая принимает тональные паттерны или звуковые входы, будет называться фоноперцептроном, и мы также рассматриваем в перспективе возможность использования электро- или радиоперцептронов с соответствующими сенсорными устройствами. Также полезно различать перцептроны с моментальными стимулами и перцептроны для временных последовательностей — последние имеют способность запоминать последовательности событий, а не кратковременные мгновенные изображения, например полученные из коллекции отдельных кадров, вырезанных из полосы киноплёнки.

В примечаниях к отчёту говорится, что работы по «теории статистической разделимости», которые легли в основу предлагаемой конструкции фотоперцептрона, были начаты автором пятью годами ранее. Для постройки первого фотоперцептрона предлагается задействовать на полтора года штат из трёх необходимых сотрудников-профессионалов, а также цифровую вычислительную машину с персоналом.

Во многих поздних исследованиях первый перцептрон Розенблатта (далее мы будем использовать для ссылки на архитектуру, лежащую в его основе, термин «элементарный перцептрон») называют однослойным, изобретение же многослойного перцептрона Розенблаттом относят к более позднему периоду. В действительности дело обстоит несколько сложнее. Фотоперцептрон, описанный в отчёте по проекту PARA, представляет собой машину, состоящую из трёх слоёв элементов: S (сенсорного), A (ассоциативного) и R (реагирующего). При этом синаптические веса только одного слоя (AR) подвергаются коррекции в процессе обучения. Однако слой SA также содержит веса, значения которых могут быть равны строго 1 (возбуждающий синапс) или −1 (тормозящий синапс). Эти веса конфигурируются вручную[1228].

Это может показаться простым рудиментом модели Мак-Каллока и Питтса, хотя на деле этот слой выполняет важную функцию, о которой мы поговорим позже.

В выпущенном ещё через четыре года работы отчёте «Принципы нейродинамики: перцептроны и теория механизмов мозга» (Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, 1961), систематизирующем итоги исследований, Розенблатт отводит целый раздел для описания «трёхслойных систем с переменными SA связями», прежде чем перейти к описанию «многослойных перцептронов и перцептронов с перекрёстными связями». Розенблатт не только описывает подобные архитектуры, но и предлагает алгоритмы для их обучения. Кроме того, он показывает, что многослойные сети необязательно сходятся при использовании детерминистических алгоритмов обучения, поэтому при обучении таких систем необходимо задействовать стохастические, то есть включающие в себя элемент случайности, алгоритмы[1229]. В целом эта работа Розенблатта во многом опередила время. Удивительную мощь, заложенную в алгоритмах почти шестидесятилетней давности, можно наблюдать в ряде современных экспериментов.



В 1998 г. был опубликован набор данных MNIST (Modified National Institute of Standards and Technology database, Модифицированная база данных Национального института стандартов и технологий), содержащий 70 000 чёрно-белых изображений рукописных цифр (60 000 в обучающей выборке и 10 000 в тестовой) размером 28 × 28 пикселей и соответствующих им меток. Изображения были получены путём сканирования цифр, написанных сотрудниками Американского бюро переписей и простыми американскими школьниками[1230]. MNIST на многие годы стал одним из наиболее популярных наборов данных для оценки возможностей различных моделей для распознавания образов. В 2001 г. группа исследователей под руководством Эрнста Куссуля провела эксперименты по обучению на MNIST трёхслойных розенблаттовских перцептронов с различным количеством элементов в A‑слое (входной слой нейронов перцептрона Розенблатт называл S-слоем от sensory — сенсорный, воспринимающий; выходной — R-слоем от response — ответ, реакция; все промежуточные слои назывались A-слоями от associative — ассоциативный). Во времена Розенблатта технические возможности позволяли работать с перцептронами, содержащими в A-слое до нескольких сотен элементов. В работе Куссуля их число удалось довести до 512 000. При этом была достигнута точность распознавания в 99,2%, что сопоставимо с лучшими моделями начала XXI в.[1231] Конечно, MNIST является тривиальной задачей для современных нейросетевых архитектур, и по данным на 2019-й точность распознавания превысила 99,7% (при этом корректность меток в ошибочно распознаваемых изображениях нередко подвергается сомнению), поэтому для тестирования возможностей систем распознавания образов давно применяют куда более изощрённые наборы данных. Но всё же результат, показанный «ископаемой» моделью Розенблатта, получившей своеобразный допинг в виде доступных в наши дни вычислительных ресурсов, вполне можно считать доказательством того, что его идеи во многом опередили время.

4.4.6 Первые нейрокомпьютеры

Первая версия перцептрона была смоделирована при помощи компьютера IBM 704. Обучившись, программа Розенблатта была способна успешно распознавать различные геометрические фигуры (круги, квадраты, треугольники). Успешные эксперименты с цифровой машиной привели к созданию аппаратной версии перцептрона — первого в мире нейрокомпьютера Mark I Perceptron.


Рис. 93. Фрэнк Розенблатт и нейрокомпьютер Mark I Perceptron

Эта работа Розенблатта дала начало новому направлению в вычислительной технике — нейроморфной инженерии.

Дело в том, что при симуляции нейронных сетей при помощи компьютеров с фон-неймановской архитектурой возникает нежелательный эффект, получивший в 1977 г. с лёгкой руки Джона Бэкуса наименование «бутылочное горлышко фон Неймана» [von Neumann bottleneck][1232]: поскольку в этой архитектуре программы и данные хранятся в памяти, процессор и память разделены и данные пересылаются между ними при помощи соединительной шины, то это приводит к возникновению задержек. Независимо от того, насколько быстро может работать процессор, на деле он ограничен скоростью передачи данных, являющейся узким местом архитектуры. В биологических нейронных сетях нейроны выполняют одновременно функции хранения и обработки данных. Данные, воплощающиеся в пороге активации нейрона и параметрах синаптических связей, не требуют пересылки по перегруженной общей шине устройства. При симуляции нейронной сети фон-неймановская машина вынуждена выполнять расчёт сигналов в каждом нейроне последовательно, что сильно замедляет процесс симуляции. Даже в современных параллельных архитектурах число вычислительных ядер на порядки меньше количества ячеек памяти. Чтобы преодолеть это неприятное ограничение, необходимо создание машин с принципиально иной архитектурой. Те архитектуры, которые подражают строению биологических нейронных сетей, называют нейроморфными. Более подробно мы поговорим о них позже, когда будем обсуждать современные проекты в этой области.

Конечно, и архитектура фон Неймана в некотором роде подражает человеческому мозгу. Ведь она была создана фон Нейманом в том числе под влиянием работ Мак-Каллока и Питтса. Поэтому граница между классическими и нейроморфными архитектурами в какой-то степени условна. Можно говорить о той или иной степени нейроморфности какой-либо архитектуры. Но всё же в большинстве случаев более или менее очевидно, к какому именно из полюсов тяготеет то или иное устройство.

Розенблатт не был единственным исследователем, проводившим на стыке 1950-х и 1960-х гг. опыты в области создания нейроморфных машин. В 1960 г. профессор Бернард Уидроу и его аспирант Тед Хофф из Стэнфордского университета разработали ADALINE (Adaptive Linear Neuron, или позднее Adaptive Linear Element, адаптивный линейный нейрон / адаптивный линейный элемент) — однослойную искусственную нейронную сеть и физическое устройство, реализующее эту сеть, основанное на элементах, получивших название «мемисторы» (не путать с мемристорами!).

Сначала Уидроу, как и Розенблатт, моделировал нейронную сеть при помощи потенциометров — переменных резисторов, регулируя сопротивление каждого из них вручную. Но для того, чтобы реализовать в такой схеме возможность самообучения, необходимо было осуществлять вращение ручек автоматически. В этой ситуации Розенблатт сделал ставку на использование электромоторов. Уидроу же ухватился за идею, подсказанную ему Норманом Абрамсоном из Гавайского университета. «Почему бы не сделать это химически, электрохимически, — сказал Абрамсон своему коллеге в одном из разговоров, — как это делается в мозге?»

Основываясь на этой идее, Уидроу придумал принципиальную схему устройства, названного мемистором (от memory — память и resistor — резистор, поскольку по сути элемент был резистором с памятью).

По замыслу Уидроу, мемистор должен был представлять собой банку, наполненную электролитом, с двумя погружёнными в неё электродами. Чтобы изменять сопротивление между ними, Уидроу предполагал использовать третий электрод, подведение тока к которому должно было каким-то образом менять химический состав раствора и тем самым изменять его сопротивление. Однако конкретных мыслей о том, какие химические вещества использовать, на какую именно реакцию полагаться и как быстро можно изменять сопротивление, у учёного не было.

На помощь пришёл Тед Хофф, который хорошо разбирался в химии. Хофф сразу понял, что будет очень сложно изменить сопротивление электролита. Вместо этого он предложил использовать гальванизацию.

Хофф и Уидроу взяли лист бумаги, мягкий карандаш, провели на листе линию длиной несколько сантиметров и при помощи омметра замерили её сопротивление. Затем они взяли немного раствора сульфата меди в серной кислоте и нанесли его поверх графитной линии — после добавления электролита сопротивление уменьшилось в 1000 раз. После этого они погрузили в нанесённый на поверхность линии раствор медный электрод и, пропустив ток, смогли добиться осаждения небольшого количества меди поверх графита, что снизило сопротивление ещё примерно в 100 раз.

Исследователи хотели добиться обратного эффекта (удаления меди с поверхности) путём обращения направления электрического тока, но, пока они возились с оборудованием, кислота проела бумагу, и вся конструкция развалилась. Однако сам принцип уже был понятен, и Уидроу принялся за дело. Он взял омметр и отправился с ним в книжный магазин. Подойдя к прилавку, он сказал продавщице:

— Я хотел бы купить грифели для карандашей!

— Да, сэр. Посмотрите в витрине, там полно разных типов грифелей.

— Я хотел бы купить тот, который имеет самое высокое электрическое сопротивление.

— Прошу прощения?..

Уидроу вкратце обрисовал продавщице суть, она вытащила грифели из коробки и позволила ему заняться измерениями. Победителем стал грифель Fineline Type H, предназначенный для механического карандаша, — он выдал рекордные 9 Ом от одного конца до другого. Уидроу и Хофф взяли этот грифель, поместили один конец грифеля в зажим, окунули другой конец в раствор сульфата меди в серной кислоте, погрузили туда медный электрод и включили электрический ток. Вытащив и ополоснув грифель, учёные увидели отличное покрытие из меди на его кончике — твёрдое как камень.

Затем таким же образом медь была нанесена на другой конец грифеля. Экспериментаторы припаяли к медным оконцовкам грифеля два куска провода с пластмассовой изоляцией, покрыли места пайки лаком для ногтей, который Уидроу попросил у жены, — это было сделано, чтобы припой не растворился в серной кислоте. Затем учёные поместили грифель в лабораторную пробирку (оставив концы проводов снаружи), туда же опустили оголённый медный провод и наполнили пробирку уже знакомым раствором. В итоге у них получилось устройство с тремя выведенными наружу электрическими контактами. Подавая в разных направлениях ток между медным проводом и грифелем, можно было добиваться как осаждения меди на поверхности грифеля, так и её удаления оттуда, что позволяло изменять сопротивление грифеля в пределах от 9 до 0,25 Ом.

Именно из таких элементов и был собран ADALINE. Обучение было организовано при помощи несложной электросхемы, реализующей алгоритм, получивший название LMS (Least Mean Squares, алгоритм наименьших средних квадратов)[1233], — один из ранних вариантов стохастического градиентного спуска[1234]. Информация, накопленная искусственными нейронами ADALINE, была воплощена в различной толщине слоя меди на поверхности графитных стержней.

Позже в одном из интервью Уидроу так описывал события того времени: «Мы знали о Розенблатте только из газетных заметок о его работе. Она была сенсационной темой для прессы. Через некоторое время и наша работа также стала сенсационной. Некоторые из людей, занимающихся в Стэнфорде связями с общественностью, однажды организовали мою пресс-конференцию. Там была целая комната, полная репортёров, и я демонстрировал самообучающуюся машину. Это было довольно удивительно для 1960 года. Никто не знал, что это, чёрт возьми, такое и что можно с этим делать. Мы тоже не знали, что с этим можно делать»[1235].

Как в перцептроне Розенблатта, так и в ADALINE искусственный нейрон выполняет две операции: суммирование входящих сигналов и подстановку их в некоторую функцию, называемую пороговой функцией или функцией активации. В качестве пороговых Розенблатт и Уидроу использовали функции, которые могли принимать одно из двух значений (обычно 0 или 1). Если аргумент функции превышал некоторое пороговое значение, то сама она принимала значение, равное верхнему порогу (обычно 1), в противном случае — нижнему порогу (обычно 0). Пороговая функция в перцептроне и ADALINE служила заменой условия срабатывания нейрона в сетях Мак-Каллока и Питтса. Нейрон Мак-Каллока и Питтса активируется в случае, если число возбуждающих сигналов превышает некоторое пороговое значение (при отсутствии тормозящих сигналов). Единственным важным отличием сетей Розенблатта и Уидроу стал факт появления синаптических весов (или коэффициентов), на которые умножался сигнал при прохождении через соответствующее соединение нейронов. Таким образом, сигналы в сетях Розенблатта и Уидроу перестали быть аналогами логических суждений «истина» или «ложь» и стали численными значениями.

Как перцептрон Розенблатта, так и ADALINE обучались при помощи сходных алгоритмов, сегодня известных под названием «метод коррекции ошибки». Подробнее этот подход мы рассмотрим позже, когда будем говорить о теореме о сходимости перцептрона. Отметим лишь, что, в отличие от перцептрона Розенблатта, в ADALINE для вычисления величины ошибки использовалось значение сигнала до прохождения его через функцию активации. Многослойная версия ADALINE вполне ожидаемо получила название MADALINE.

Группы Розенблатта и Уидроу были не единственными командами учёных, кто занимался созданием коннекционистских моделей в те годы. В конце 1950-х — начале 1960‑х гг. над созданием модели, похожей на перцептрон и ADALINE, работал немецкий информатик Карл Штейнбух (собственно, он и придумал немецкий термин Informatik — информатика, который затем перекочевал в русский язык, благодаря чему сегодня мы можем обойтись одним словом «информатика» вместо двух английских computer science). Алгоритм, созданный Штейнбухом, получил название Lernmatrix — матрица обучения. В конце 1968 г. в Технологическом институте Карлсруэ под руководством Штейнбуха на основе Lernmatrix был создан первый европейский нейрокомпьютер.

Система состояла из двух модулей. Модуль ввода был «глазами» устройства и представлял собой набор фотоэлементов. Сигналы, полученные фотоэлементами, обрабатывались при помощи обучаемой матрицы на базе реле. В своих экспериментах Штейнбух продемонстрировал, что система была способна распознавать изображения пяти гласных букв[1236], [1237].


Рис. 94. Нейрокомпьютер Lernmatrix. В левой части происходит сканирование изображения
при помощи матрицы из двадцати фотоэлементов, в среднем блоке идёт обработка,
справа расположен блок акустического вывода

Перцептрон Розенблатта был устроен похожим образом. Входные данные поступали в него при помощи модуля ввода, в котором входное изображение подсвечивалось мощным источником света и проецировалось на матрицу размером 20 × 20 фотоэлементов на основе сульфида кадмия. Перцептрон также имел коммутационную панель, которая позволяла формировать конфигурацию возбуждающих и тормозящих синаптических связей[1238].

Первые нейрокомпьютеры были способны решать несложные задачи по распознаванию образов, успешно не только определяя геометрические фигуры и символы, но и, например, отличая фотографии женщин от фотографий мужчин.



К сожалению, в большинстве случаев до нас не дошли ни наборы данных, на которых производилось тестирование этих устройств, ни полученные значения метрик точности распознавания, однако, основываясь на общих представлениях о возможностях столь небольших по современным меркам моделей, можно предположить, что результаты были довольно скромными. В сборнике Naval Research Reviews за 1960 г. говорится, что при распознавании символов перцептрон Розенблатта правильно распознавал буквы в 85% случаев[1239].


Рис. 95. Перцептрон Розенблатта. Провода — синапсы, соединяющие А- и S-слои

4.4.7 Нейросетевые исследования 1960-х годов

Успехи Розенблатта привели к возникновению проектов, направленных на улучшение достигнутых им результатов. В Стэнфордском исследовательском институте (Stanford Research Institute, SRI) в Менло-парке (штат Калифорния) Чарльз Розен возглавил лабораторию, которая пыталась вытравить микроскопические вакуумные трубки на твердотельной подложке. Розен предположил, что схемы, основанные на таких трубках, могут воплощать принципы, изучаемые Розенблаттом, поэтому институт нанял его в качестве консультанта. В 1960 г. команда из лаборатории Розена под руководством учёного с говорящей фамилией, Альфреда Брейна[1240], почти завершила сборку небольшой нейронной сети под названием MINOS[1241]. Брейн понимал, что компьютерное моделирование нейронных сетей было слишком медленным для практического применения, поэтому принял решение о создании специализированного вычислительного устройства. Элементной базой MINOS стали разработанные Брейном магнитные устройства, позволяющие изменять веса связей нейронной сети.

Розенблатт заинтересовался возможностью замены громоздких потенциометров с электромоторами на магнитные устройства Брейна, поэтому охотно подключился к проекту SRI.

В 1961 г. команда Брейна начала работу над созданием нового большого нейросетевого устройства под названием MINOS II. В том же году Нильс Нильссон по приглашению Розена присоединился к Группе по самообучающимся машинам (Learning Machines Group), а затем возглавил её.

С 1958 по 1967 г. работу над системами MINOS финансировал в первую очередь Корпус войск связи Армии США. Целью проекта было «произвести научное исследование и экспериментальное изучение методов и характеристик оборудования, пригодного для практического применения в целях графической обработки данных для военных нужд». Основным направлением проекта было автоматическое распознавание символов на военных картах. Также были предприняты попытки применения разработанных устройств для других задач, таких как распознавание военных транспортных средств (например, танков) на аэрофотоснимках и распознавание рукописного текста.

На первом этапе обработки в MINOS II входное изображение дублировалось сто раз с помощью матрицы пластиковых линз размером 10 × 10. Каждая из копий изображения пропускалась через собственную оптическую маску (пластинку, состоящую из прозрачных и непрозрачных областей) для обнаружения различных признаков, а затем свет, прошедший через маску, регистрировался фотоэлементом и сравнивался с пороговым значением. Результатом был набор из ста двоичных значений. Эти значения были входными данными для ассоциативного слоя, представлявшего собой набор из 63 искусственных нейронов[1242].


Рис. 96. Схема обработки изображений в MINOS II

Рис. 97. Варианты оптических масок в MINOS II

Каждому из ста входных значений соответствовал один из ста переменных магнитных весов; 63 двоичных выхода из этих нейронов затем использовались для принятия решения о принадлежности изображения к одной из категорий. В зависимости от решаемой задачи это делалось разными способами. Например, при распознавании условных обозначений на картах нейроны организовывались в девять «комитетов» по семь нейронов, при этом каждый «комитет» соответствовал одному из девяти распознаваемых классов символов[1243]. При использовании набора из 64 классов в 63-мерном пространстве, каждое из измерений в котором соответствовало ответу одного из нейронов, располагались 64 равноудалённые друг от друга точки, а нейронная сеть обучалась таким образом, чтобы точка, соответствующая её выходным значениям, была расположена ближе к точке, соответствующей верному классу, чем к точкам, соответствующим другим классам.

В принципе, наличие 63 нейронов позволяло довести число распознаваемых категорий до 263. Однако, поскольку на практике число категорий было значительно меньше, создатели MINOS разработали целую теорию[1244], позволяющую оптимальным образом комбинировать ответы 63 нейронов для того, чтобы решать задачу классификации с числом классов от 2 до 263.

В течение 1960-х гг. Группа по самообучающимся машинам исследовала множество различных нейросетевых архитектур и процедур обучения. По мере того как компьютеры становились всё более доступными и мощными, всё чаще использовалась симуляция сетей на цифровых машинах. Комбинация новой машины SDS 910 и последней версии устройства ввода получила название MINOS III.

Одним из наиболее успешных результатов, достигнутых при помощи этой системы, стало автоматическое распознавание текстов программ на фортране, написанных от руки печатными буквами. Над этой задачей работали Джон Мансон, Питер Харт и Ричард Дуда. Нейросетевая часть MINOS III использовалась для оценки гипотез относительно каждого из распознаваемых символов. Например, некоторый символ, по мнению сети, со степенью уверенности в 90% является символом «D», а со степенью уверенности 10% — символом «O». Однако, выбирая каждый раз гипотезу с наибольшим значением степени уверенности, в итоге можно получить строку, в которой будет содержаться одна или несколько ошибок, поскольку точность распознавания всё же не была идеальной. С увеличением количества символов в строке вероятность того, что в неё закрадётся хотя бы одна ошибка, быстро растёт. Когда человек читает текст, написанный на бумаге, он может угадать плохо читаемый символ из контекста. Например, если в обычном тексте в слове «ЗДРА?СТВУЙТЕ» в отношении пятого символа лидирует гипотеза, что это цифра 8, и лишь затем следует гипотеза, что это буква В, то мы всё-таки понимаем из контекста, что вариант с «В» более предпочтителен.

Исследователи из SRI использовали для решения этой проблемы метод, называемый динамическим программированием. Использование этого метода позволяло рассчитать степень уверенности для строки в целом, основываясь на статистических свойствах распознаваемых текстов. Этот подход применяется в задачах распознавания текста и в наши дни. В результате исследователям удалось достичь точности распознавания в 98% для большого набора рукописных текстов, не использовавшихся в процессе обучения модели. Распознавание с таким уровнем точности было значительным достижением для 1960-х гг.

Расширяя круг интересов за пределы нейронных сетей, Группа по самообучающимся машинам в конечном итоге стала Центром искусственного интеллекта SRI, который и сегодня продолжает оставаться одним из ведущих исследовательских центров в области искусственного интеллекта[1245]. В конце 1960-х гг. Группа из SRI перенесла фокус своих исследований в сферу мобильной робототехники. Появившийся вскоре робот Шейки (Shakey) ознаменовал собой начало этого нового направления. Такое имя робот получил из-за специфического подрагивания[1246], которое демонстрировал во время работы. Шейки стал первым универсальным мобильным роботом, сочетавшим в себе компьютерное зрение, планирование и выполнение движения[1247]. Впрочем, система зрения Шейки не имела никакого отношения к перцептронам — в её основу было положено преобразование Хафа [Hough Transform][1248] — алгоритм, применяемый для выделения отдельных геометрических элементов изображения.

4.4.8 Теоретические результаты

Итогом работы Розенблатта и его коллег, помимо практических, стал ряд важных теоретических результатов. К их числу относятся, в частности, формулировка и доказательство теоремы о сходимости перцептрона. Как и теореме Цермело, теореме Розенблатта не слишком повезло, поскольку многие современные источники содержат неверную или избыточную формулировку теоремы. Тем, кто интересуется формальной математической стороной вопроса, я рекомендую небольшое расследование[1249], проделанное на эту тему Леем Мао, а мы попробуем взглянуть на сформулированную Розенблаттом проблему в более неформальном ключе.

Любую задачу классификации с произвольным числом классов можно свести к решению одной или нескольких задач, в которых число классов равно двум. Например, если у нас есть задача распознавания на картинке котиков, собак и енотов, то мы можем представить её в виде совокупности двух задач: задачи «отличать котиков от всех прочих животных» и задачи «отличать собак от енотов». Воспользовавшись этой особенностью задач классификации, мы будем рассматривать задачу с двумя классами. Её можно легко представить в графической форме. Для этого нужно взять n-мерное евклидово пространство, где n — количество факторов, задействованных в задаче (т. е. при одном факторе это будет числовая прямая, при двух факторах — плоскость, при трёх — трёхмерное пространство и т. д.), и отобразить в нём известные нам прецеденты (элементы обучающей выборки) в виде точек двух цветов (скажем, красных и зелёных). В случае задачи с двумя факторами мы получим множество красных и зелёных точек на плоскости. Если зелёные точки можно отделить от красных, проведя на плоскости некоторую прямую (для большего числа факторов — проведя в пространстве некую гиперплоскость), то множества красных и зелёных точек называют линейно разделимыми.


Рис. 98. Примеры линейно разделимых и линейно неразделимых множеств

Перцептрон, имеющий только один слой нейронов с настраиваемыми синаптическими весами, является линейным классификатором, то есть в процессе обучения он пытается найти гиперплоскость, разделяющую прецеденты, относящиеся к различным классам. Смысл теоремы о сходимости перцептрона заключается в том, что (как удалось доказать Розенблатту) такой однослойный перцептрон, обучаемый при помощи метода коррекции ошибки, всегда, независимо от стартового состояния синаптических весов и последовательности поступления элементов обучающей выборки, достигнет решения за конечный промежуток времени — то есть для линейно разделимых классов решение всегда будет найдено за конечное количество шагов обучения. Кроме того, Розенблатт рассчитал верхний предел количества таких шагов. Помимо теоремы о сходимости перцептрона, Розенблатт также представил доказательства ряда смежных теорем, связанных с архитектурой искусственных нейронных сетей и методами их обучения.

Впрочем, первые кирпичики в математический фундамент коннекционизма, как это ни странно, были заложены математиками, казалось бы далёкими от проблематики искусственных нейронных сетей. Речь идёт о решении так называемой тринадцатой проблемы Гильберта советскими математиками Владимиром Арнольдом и Андреем Колмогоровым. Гильберта интересовал вопрос о том, можно ли представить решение общего уравнения седьмой степени в виде суперпозиции непрерывных функций двух переменных[1250]. Арнольду и Колмогорову удалось доказать эту проблему в более общем виде, результатом чего стало появление теоремы Арнольда — Колмогорова, которая гласила: любая многомерная непрерывная функция может быть представлена в виде суперпозиции непрерывных функций одной переменной. В некотором роде советские математики показали, что единственная «истинная» функция многих переменных — это сложение, поскольку все другие функции можно записать с использованием функций одной переменной и сложения. Но ведь искусственная нейронная сеть как раз и представляет собой сочетание сложения, которое выполняют нейроны, и подстановки, которой соответствует передача сигнала через синаптическую связь. Таким образом, из теоремы Арнольда — Колмогорова следует, что абсолютно любая многомерная непрерывная функция может быть реализована при помощи искусственной нейронной сети[1251].

Этот результат был довольно неожиданным, поскольку, согласно ему, вся сложность многомерных функций может быть сведена к тривиальным операциям одномерных функций. В результате становится возможным использование методов групповой подстройки множеств однородных параметров для моделирования плохо формализуемых механизмов и процессов.

Статьи Колмогорова и Арнольда были опубликованы в СССР в 1956–1957 гг., но английские их версии появились в печати только в начале 1960-х гг. Поэтому Розенблатт, начиная свою работу над перцептронами, скорее всего, ничего не знал о неожиданном и обнадёживающем результате, полученном советскими математиками. И всё-таки именно ему, скромному нейрофизиологу, а вовсе не математикам и информатикам удалось оказаться в нужное время в нужном месте и стать на некоторое время лидером нового направления в науке, обильные плоды которого мы пожинаем в наши дни. Розенблатт был в некотором роде математиком поневоле, его практические эксперименты нередко оказывались впереди попыток строгого математического обоснования методов, лежащих в их основе. Да и сами математические выкладки Розенблатта, по мнению некоторых специалистов, не всегда были корректны. И всё-таки именно в руках этого худощавого юноши в очках были рабочий образец самообучающейся машины и обнадёживающие результаты экспериментов.

Фрэнк Розенблатт был весьма разносторонней личностью. Будучи руководителем отдела когнитивных систем в Корнелле, он читал лекции на факультете психологии. Его курс под названием «Теория механизмов мозга» был рассчитан на студентов как инженерных, так и гуманитарных факультетов и включал в себя огромное число сведений из различных областей знаний. Здесь были и результаты, полученные во время операций на мозге больных эпилепсией (при нахождении пациентов в сознании), и эксперименты по изучению активности отдельных нейронов зрительной коры кошек (речь идёт о работах Дэвида Хьюбела и Торстена Визеля — их мы обсудим более подробно немного позже), и работы по изучению изменений в протекании психических процессов в результате травм различных областей мозга, принципы работы различных электронных устройств, моделирующих поведение биологических нейронных сетей (в том числе перцептрона).

Несмотря на то что в те годы в арсенале нейронауки не было ещё таких современных методов, как компьютерная и позитронно-эмиссионная томография, Розенблатт смог дать вполне адекватные оценки возможностей человеческого мозга. Например, основываясь на доступных ему данных, он произвёл серию вычислений и пришёл к выводу, что нейронных связей в коре головного мозга человека достаточно для того, чтобы хранить точные «фотографические» образы, поступающие от органов зрения со скоростью 16 кадров в секунду, в течение не менее двухсот лет.

Именно на основе этого курса была написана книга «Принципы нейродинамики», которую Розенблатт использовал затем в качестве учебника для студентов.

4.4.9 Друзья, увлечения и крысы Розенблатта

Розенблатт определённо выделялся из коллектива преподавателей Корнеллского университета тех лет. Он был весьма обаятельным, но довольно застенчивым, по воспоминаниям коллег, человеком. Розенблатт виртуозно водил спортивный автомобиль MGA, его верным спутником был кот по имени Тобермори. Так звали подопытного кота из рассказа Гектора Хью Манро (более известен под псевдонимом Саки); кот из рассказа смог научиться человеческой речи, именно поэтому то же имя — Тобермори — Розенблатт дал своему последнему нейросетевому проекту — фоноперцептрону Tobermory.

Подробности личной жизни Розенблатта были практически неизвестны биографам вплоть до выхода в свет мемуаров его бывшего аспиранта Хэла Седжвика. Начиная с лета 1969 г. Хэл и его жена Ив жили на чердаке дома Розенблатта, располагавшегося в сельской местности недалеко от города Бруктондейла в штате Нью-Йорк. Ив Седжвик сегодня известна в качестве одного из крупных теоретиков феминизма, а также как литературовед, литературный критик, культуролог, писательница, поэтесса, эксперт в области гендерных и пионер в области квир-исследований [queer studies] (области науки, занимающейся исследованием вопросов, связанных с сексуальной ориентацией и гендерной идентичностью, обычно фокусирующейся на лесбиянках, геях, бисексуалах, трансгендерах, гендерной дисфории, асексуалах, ищущих [questioning], интерсексуальных людях и соответствующих культурах). Розенблатт за символическую сумму сдавал комнаты в своём доме постоянно меняющейся группе, в которую входило от шести до восьми его друзей и учеников, составлявших небольшую квазикоммуну. Обитатели дома по очереди готовили еду для всей группы. После обеда все оставались за обеденным столом, пока Фрэнк читал вслух для развлечения одну или две главы из какой-нибудь книги («Ветер в ивах», «Король былого и грядущего», «Козлик Джайлс» и т. д.). Сообщество в Бруктондейле было формирующей моделью для концепции ненуклеарной небиологической семьи Ив Седжвик, в которой Фрэнк Розенблатт выполнял роль дяди-холостяка[1252], [1253].

Хэл Седжвик вспоминает, что Розенблатт был влюблён в одного из своих студентов, поэтому добавлял его имя в число соавторов некоторых своих статей. Осознавая враждебное отношение общества к гомосексуалам, Розенблатт старался держать личную жизнь в тайне и отговаривал Седжвика от участия в политическом движении за права геев. По его мнению, общество ещё не было готово принять их такими, какие они есть. Учитывая печальную судьбу Алана Тьюринга, эту позицию вполне можно было понять.

Седжвик так описывает Розенблатта:

Фрэнк был небольшого роста; эксцентричного вида парень, которого, казалось, мало заботит его внешность. Он редко переодевался и обычно был одет в одну и ту же потёртую спортивную куртку или изношенный свитер, всегда носил свои бумаги и книги в одной руке, как студент. Его невыразительное лицо заставляло вас почувствовать, что он точно очень одинокий человек. И хотя Корнеллский университет, несомненно, был его стихией (он находился там почти непрерывно с 1946 года), у меня сложилось впечатление, что за пределами своего кабинета и исследовательских лабораторий он был не совсем уверен в себе.

Каждый день, ближе к вечеру, можно было увидеть «одинокого» Фрэнка, который бродил по Уиллард-Стрейт-Холлу и заходил в Музыкальную комнату в ходе ритуальной прогулки. Тем не менее он никогда не оставался здесь надолго: я видел, как он немного приподнимал голову, его слегка прищуренные глаза смотрели в комнату, чтобы увидеть, нет ли там кого-то, кого он знал. Очки были ему слишком велики и подчёркивали эксцентричный облик. Его глаза редко, казалось, фокусировались на чём-либо или на ком-либо слишком надолго. Если он замечал вас, то его рот расплывался в широкой зубастой улыбке[1254].

Фрэнк был весьма разносторонним человеком: он занимался скульптурой, живописью, горным туризмом, был способен за короткий срок глубоко вникнуть практически в любой предмет, о котором раньше не имел понятия. Он часто записывал новые идеи, пришедшие ему в голову, на салфетках, чековых корешках, на любом подвернувшемся листке бумаги. Был Розенблатт и одарённым музыкантом — он приобрёл домой рояль и часто играл на нём Моцарта, Бетховена и других классиков, но больше всего любил импровизировать на тему известной песенки «Три слепых мышонка». Интересовала Розенблатта и астрономия: он разработал один из первых методов обнаружения экзопланет — транзитный (метод транзитной фотометрии). Фрэнк построил небольшую обсерваторию на холме за домом в Бруктондейле. Когда обсерватория была закончена, Розенблатт стал активным участником проекта SETI (Search for Extraterrestrial Intelligence, Поиск внеземного разума).

В 1968 г. в ходе праймериз Демократической партии США Розенблатт был активным участником кампании сенатора Юджина Маккарти. Маккарти был активным противником войны во Вьетнаме (Розенблатт также выступал против войны и участвовал в антивоенных акциях), поэтом и лидером леволиберального крыла партии. Особенно большой поддержкой Маккарти пользовался в молодёжной среде. Под влиянием успехов Маккарти в начале избирательной кампании президент Линдон Джонсон решил отказаться от попытки переизбрания.



С 1966 г. Фрэнк присоединился к группе исследования нейробиологии и поведения, созданной на только что учреждённом факультете биологических наук. Его интересовал вопрос о возможности передачи выученных механизмов поведения от одних особей другим. В качестве подопытных животных в экспериментах использовались крысы, которых обучали различным навыкам, например прохождению лабиринта или действиям в ящике Скиннера. Ящик Скиннера был развитием проблемного ящика Торндайка, Скиннер добавил к конструкции Торндайка механизмы для подачи различных стимулов, а также устройство, выдающее награду. По завершении обучения мозг подопытных крыс извлекался и перерабатывался в экстракт, который затем вводился необученным крысам интраперитонеально (внутрибрюшинно), внутривенно или интрацистернально[1255]. Это были не первые опыты Розенблатта с крысами, ещё в 1964 г. он участвовал в исследовании, посвящённом влиянию LSD (диэтиламида d-лизергиновой кислоты) на процессы связывания серотонина в крысином мозге.

Идея с передачей выученного поведения через экстракт мозговых тканей, хотя и может сейчас показаться нелепой, основывалась на вполне рациональной гипотезе. Гипотеза, лежавшая в основе этих экспериментов, заключалась в том, что информация передаётся при помощи молекул РНК (рибонуклеиновой кислоты), содержащих «адгезивные коды», сигнатуры, заставляющие молекулу связываться с определёнными группами нейронов.

Старт исследованиям группы Розенблатта дали работы других научных коллективов, которыми были продемонстрированы обнадёживающие результаты. В своих экспериментах Эльсе Фьердингстад, Ханс Рёйгард-Петерсен и Томас Ниссен из Института общей зоологии Университета Копенгагена формировали у крыс реакцию на сигнальные огни и затем использовали интрацистернальные инъекции мозгового экстракта[1256]. Джордж Унгар и Карлос Осегера-Наварро использовали в качестве стимула звук удара молотка по металлической тарелке и интраперитонеальное введение экстракта (интересно, что Унгар и Осегера-Наварро пытались в своих экспериментах передавать знания от крыс к мышам)[1257], [1258]. Фрэнк Бабич, Аллан Якобсон, Сьюзен Бубаш и Энн Якобсон из Калифорнийского университета в Лос-Анджелесе также использовали интраперитонеальное введение, но уже без привлечения мышей, только на крысах, а в качестве стимула применяли звук щелчка дозатора для таблеток[1259].

Результаты экспериментов группы Розенблатта были опубликованы в журнале Nature в январе 1966 г. Целью экспериментов было воспроизведение результатов предшественников на более внушительной выборке, а также проверка РНК-гипотезы. Всего в экспериментах использовалось 140 самок крыс-альбиносов (60 доноров и 80 реципиентов). Были сформированы контрольные группы, в которых в качестве доноров использовались необученные крысы. Для проверки РНК-гипотезы в двух группах в экстракт была добавлена рибонуклеаза — фермент, катализирующий деградацию РНК. Розенблатт и его коллеги также опробовали различные виды экстракта — приготовленные из целого мозга, из конечного мозга и отдельно из мозжечка крыс. В опытах Розенблатта, как и в работах предшественников, наблюдался эффект передачи выученного поведения (хотя и более слабый), однако РНК‑гипотеза была опровергнута. Розенблатт высказал умеренный оптимизм по поводу результатов и предположил, что носителями информации могут быть мелкие молекулы растворимых белков или полипептидов[1260].

Впоследствии исследования в области передачи выученного поведения подверглись широкомасштабной критике, однако и в 1970-е гг. продолжался спор с сообщениями об отдельных положительных результатах в ведущих научных журналах[1261]. Исследователи постепенно утратили интерес к этому направлению, тем более что был достигнут заметный прогресс в понимании молекулярных механизмов работы мозга. Фрэнк Бабич покинул науку, чтобы стать каскадёром, известным нам сегодня по сериалу «Звёздный путь» и другим классическим телесериалам.

Впрочем, отдельные положительные результаты в экспериментах по передаче выученного поведения химическим путём появляются в научной прессе и сегодня. Например, в мае 2018 г. много шума наделали сообщения лаборатории под руководством Дэвида Гланзмана в Институте исследований мозга Калифорнийского университета в Лос-Анджелесе. Исследования показали, что РНК из обученной аплизии (морского зайца), введённая в необученную аплизию, может оказывать долгосрочное воздействие на её поведение, напоминающее передачу выученного рефлекса от обученной особи к необученной[1262].



4.5 «Чистюли» и «грязнули» — разные школы ИИ

Тут Великий Умывальник,

Знаменитый Мойдодыр,

Умывальников Начальник

И мочалок Командир,

Подбежал ко мне, танцуя,

И, целуя, говорил:

«Вот теперь тебя люблю я,

Вот теперь тебя хвалю я!

Наконец-то ты, грязнуля,

Мойдодыру угодил!»

Корней Чуковский. Мойдодыр

В 1950–1960-е гг. в среде американских исследователей в области искусственного интеллекта идейно оформились две школы — «чистюли» [neats] и «грязнули» [scruffies], воплощавшие в своей деятельности два различных подхода в развитии отрасли.

Считается, что первыми о произошедшем идейном расколе открыто заявили Роджер Шанк и Роберт Абельсон, которые рассуждали об отличии их подходов к обработке естественного языка от работ Джона Маккарти, Аллена Ньюэлла, Герберта Саймона и других специалистов, чей подход базировался на более строгих логических концепциях. «Генетически» работы Шанка и Абельсона в Йеле восходили к исследованиям искусственного интеллекта в Массачусетском технологическом институте под руководством Марвина Минского, в ходе которых был создан ряд разговорных систем (о которых мы поговорим подробнее несколько позже). Эти системы производили большое впечатление на современников, хотя и не основывались на проработанных логических концепциях языка.

Названия «чистюли» и «грязнули» вошли в употребление в сообществе специалистов по искусственному интеллекту в начале 1980-х гг., вскоре после того, как Абельсон рассказал о фундаментальных противоречиях в своём выступлении на ежегодном собрании Общества когнитивных наук в 1981 г. Вот несколько избранных цитат из этого выступления (они должны звучать в вашей голове низким голосом, поскольку Абельсон был басом в Русском хоре Йельского университета).



Разум должен отражать всё, что есть в реальном мире, и ему нужно вмешиваться в этот мир для достижения определённых целей. Но мир запутан, а цели многообразны. Следовательно, по мере того как модели разума всё больше приближаются к реальности, они могут становиться пространными и неподъёмными. Если упор делается на науку больше, чем на познание, то каноны точных наук диктуют стратегию изоляции идеализированных подсистем, которые можно моделировать при помощи элегантных продуктивных формализмов. Ясность и точность ценятся высоко, даже в ущерб реализму здравого смысла. В карикатурном виде эта тенденция выражается девизом бескомпромиссного приверженца строгой науки Джона Тьюки, гласящим: «Лучше быть неправым полностью, чем правым приблизительно».

Одна тенденция указывает внутрь разума, чтобы увидеть, что может быть в нём. Другая указывает наружу, на некоторую формальную систему, которой можно манипулировать при помощи логики. Каждый из лагерей отказывает другому в законных правах на когнитивную науку. Одна сторона говорит: «То, что вы делаете, может показаться наукой, но это не имеет ничего общего с познанием». Другая сторона говорит: «То, что вы делаете, может показаться познанием, но это не имеет ничего общего с наукой».

Стороннему наблюдателю может показаться, что проблема возникает главным образом из-за двуглавого термина «когнитивная наука». Я хорошо помню обсуждение возможных названий, и, хотя мне никогда не нравилась «когнитивная наука», альтернативы были ещё хуже — мерзости вроде «эпистологии» или «репрезентономии».

Абельсон считал, что в основе разногласий внутри когнитивной науки лежат фундаментальные идеологические противоречия, которые пронизывают практически все сферы жизни общества, начиная от науки и заканчивая искусством, религией и воспитанием детей. Цитируя своего неназванного коллегу (вполне вероятно, что Шанка), Абельсон говорит, что большая часть столкновений между людьми в их делах происходит именно между «чистюлями», которые понимают и оценивают человеческое поведение, используя в качестве эталона систему непреложных норм и правил, и «грязнулями», для которых источником ценности являются люди, реакция которых и определяет важность тех или иных вещей[1263].

«„Чистюли“, — говорил Шанк, — носят хорошо выглаженную одежду и работают над поверхностными феноменами, такими как логика и синтаксис, которые они могут понять и поместить в уютные маленькие коробочки. „Грязнули“ одеваются небрежно и любят иметь дело с такими беспорядочными проблемами, как семантика[1264]»[1265].

Абельсон считал, что «чистюли» выбирают осторожный, экспериментальный и медленный (с точки зрения «грязнуль») путь к получению скромных результатов в надежде, что они в итоге составят целостную общую картину. «Грязнули» практикуют более интуитивный, целостный и хаотичный (с точки зрения «чистюль») подход, применяя методы моделирования и наблюдения, чтобы получить общую картину, надеясь, что она подскажет, на каких мелких деталях следует сосредоточиться. В то время как «чистюли» посвящают своё время изучению работы отдельных компонентов познания, «грязнули» надеются раскрыть динамическую взаимосвязь между этими компонентами. «Чистюли» полагают, что понимание каждого из компонентов даст нам понимание того, как эти компоненты вписываются в работающую когнитивную систему. «Грязнули» считают, что ни один из компонентов наших когнитивных систем не является изолированным и, поскольку каждый из них сильно зависит от работы других, именно их взаимодействие является ключом к пониманию познания. «Чистюли» искали «чистые» и последовательные решения задач представления знаний, в то время как «грязнули», как правило, использовали всевозможные «хаки», проверяя различные решения, чтобы увидеть на практике, что будет работать, а что нет[1266]. Вообще, «хак», «хакинг» (взлом) задачи — типичные инструменты из арсенала «грязнуль».

В общем и целом, доводя до крайности, позицию «чистюль» можно выразить фразой «[Если факты противоречат теории, то] тем хуже для фактов!» (её Дьёрдь Лукач приписывал[1267] Фихте, а другие авторы — Гегелю). Крайним же выражением взглядов «грязнуль» является старинная русская пословица: «Всё полезно, что в рот полезло».

Географически центром школы «чистюль» были Стэнфордский университет, Институт Карнеги — Меллона, Эдинбургский университет, университеты Западного побережья США, а также японские университеты. «Грязнули» работали в Массачусетском технологическом институте, Йеле и в университетах Восточного побережья США[1268].

Типичными представителями школы «чистюль» были Аллан Ньюэлл, Герберт Саймон, Джон Андерсон, Кит Холиоук и Пол Тагард, «грязнуль» — Абельсон и Шанк, Сеймур Пейперт, Терри Виноград и Дон Норман.

В 1995 г. книга Холиоука и Тагарда «Умственные прыжки: аналогия в творческом мышлении» (Mental Leaps, Analogy in Creative Thought)[1269] подвела итоги двух десятилетий усилий «чистюль» в изучении мышления, построенного на аналогиях, в то время как книга Шанка и Клири «Машины для обучения» (Engines for Education)[1270], вышедшая годом раньше, стала изложением результатов двух десятилетий исследований «грязнуль» в лабораториях Шанка (в Йельском, а затем в Северо-Западном университете), посвящённых изучению накопленного опыта. Ни одна из этих работ не ссылается на другую, и ни одна из них не даёт чёткого представления о мировоззрении породивших их школ[1271].

Традиционно к числу «грязнуль» относят и Марвина Минского, иногда даже называя его основателем этой школы. Однако к началу 1990-х гг. он занимал уже скорее центристскую позицию. В 1991 г. Минский опубликовал статью под названием «Логическое против аналогического, или Символьное против коннекционистского, или „Чистюля“ против „грязнули“» (Logical Versus Analogical or Symbolic Versus Connectionist or Neat Versus Scruffy), в которой доказывал необходимость синтеза этих двух подходов.


Рис. 99. «Конфликт между теоретическими крайностями»
(рисунок из вышеупомянутой статьи Марвина Минского)

Конечно, подход имени мира, дружбы и жвачки имеет большое число поклонников и в наши дни, тем более что множество современных интеллектуальных систем вполне успешно сочетают в себе методы, предложенные как в работах «чистюль», так и в трудах «грязнуль». Многие «грязные» методы подверглись «очистке» по мере того, как были созданы теоретические обоснования их применения. Например, развитие высокоразвитых формализмов, таких как байесовские сети и математическая оптимизация в 1990-е гг., привело некоторых исследователей ИИ, таких, например, как Стюарт Рассел и Питер Норвиг, к выводу о победе «чистюль». Памела Маккордак, симпатизировавшая «грязнулям», в 2004 г. отмечала: «В те дни, когда я пишу эти строки, в ИИ установилась гегемония „чистюль“ — людей, которые считают, что по крайней мере машинный интеллект предпочтительно описывать при помощи логических, даже скорее математических терминов». С другой стороны, за несколько прошедших десятилетий было изобретено множество «грязных» трюков и хаков, в первую очередь под влиянием выхода интеллектуальных систем за границы университетских лабораторий — производственная необходимость нередко порождает «грязные» решения, откладывая более изящные решения на будущее. Недаром различие между «чистюлями» и «грязнулями» нередко представляют в виде противопоставления декларативного и процедурного подходов: там, где «чистюли» оперируют формальными определениями, «грязнули» сконцентрированы на создании действующих агентов. Это противоречие было прекрасно выражено Марксом за сотню лет до Абельсона и Шанка: «Философы лишь различным образом объясняли мир; но дело заключается в том, чтобы изменить его» [Die Philosophen haben die Welt nur verschieden interpretiert, es kommt aber darauf an, sie zu verändern][1272].

В разгар дебатов, пришедшийся на первую половину 1980-х гг., Нильс Нильссон (знакомый нам по нейросетевым исследованиям в SRI), к тому времени президент Ассоциации по развитию искусственного интеллекта, заявил, что области нужны оба подхода. Он писал: «Большая часть знаний, которые мы хотели бы иметь внутри наших программ, может и должна быть представлена декларативно, в некоем декларативном, подобном логике формализме. Структуры для особых случаев [ad hoc] также имеют право на существование, но большинство из них порождается самой предметной областью»[1273]. Алекс Пентланд и Мартин Фишлер из MIT в ответ заявили: «Нет сомнений в том, что дедукция и логические формализмы будут играть важную роль в исследованиях ИИ, однако, похоже, что они не соответствуют той королевской роли, которую Нильс им отводит. Этот претендент на королевский престол хотя и не голый, но, похоже, имеет весьма ограниченный гардероб»[1274].

Спор этот далёк от завершения и в наши дни (хотя сами термины «чистюли» и «грязнули», вышли из моды) и обостряется по мере успехов, достигнутых исследователями, тяготеющими к одному или другому направлению.

4.6 Марвин Минский и зима искусственного интеллекта

Мир опустел… Земля остыла…

А вьюга трупы замела,

И ветром звёзды загасила,

И бьёт во тьме в колокола.

И на пустынном, на великом

Погосте жизни мировой

Кружится Смерть в веселье диком

И развевает саван свой!

Иван Бунин. Ночная вьюга

Одним из интригующих моментов истории искусственного интеллекта является вопрос о том, почему после успехов Розенблатта и Уидроу, после всей волны энтузиазма, порождённой работами Мак-Каллока и Питтса, научное сообщество на долгие годы утратило интерес к коннекционистским моделям. Нередко забвение нейросетевых моделей на многие годы и смену фокуса исследований связывают с критикой работ Розенблатта Марвином Минским и Сеймуром Пейпертом. Действительно, если попытаться объяснить одним предложением, то проще всего произвести на свет примерно такой текст: в 1969 г. увидела свет книга Минского и Пейперта «Перцептроны» (Perceptrons: An Introduction to Computational Geometry), в которой были показаны функциональные ограничения подобных моделей (в частности, доказано, что перцептрон не может выучить операцию «исключающее или»), в результате произошло смещение научного интереса и финансирования на другое направление исследований в области ИИ — символьный подход (собирательное название для всех методов искусственного интеллекта, основанных на высокоуровневом «символьном» (человекочитаемом) представлении задач и логики их решения). Выглядит на первый взгляд логично и регулярно воспроизводится в научно-популярной литературе в различных вариациях со степенью категоричности, зависящей только от упоротости авторов. Действительность, впрочем, по всей видимости, куда сложнее, а во многом и вовсе противоречит этой лубочной картинке. Давайте попробуем разобраться в произошедшем по порядку.

Для этого мы вернёмся в 1963 г., когда 35-летний Сеймур Пейперт после четырёх лет работы в Университете Женевы перебрался в Массачусетский технологический институт, чтобы занять должность научного сотрудника (а с 1967 г. — профессора прикладной математики). Позже в своих воспоминаниях Пейперт писал: «Многие факторы сделали этот шаг привлекательным. Эта была перспектива получить доступ к компьютерам и работать с Марвином Минским и Уорреном Мак-Каллоком, а также удивительное чувство шаловливости [playfulness], которое я испытывал там во время своих кратких визитов. Когда я наконец приехал, всё это воплощалось в ночных сессиях у компьютера PDP-1, который был выделен Минскому. Это было чистой воды игрой. Мы выясняли, что можно сделать с помощью компьютера, и что-нибудь интересное оказывалось стоящим. Никто ещё не знал достаточно для того, чтобы указывать, что какие-то из вещей были серьёзнее других. Мы были как младенцы, открывающие мир»[1275].

Первыми сотрудниками Минского стали студенты из клуба технического моделирования железной дороги, которые занимались созданием собственных релейных компьютеров, предназначенных для управления моделями поездов. Находившаяся в конце 1950-х гг. в распоряжении Минского ЭВМ (одна из нескольких в мире) была настоящей приманкой для увлечённых студентов, которые нередко пробирались в вычислительный центр, чтобы часами работать над собственными программами. Минский не стал наказывать студентов за незаконные проникновения в лабораторию и нецелевое использование университетской собственности, вместо этого он нанял их на работу. Позже он так отзывался о своих новых сотрудниках: «Они были странными. У них было что-то вроде ежегодного соревнования: кто быстрее других проедет по всем станциям Нью-Йоркского метро. Это занимало около 36 часов и требовало детальной проработки поездки, планирования, изучения расписания движения поездов. Эти ребята были сумасшедшими». Но именно такой род «сумасшествия» оказался полезным с точки зрения информатики. Особое внимание к деталям и неутолимое желание что-то создавать пришлись весьма кстати с точки зрения написания программ и проектирования аппаратуры. Лаборатория Минского процветала, и он не испытывал никаких проблем с поиском сотрудников. «Кто-нибудь писал сообщение или письмо: мне интересно то-то и то-то. На что я отвечал, что можно заглянуть и посмотреть, понравится ли работа у меня, — вспоминал он. — Человек приезжал на неделю или две, получал достаточно денег и уезжал, если ему не нравилось. Это действительно было весьма экстравагантно, но команда лаборатории была сообществом самозаряжающимся. У них был свой язык. Они могли сделать за три дня то, на что обычно уходит месяц. И если у нас в команде появлялся кто-то талантливый и харизматичный, мы принимали его с радостью».

Энтузиазм Минского щедро подпитывался ресурсами. Он вспоминал: «Я не писал ни единой заявки до 1980 года. Я просто всегда появлялся там, где был кто-нибудь вроде Джерри Визнера из Массачусетского технологического института. Мы с Джоном Маккарти начали работать над ИИ где-то в 1958 или 1959 г., как раз когда пришли в MIT. У нас была пара студентов-помощников. Однажды к нам заглянул Джерри Визнер и спросил, как идут дела. Мы сказали, что всё идёт неплохо, но было бы здорово, если у нас ещё было бы три-четыре аспиранта в помощь. Он сказал, мол, хорошо, зайдите к Генри Циммерману и скажите, пускай выделит вам лабораторию. Спустя два дня у нас была небольшая лаборатория на три-четыре комнаты и огромная куча денег, которую MIT получил от IBM за исследования в области вычислительной техники. Никто не знал, что делать с деньгами, поэтому их отдали нам»[1276].

Пейперт сразу же включился в работу команды Минского, которая на тот момент носила название «Группа по искусственному интеллекту» (Artificial Intelligence Group)[1277]. Причина, по которой маститый учёный и один из лидеров большого научного направления, коим в те годы был Минский, пригласил к себе в команду Пейперта (в одном из источников говорится «юного Пейперта», хотя разница в возрасте «мэтра» и «юноши» составляла меньше года), была довольно забавной. Вот как описывает её сам Пейперт: «В 1960 г. на Лондонском симпозиуме по теории информации, организованном Колином Черри, произошло событие, которое изменило мою карьеру… Я пришёл на это собрание как математик, интересующийся вычислительными идеями и теорией информации. Я пришёл туда с работой, содержавшей небольшую теорему. И то, что случилось, было наихудшим кошмаром для того, кто пришёл на собрание с теоремой. Выступавший передо мной докладчик продемонстрировал точно такую ​​же теорему и доказал её столь же убедительно, как и я, правда несколько иным способом, но вы не можете рассчитывать на признание, имея в руках всего лишь немного другое доказательство. Однако то, что поначалу казалось кошмаром, превратилось на деле в отличный подарок. Человеком, опередившим меня, был Марвин Минский. Мы с Марвином пришли на эту встречу, по существу, с одной и той же работой, и это привело нас к сотрудничеству, которое продолжалось в течение многих лет…»[1278]

В редких случаях сотрудничество между двумя исследователями бывает столь продуктивным: лейбл «Минский и Пейперт» пришёл на смену лейблу «Минский и Маккарти». Вскоре усилиями нового дуэта были начаты новые исследовательские программы в области теории вычислений, робототехники, человеческого восприятия и детской психологии. Когда в 1968 г. Группа по искусственному интеллекту официально стала Лабораторией искусственного интеллекта MIT, Минский и Пейперт стали её содиректорами[1279].

В итоге группа коллег Минского превратилась в лидеров в академических кругах, в индустрии и даже в Голливуде. Когда фантаст Артур Кларк работал совместно со Стенли Кубриком над фильмом «2001 год: Космическая одиссея», он обратился к своему другу Минскому за помощью, чтобы тот помог создать образ системы искусственного интеллекта на космическом корабле. Вместе они создали HAL 9000, компьютер, который по сей день является олицетворением страхов перед злонамеренным искусственным разумом. Многие запомнили мигающий красный «глаз» HAL, похожий на индикатор машины ENIAC[1280].

Вообще, культурное влияние пионеров ИИ трудно переоценить. Хотя их фамилии мало что скажут современному обывателю, они порой стояли у истоков идей, общеизвестных в наши дни. Так, например, беседа Уоррена Мак-Каллока и режиссёра Романа Кройтора, использованная Артуром Липсеттом при создании короткометражного фильма «21-87», стала для Джорджа Лукаса источником концепции «силы» в киноэпопее «Звёздные войны». В целом короткометражка «21-87» оказала большое влияние на многие работы Лукаса[1281], [1282].

Первые успехи искусственного интеллекта в 1960-е гг. неизбежно привлекли к себе внимание общественности и, помимо восторгов, столь же неизбежно вызвали зависть, неприязнь и страхи со стороны отдельных людей. В 1965 г. философ Хьюберт Дрейфус опубликовал отчёт для корпорации RAND под названием «Алхимия и искусственный интеллект» (позже расширенный до книги «Чего не умеют компьютеры» (What Computers Still Can’t Do: A Critique of Artificial Reason, 1992)). В нём Дрейфус выступил с решительной критикой оптимистичных заявлений специалистов в области искусственного интеллекта, таких как Аллен Ньюэлл, Клифф Шоу, Герберт Саймон и прочие, презрительно назвав их «искусственной интеллигенцией» [artificial intelligentsia]. Говоря о нереалистичности оптимистичных заявлений энтузиастов искусственного интеллекта (например, заявления Саймона и Ньюэлла в 1957 г. о том, что в течение ближайших десяти лет цифровой компьютер сможет стать чемпионом мира по шахматам), Дрейфус утверждал, что во многих направлениях ИИ наблюдается резкое замедление, и предполагал, что это является свидетельством приближения к фундаментальным ограничениям[1283]. Иногда ему даже приписывают утверждение о том, что ни одна шахматная программа никогда не обыграет даже десятилетнего ребёнка. Впрочем, сам Дрейфус позднее отрицал, что когда-либо делал подобное заявление[1284].

Ньюэлл и Саймон также предсказывали в 1957 г., что в течение десяти лет цифровой компьютер сможет открыть и доказать важную новую математическую теорему. Их оптимизм был основан на первых успехах в этом направлении, достигнутых ещё в 1956 г., когда программа «Логический теоретик» (Logical Theorist) смогла доказать 38 из 52 теорем, приведённых в «Принципах математики» Рассела и Уайтхеда, а для теоремы о равнобедренном треугольнике (что углы, противолежащие боковым сторонам равнобедренного треугольника, равны), известной также под названием pons asinorum («мост осла»), обнаружила более короткое и изящное доказательство, чем приведённое в книге Рассела. Однако Journal of Symbolic Logic (Журнал символьной логики) отказался публиковать статью, в качестве одного из авторов которой была указана компьютерная программа. Позже, впрочем, выяснилось, что найденное «Логическим теоретиком» доказательство было известно Паппу Александрийскому ещё в IV в. н. э.[1285], [1286], [1287]



В момент, когда представители того или иного направления, окрылённые первыми успехами, заняты расширением и развитием пионерских работ, они оказываются чрезвычайно уязвимы для критики, выдержанной в стиле «это невозможно в принципе!». Любой несбывшийся в срок оптимистичный прогноз будет использован противниками как доказательство своей правоты. Именно поэтому критически важным навыком эксперта в области прорывных инноваций является умение отличить это самое «невозможно в принципе» от «пока не достигнуто». Первые поезда создавались для перевозки грузов и развивали скорость, уступающую скорости пешехода. Когда на смену зубчатым рельсам, предназначенным для увеличения тяги паровоза, пришли гладкие, скорость составов выросла, что неизбежно вызвало к жизни идею пассажирских составов. Газеты немедленно начали писать о том, что в результате запуска таких поездов куры перестанут нестись, коровы — давать молоко, а сами пассажиры сойдут с ума от сумасшедшей скорости в… 30 км/ч![1288] В декабре 1902 г. американский юмористический журнал Puck писал: «В настоящее время всё происходит так быстро, что люди, говорящие: „Это сделать невозможно“, каждый раз прерываются теми, кто это делает»[1289]. Судя по всему, именно из этой фразы родилась пословица, приписываемая ныне безответственными журналистами и ушлыми бизнес-тренерами то Конфуцию, то китайской народной мудрости: «Человек, который говорит, что что-то невозможно сделать, не должен мешать делать это другим»[1290]. Несмотря на неясный источник этой мудрости, трудно не согласиться с её автором.

Дрейфус, фиксируя чрезмерный оптимизм энтузиастов первой весны искусственного интеллекта, не утруждал себя доказательствами принципиальной невозможности воплощения в жизнь их надежд, неспециалисту же было трудно понять, действительно ли те или иные обещания учёных, работавших над созданием систем искусственного интеллекта, были подобны обещаниям создать вечный двигатель или же, напротив, заявления их критиков были подобны суждению о том, что поездка со скоростью 30 км/ч неизбежно окончится в сумасшедшем доме. Однако самая неприятная для прогресса особенность этой проблемы заключается в том, что заявить о невозможности чего-либо многократно проще, чем на деле продемонстрировать несостоятельность такого заявления.

Пейперт выступил в роли одного из адвокатов Ньюэлла, Шоу и Саймона, подготовив для RAND собственный отчёт, посвящённый разбору критики Дрейфуса. Не ограничившись одной лишь письменной критикой, Пейперт организовал матч, в котором Дрейфус должен был сразиться с шахматной программой MacHack VI, созданной другом-хакером Пейперта из MIT Ричардом Гринблаттом совместно с двумя студентами — Дональдом Истлейком и Стивеном Крокером[1291]. В партии против программы Гринблатта философ потерпел сокрушительное поражение. Саймон так прокомментировал игру: «Он [Дрейфус] писал <…> что шахматная программа будет играть <…> в механические, нечеловеческие шахматы… Но это была замечательная игра <…> — захватывающая схватка двух дровосеков (to hack, напомним, означает «врубаться». — С. М.) со всплесками прозрений и дьявольских планов <…> великими моментами драмы и катастрофы, которые происходят в подобных играх»[1292].

В 1976 г. с помощью компьютера была доказана знаменитая теорема о четырёх красках, и хотя это не было ещё полностью автоматизированным доказательством, однако стало важным математическим результатом[1293]. В наши дни автоматизированное доказательство теорем стало привычным, как и доминирование компьютеров в шахматах. Большая часть прогнозов, раскритикованных Дрейфусом, сбылась, хотя и не в пределах тех оптимистичных сроков, на которые рассчитывали пионеры искусственного интеллекта. При этом открытым остаётся вопрос о том, насколько деятельность Дрейфуса и других критиков ИИ повлияла на прогресс в этой области. Могли бы надежды и чаяния Ньюэлла, Саймона и других энтузиастов отрасли воплотиться в жизнь раньше, если бы не активная проповедь недостижимости их целей?

Жизнь, безусловно, куда сложнее плохой драмы про борьбу бобра с ослом, однако чтение некоторых работ по истории искусственного интеллекта оставляет во рту неповторимое послевкусие мыльного сериала. Если в истории с Дрейфусом и успехами учёных из MIT мы видим «солярных» Пейперта и Минского, то в многочисленных рассказах об утрате на многие годы интереса к нейронным сетям и коннекционистским моделям вообще мы встречаем уже «лунарных» Минского и Пейперта, которым вменяется разгром целого научного направления на границе 1960-х и 1970-х гг. и чуть ли не смерть отчаявшегося и потерявшего всё Фрэнка Розенблатта. Спустя полвека не так уж просто разобраться, действительно ли учёные из MIT развалили ту самую часовню, на развалинах которой сегодня расцвёл буйным цветом город-сад глубокого обучения. В самом ли деле SNARC оказался Буджумом[1294] или в древних книгах возникла какая-то путаница?



Прохладная история о первой зиме искусственного интеллекта начинается вполне в духе лучших болливудских блокбастеров. Дело в том, что Фрэнк Розенблатт и Марвин Минский были одноклассниками в Высшей научной школе Бронкса[1295] (впрочем, они хотя бы не были братом и сестрой, разлучёнными в детстве). Минский, как и Розенблатт, интересовался нейронными сетями — вспомним его опыты с «крысами», учившимися искать выход из лабиринта при помощи хеббовского обучения. Именно нейросетевым моделям была посвящена диссертация Минского, однако позже Минский разочаровался в них, сконцентрировавшись на символьных моделях. Именно поэтому громкое обсуждение работ Розенблатта в прессе вызвало в лагере Минского и Пейперта плохо скрываемый скептицизм. Дэвид Вальц, бывший в те годы аспирантом в MIT, вспоминал позже: «Марвин и Сеймур действительно интересовались перцептронами. Я с группой других студентов посещал их семинар, целью которого было узнать как можно больше о перцептронах. Мы должны были просто методично изучить, на что они были способны, а на что не способны, и попытаться охарактеризовать их каким-то образом»[1296].

В 1969 г. по итогам работы над семинаром и в ходе него Минский и Пейперт опубликовали книгу «Перцептроны» (Perceptrons: An Introduction to Computational Geometry), которая среди прочего указывала на ряд ограничений, свойственных подобным моделям.

Вот как описывает один из современных авторов дальнейшие события:

Последствия выхода книги были немедленными и драматичными. Розенблатт и его сотрудники оказались совершенно не способны опровергнуть выдвинутые аргументы. Исследования нейронных сетей были потоплены [dead in the water] из-за обвинений в преднамеренном саботаже ради того, чтобы перенаправить федеральное финансирование от сетей на программы, основанные на символьных манипуляциях. Ни один уважающий себя исследователь не осмеливался коснуться исследований нейронных сетей в течение десятилетия, пока коннекционистское движение восьмидесятых не продемонстрировало больший потенциал в получении плодотворных результатов. Коннекционистские исследователи в области ИИ до сих пор обвиняют Минского и Пейперта за десятилетие забвения!

В издании «Перцептронов» 1972 года присутствует рукописное посвящение памяти Фрэнка Розенблатта, погибшего в результате несчастного случая на лодке, человека, по всей видимости окончательно разбитого в результате «дела Перцептрона»[1297].

Честно говоря, мой личный драмометр сломался ещё на неловком каламбуре про потопленные коннекционистские исследования.

Вот что писал Пейперт спустя почти два десятилетия после вышеописанных событий: «Пытались ли мы с Минским убить коннекционизм и как мы относимся к его воскрешению? Здесь требуется нечто более сложное, чем оправдания. Да, был некоторый налёт враждебности, стоящий за исследованиями, о которых сообщалось в „Перцептронах“, и было некоторое раздражение тем, как развивается новое движение; частично наша мотивация была связана, как мы прямо признали в нашей книге, с тем фактом, что финансирование и силы исследователей растрачиваются, как мне представляется и сейчас (поскольку история о новых мощных нейросетевых механизмах серьёзно преувеличена), на вводящие в заблуждение попытки использовать коннекционистские методы в практических приложениях. Но большая часть мотивации для написания „Перцептронов“ возникла из более фундаментальных проблем, многие из которых явно затрагивают разделение между сетевиками и программистами»[1298].

Важно понимать, что ограничения, о которых писали в своей книге Минский и Пейперт, относятся к отдельным архитектурам нейронных сетей в применении к некоторым классам задач. Многих заявлений, приписываемых Минскому и Пейперту, они попросту никогда не делали. Например, Минский и Пейперт никогда не утверждали, что нейронные сети неспособны выполнять операцию XOR (исключающее или). Хотя единичный искусственный нейрон может вычислять только небольшое число логических предикатов, было общеизвестно, что сети, составленные из таких элементов, могут вычислять любую возможную логическую функцию. Об этом писали ещё Мак-Каллок и Питтс, которые даже показали, что при помощи предложенных ими нейронов можно создать машину Тьюринга. Это упоминается как в «Принципах нейродинамики» Розенблатта, так и в «Перцептронах».

Некоторые авторы идут ещё дальше, утверждая, например, что «Минский и Паперт доказали, что простые пресептоны (sic!) могут решать только очень узкий класс линейно сепарабельных задач»[1299]. К сожалению, в данном случае мы имеем дело с глубоко укоренившимися заблуждениями[1300].

В действительности Минский и Пейперт показывают, что перцептроны с единственным ассоциативным слоем не могут вычислять некоторые предикаты, если по крайней мере один из нейронов в ассоциативном слое не связан ненулевым весом с каждым из входов[1301]. Это противоречило надежде некоторых исследователей на сети с несколькими слоями «локальных» нейронов, каждый из которых будет соединён лишь с небольшим количеством входов. Такие сети в вычислительном плане гораздо более выгодны, чем громоздкие полносвязные сети.

На обложке ранних изданий книги Минского и Пейперта изображены туго закрученные спирали. Помимо деморализации противника (у меня нет другого объяснения фиолетовым линиям на красном фоне и красным на зелёном), эти изображения иллюстрируют две проблемы, на которых сконцентрирован анализ авторов. Одна из спиралей представляет собой единичный замкнутый контур, а вторая — два несвязанных замкнутых контура. Предикаты, вычисление которых затруднительно для сравнительно простых перцептронов, —это связность [connectedness], а также чётность, под которой понимается способность перцептрона отличить картинку с нечётным количеством фигур от картинки с их чётным числом (операция XOR является частным случаем этой проблемы). В общем-то, проблема определения чётности или нечётности минимально различимых перцептроном объектов является наихудшим случаем.

Генри Блок, математик из Корнеллского университета, работавший с Розенблаттом над перцептронами, детально разобрал критику Минского и Пейперта, уделив среди прочего внимание зацикленности последних на вопросах чётности и связности: «Другим свидетельством этой разницы во взглядах [между Розенблаттом и Минским/Пейпертом] является озабоченность Минского и Пейперта такими предикатами, как чётность и связность. Человек не может воспринимать ни чётность больших множеств (количество точек на газетной фотографии чётное или нечётное!), ни связность (на обложке книги Минского и Пейперта [«Перцептроны»] есть два объекта: один является связным, другой нет. При помощи визуального осмотра практически невозможно определить, что есть что). Розенблатт был бы рад приблизиться к человеческим возможностям и, скорее, негативно отнёсся бы к машине, которая вышла бы за их пределы, поскольку он стремился моделировать именно человеческое восприятие»[1302].

Минский и Пейперт сосредоточили своё внимание на проблемах, которые считали удобными для подтверждения собственной позиции. Своим ответом Блок показал, что эти же проблемы могут интерпретироваться иначе и что в иной интерпретации их существование может даже служить доводом в пользу перспективности нейросетевого подхода. Для Минского и Пейперта это были очень тревожные, аномальные проблемы. Исследователи нейронных сетей знали о трудностях, с которыми элементарные перцептроны сталкивались в некоторых задачах задолго до того, как Минский и Пейперт начали развивать свою критику в середине 1960-х гг.[1303] Например, среди тринадцати требующих решения проблем перцептронов, перечисленных в «Принципах нейродинамики», Розенблатт упоминает необходимость изучения возможных механизмов разделения фигур (фигура-фон) и исследования формирования абстрактных понятий и распознавания топологических или метрических отношений[1304]. Однако для коннекционистов наличие этих проблем не было сильным аргументом против нейросетевого подхода. По их мнению, элементарные перцептроны были только первой стадией исследования нейронных сетей. Розенблатт открыто признавал ограничения элементарных перцептронов, но относился к ним совершенно иначе, чем его критики. Для сторонников символьного подхода такие проблемы, как связность и чётность, были решающими аргументами против расширения исследований перцептронов вообще. Но для Розенблатта, Блока, Уидроу и прочих ограничения элементарных перцептронов были указанием на необходимость создания и исследования более сложных перцептронов. Коннекционисты подчёркивали положительные свойства элементарного перцептрона (его сходимость, подобие естественным нейронным сетям, его распределённую память, устойчивость к повреждениям, параллелизм и т. д.) и заявляли, что необходимы дальнейшие исследования более продвинутых моделей для того, чтобы получить возможность решать задачи более сложные, чем те, решения которых могут быть найдены элементарным перцептроном[1305].

Блок писал: «…Простой перцептрон (который состоит из набора входов, одного слоя нейронов и одного выхода без обратной связи или перекрёстной связи) совсем не то, что энтузиаст перцептронов мог бы считать типичным перцептроном. Его больше интересуют перцептроны с несколькими слоями, обратной связью и перекрёстными связями… сначала был изучен простой перцептрон, и для него была доказана „теорема сходимости перцептрона“. Это было обнадёживающим результатом не потому, что простой перцептрон сам по себе является адекватной моделью мозга (что, разумеется, не так; ни один из существующих перцептронов не может даже начать соревноваться с мышью!), а поскольку он продемонстрировал, что адаптивные нейронные сети в их простейших формах в принципе могут обучаться. Это говорит о том, что более сложные сети могут демонстрировать более интересное поведение. Минский и Пейперт иначе смотрят на роль простого перцептрона… Таким образом, то, что перцептронисты брали как временную опору, Минский и Пейперт интерпретируют как конечную структуру»[1306].

По вопросу о более сложных перцептронах, чем элементарный, Минский и Пейперт в своей книге 1969 г. ограничились лишь несколькими комментариями. Они сформулировали (ныне печально известное) пессимистическое «интуитивное суждение» о невозможности разработки эффективных методов обучения многослойных сетей: «Перцептрон уже показал, что его стоит изучать, несмотря на серьёзные ограничения (и даже благодаря им!). Он обладает многими свойствами, достойными внимания: линейность; интригующая теорема об обучении [о сходимости перцептрона]; очевидная простота как образца устройства для параллельных вычислений. Нет оснований предполагать, что любое из этих достоинств распространяется на его многослойный вариант. Тем не менее мы считаем, что важной исследовательской задачей является выяснение (или опровержение) нашего интуитивного суждения о том, что обсуждаемое расширение бесплодно. Разве только будет открыта какая-нибудь мощная теорема о сходимости или будет найдена некоторая глубокая причина, в силу которой для многослойной машины невозможно найти „теорему об обучении“, представляющую какой-либо интерес»[1307].

На мой взгляд, наиболее интересным вопросом является вопрос о том, действительно ли книга Минского и Пейперта оказала столь глобальное влияние на направление исследований по крайней мере на целое десятилетие. Вот что сообщает по этому поводу Бернард Уидроу:

Когда вышла книга Минского и Пейперта под названием «Перцептроны», я каким-то образом получил её экземпляр. Издатели присылают мне миллионы книг, так что эта однажды оказалась у меня в офисе. Я посмотрел на эту книгу и увидел, что они проделали серьёзную работу, и в этой книге была хорошая математика, но я сказал: «Боже мой, какой пасквиль». Я был так рад, что они назвали эту вещь перцептроном, а не адалайном, потому что на самом деле они в основном говорили об адалайне, а не о перцептроне. Я чувствовал, что они достаточно узко определили, что такое перцептрон, что они смогли доказать, что он практически ничего не мог сделать. Задолго до этой книги я уже успешно адаптировал MADALINE, который представлял собой целый набор нейронных элементов. Всё это беспокойство и муки по поводу ограничений линейной разделимости, которая является главной темой данной книги, давно преодолены.

Мы уже перестали работать над нейронными сетями. Насколько я знал, никто не работал над нейронными сетями, когда вышла эта книга. Я не мог понять, в чём смысл этого, какого чёрта они это сделали. Но я знаю, сколько нужно времени, чтобы написать книгу. Я подумал, что они, должно быть, решили написать эту книгу очень давно, чтобы нанести удар по данной области, сделать всё возможное, чтобы понатыкать булавок в воздушный шар. Но к тому времени, когда книга вышла, эта область уже ушла. Никто не занимался этим.

Я думаю, что эта книга приобрела значение со вторым пришествием нейронных сетей, когда они вернулись. Тогда люди начали оглядываться на эту книгу, и некоторые из них, слабые духом, были обескуражены. Это не значит, что книга неинтересна и не ценна. Напротив. Но у них было всего несколько маленьких примеров со множеством нейронов [нейронных сетей, состоящих из более чем одного нейрона]. Я думаю, что большая часть сказанного в книге относится к единичному нейрону. Я обнаружил, что, конечно же, один нейрон не может делать всё, но то, что он может сделать, это чертовски интересно. Один нейрон не может выучить всё, ну и что с того?[1308]

Если пытаться найти человека, который в действительности заметно повлиял на выделение ресурсов для коннекционистских проектов Розенблатта, то им был вовсе не Минский и тем более не Пейперт, а скорее Майкл Мэнсфилд, сенатор-демократ от штата Монтана и лидер сенатского большинства (1957–1961), с подачи которого была принята так называемая поправка Мэнсфилда 1969 г. (Public Law 91-121). Эта бюджетная поправка запретила финансирование за счёт военного бюджета исследований, в которых отсутствует прямая или явная связь с конкретной военной функцией.

С конца 1950-х до середины 1960-х гг. финансирование науки в США пережило период беспрецедентного роста. Его начало восходит к периоду после Второй мировой войны, но пик темпов роста приходится на конец 1950-х – начало 1960-х гг. Именно на этот период пришлась поддержка проектов Розенблатта со стороны Управления военно-морских исследований (Office of Naval Research, ONR). В то время ONR активно финансировало проекты, не связанные с прикладными областями, а поддержка науки возросла до беспрецедентного уровня. Причиной этой небывалой щедрости стал запуск Советским Союзом первого искусственного спутника Земли. Непосредственной реакцией на запуск спутника стал Закон о реорганизации обороны 1958 г., в соответствии с которым было создано Управление перспективных исследовательских проектов Министерства обороны США (Advanced Research Projects Agency, ARPA). Сегодня эта организация известна под названием DARPA.

Позже многие учёные с ностальгией оглядывались назад, на послевоенный период, когда, основываясь на опыте Манхэттенского проекта, такие учреждения, как Управление военно-морских исследований, предоставляли щедрое финансирование университетам без каких-либо условий. Однако золотой век в исследовательской сфере продлился недолго. Растущая озабоченность оборонных ведомств краткосрочными эффектами финансируемых ими исследований была отражена в поправке Мэнсфилда. Именно она подтолкнула Министерство обороны к поддержке более краткосрочных прикладных исследований. В том числе поправка коснулась финансирования проектов Розенблатта со стороны ONR, ведь в их отношении учёный никогда не заявлял о возможности получения быстрой практической отдачи. Хотя Розенблатта нередко обвиняют в том, что он делал слишком громкие и преувеличенные заявления о возможностях перцептронов, но в действительности эта гипотеза не слишком подкреплена фактами.

Прекращение потока финансирования от военных не означало полной остановки работ Розенблатта, он продолжал работать над перцептронами и дальше[1309].

В целом в конце 1960-х гг. ландшафт коннекционистского ИИ выглядел следующим образом. Уидроу, так и не найдя эффективного алгоритма обучения многослойных сетей, переключился на телефонное оборудование на основе ADALINE. Группа исследователей из SRI переключилась на робототехнический проект, не предполагавший на тот момент использования нейросетевых моделей. Розенблатт занимался фоноперцептроном «Тобермори», а также увлекательными опытами над крысами до своей трагической смерти.

По воспоминаниям Ричарда О’Брайена, главы Отделения биологических наук Корнеллского университета во времена Розенблатта, Фрэнк мечтал, чтобы «Тобермори» смог увидеть мышь, бегущую по комнате, и сказать (вслух): «Я вижу белый объект с длинным хвостом, издающий писк, и, должно быть, это мышь». Таким образом, «Тобермори» сможет видеть, слышать и говорить, а также правильно сочетать все эти три элемента[1310].

По случаю смерти Розенблатта О’Брайен в 1971 г. в своей траурной речи в Конгрессе сказал: «…Всего несколько лет назад он [Розенблатт] получал сотни тысяч долларов в год на исследовательские гранты от агентств, которые считали, что его работа стоит того, но он стал жертвой поправки Мэнсфилда, и последние несколько лет эти деньги таяли, как летний снег. В последние несколько месяцев у него оставалось совсем немного».

А затем в малочисленном коннекционистском мирке на десятилетие воцарилась тишина, хотя даже это не совсем соответствует действительности, о чём мы поговорим несколько позже.

Завершая главу, мне хочется сказать несколько слов об обстоятельствах гибели Фрэнка Розенблатта, в отношении которых до сих пор существует ряд открытых вопросов. Большая часть современных источников воспроизводит скупую формулу некролога: погиб в результате несчастного случая на водах [boating accident], произошедшего в Чесапикском заливе в день его рождения, 11 июля 1971 г.[1311] При этом, по одной из версий, он утонул, катаясь на лодке вместе с двумя студентами[1312], по другой — в море была найдена его пустая лодка, но тело Розенблатта найдено не было[1313]. На основе последней версии некоторые авторы выдвигают предположение о самоубийстве Розенблатта, якобы вызванном крушением его надежд и критикой со стороны Минского и Пейперта[1314]. Его бывший аспирант Хэл Седжвик, однако, пишет по этому поводу следующее: «Хорошо зная Фрэнка, я с трудом верю в эту теорию»[1315].


Ив Кософски Седжвик отозвалась на смерть Розенблатта стихотворением «Смерть от воды»:


A Death by Water

There was a real death on a real summer night.

I rocked and rocked, to offer the death, room and time,

but it had taken its own time and contracted its own room

and was really gone.

I was so adequate on that chair,

so naked, compact, inexorable, and rich.

I worked. I was all there.

Not dead in struggle like a fish.

It will not be borne—I want to say—we are lost.

I want to rock this death out, but it’s already

out: it is bearable. But at the usual cost.

This world has rocked me badly[1316].

Eve Kosofsky Sedgwick


Смерть от воды

Настоящей летней ночью произошла настоящая смерть.

Я долго тряслась, в попытках найти для смерти место и время,

но она сама выбрала время, и договорилась о месте,

и свершилась взаправду.

Я была так уместна на том стуле,

такая нагая, компактная, неумолимая и богатая.

Я работала. Я вся была там.

Не погибшая в борьбе, подобно рыбе.

Этого не вынести — я хочу сказать — мы пропали.

Я хочу стрясти эту смерть, но она уже

вышла: и это можно вынести. Но по обычной цене.

Этот мир сильно потряс меня.

Ив Кософски Седжвик, пер. С. Маркова


Загрузка...