Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта

Этот исторический урок должен побудить нас обратить больше внимания на революцию ИИ в наших нынешних политических дебатах. Изобретение ИИ потенциально более значимо, чем изобретение телеграфа, печатного станка или даже письменности, поскольку ИИ - это первый инструмент, способный самостоятельно принимать решения и генерировать идеи. Если печатные станки и пергаментные свитки предлагали новые средства для связи между людьми, то ИИ - полноправный участник наших информационных сетей. В ближайшие годы все информационные сети - от армий до религий - пополнятся миллионами новых членов ИИ, которые будут обрабатывать данные совсем не так, как люди. Эти новые члены будут принимать чужие решения и генерировать чужие идеи - то есть решения и идеи, которые вряд ли придут в голову человеку. Появление такого количества инопланетян изменит форму армий, религий, рынков и наций. Целые политические, экономические и социальные системы могут рухнуть, а на их месте возникнут новые. Вот почему ИИ должен стать вопросом первостепенной важности даже для тех, кого не волнуют технологии и кто считает, что самые важные политические вопросы касаются выживания демократии или справедливого распределения богатства.

В этой книге обсуждение ИИ сопоставляется с обсуждением священных канонов, таких как Библия, потому что сейчас мы находимся в критическом моменте канонизации ИИ. Когда отцы церкви, такие как епископ Афанасий, решили включить 1-е Тимофея в библейский набор данных, исключив при этом Деяния Павла и Феклы, они определили мир на тысячелетия. Миллиарды христиан вплоть до XXI века формировали свои взгляды на мир, основываясь на женоненавистнических идеях Тимофея, а не на более терпимом отношении Феклы. Даже сегодня трудно изменить курс, потому что отцы церкви предпочли не включать в Библию никаких механизмов самокоррекции. Современные эквиваленты епископа Афанасия - это инженеры, которые пишут начальный код для искусственного интеллекта и выбирают набор данных, на которых обучается детский ИИ. По мере того как ИИ будет набирать силу и авторитет и, возможно, превратится в самоистолковывающуюся священную книгу, решения, принятые нынешними инженерами, могут отразиться в веках.

Изучение истории не только подчеркивает важность революции ИИ и наших решений, касающихся ИИ. Оно также предостерегает нас от двух распространенных, но вводящих в заблуждение подходов к информационным сетям и информационным революциям. С одной стороны, мы должны остерегаться слишком наивного и оптимистичного взгляда. Информация - это не истина. Ее главная задача - соединять, а не представлять, и на протяжении всей истории информационные сети часто отдавали предпочтение порядку, а не истине. Налоговые отчеты, священные книги, политические манифесты и досье тайной полиции могут быть чрезвычайно эффективны для создания могущественных государств и церквей, которые имеют искаженное представление о мире и склонны злоупотреблять своей властью. Больше информации, как это ни парадоксально, иногда может привести к усилению охоты на ведьм.

Нет причин ожидать, что ИИ обязательно нарушит шаблон и отдаст предпочтение истине. ИИ не является непогрешимым. Тот небольшой исторический опыт, который мы получили в результате тревожных событий в Мьянме, Бразилии и других странах за последнее десятилетие, показывает, что в отсутствие мощных механизмов самокоррекции ИИ более чем способен продвигать искаженное мировоззрение, допускать вопиющие злоупотребления властью и провоцировать новые ужасающие охоты на ведьм.

С другой стороны, мы также должны остерегаться того, чтобы не отклониться слишком далеко в другую сторону и не принять слишком циничную точку зрения. Популисты говорят нам, что власть - это единственная реальность, что все человеческие взаимодействия - это борьба за власть, а информация - всего лишь оружие, которое мы используем для победы над нашими врагами. Так никогда не было, и нет причин думать, что ИИ сделает это в будущем. Хотя многие информационные сети отдают предпочтение порядку, а не истине, ни одна сеть не сможет выжить, если будет полностью игнорировать истину. Что касается отдельных людей, то мы, как правило, искренне заинтересованы в истине, а не только в власти. Даже в таких институтах, как испанская инквизиция, были добросовестные искатели истины, например Алонсо де Салазар Фриас, который, вместо того чтобы отправлять на смерть невинных людей, рисковал своей жизнью, чтобы напомнить нам, что ведьмы - это всего лишь интерсубъективные выдумки. Большинство людей не считают себя одномерными существами, одержимыми исключительно властью. Зачем же тогда придерживаться такого мнения обо всех остальных?

Отказ от сведения всех человеческих взаимодействий к борьбе за власть с нулевой суммой крайне важен не только для более полного и тонкого понимания прошлого, но и для более надежного и конструктивного отношения к нашему будущему. Если бы власть была единственной реальностью, то единственным способом разрешения конфликтов было бы насилие. И популисты, и марксисты считают, что взгляды людей определяются их привилегиями и что для изменения взглядов людей необходимо сначала лишить их привилегий, что обычно требует применения силы. Однако, поскольку люди заинтересованы в истине, есть шанс разрешить хотя бы некоторые конфликты мирным путем, разговаривая друг с другом, признавая ошибки, принимая новые идеи и пересматривая истории, в которые мы верим. Это основное предположение демократических сетей и научных институтов. Это также послужило основной мотивацией для написания данной книги.

ВЫМИРАНИЕ САМЫХ УМНЫХ

Давайте вернемся к вопросу, который я задал в начале этой книги: Если мы так мудры, почему мы так саморазрушительны? Мы одновременно и самые умные, и самые глупые животные на земле. Мы настолько умны, что можем создавать ядерные ракеты и сверхразумные алгоритмы. И мы настолько глупы, что продолжаем производить эти вещи, даже если не уверены, что сможем их контролировать, а неспособность сделать это может нас уничтожить. Почему мы это делаем? Что-то в нашей природе заставляет нас идти по пути самоуничтожения?

В этой книге доказывается, что виновата не наша природа, а наши информационные сети. Из-за предпочтения порядка истине человеческие информационные сети часто порождали много силы, но мало мудрости. Например, нацистская Германия создала высокоэффективную военную машину и поставила ее на службу безумной мифологии. Результатом стали страдания огромного масштаба, смерть десятков миллионов людей и, в конечном счете, уничтожение и самой нацистской Германии.

Конечно, власть сама по себе не является чем-то плохим. При разумном использовании она может стать инструментом благодеяния. Например, современная цивилизация обрела силу для предотвращения голода, сдерживания эпидемий и смягчения последствий стихийных бедствий, таких как ураганы и землетрясения. В целом приобретение власти позволяет сети более эффективно справляться с угрозами, исходящими извне, но одновременно увеличивает опасности, которые сеть представляет для себя. Особенно примечательно, что с ростом могущества сети воображаемые ужасы, существующие только в историях, которые придумывает сама сеть, становятся потенциально более опасными, чем природные катастрофы. Современное государство, столкнувшееся с засухой или чрезмерными дождями, обычно может предотвратить это стихийное бедствие, чтобы не вызвать массового голода среди своих граждан. Но современное государство, охваченное искусственной фантазией, способно спровоцировать искусственный голод в огромных масштабах, как это произошло в СССР в начале 1930-х годов.

Соответственно, по мере того как сеть становится все более мощной, ее механизмы самокоррекции приобретают все большее значение. Если племя каменного века или город-государство бронзового века были неспособны выявлять и исправлять свои ошибки, потенциальный ущерб был ограничен. В лучшем случае разрушался один город, а оставшиеся в живых пытались повторить попытку в другом месте. Даже если правитель империи железного века, такой как Тиберий или Нерон, был охвачен паранойей или психозом, последствия редко были катастрофическими. Римская империя просуществовала века, несмотря на изрядную долю безумных императоров, и ее окончательный крах не привел к концу человеческой цивилизации. Но если сверхдержава кремниевого века будет иметь слабые или вовсе отсутствующие механизмы самокоррекции, она вполне может поставить под угрозу выживание нашего вида, а также бесчисленных других форм жизни. В эпоху ИИ все человечество оказалось в ситуации, аналогичной ситуации Тиберия на его вилле на Капри. Мы обладаем огромной властью и наслаждаемся редкой роскошью, но нами легко манипулируют наши собственные творения, и к тому времени, когда мы очнемся от опасности, может быть уже слишком поздно.

К сожалению, несмотря на важность механизмов самокоррекции для долгосрочного благополучия человечества, у политиков может возникнуть соблазн ослабить их. Как мы видели на протяжении всей книги, хотя нейтрализация самокорректирующихся механизмов имеет много минусов, она, тем не менее, может быть выигрышной политической стратегией. Она может дать огромную власть в руки Сталина XXI века, и было бы безрассудно полагать, что тоталитарный режим, усиленный ИИ, обязательно самоуничтожится, прежде чем сможет нанести ущерб человеческой цивилизации. Как закон джунглей - это миф, так и идея о том, что дуга истории изгибается в сторону справедливости. История - это радикально открытая дуга, которая может изгибаться в разных направлениях и достигать самых разных целей. Даже если Homo sapiens уничтожит сам себя, Вселенная будет продолжать заниматься своими обычными делами. Земной эволюции потребовалось четыре миллиарда лет, чтобы создать цивилизацию высокоразумных обезьян. Если нас не станет, и эволюции понадобится еще сто миллионов лет, чтобы создать цивилизацию высокоразумных крыс, она это сделает. Вселенная терпелива.

Однако есть и еще более худший сценарий. Насколько мы знаем сегодня, обезьяны, крысы и другие органические животные планеты Земля могут быть единственными сознательными существами во всей Вселенной. Теперь мы создали бессознательный, но очень мощный инопланетный интеллект. Если мы неправильно с ним обратимся, ИИ может уничтожить не только человеческое господство на Земле, но и свет сознания, превратив Вселенную в царство абсолютной тьмы. Наша обязанность - не допустить этого.

Хорошая новость заключается в том, что если мы откажемся от самодовольства и отчаяния, то сможем создать сбалансированные информационные сети, которые будут сдерживать свою собственную власть. Для этого не нужно изобретать очередную чудо-технологию или находить гениальную идею, которая каким-то образом ускользнула от всех предыдущих поколений. Скорее, чтобы создать более мудрые сети, мы должны отказаться как от наивных, так и от популистских взглядов на информацию, отбросить фантазии о непогрешимости и посвятить себя тяжелой и довольно рутинной работе по созданию институтов с сильными механизмами самокоррекции. Это, пожалуй, самый важный вывод, который можно сделать из этой книги.

Эта мудрость намного старше человеческой истории. Она является элементарной, основой органической жизни. Первые организмы не были созданы каким-то непогрешимым гением или богом. Они возникли в результате сложного процесса проб и ошибок. За четыре миллиарда лет все более сложные механизмы мутаций и самокоррекции привели к эволюции деревьев, динозавров, джунглей и, в конце концов, человека. Теперь мы вызвали инопланетный неорганический разум, который может выйти из-под нашего контроля и поставить под угрозу не только наш собственный вид, но и бесчисленное множество других форм жизни. От того, какие решения мы примем в ближайшие годы, будет зависеть, окажется ли вызов этого инопланетного интеллекта неизбежной ошибкой или началом новой обнадеживающей главы в эволюции жизни.

Благодарности

В эпоху искусственного интеллекта люди по-прежнему пишут и издают книги средневековыми темпами. Я начал работать над этой книгой в 2018 году, а основная часть рукописи была написана в 2021 и 2022 годах. Учитывая скорость, с которой разворачиваются технологические и политические события, смысл многих разделов уже изменился, приобретя большую актуальность и неся в себе неожиданные послания. Но одно осталось неизменным - жизненная важность связей. Хотя эта книга была написана в условиях растущей международной напряженности, она также стала результатом диалога, сотрудничества и дружбы и представляет собой коллективный труд многих людей, близких и далеких.

Nexus никогда бы не увидел свет без огромных усилий Михал Шавит, моего издателя в Fern Press, и Дэвида Милнера, моего редактора. Было много моментов, когда я думал, что проект не может быть завершен, но они убеждали меня продолжать. Бывало и так, что я сворачивал не туда, и они терпеливо и настойчиво пытались наставить меня на путь истинный. Я от всей души благодарю их за преданность делу и за то, что они избавили меня от различных бананов (они знают, о чем я).

Я также хотел бы поблагодарить многих других людей, которые помогли написать и опубликовать эту книгу.

Энди Уорду из Penguin Random House USA, который придал книге окончательную форму и внес очень ценный вклад в процесс редактирования, например, единолично положил конец протестантской Реформации.

Сюзанне Дин, креативному директору Vintage, и Лили Ричардс, фоторедактору, за дизайн обложки и привлечение голубя.

Моим издателям и переводчикам по всему миру за дополнительные отзывы и идеи, а также за доверие и преданность.

Джейсону Пэрри, блестящему руководителю собственной исследовательской группы Sapienship, и всем членам этой команды - Рею Брэндону, Гуанью Чену, Джиму Кларку, Коринне де Лакруа, Дору Шилтону и Зичану Вангу - за исследование бесчисленных тем, от религий каменного века до современных алгоритмов социальных сетей, за неустанную проверку тысяч фактов, за стандартизацию сотен концевых сносок и за исправление бесчисленных ошибок и заблуждений.

Всем членам замечательной команды Sapienship за то, что они были неотъемлемой частью этого путешествия: Шей Абель, Дэниел Тейлор, Майкл Цур, Надав Нойман, Ариэль Ретик, Ханна Шапиро, Галите Кацир и еще несколько членов команды, присоединившихся к нам совсем недавно. Благодарим вас за участие в процессе создания этой книги и за постоянную приверженность всем нашим проектам, движимым миссией Sapienship - сеять семена знаний и сострадания и фокусировать глобальный разговор на самых важных проблемах, стоящих перед человечеством.

Нааме Вартенбург, директору по маркетингу и контенту компании Sapienship, за ее неутомимый энтузиазм и проницательность, а также за брендинг книги и руководство ее PR-кампанией.

Нашему генеральному директору Нааме Авиталь за мудрое управление кораблем Sapien через множество штормов и минных полей, сочетая компетентность с состраданием и формируя как нашу философию, так и нашу стратегию.

Всем моим друзьям и членам семьи за их терпение и любовь на протяжении многих лет.

Моей маме Пнине и моей свекрови Ханне за щедрое время и опыт.

Моей бабушке Фанни, которая скончалась в возрасте ста лет, когда я работал над первым вариантом рукописи.

Моему супругу и партнеру Ицику, который основал компанию Sapienship и является настоящим гением, стоящим за нашей деятельностью и успехами по всему миру.

И, наконец, моим читателям, благодаря которым все эти усилия оправдывают себя. Книга - это связующее звено между автором и читателями. Это звено, соединяющее множество умов, которое существует только тогда, когда его читают.