Глава 9. Технологии: дебаты будущего

Однажды в феврале 2019 года, во вторник утром, я поставил чашку порядком остывшего кофе на стол в шумном сиднейском бюро Financial Review и отправился в редакцию на презентацию своей истории. Она была из тех, что довольно сложно продать, – посвящалась одному мероприятию в Сан-Франциско, собравшему толпы представителей СМИ, – и я начальников не слишком убедил. «А не ограничиться ли нам заметкой-молнией?» – спросил один из них. Будучи на том этапе карьеры, когда еще не понимаешь, как часто руководство маскирует распоряжения под вопросы, я начал: «Нет, нам стоит…»

И редактор по технологиям, видимо из жалости, меня выслушал. А выслушав, поручил подсчитать количество слов для будущей колонки. Признаться, возвращаясь к столу, я чувствовал себя немного виноватым. Ведь я не был полностью откровенен с ним, когда говорил о причинах своего желания освещать то мероприятие. Но что я мог ему сказать? Что я просто обязан воспользоваться этим шансом заглянуть в будущее? Что мне необходимо знать, является ли дело, в котором я действительно преуспел, – дебаты – одним из тех, в которых машина лучше человека? Ну, вы-то понимаете: для меня это было крайне важно.

К этому моменту я работал репортером менее трех месяцев. В отделе новостей с меня быстро сбили спесь. Так уж сложилось, что журналистика считается в Австралии профессией-призванием; в нее можно прийти с одним аттестатом средней школы в кармане. Здесь многочисленные научные степени, которые я копил годами, не значили ровно ничего. Опытным помощникам хватило несколько дней, чтобы понять, что за сложноподчиненными предложениями и высокопарным стилем на самом деле скрывается полное неумение писать для широкой публики. В первую же неделю редактор, увидев меня, корпевшего над толстой пачкой документов по редкоземельным полезным ископаемым, заорал: «Если чего-то не знаешь, просто подними трубку!»

Но во многих смыслах новая работа мне ужасно нравилась. Производство новостей оказалось организованным хаосом. Каждый день был до краев наполнен бесконечными ошибками, пропущенными встречами и нависанием безжалостных дедлайнов, но каким-то чудесным образом каждый раз все заканчивалось очередным готовым номером. В наиболее удачные дни репортеры помогали снабжать публичные дебаты информацией и во многом определяли их содержание. Они делали это с помощью скромного инструментария: фактов, идей и историй – слова, слова и еще раз слова. Еще один интересный штрих вносил в нашу работу тот факт, что 2019-й был годом выборов. Не сказать чтобы я был на передовой. В первые несколько месяцев я изо всех сил старался написать хоть что-нибудь путное и со дня прихода в редакцию едва дошел до объема примерно журнальной вставки. Но восторг и трепет, пусть и заслуженные по большей части другими, я испытывал по-настоящему.

Газетный бизнес и сам по себе был, что называется, в огне. И если бы в упадке той или иной отрасли можно было обвинить какой-то один источник, то в нашем случае очевидным кандидатом были технологии. Реклама (в том числе автомобилей, вакансий и недвижимости) ушла онлайн-конкурентам, резко сократив доходы печатных изданий; крупные технологические компании получали прибыль от новостного контента, размещенного на их платформах, не платя издателям ни гроша. Кроме того, технологии неуклонно ширили и усугубляли вред от фейковых новостей, онлайн-троллинга и эхокамер; все это здорово мешало нашей работе.

Технологии несли в себе еще одну, довольно абсурдную угрозу для выбранной мной карьеры. Дело в том, что к тому времени первые адепты уже на протяжении более чем десятилетия говорили об огромном потенциале искусственного интеллекта в сфере автоматизации разных аспектов журналистики. Разработанное за это время специализированное программное обеспечение – Cyborg агентства Bloomberg, Heliograf от Washington Post и Reporter Mate от Guardian (Австралия) – в основном предназначалось для написания простых, шаблонных статей, скажем о прибылях компаний или результатах спортивных игр, но прогресс технологий был налицо.

Все это вертелось в моей голове, когда я, сидя за рабочим столом в редакции в Сиднее, настраивался на упомянутое выше событие в Сан-Франциско. Сцена на Think – так называется ежегодная конференция по технологиям компании IBM – была оформлена минималистично: две трибуны на равном расстоянии от центра на синем фоне задника. Между ними возвышался черный обелиск, высокий и гладкий, похожий на увеличенный флеш-накопитель или электронную сигарету в человеческий рост. В зал на те дебаты собралось сотен восемь зрителей, а многие тысячи смотрели их онлайн-трансляцию. Кто же в них участвовал? В одном углу был Хариш Натараджан, выпускник Кембриджа с приятнейшими манерами и мой давний соперник по дебатам (в том числе в финале в Салониках, о котором я рассказывал выше), в другом находилась Project Debater, система искусственного интеллекта, обученная вступать в живой спор с человеком и, возможно, побеждать его.

Я впервые услышал о Project Debater во времена ее дебюта, состоявшегося в июне 2018 года на закрытом мероприятии для СМИ в Сан-Франциско[175]. Тогда машина схлестнулась с парой израильтян в обсуждении двух отдельных тем: субсидирование освоения космоса и расширение использования телемедицины. Журналисты, присутствовавшие на тех дебатах, написали, что Project Debater выглядела «весьма убедительно»[176] и что, несмотря на некоторые оплошности, машина «проявила себя с лучшей стороны»[177]. Многие отмечали также ее отличную родословную: ранее грандиозные усилия IBM привели к появлению машины-шахматиста Deep Blue, которая, как известно, обыграла в 1997 году тогдашнего чемпиона мира Гарри Каспарова (Внесен Минюстом РФ в список иноагентов.), и суперкомпьютера Watson, который в 2011 году обыграл в Jeopardy![178] двух тогдашних чемпионов Брэда Раттера и Кена Дженнингса. Project Debater во время своего дебюта сыграла вничью: по теме субсидирования космических путешествий ее позиция была сочтена менее убедительной, чем кейс оппонента-человека, а по теме телемедицины – более убедительной. Счет на табло: 1:1.

И все же я никак не мог заставить себя воспринимать Project Debater всерьез. Репортеры, пишущие о техническом прогрессе, обычно говорили о подобных событиях с придыханием, но когда я в последний раз мог реально положиться на автоматическую помощницу Siri? Кроме того, я ведь принадлежу к поколению детей 90-х, которые, как известно, технически подкованы, но к технологиям относятся скептически. Мы видели много примеров, когда технологии оказывались плохими, и своими глазами наблюдали за переходом от коммутируемого доступа к широкополосному, от Walkman – к iPod, от Windows 2000 – к XP и Vista. У меня вообще имелась собственная модель машины для дебатов – SmarterChild, чат-бот на AOL, которого грубостью или нелогичностью запросто можно было повергнуть в гнев, разочарование и замешательство.

Тем февральским утром, меньше чем через год после ее дебюта, машина для дебатов в какой-то мере играла за меня. Хариш считался одним из лучших и самых опытных участников дебатов из всех мне известных. Он несколько раз побеждал меня на важных соревнованиях. Так что в этом ракурсе их соперничество не могло не зацепить меня за живое.

Как известно, в поп-культуре роботы – обычно ребята довольно злобные, мрачные и молчаливые. Их немота предполагает склонность к жесткому расчету, а не к совету; к действию, а не к объяснениям. Пока машины полностью подчинялись человеку, это было достоинством. Но когда роботы принимали неблагоприятные или даже убийственные решения, их молчаливость становилась великой угрозой. В одном из эпизодов фильма Стэнли Кубрика «Космическая одиссея 2001 года» мы слышим, например, такой диалог человека со смертоносной ИИ-системой под названием ЭАЛ-9000 (ЭАЛ – Эвристически запрограммированный АЛгоритмический компьютер).

Дэвид Боуман: ЭАЛ, я больше не стану с тобой спорить. Открой двери.

ЭАЛ-9000: Дэйв, этот разговор теперь бесполезен. До свидания[179].

«А интересно, – подумал я, – не принялся бы злобный вариант Project Debater в такой же ситуации, как ЭАЛ-9000, во всех подробностях и с невероятным красноречием объяснять причины своего желания причинить нам, людям, вред? И не убедил бы он нас в необходимости таких действий?»

Итак, в Сан-Франциско давний ведущий дебатов Intelligence Squared Джон Донван представил двух спикеров аудитории, состоявшей в основном из экспертов-технарей и нервных руководителей высшего уровня; в зале постепенно воцарилась тишина. «Сегодня вечером первым будет выдвигать аргументы IBM Project Debater». На черном обелиске загорелась полоска синего света. Я не знал, как выглядит машина, и ждал, что ее сейчас выкатят на сцену, поэтому с немалым удивлением понял, что она все это время была тут, с нами. «А оппонентом Project Debater от имени всех нас, остальных, будет Хариш Натараджан; поприветствуем его!»[180] Одетый в костюм-тройку Хариш вышел на сцену в сопровождении рок-музыки.

Тема дебатов звучала так: «Мы должны субсидировать дошкольные учреждения»; сторонам дали на подготовку пятнадцать минут. Я очень хорошо помнил эти напряженные минуты: ты что-то царапаешь в блокноте, что-то шепчешь, репетируя речь, ругаешься себе под нос в лихорадочных поисках аргумента, который запросто может так и не материализоваться. Хариш готовился за кулисами. Машина работала на виду у всего мира. И когда настало время, Project Debater элегантным женским голосом заговорила.

Привет, Хариш. Я тут слышала, ты лучший в мире в соревнованиях по дебатам между людьми. Но, подозреваю, ты еще никогда не дебатировал с машиной. Что ж, добро пожаловать в будущее.

* * *

В феврале 2011 года израильский ученый-компьютерщик по имени Ноам Слоним и его коллега по офису встретились в исследовательском центре IBM в Тель-Авиве для мозгового штурма. Всего за несколько недель до этого суперкомпьютер Watson победил двух чемпионов (людей) в викторине Jeopardy! и теперь руководство компании искало очередной грандиозный вызов для своего детища.

Слоним в определенном смысле четко соответствовал профилю ученого, способного возглавить подобный проект. В 2002 году он получил в Еврейском университете степень доктора наук в области машинного обучения (ML – machine learning) со специализацией в применении ML для обработки текстовых данных – эта область сыграла ключевую роль в успехе Watson. Но были в его резюме и другие аспекты, менее очевидные. Например, в бытность докторантом Слоним подрабатывал соавтором недолговечного телевизионного ситкома под названием Puzzle («Головоломка»). А еще он после выпуска из университета и перед возвращением в Израиль несколько лет работал исследователем-биофизиком в Принстоне.

Так вот, во время того часового мозгового штурма Слониму в голову пришла идея, носившая на себе явные отпечатки его разнообразного прошлого. Она объединяла в себе человеческий и машинный язык, развлечения и науку.

«Наша задача: победить человека-эксперта в состязательных дебатах, которые будут транслироваться по телевидению»[181].

Первоначальное предложение Слонима без труда уместилось на одном слайде PowerPoint. На нем Слоним с коллегой писали, что задача эта потребует «новых мощных методов интеллектуального анализа данных, понимания и генерации естественного языка, логических рассуждений, интеллектуальных возможностей и многого другого»[182]. Отдельную проблему представляла верификация успеха, ведь, в отличие от шахматной партии или Jeopardy! у дебатов нет объективных результатов. И тут на помощь пришла традиция состязательных дебатов с «четкими правилами и четким выбором победителя». В еще одном документе, важность которого явно недооценена, авторы позволили себе сделать одно сильное предсказание: «Выполнение этой задачи, вне всякого сомнения, будет считаться событием революционным».

А тем временем неподалеку от исследовательского центра в Тель-Авиве разворачивались трагические события. Израиль, как известно, граничит с четырьмя суверенными государствами: Египтом, Иорданией, Ливаном и Сирией. К концу февраля каждую из этих стран сотрясали массовые протесты в рамках регионального движения против тамошних склеротических и коррумпированных режимов. Движение это вошло в историю под названием «арабская весна» – эпитет, как вы понимаете, скорее поэтический, чем сезонный.

И вот в разгар бесконечного освещения этих «продемократических» восстаний западные СМИ назначили нового героя – технологии. Журналисты то и дело публиковали скриншоты страниц соцсетей, с успехом используемые протестующими для организации митингов и обмена информацией. СМИ видели четкую связь между серией разоблачений о тунисском правительстве на WikiLeaks и антиправительственными протестами в этой стране. Фраза «революция в социальных сетях» вскоре стала повсеместной. В августе на чемпионате мира по дебатам среди школьников в Данди ребятам предложили такую тему: «В эпоху соцсетей самодержавие обречено».

Надо признать, такой оптимизм не был ни беспочвенным, ни вырванным из контекста. Интернет с первых дней своего существования вдохновлял людей на здоровое утопическое мышление. Согласно теориям, распространенным пионерами интернета и принятым на ура мейнстримными СМИ, интернет – высшее достояние цивилизации, благодаря которому люди могут встречаться и сосуществовать независимо от границ или статуса. Существовал, конечно, риск, что такие связи могут приводить к конфликтам не реже, чем к плодотворному сотрудничеству. Но авторы ранних исследований интернет-форумов наперебой восхищались частыми проявлениями гражданского несогласия, в частности, по словам одного из них, «наглядно демонстрируемой верой в силу аргумента и страстной защитой посреди пламени стычек и грязных ругательств»[183]. Они возродили старые анархистские представления об эмансипации и уверенно сравнивали интернет с кофейнями, салонами и площадями былых времен.

Актуальность подобных идей в первые месяцы «арабской весны» способствовала пиару основателей Кремниевой долины. Благодаря ей их заявления о миссии стали куда более правдоподобными, а то и стопроцентно убедительными. Она придавала «единорогам» (так называют стартапы с рыночной оценкой стоимости свыше миллиарда долларов США) аромат чего-то привычного, мирского, причем как раз в момент, когда они пытались расшириться за пределы страны. Именно тогда на ежегодном саммите G8 президент Франции Николя Саркози выступил за усиление регулирования технологических компаний, а один медиамагнат был предельно откровенен, сказав: «Мне говорят: здорово, что ты сыграл такую большую роль в „арабской весне“, но это немного пугает, ведь ты запускаешь сбор информации о людях и обмен ею. Правда, одно без другого практически невозможно. Вы не можете перестать выделять то, что вам в интернете нравится, и контролировать то, что вам в нем не по душе»[184].

Остаток того года Ноам Слоним провел, разрабатывая и совершенствуя концепцию машины для дебатов. А руководство компании тем временем продолжало отсев потенциальных кандидатов для очередной задачи для ИИ. Идея Слонима развивалась через все более строгие раунды отбора. На этом раннем этапе ученый не слишком задумывался о большой политике. Для него главной мотивацией была «чистая наука», и задача стояла поистине грандиозная. Как сказал Слоним коллеге в их первую встречу, за восемь лет, миновавших с тех пор, как он пришел в область исследований в сфере искусственного интеллекта и текстовых данных, прогресса в ней почти не было. «Они борются с одними и теми же проблемами. И это может тянуться вечно. Они могут заниматься этим еще лет двадцать, и, как по мне, это ужасно скучно. Нам надо предпринять что-то совершенно, принципиально другое»[185].

А в феврале 2012 года Слоним получил сообщение. Айя Соффер, вице-президент по ИИ-технологиям исследовательского института IBM, спрашивала, слышал ли он уже важную новость. Узнав, что нет, она сообщила, что в качестве следующей грандиозной задачи компания выбрала дебаты. Слоним поблагодарил Соффер за поддержку, но, услышав ее ответ, крепко призадумался: «Да нет, пока не благодарите…»[186]

* * *

И вот семь лет спустя я своими ушами слушал, как машина выдает на дебатах в Сан-Франциско почти идеальные фразы и предложения. Создатели Project Debater – команда под руководством Ноама Слонима и Ранита Аронова – снабдили свое детище двумя источниками контента[187]. Первым была база данных из четырех сотен миллионов газетных статей, или десяти миллиардов предложений, из которой компьютер мог майнить утверждения и доказательства. Вторым стал сборник часто встречающихся аргументов, примеров, цитат, аналогий и приемов построения фраз; например, в дебатах на тему запрета определенных продуктов постоянно используется идея о зарождении черного рынка[188].

Сначала Project Debater воспользовалась вторым источником. Машина в общих чертах обрисовала суть дебатов: «При нынешнем статус-кво мы согласны с тем, что вопрос о субсидировании дошкольных учреждений выходит за рамки денег и затрагивает также вопросы социального, политического и морального характера». Затем она выдала вполне сносный, хоть и расплывчатый, принципиальный аргумент: «Когда мы субсидируем дошкольные учреждения и другие подобные институты, мы правильно используем государственные деньги, ведь учреждения эти полезны обществу в целом. Поддерживать их – наш долг. Субсидирование – важный политический инструмент».

Все это, конечно, давалось очень нелегко. Даже у людей на то, чтобы научиться выполнять такую работу – разбирать тему, искать в памяти нужную информацию, группировать идеи, редактировать формулировки для подачи материала, – нередко уходит вся жизнь. Для машины же каждый из этих навыков нужно было закодировать.

Минуты через полторы после начала вступительной речи Project Debater продемонстрировала свою наибольшую силу – сверхчеловеческую способность собирать данные и доказательства. В аргументе длиной в одну минуту о состоянии дел в борьбе с бедностью машина сослалась на Организацию экономического сотрудничества и развития, на центры США по контролю и профилактике заболеваний; на метаисследование Национального института исследований в области начального образования (США), проведенное с 1960 по 2013 год, и даже на выступление премьер-министра Австралии Гофа Уитлама в 1973 году. Все это было вывалено торопливо и запутанно, но на редкость бойко.

Мне было страшно интересно, как Хариш отреагирует на такой огромный поток информации. В дебатах факты могут стать для плохо информированного оратора чем-то вроде печально знаменитого криптонита для Супермена. Машина извлекла из своей обширнейшей базы данных не менее шести не связанных друг с другом исследований. Оспаривать что-либо из этого явно было бесполезно. Даже если бы оппонент машины решил досконально изучить всю соответствующую литературу, опровержение заняло бы огромное количество времени, а дебаты все равно в лучшем случае закончились бы ничьей. Так что же делать?

Хариш начал с признания: «В услышанной нами речи было много информации, много фактов и много цифр». Он говорил медленно и четко, будто решив сразу разъяснить все недопонимания. А потом так же спокойно пошел в атаку. «Project Debater высказала в высшей степени интуитивное предположение: если мы считаем, что дошкольные учреждения в принципе благо, то, конечно, нам следует выделять деньги на их субсидирование. Но я не думаю, что общественное благо всегда становится достаточным основанием для субсидий… ведь на свете найдется великое множество того, что полезно для общества». Далее Хариш привел несколько примеров других приоритетов – здравоохранение и высшее образование, – но распространяться о них не стал. «Речь не о том, что все это обязательно важнее и лучше, чем дошкольное образование. Я лишь говорю, что общественное благо само по себе не может быть достаточным аргументом для того, чтобы Project Debater могла заявлять о каких-либо преимуществах тех или иных претендентов на субсидии».

И на этом Хариш не остановился. По его словам, проблема субсидирования дошкольного образования, в частности, заключается в том, что огромные суммы при этом идут на семьи из среднего и высшего класса, которые гораздо чаще зачисляют своих детей в такие учреждения, чем бедные. Кроме того, субсидия нередко слишком ничтожна, чтобы дошкольное образование стало доступным для детей из самых малоимущих семей. В этом случае беднейшие люди оказываются, прямо скажем, в странном положении: они субсидируют за счет своих налогов услугу, которую не могут себе позволить; эдакое «двойное исключение». И ради чего? «Ради политически мотивированных заигрываний со средним классом».

Project Debater была непоколебима. «Для начала скажу, что иногда слушаю оппонентов и понять не могу: чего они хотят? Чтобы бедные люди стояли у них на пороге, прося денег? Хотелось бы им жить по соседству с бедняками, без отопления и водопровода?» В речи этой содержались все признаки демагогии – клевета, гипербола, назойливые повторения, – но голос машины оставался таким же приятным и заботливым, как у виртуального помощника.

А потом началось настоящее испытание. По задумке разработчиков, Project Debater готовила все свои опровержения заранее. Еще до того, как Хариш начал говорить, машина сгенерировала потенциальные моменты и возможные зацепки, контраргументы оппонента[189]. И вот теперь, уже во время раунда, ей нужно было определить, что из всего этого использовал Хариш, и на основе этого сгенерировать дальнейший ответ.

И тут Project Debater, что называется, потекла. Машина без каких-либо доказательств заявила, что «государственный бюджет большой… Следовательно, мысль о том, что есть более важные статьи, на которые стоит потратить деньги, несостоятельна, ведь разные цели субсидирования не исключают друг друга». Далее последовали довольно невнятные рассуждения о том, что субсидии позволяют малоимущим родителям работать (потенциальный ответ на замечание Хариша о неравном доступе к дошкольным учреждениям), после чего без дальнейших разъяснений заявила: «Речь об ограниченном, целенаправленном и очень полезном механизме».

Хариш в ответной речи занял примирительную позицию. «Я хочу начать с того, что есть то, в чем мы с Project Debater, безусловно, сходимся. А именно в том, что бедность ужасна… Что именно с ней нам нужно бороться». Далее он опять изменил направление. «Но, к сожалению, ни одну из подобных [проблем] не решить только благодаря увеличению субсидирования дошкольных учреждений». Потом Хариш повторил свою точку зрения насчет ограниченности бюджета. И добавил, что даже если бы денег хватало, то политической поддержки для таких расходов явно недостаточно. «Кстати, я бы с удовольствием подискутировал на эту тему с политиками», – сказал он в конце.

Далее спикеры выступили с двухминутными заключительными речами. Затем состоялось голосование аудитории. До начала дебатов поддержка увеличения субсидирования дошкольных учреждений распределялась так:

79 процентов – за;

13 процентов – против;

8 процентов – не определились.

К концу раунда ситуация изменилась:

62 процентов – за;

30 процентов – против;

8 процентов – не определились.

По критерию «изменение ситуации» Хариш Натараджан был объявлен победителем. Но модератор задал аудитории еще один вопрос: «Кто из двух участников дебатов больше обогатил ваши знания?» И тут Project Debater получила 55 процентов голосов против 22 процентов за Хариша (остальные ответили, что это была ничья).

Я напечатал статью-отчет о дебатах с машиной и отдал в дальнейшую обработку. А затем, уже сидя за обедом в баньми-ресторанчике, задумался о двух мерилах, которые использовались для судейства.

Project Debater обогатила наши знания, потому что это было неотъемлемой частью ее стратегии. Машина запрограммирована верить в убедительную силу фактов и результатов исследований. В резюме своего кейса Project Debater прямо сказала: она верит в то, что в ее речах «представлено достаточно данных, чтобы оправдать дополнительную финансовую поддержку дошкольных учреждений». Так что эта система, судя по всему, сильно преувеличивала важность доказательств, причем в ущерб себе. Стараясь втиснуть в свою аргументацию как можно больше результатов исследований и цитат, Project Debater упускала другие возможности: полнее донести свои идеи, наладить контакт с аудиторией, убедительнее отреагировать на опровержения оппонента.

А вот Хариш выбрал совсем другой подход. Он говорил о компромиссах и бюджетных ограничениях и благодаря этому провел четкую грань между идеалами и практическими реалиями. И сначала его подход показался мне более разумным – более приближенным к тому, как мы принимаем решения и как должны это делать.

Но теперь у меня возникли сомнения: а не был ли я изначально слишком уж готов принять логику дефицита средств? Я, например, почти не учитывал неизбежные издержки, связанные с отказом государства улучшить доступ малоимущих к дошкольному образованию. Возможно, машина увидела то, что упустил я: что именно те общества, которые квотируют доступ населения к образованию в соответствии с социальным статусом, когда-то чаще всех писали о необратимом ущербе такого подхода.

Другой областью, в которой Хариш явно превзошел Project Debater, были формирующие связи с аудиторией. Он акцентировал внимание слушателей на том, что нас всех объединяет, и выражал беспокойство по этим поводам; он в нужные моменты улыбался или хмурился. Против такой естественности у машины, с ее компьютерным внешним видом и механическим чувством юмора, не было ни малейших шансов. Раньше то, что самая гуманная компетенция – способность налаживать контакт с другими людьми – остается исключительно нашей, человеческой, казалось мне обнадеживающим. Но теперь я подумал о том, что, изначально отдавая предпочтение похожему на нас посланцу, а не непохожему, мы могли зайти не туда. Разве есть на свете более элементарная форма гомофилии, чем огульное предпочтение человека нечеловеку?

В связи с этим у меня возник еще один, последний вопрос: почему же все-таки Project Debater проиграла дебаты – потому что она уступает нам в этом деле или, напротив, потому что обходит нас в нем? Я завернул в пакет остаток бутерброда и уже по дороге обратно в офис ответил на этот вопрос: по обеим причинам.

* * *

Несколько недель после тех дебатов в Сан-Франциско выдались на редкость насыщенными. Утром 11 апреля премьер-министр Австралии посоветовал генерал-губернатору распустить парламент и назначить на следующий месяц выборы. Соответствующее электронное письмо было отправлено в нашу редакцию. По международным стандартам та тридцативосьмидневная кампания считается скромной, но для нас она стала марафоном и важнейшим событием года.

Я всегда мечтал освещать выборы. Мне казалось, что тут мои романтические представления о журналистике – ее служении делу демократии, насущности и важности, огромном влиянии – более всего соответствуют действительности. Но мне нужно было найти интересный ракурс для освещения самой популярной истории в городе – задачка не из простых. Я все чаще ловил себя на том, что бесконечно просматриваю соцсети, где каждые несколько минут, словно свежие раны, открываются мелкие разногласия, кровоточащие и болезненные.

Какой-то части меня очень хотелось сказать, как в известном меме с собачкой в горящем доме: «Все в порядке». Я вырос на соцсетях и полагался на них, чтобы всегда оставаться на связи с друзьями на другом конце света. Кроме того, природный спорщик во мне приветствовал изобилие политических споров в интернете, которые были великой редкостью во времена самосегрегации по классовому признаку, эхокамер и неравного доступа к публичным платформам. Теоретически я это понимал и принимал. Но, как оказалось, так много времени сидеть в соцсетях – это что-то совсем другое. Одним словом, отстой. И это привело меня к интересному вопросу: а кто-нибудь вообще когда-либо высказывал нормально свое несогласие в интернете?

Все существовавшие на тот момент исследования онлайн-споров раз за разом отправляли меня на форум Change My View (r/changemyview) на новостном онлайн-сервисе Reddit. Субреддит, основанный в 2013 году семнадцатилетним шотландским музыкантом по имени Кэл Тернбулл, разросся до сообщества в семьсот тысяч пользователей, привлек внимание центра по разработке новых технологий Google и был назван журналом Wired «нашей главной надеждой на гражданский онлайн-дискурс»[190]. Идея форума проста: автор головного сообщения (OP – original poster) приводит аргументы в пользу того или иного убеждения, которого он на данный момент придерживается, но которое готов изменить, если его в этом убедят (например, «джентрификация представляет собой трудный, но необходимый процесс»), и бросает вызов другим людям переубедить его, изменить его мнение (CMV – change my view). Затем OP обсуждает тему со всеми, кто принял его вызов, и, если кому-то из них удается его переубедить, награждает этого человека дельта-символом (Δ). Участники сообщества ставят количество выигранных дельт рядом со своими именами. По сути, этот форум подтверждал сразу две гипотезы, считавшиеся прежде маловероятными: что онлайн-споры могут быть вежливыми и что они способны изменять мнение людей.

Деятельность пользователей на этом форуме стала богатейшим источником ценных данных для ученых и исследователей. На нем не только регистрировалось, какими способами люди выражают несогласие, но и определялось, какой из этих подходов с наибольшей вероятностью способен изменить чье-то мнение – и заработает дельту. В рамках самого надежного из доброй полудюжины исследований, основанных на данных этого форума, исследователи из Корнеллского университета изучили восемнадцать тысяч тредов, включавших семьдесят тысяч участников за два с половиной года[191]. Полученные результаты стали основанием сразу для нескольких эмпирических правил.

Поворачивайся быстрее: вероятность изменить мнение OP уменьшается в порядке очередности принявших вызов. У первого и второго из ответивших на оригинальный пост было втрое больше шансов на успех, чем у десятого.

Будь честен: в более убедительных постах, как правило, признавались неуверенность и квалификация автора. Возможно, по тем же причинам, – чтобы не получилось того, что в противном случае выглядело бы как пустое и общее утверждение, – успешные аргументы обычно также содержали больше «относящихся к спорщику личных местоимений» (я, ты, нас).

Будь (разумно) оригинален: успешные аргументы чаще содержали «новую информацию или новые точки зрения» – измеряемые различиями в формулировках, – чем были реакцией с использованием в основном тех же терминов, что и в оригинальном посте. Исследователи также сделали вывод, что распространенная практика цитирования оппонента «не представляется полезной стратегией» при опровержении.

Предъявляй документы: убедительные посты, как правило, ссылаются на внешние доказательства с использованием гиперссылок и маркеров, таких как for example и e.g. Отдельное исследование, проведенное в Университете штата Аризона в 2018 году, показало, что убедительность доказательств одинаково надежно работает в обсуждениях как «социально-моральных» вопросов, так и менее острых тем[192].

Не упорствуй (выполнять после соблюдения первых четырех правил): вероятность изменить точку зрения была максимальной на третьем раунде обмена аргументами между OP и респондентом, а после четвертого резко шла на спад.

С моей точки зрения, все это было вполне разумно и логично, но чем больше времени я проводил на форуме субреддита CMV, тем более необычными казались мне его среда и обитатели. Пользователи были серьезными до какой-то болезненности. Некоторые оригинальные посты растягивались до размеров редакционных статей. А в других описывались незначительные личные кризисы – моменты разочарования, сомнения или прозрения, – которыми автор почему-то решил поделиться с пользователями CMV. Респонденты же, как правило, были чрезвычайно строгими, а иногда и весьма резкими в своей критике. Еще они часто задавали вопросы, а потом быстро сдавались. Мне показалось, что они похожи на беженцев из опасных уголков Сети, создавших свой новый безопасный мирок. Сообщество это объединяла не только близость взглядов или культуры, но и многочисленные законы и правила. Во вкладке правил форума больше текста, чем в Конституции США[193]. Там подробно описываются как педантичные «технические» требования (заголовки должны быть утвердительными, а не вопросительными, например, вы должны написать «CMV: конфеты Trix – только для детей», а не «CMV: конфеты Trix – только для детей?»), так и требования моралистического толка (вы можете оскорбительно охарактеризовать представленную вам идею – например, «Это расистская точка зрения», – но обязаны воздерживаться от подобных замечаний о человеке, оставившем комментарий»)[194]. За соблюдением всех этих правил следит группа модераторов-добровольцев, уполномоченных удалять посты, а в крайних случаях банить пользователя, отрезая ему доступ на форум.

Судя по всему, именно благодаря этому сочетанию мягкой и жесткой силы CMV решает три структурные проблемы, породившие в свое время плохие онлайн-споры.

Аудитория: один из худших аспектов онлайн-споров состоит в том, что их участники, кажется, меньше заинтересованы в изменении мнения друг друга или даже в обсуждении той или иной темы, чем в том, чтобы продемонстрировать публике свои добродетели и симпатии. CMV разработал весьма изящное решение этой проблемы: чтобы добиться успеха, ты обязательно должен изменить мнение другого человека.

Алгоритм: споры в соцсетях обычно затяжные и неприятные, ведь алгоритмы сайтов разработаны так, чтобы отбирать для привлечения наибольшего внимания впечатляющий контент. Субреддит CMV тоже стремится к активной вовлеченности пользователей, но для продвижения вверх люди должны голосовать по всей ветке дискуссии, а не за отдельные комментарии.

Анонимность: по подсчетам платформ соцсетей, около пяти процентов профилей на их сайтах поддельные, и большинством из них управляют боты. Это создает серьезные риски, такие, например, как вмешательство в выборы, а на менее серьезном уровне порождает у людей подозрения относительно идентичности и мотивов других пользователей Сети. Пользователи CMV тоже в основном анонимны (основатель субреддита писал под ником Snorrrlax), но они идентифицируются через количество своих Δ, которые служат свидетельством их долгосрочной вовлеченности в деятельность сообщества.

Благодаря всему этому субреддит CMV восстановил некоторые базовые условия для хороших споров: акустику, усиливающую аргументы, а не пустые слоганы; умение и готовность слушать вместо желания произвести впечатление на аудиторию; решимость вместо затягивания. Отчасти это было заслугой самоотбора, но во многом – удачного дизайна.

Однако вся эта идиосинкразическая культура, правила и их применение, необходимые для поддержания дискуссии на форуме CMV, требовали немалых затрат. И субреддит CMV остался даже в Reddit нишевым сообществом. Число его членов – семьсот тысяч – раз в двадцать – двадцать пять не дотягивало до таких субреддитов, как r/gaming, r/todayilearned и r/funny. Честно говоря, законопослушная серьезность CMV оказалась непомерной даже для меня. Их споры во всем их совершенстве казались мне неестественными и несвободными, как будто барьер для вступления в них слишком уж высок.

После просмотра их сеансов я уходил с форума с одним и тем же вопросом: если эта утопия не по душе большинству людей (в том числе мне), как же выглядит жизнеспособное будущее споров?

* * *

Надо сказать, к тому времени я уже несколько лет следил за карьерой одной очень необычной тайваньской госслужащей по имени Одри Танг. Она родилась в 1981 году в семье двух журналистов и оказалась вундеркиндом; девочка начала изучать компьютерное программирование в восемь лет и бросила школу в четырнадцать, решив получать образование самостоятельно («Я учусь на Project Gutenberg и Arxiv.org»)[195]. Вскоре после этого Танг основала свою первую компанию и начала карьеру предпринимателя и консультанта в сфере высоких технологий.

В марте 2014 года тридцатитрехлетняя Танг ушла с работы в Кремниевой долине и вернулась на родину. В те времена в центре Тайбэя происходили очень важные события. Гоминьдановское правительство пыталось без обсуждений принять соглашение о свободной торговле с Пекином. Вечером 18 марта толпа протестующих, в основном студентов, ворвалась в законодательный орган и захватила его. Танг присоединилась к коллегам из g0v, группы «гражданских хакеров», работавшей над решением социальных проблем, и помогала настроить техническую инфраструктуру, чтобы помочь протестующим общаться и организовываться. Это движение получило название «Подсолнух»; оно собрало на митинг более ста тысяч человек, в итоге заставив правительство пойти на уступки. После этого Танг ушла из бизнеса и всецело посвятила себя выполнению более масштабной миссии движения: сделать правительство более отзывчивым к реальным чаяниям и потребностям народа. В октябре 2016 года, в возрасте тридцати пяти лет, Танг стала министром цифровых технологий Тайваня[196].

Надо сказать, Танг – весьма необычный член кабмина. Она определяла себя как консервативную анархистку – консервативную в своем стремлении сохранять культуры и традиции и анархистку в вечном желании противостоять принуждению (став министром, она поклялась никогда не отдавать и не выполнять приказы – только предложения)[197]. А еще она составила описание своей новой должности в стихотворной форме и почти все свои интервью заканчивала вулканским салютом «Живите долго и процветайте». В 2019 году, через два года после прихода в кабинет министров Тайваня, она начала пропагандировать достижения своей страны.

Один из способов, который помог мне лучше понять деятельность Танг, заключался в ее противопоставлении работе CMV. Если этот субреддит процветал благодаря строгому регулированию – главный боевой клич большинства оппонентов масштабных технологий, – то Танг и ее команда выбрали более деликатный подход. Он заключался не в том, чтобы банить нежелательный контент или антисоциальные платформы, а в том, чтобы превосходить их.

Во-первых, их правительство создало собственную социальную платформу Join («Присоединяйтесь»), чтобы граждане могли подавать петиции и обсуждать их[198]. Эта идея выросла из vTaiwan, ранней платформы g0v, которая использовалась для достижения «примерного консенсуса» (хакерский термин для решения, с которым можно будет жить) путем визуализации точек согласия и несогласия между участниками. Оба сайта строились на Polis, программе с открытым исходным кодом, которая, помимо прочего, отказалась от «ответов» в пользу голосов за и против, сведя тем самым к минимуму троллинг[199]. Но vTaiwan привлекла всего сотни тысяч человек, а в Join зарегистрировалось более пяти миллионов пользователей, четверть населения острова[200]. Такая популярность Join, по-моему, указывала на одну явно недооцененную причину использования соцсетей: граждане хотят влиять на политику, во многом регулирующую их жизнь.

Во-вторых, на платформах, которые правительство не контролировало, оно вступило в борьбу с ложью и дезинформацией. В каждом министерстве была создана команда, которая в течение шестидесяти минут реагировала на любую ложную и компрометирующую информацию «столь же или более убедительным нарративом»[201]. Мерилом успеха считалась виральность, поэтому команды обычно максимально активно использовали шутки и мемы (например, собачку шиба-ину – для борьбы с паникой во время пандемии COVID-19). Отдельно от правительства сообщество g0v совместно с платформой для обмена сообщениями Line запустило боты для фактчекинга, позволявшие пользователям проверять достоверность информации.

Надо признать, отчасти эти усилия были обречены с самого начала. У нас уже тогда имелась масса свидетельств, позволявших с большой долей уверенности предположить, что ложь в соцсетях распространяется быстрее, чем правда, а клевета и дезинформация, даже если их оперативно опровергают, имеют тенденцию оставаться в сознании людей. Коррозионный эффект недоверия народа к разного рода экспертам, согласованным кампаниям по дезинформации и поддельным аккаунтам только усугублял проблему. Но для Танг мемы и фактчекинг были непременными аспектами более масштабного видения более ответственного общества. Последнее также требовало просвещения этого самого общества в области медиакомпетенций и проведения реформ, позволяющих сделать госуправление более прозрачным. («Люди верят дезинформации или слухам, поскольку хотят знать, что происходит, но полного контекста у них нет», – сказала Танг в 2017 году[202].)

Ничто из этого не вызывало у меня ни малейших возражений (кто же станет возражать против повышения уровня образования гражданского общества?). И все же, по-моему, главной особенностью подхода Танг было ее нежелание ждать идеальных условий. Став министром, она тут же начала публиковать в интернете полные стенограммы всех собраний под своим председательством, не боясь того, что эту информацию могут вырвать из контекста или использовать против нее же. Каждую среду министр проводила «открытые часы» – выслушивала и сортировала комментарии и отзывы граждан, хотя некоторые встречи явно были бесполезными для чиновницы. «Только после таких мер мы можем просить людей доверять правительству, – сказала она в интервью журналу Dumbo Feather. – Кто-то должен сделать первый шаг»[203].

Тайвань во многих отношениях стоит особняком. Это остров размером с Лесото или Бельгию, но его двадцать четыре миллиона жителей относительно богаты, хорошо образованны и в большинстве своем подключены к интернету. Кроме того, Тайвань расположен в ста восьмидесяти километрах от побережья материкового Китая. Китайское правительство считает остров своей провинцией, а его руководство – региональной властью. Официальные дипломатические отношения с Тайванем поддерживают всего с десяток стран мира, а мощные государства вроде США выступают против его формальной независимости. Тайваньцы действительно активно участвуют в политике и демократических инициативах, и отчасти это обусловлено шаткостью их ситуации.

Не следует также забывать и о том, что демократия на Тайване – явление недавнее. Этот остров как отдельная единица возник в 1987 году, после почти сорокалетнего периода военного положения, а первые выборы руководства прошли там в 1996 году. Как указывала Одри Танг, эти две даты совпадают, соответственно, с внедрением на Тайване персональных компьютеров и Всемирной паутины. «Судя по всему, интернет и демократия не что-то отдельное. Похоже, это единое целое», – так неожиданно она высказалась об этой взаимосвязи[204].

Надо сказать, позиция Танг резко выделялась даже внутри тайваньского правительства. Из-за приверженности идее прозрачности министра не включали в самые секретные и другие особо деликатные дискуссии. А когда она отказалась отдавать и выполнять приказы, тайваньский кабмин критиковали за все более карательные методы борьбы с фейками[205].

Признаться, слушая выступления и интервью Танг, я ощущал что-то вроде дезориентации. Ее речи звучали одновременно как анахронизм – техноутопия эпохи зарождения интернета – и как голос из будущего. И в обеих этих ипостасях она шла вразрез со статус-кво, согласно которому вера в технологии обречена на разочарование, а вера в других пользователей Сети – надежный способ в какой-то момент сильно обжечься.

Но 18 мая, в ночь накануне федеральных выборов в Австралии, ведя живой блог газеты, я понял, что то и дело возвращаюсь к двум строчкам, которые часто цитировала Одри Танг. Это были строки из Дао Дэ Цзин, текста VI века до нашей эры, приписываемого великому философу Лао-цзы:

Без доверия другим

Не жди доверия к себе[206].

* * *

К моменту моего знакомства с Ноамом Слонимом – в середине 2021 года – мир уже перевернула с ног на голову пандемия COVID-19. В Австралии консервативное правительство, вопреки всему переизбранное в 2019 году, оказалось в затруднительном положении из-за проблем с вакцинацией. Одри Танг и ее коллеги успешно боролись с «инфодемией» в интернете с реальным и немедленным позитивным эффектом для здоровья населения. Израиль пережил три локдауна и тысячи смертей, но, похоже, дела там постепенно начали налаживаться. А в целом было впечатление, что мир застыл на пороге новой эры.

До того я видел Слонима двумя годами ранее в прямом эфире из Сан-Франциско. С тех пор он отрастил бороду. Синий свет на видео на экране компьютера отражался в стеклах его очков, из-за чего прочитать выражение его лица было трудно.

Я связался со Слонимом, чтобы узнать, что он думает о тех дебатах с машиной по прошествии некоторого времени. Каждому участнику дебатов известно, что со временем перестаешь сожалеть даже о серьезных проигрышах. Память стирается, и события приобретают иной смысл. Но чтобы процесс вызревания начался, человек должен смириться с поражением. А смирился ли Слоним?

«Я думаю, что Хариш победил в живых дебатах по той простой причине, что он действительно более сильный спорщик, чем наша Project Debater, – начал Слоним. – Это, впрочем, вовсе не означает, что мы проиграли бы ему в любых дебатах. Но в большинстве случаев он справился бы лучше. Да, я согласен, что если прослушать дебаты еще раз потом и обдумать их более рационально, то увидишь ситуацию более сбалансированной. Но ведь это состязание структурировано иначе. Дебаты слушают вживую». Далее Слоним напомнил мне, что Project Debater победила оппонента по критерию обогащения знаний аудитории. И объяснил, что первоначальное распределение мнений – 80 процентов в пользу увеличения субсидирования дошкольных учреждений – несколько усложнило для машины победу в тех дебатах.

Сказав это, мой собеседник словно перезагрузился. «А вообще, честно говоря, мне все равно. Думаю, что в каком-то смысле для нас даже лучше, что мы тогда проиграли. Возможно, лучше было бы проиграть с меньшим отрывом. Но месседж был правильный, и я действительно думаю, что это полезный урок». Его команда годами вкалывала над достижением одной-единственной цели: победить чемпиона на дебатах в прямом эфире. Но уже сразу после состязания то, кто победил, интересовало людей куда меньше, чем сам обмен мнениями. «Если смотреть на все это с высоты прошедшего времени, понимаешь, что это было совершенно не важно. Словом, нас волновало не то, что надо».

«Да ладно», – подумал я. В феврале 1996 года компьютер Deep Blue проиграл свой первый шахматный матч гроссмейстеру Гарри Каспарову (Внесен Минюстом РФ в список иноагентов.), а через год выиграл реванш. Иногда проигрыш лишь шаг к более значимой победе.

Слоним, кстати, уже знал, на чем его команда сосредоточится, готовя машину к реваншу: на том, чтобы научиться «трогать сердце аудитории». Например, можно запрограммировать ее на поиск точек соприкосновения с людьми, вместо того чтобы сосредоточиваться только на качестве опровержения, или на более непосредственное апеллирование к слушателям. «С технологической точки зрения это не так уж и сложно», – пояснил ученый. Я увидел в его реакции некоторую иронию. Получается, его первая машина для дебатов вышла слишком уж… ну, дебатной. Если конечная цель в том, чтобы убедить аудиторию в своей правоте, то голой атаки и чистой логики недостаточно. Немалую роль играют более мягкие навыки: умение ободрять, сочувствовать, идти на компромисс.

«А можно ли по ходу дела запрограммировать машину на еще более сильную логику, на лучшие навыки опровержения и так далее? Да, все это вполне осуществимо. Над этим можно работать постепенно, и если точно решить, что ты действительно хочешь это сделать, то можно уделить этому еще несколько лет, привлечь достаточно большую команду и в конце концов победить. Так я это вижу».

Пока все это остается на уровне идей. IBM решила отказаться от дальнейших разработок Project Debater как системы для живых дебатов и сосредоточиться на других применениях этой технологии. Например, на сегодняшний день обнародованы планы интеграции возможностей системы в пакет корпоративных ИИ-продуктов. Но компания уже продемонстрировала и социально-гражданские возможности применения этой технологии, например, для сортировки больших объемов комментариев граждан и выявления и передачи перспективных идей тем, кто принимает решения.

За месяц до нашего разговора Слоним и его команда опубликовали в журнале Nature полное описание Project Debater. Кроме объяснений принципов работы, пятьдесят три соавтора попытались дать определение, представителем какой технологии стоит считать их детище. В частности, они отметили, что большинство исследований в области искусственного интеллекта сосредоточены на выполнении дискретной, узко определенной задачи с использованием монолитной системы, обученной конкретно для этой цели. А их Project Debater выполняет более сложную работу, разбивая ее на мелкие этапы, а затем интегрирует решения. Это была система «составного ИИ», или, как выразился Слоним, «аранжировщик» множества живых компонентов.

На момент нашего общения Слоним считал, что единая, так сказать, сквозная ИИ-система для дебатов – та, которая идет прямо от входа к выходу, без использования отдельно разрабатываемых промежуточных шагов, – это перспектива далекая. Такая система потребовала бы огромного количества стандартизированных данных (шахматная система Deep Blue выбрала свой победный дебют из базы данных, в которую входило семьсот тысяч гроссмейстерских игр). Более того, желаемый результат в дебатах настолько сложен, что трудно даже представить, как можно использовать для этого готовые данные. Но все это отнюдь не означало, что Слоним и его команда об этом не думали.

Один из способов решения проблемы с данными – подход, известный как обучение с подкреплением. В октябре 2017 года DeepMind, дочерняя компания Alphabet, представила программное обеспечение, которое, играя с самим собой, отлично научилось играть в го. Программа под названием AlphaGo Zero начинала, зная только правила игры. Через три дня она сыграла 4,9 миллиона игр и победила старую версию AlphaGo, которая в свое время обыграла восемнадцатикратного чемпиона мира, профессионального игрока в го Ли Седоля. С того момента система неуклонно совершенствовалась. «Исключительно самообучающаяся программа AlphaGo – сильнейшая в мире. В свете ее способности самосовершенствоваться люди кажутся излишними», – признавался китайский игрок Кэ Цзе[207]. В декабре того же года DeepMind представила программное обеспечение, освоившее одним и тем же методом шахматы, сёги и го.

Эта система, не привязанная к данным о предыдущих ходах и решениях, вырабатывала стратегии, которые не приходили в голову даже лучшим игрокам в такие игры. Получившаяся в результате машина, по словам ее создателей, «более не ограничена рамками человеческого знания»[208].

Слоним сказал мне, что теоретически версия данного подхода применима и к дебатам. Его команда уже разработала «арбитра», способного оценивать мощь аргументов. Возможно, система, споря сама с собой и совершенствуясь в ответ на получаемую обратную связь, сможет «находить паттерны убеждения, о которых [люди] никогда и не думали». Но оставалась одна важная закавыка. Поскольку цель любых дебатов в том, чтобы убедить оппонента-человека изменить свою точку зрения, машина не могла провернуть какой-нибудь непостижимый, умопомрачительный маневр, не потеряв при этом самого человека. Если игроку в го и шахматисту достаточно обыграть своего соперника, то у участника дебатов нет иного выхода, кроме как перетянуть оппонента на свою сторону.

«Человек по природе своей находится в этой ловушке», – сказал Слоним.

Мне эта мысль показалась утешительной. Спор – настолько человеческий акт, что его границы четко совпадают с границами наших, человеческих, странностей и ограничений. Хорошо ли это, плохо ли, но наша способность к размышлениям, сочувствию и субъективным суждениям во многом предопределяет характер наших споров. Так что, выходит, машина, которая в итоге сможет победить нас в споре, в любом случае придет к этому, не обойдя нашу человечность, а переняв ее и воплотив в себе.

Однако через несколько дней после моего разговора с Ноамом Слонимом эта идея начала меня тревожить. Я представил систему, обученную на миллионах часов человеческих споров, начиная со стенограмм парламентских дебатов и заканчивая едкими комментариями в соцсетях. Эта машина наверняка увидит, что у нас есть способы выражать несогласие с ничтожными шансами доказать свою правоту и иногда мы опускаемся до риторики демагогии, нелогичности, лести и ненависти. Она может даже понять, что мы создали не только технологии, способствующие хорошим спорам, но и другие, которые им весьма эффективно препятствуют.

Машина, обученная на таких данных, со временем непременно сформирует суждение о том, как мы как биологический вид разрешаем свои разногласия. И внесет необходимые коррективы в свою работу. На наше счастье, то, будет такая машина дискутировать с худшими из нас или с ангелами… и будем ли мы говорить с ней на языке эристики или дебатов, в духе войны или сотрудничества, пока еще зависит от нас с вами.

Загрузка...