Журнал «ЗНАНИЕ-СИЛА» 2009, № 7 (985)

ЗАМЕТКИ ОБОЗРЕВАТЕЛЯ

Роботы выходят на тропу войны?

Александр Волков



В ближайшие десятилетия, как предсказывают ведущие специалисты по компьютерной технике, в наших домах появятся необычные помощники — роботы, эти незаменимые мастера на все руки. Они присмотрят за стариками, развлекут малышей, подадут таблетки больным и цветы влюбленным, промурлыкают колыбельную перед сном и, пока все спят, перечистят кастрюли, перемоют полы, перегладят одежду, переберут горох… А за это время их «братья по разуму» успеют перестрелять еще несколько тысяч «ходячих мишеней».

В войнах XXI века машины бросят вызов человеку и будут сражаться с ним не покладая механических рук. Первые стальные солдаты — самоходные установки SWORDS — уже прошли боевое крещение летом 2007 года в Ираке. Эти машины метровой высоты, оснащенные пулеметами М249, даже в темноте высматривали повстанцев с помощью пяти своих видеокамер.

Это первые в истории роботы, использованные в боевых действиях. Но — далеко не последние. На военных полигонах США проходят обкатку и другие «смертельные машины», например, «Гладиатор», разработанный учеными из Института робототехники при университете Карнеги. Этот робот весит более тонны и на своих резиновых шинах может взбираться на весьма крутые склоны. Он предназначен для разгона «враждебно настроенных групп населения». Вначале он объявляет в громкоговоритель о том, что всем надо разойтись, потом обстреливает собравшихся резиновыми пулями и, наконец, начинает строчить из пулемета.

Более полувека назад писатель Айзек Азимов уже призывал сделать все возможное, чтобы роботы никогда не причиняли нам зла. Он сформулировал три закона поведения, заклинавшие машину не наносить вреда человеку, подчиняться своему хозяину до тех пор, пока это не может нанести кому-либо вреда, и защищать себя, пока это не противоречит первым двум законам.

Однако эти правила превратились, похоже, в анахронизм. Создание «искусственных солдат» становится массовым явлением. Военные разрабатывают их для участия в боевых действиях на суше, на море и в воздухе. Нашествие роботов открывает новую главу в истории батального искусства. Отныне убийство людей, прежде всего при подавлении беспорядков и народных движений в странах, произвольно отнесенных к «оплотам зла», будет все чаще поручаться подобным машинам, созданным исключительно «для уничтожения живых сил противника». К ним уж неприменимы законы Азимова. Роботы, призванные на службу в ВС, должны относиться к врагу так, словно тот не имеет отношения к роду человеческому. Как только «мишень» будет обнаружена, пощады ей не дождаться. Роботы пленных не берут.

И ведь поля сражений XXI века принадлежат им! Боевые машины «получат самое широкое применение на будущих театрах военных действий», говорится в циркуляре, разосланном для служебного пользования командованием армии США. Они должны облегчить военным решение политических проблем. С одной стороны, после окончания холодной войны западные армии оказались втянуты в нескончаемую череду региональных конфликтов на Востоке. С другой стороны, с ростом потерь в живой силе в Афганистане и Ираке правительствам стран НАТО все труднее убеждать население в необходимости продолжать эти «миротворческие» операции. Возникает соблазн использовать «машины-убийцы» вместо людей. В рамках программы модернизации вооруженных сил Пентагон намерен к 2015 году заменить до трети всей бронетехники и всего вооружения автономными боевыми роботами.



В армии будут служить роботы?


С точки зрения самих военных, есть ряд объективных причин, заставляющих отказаться от традиционного «пушечного мяса» — посредственно обученных молодых солдат — и использовать технику, действующую в автоматическом режиме. Прежде всего роботы ничего не боятся, никогда не паникуют, не промахиваются от волнения и не падают от усталости. Они не огорчаются, даже если ранят их самих. Они убивают солдат противника, не мешкая и не рассуждая, едва те будут замечены. Кроме того, подобную машину, хоть те же SWORDS и стоят пока 150 тысяч долларов «боец», не страшно потерять. Никто не будет оплакивать стального громилу, подорвавшегося на боевом посту. Смерть робота — не трагедия, а лишь строка в сводке потерь по амортизации.

К тому же пока эти машины строго выполняют приказы начальства и стреляют только, когда им разрешат. Они не подмигнут с видом заговорщика: «Я вернусь» и не откроют убийственный огонь по штабам, как герой будущей мифологии роботов — Терминатор. Однако, уверены исследователи, «нет никаких научных барьеров, которые помешали бы появлению роботов, не подчиняющихся уже никому».

Сами военные боятся случайных сбоев в программе и того, что машина, начав стрелять, не успокоится, пока не перебьет… всех своих, как, например, в фильме «Робот-полицейский». Так, при использовании роботов SWORDS в Ираке сразу два человека должны были нажать вверенные им кнопки, чтобы машина могла выстрелить. Понятно, что в боевой обстановке подобная процедура кажется неуместной, а промедление — смертельно опасным. Со временем решение о том, что пора начинать стрелять, будет принимать робот. Именно такие — автономные — машины примутся штурмовать укрепления противника, бункеры и т. п., сберегая жизни, по крайней мере, американских солдат, чьи генералы планируют впредь вести войны преимущественно силами техники, а не людей.

Особенно перспективным кажется применение боевых машин для охраны границ, где очень четко можно разделять людей на «хороших» и «плохих». Все враги движутся по ту сторону рубежа, все свои — по эту. Соответственно любой, кто покажется близ роковой черты, на линии огня, должен быть уничтожен. Подобная боевая машина, оснащенная видео- и ультразвуковыми камерами, разработана, например, фирмой «Самсунг» для охраны Южной Кореи от посягательств шпионов и диверсантов, которые придут с коммунистического севера. Этот робот отличает дерево от человека и может самостоятельно открывать огонь на поражение по тому, кто подбирается к границе с неположенной стороны. Именно ему придется брать грех на свою железную душу — проливать кровь братьев-корейцев.

Искусственный пограничник словно заимствован из фильма «Робот-полицейский». Он вертит своей головой на 180 градусов, обозревая все на вверенной ему территории радиусом 4 километра в светлое время суток и 2 километра ночью (его инфракрасные глаза не дадут шпионам пробраться даже в беззвездной мгле). Спрашивает пароль у замеченной им «мишени». Если человек мешкает, этот «заводной самурай» целится и стреляет, как олимпийский чемпион. На испытательном полигоне он в дневные часы дырявил все, что находилось в двух километрах от него, а от заката до рассвета — все на расстоянии километра.

Для такой машины человек — лишь точка на экране. Она убьет нарушителя с тем же автоматизмом, с каким мы уничтожаем рисованных людей в компьютерных «стрелялках». Отсюда недалеко и до контроля над собственным населением. Благодаря использованию роботов можно эффективно держать границы страны «на замке», не допуская, чтобы кто-то пересек их как в одном, так и в другом направлении. «Жаль, что Хонеккер не дожил до этого. Он бы прямо подпрыгнул от радости!» — иронично замечает обозреватель немецкого журнала Telepolis, рассказывая о новшествах в деле охраны границ, о «компьютерных стенах» и «электронных занавесах», под которые не подкопаться уже никому.

Подобные тенденции все больше пугают противников новых технологий. Ведь их разработкой занимаются, прежде всего, военные, а значит, те же роботы будут нацелены на то, чтобы причинять людям как можно больший ущерб или уничтожать их. Так есть ли силы, способные удержать их от истребления всего, что окажется у них на пути? Если довериться генералам, то рано или поздно сбудутся самые жуткие кинофантазии о «терминаторах», готовых убивать людей тысячами. Эти машины станут причиной неописуемых бед. «Вот почему, — считают специалисты, — крайне важно заниматься созданием совершенно иных роботов, которые будут дружелюбно относиться к человеку, роботов, готовых оказывать людям помощь».

Не случайно в последнее время раздаются голоса, призывающие дополнить уголовное законодательство статьями об ущербе, причиненном по вине роботов. Машины должны отвечать за содеянное, считает, например, немецкий философ Андреас Маттиас (смотрите подверстку). Боевых роботов, разумеется, следует тоже наказывать за несоразмерный вред, который они нанесли. Вот только как создать программу, в которой были бы учтены все нюансы поведения машины в разгар ожесточенного боя? Как роботу прикажете отличать мирное население от разрозненных частей противника и террористов, атакующих его? Проще всего заставить его следовать тактике «выжженной земли». Но это вернет нас к тем диким временам, когда орды какого-нибудь Чингисхана подчистую истребляли население захваченного города.

Уходящее десятилетие стало временем стремительного прогресса в развитии боевых машин. Когда в 2004 году Агентство передовых оборонных исследовательских проектов (DARPA) Министерства обороны США провело в пустыне Мохаве, отличающейся сильно пересеченным рельефом, первый конкурс среди «самодвижущихся роботов», управляемых при помощи компьютерных программ, ни одна машина не преодолела трассу длиной 241 километр. Но уже на следующих состязаниях, в 2005 году, 4 робота из 23 сумели миновать дистанцию длиной 212 километров, затратив на это более семи часов.

С 2007 года свой конкурс среди автономных роботов проводится и в Сингапуре — «TechX Challenge». Его участники выполняют примерно те же задачи, что и, например, военные, освобождавшие от террористов гостиницы в Мумбаи осенью 2008 года. Роботы должны самостоятельно пробраться в здание, захваченное противником, найти определенную комнату на одном из верхних этажей, и дотронуться до заданных объектов, укрытых в помещении. На пути к цели они проделывают какой-то отрезок пути по лестнице, а какой-то — в кабине лифта. Когда миссия выполнена, им надо покинуть здание и самим выбраться на улицу. Им запрещено пользоваться не только помощью людей, но и системой навигации GPS.



VIPeR — боевой робот из Израиля


Конечно, с этой задачей справился бы любой ребенок младшего школьного возраста, но для роботов она очень сложна. Им надо уметь ориентироваться в здании, лавировать среди различных препятствий, отыскивать лестницы и лифт по фотографиям, полученным незадолго до старта, и, конечно, выбирать нужную кнопку в лифте. По признанию инженеров, участвовавших в этом соревновании, «несомненно, это самый трудный конкурс, в котором нам приходилось когда-либо состязаться».

Стоит отметить и такую характерную тенденцию, напоминающую о том, где в наши дни ценится интеллект и развивается «экономика знаний»: из шести роботов, вышедших в финал конкурса в Сингапуре в сентябре прошлого года, пять были сконструированы учеными азиатских стран и лишь один — европейцами, инженерами из Фрейбургского университета.

Подобные конкурсы наглядно показывают, что роботам сейчас по силам самим ориентироваться в незнакомой обстановке — и на открытой местности, и в «городских джунглях».

Они готовы к «большим свершениям». Вот только к каким? Когда, например, соревнования в пустыне Мохаве только начинались, речь шла о том, что самоходные машины лет через 5–7 будут использоваться для доставки различных грузов и, прежде всего, гуманитарной помощи на базы, расположенные вдали от основного места дислокации войск. Но логика неумолима. Конвой роботов в любой момент может быть атакован «террористами», а потому автоматические машины нужно оборудовать стрелковым оружием, чтобы отбить вражеские вылазки.

Отсюда недалеко и до появления полностью автоматизированных танков, которые будут использоваться в наступательных целях. В подобных танках не найдется места человеку, но от этого они не перестанут быть грозной силой, стирающей с лица земли «лагеря террористов», уничтожающей танковые отряды противника и позиции артиллерии. Военным останется лишь нажимать на кнопки, приводя бронированную армаду в движение. Всю «грязную работу» она выполнит сама.

Особенно велики успехи роботов в авиации. Военные уже давно применяют беспилотные летательные аппараты. Они зловеще хорошо зарекомендовали себя еще десять лет назад, во время войны в Югославии. Используя обычные и инфракрасные видеокамеры, а также радиолокационное оборудование, они вели разведку на территории, занимаемой частями югославской армии. Полученные данные поступали к пилотам боевых самолетов, бомбивших военные и хозяйственные объекты, прежде всего в Сербии.

Иногда беспилотные аппараты применяют и для обстрела противника. Так, в ноябре 2001 года в окрестности Кабула двумя ракетами, выпущенными с самолета-разведчика «Предатор», был уничтожен автомобиль, где находился один из руководителей «Аль-Каиды» — Мухаммад Атеф. В конце 2008 года на территории Пакистана с помощью беспилотного аппарата был уничтожен Рашид Рауф, подозреваемый британскими властями в терроризме.

Пока эти аппараты не вполне самостоятельны в своих действиях. За их перемещениями следит офицер, находящийся в центре управления. Он и отдает команды, словно участвуя в компьютерной игре, где на кон поставлены судьбы живых людей, оказавшихся под ударом машины. Однако в данной технологии назревает качественный скачок. На следующем этапе роботы сами будут принимать решения о том, что им делать: продолжать наблюдение или атаковать противника.

Изменится и облик беспилотных аппаратов. В воздушном пространстве, по задумкам военных, будут господствовать Micro Aerial Vehicles, миниатюрные летающие роботы. Целый рой металлических «мух» примется незаметно шпионить, например, за потенциальными террористами, кружа в стороне от них. Кого насторожит мошкара, вьющаяся где-нибудь над цветочной клумбой? Подобные роботы как нельзя лучше могут быть использованы и во время боевых действий. Оставаясь незамеченными для всех, они будут облетать вражеские позиции, в полной безопасности занимаясь разведкой, а то и нанося неожиданный удар.

Перспективы разработки нового оружия уже приобрели зримые очертания. В планах военных — создать к 2015 году летающего робота величиной с птицу, а к 2030 году — размером с насекомое. У этих искусственных представителей животного мира будут, как и положено, крылья, которыми они примутся взмахивать, стараясь ничем не выделяться среди неприметных тварей, снующих в воздухе. Со стороны, уверяют исследователи, их и впрямь легко будет принять за птиц, кружащих в небе, или назойливых мух.

В отличие от обычных самолетов, эти микромашины куда более неуязвимы. По словам одного из их создателей, Грега Паркера, даже столкновение с преградой им не страшно, как и обычным насекомым: «Когда вы видите насекомое, то понимаете: оно может врезаться в стену и потом, как ни в чем не бывало, полетит дальше». Для большого летательного аппарата, например бомбардировщика, такое немыслимо; маленький же робот выйдет, пожалуй, невредимым из этой переделки.

Впрочем, пока не решена главная проблема, мешающая внедрить в жизнь беспилотные аппараты нового типа. Для них не созданы надежные источники энергопитания. Так, ученые Делфтского университета разработали искусственную стрекозу DelFly. Оснащенная электромотором, весящим всего 1,6 грамма, она может 14 раз в секунду взмахивать своими прозрачными крылышками. Ее тельце даже оборудовано видеокамерой, как и положено вездесущей шпионке. Однако аккумулятор, дающий ей жизнь, работает всего 15 минут.



Робот-насекомое может шпионить за потенциальными террористами


Помимо этих миниатюрных машин, воздушные силы ведущих держав мира пополнят в недалеком будущем и беспилотные бомбардировщики. Они выгодны по двум причинам. Во-первых, подготовка классных летчиков-асов обходится все дороже и требует очень много времени. Во-вторых, в современных боевых самолетах именно человек обычно оказывается слабым звеном. Уже сейчас пилот не может управлять таким самолетом без помощи компьютера, не говоря о том, чтобы самостоятельно вести воздушный бой. К тому же перегрузки становятся так велики, что даже хорошо подготовленный человек с трудом выдерживает их. Чудовищное нервное напряжение лишь мешает пилоту — не машине, замедляя его реакцию.

Еще одно направление секретных работ — самодвижущиеся мины. Эти роботы, начиненные взрывчаткой, не станут дожидаться, пока на них наедет машина с солдатами, а сами, наподобие торпеды, отправятся на поиски цели и атакуют ее. Первые опытные образцы таких мин напоминали насекомых, которые ползали по полигону, разыскивая обреченный объект, находившийся в радиусе нескольких сотен метров от них.

Немалый интерес у военных вызывают и нанотехнологии. Тут фантазия «отцов будущих побед», кажется, не знает границ. Они мечтают о нанороботах — «машинах-пылинках». Миллионы таких роботов отправлялись бы на вражескую территорию, рассеивая там отравляющие вещества (вопреки всем конвенциям «доброго старого ХХ века») или возбудителей смертельно опасных заболеваний. Подобные «пылинки» могли бы проникать в тело человека, парализуя его, или, в лучшем случае, радируя обо всех его перемещениях (в этих фантазиях вражеский «генштаб» был бы непременно нашпигован такими «маячками», и кристально честные вояки, сами того не подозревая, докладывали бы противнику о своих намерениях). К счастью, эти планы выглядят пока не осуществимыми потому, что в распоряжении конструкторов, повторюсь, нет надежных миниатюрных аккумуляторов, которыми можно было бы оснастить невидимую армаду. Однако скоро все может измениться.



Робот из Фрейбургского университета возвращается с «боевого задания»


Еще одно поле деятельности роботов XXI века — космос. Без нормально функционирующей связи невозможно контролировать действия боевых машин. Лишившись системы навигации, они буквально ослепнут и перестреляют друг друга или своих же солдат и офицеров. Поэтому, чтобы дезорганизовать противника, важно вывести из строя его спутники связи. «Война роботов» неумолимо превращается в космическую войну. Когда самоходные машины выйдут на боевую тропу, полем их сражений станет все околоземное пространство.

Впрочем, даже самые умные роботы пока «беспробудно глупы». По уровню интеллекта они могут сравниться лишь с теми же насекомыми. Сейчас все эти машины «принимают решения», следуя вложенным в них программам. Если они оказываются в неожиданной для себя ситуации, то им зачастую трудно бывает правильно среагировать на происходящее. Здесь уместно прибегнуть снова к тому же сравнению. Подобно мухам или мотылькам, инстинктивно летящим на свет электрической лампочки или свечи, роботы в таких «нештатных» ситуациях тоже ведут себя идиотически.

Вот пример, взятый из практики состязаний машин в пустыне Мохаве. У одной внезапно отключился навигатор, и тогда эта «умнейшая машина», способная преодолевать десятки, а то и сотни километров по незнакомой местности, вдруг закрутилась волчком, словно пытаясь поймать «ускользающий сигнал». Технических средств без изъянов не бывает, и это может обнадежить будущие поколения борцов с «терминаторами». Порой достаточно нехитрого приема, чтобы сбить с толку датчики робота и сделать его беспомощным, беззащитным.

Например, в конструкциях будущих боевых машин огромное значение приобретут инфракрасные сенсоры: ведь и люди, и военная техника излучают тепло. Выслеживая тепловые источники, робот отделяет важные для себя объекты от незначительных. В ночное время суток такой робот имеет огромное преимущество над теми, кто воюет «по старинке». Ведь даже ночью он может точно определить, откуда раздался выстрел, потому что этому событию соответствует яркая вспышка в инфракрасном диапазоне. Однако его сенсоры можно ослепить с помощью множества огоньков. Или перехитрить противника, используя его опознавательные сигналы, и тогда робот не среагирует на приближение к нему незнакомых солдат. Останется лишь подойти к всемогущей машине и отключить ее.

Еще одно слабое место роботов — система связи с центром управления. У будущих поколений хакеров хватит работы. Несколькими нажатиями клавиш они могут выводить из строя целые армии или направлять боевые машины на своих же солдат.

Наконец, и в робототехнике неминуема своя гонка вооружений. Ведь кто лучше всех справится с вражеским роботом? Робот более совершенной конструкции. Однако эта «гонка» чревата самыми страшными, непредсказуемыми событиями. «Автоматизация поля сражения» (подобный термин используется в Пентагоне) ведет лишь к нарастанию военной угрозы.



Наш новый друг, робот, проверяет, нет ли в этой сумке взрывчатки


Поклонники боевых роботов уверяют, что машины помогут избежать лишних человеческих жертв во время войны. На самом деле, это не так. Скорее, произойдет обратное. Использование боевых роботов не спасет мирное население воюющих стран. Благодаря опознавательным сигналам «друг — враг» они относительно легко будут вычислять солдат своей армии, а вот все остальные — что военные, что штатские — останутся для них потенциальными врагами. Для мирного населения, погибшего от рук роботов, уже придумана своя сводка в статистике: «Collateral Damage», «побочный ущерб» на современном «новоязе» штабных интеллектуалов. Война будущего, несомненно, примет чудовищный размах и выродится в массовое, методичное истребление целых групп населения. Подобному технологическому «прорыву» могут порадоваться разве что диктаторы, которым больше не придется опасаться человеческого фактора.


Роботы: несколько слов о криминале и любви

Роботы становятся все разумнее; они могут уже сами многому учиться, подобно людям или животным. Недавно немецкий философ Андреас Маттиас призвал даже разработать своего рода уголовное законодательство для этих машин: они должны отвечать за причиненный ими вред. Вот что он сказал в интервью электронной версии журнала Spiegel (фрагменты беседы).

Андреас Маттиас: Вообще говоря, нет. Я сам несколько лет занимался программированием в Кассельском университете. Сделать подобное заявление меня побудил не страх перед роботами, а тот факт, что машины играют все большую роль в нашем обществе, поскольку начинают самостоятельно принимать решения. И если они допускают ошибки, то нужно заранее обговорить, кто будет отвечать за их промахи.

Но машину ведь сделал человек? Почему бы не наказать программиста, разработавшего ее?

А.М. Нет, это в семидесятые годы мы могли думать, что раз в машину вложили определенную программу, она будет действовать строго в ее рамках. За эти десятилетия программирование изменилось. Сегодня вместо четких, конкретных команд часто используются так называемые нейрональные сети, созданные по примеру структур, существующих в головном мозге человека. Подобная сеть способна к самообучению, и мы уже не можем судить о том, чему научилась машина.

Она сама обучается, тренируется — она выходит за рамки вложенных в нее программ. От человека же она получает только определенный багаж знаний.

— Вы рассуждаете так, словно задались целью избавить производителей роботов от необходимости выплачивать огромные суммы в счет компенсации за причиненный ущерб.

А.М. Я исхожу из того, что наша правовая система должна быть справедливой. Для меня справедливость — это когда кто-то несет ответственность за поступок, совершить или не совершить который было всецело в его власти. Производители роботов уже не могут досконально контролировать выпущенные ими машины. Так что взваливать на них ответственность за все совершенные роботами поступки было бы несправедливо. Возьмите, например, марсоход, который благодаря вложенному в него программному обеспечению сам учится маневрировать. Если, например, в тот момент, когда связь с Землей нарушена, он затеет какой-то маневр и въедет прямиком в яму, то стоит ли винить тех, кто разрабатывал программное обеспечение?

Почему нет? Может быть, они просто написали плохую программу?

А.М. Я не думаю, что можно создать машину, которая не допускала бы вообще никаких ошибок. Мы, люди, тоже их делаем, и сами же отвечаем за это. Мы не можем требовать, чтобы спрашивали с наших учителей, с родителей, а не с нас, — с определенного возраста мы несем ответственность за все, что натворили. Вот так же обстоит дело и с машиной.

С какого-то момента ее производитель уже не может отвечать за то, чему она научилась сама. Ведь она теперь уже не та, что была в момент завершения заводской сборки.

— Вы постоянно говорите об ответственности. Что же, по-вашему, надо делать с машиной в том или ином конкретном случае?

А.М. Она могла бы сама оплатить причиненный ей ущерб. Ведь она выполняет какую-то работу, значит, часть заработанных ей средств можно перевести на страховой счет, из которого и будет выплачена компенсация.

— Вы говорите также об уголовном законодательстве для роботов. Как их предлагаете наказывать?

А.М. Перепрограммировать!

— Объясните подробнее.

А.М. Главные цели нашего уголовного законодательства — это, во-первых, перевоспитание преступника, а во-вторых, его изоляция на некоторый срок. Применительно к машине это означает, что нужно просто улучшить ее программу. Наказывать машину гораздо эффективнее, чем человека. Никто не гарантирует вам, что преступник после пяти лет, проведенных в заключении, выйдет на свободу совершенно перевоспитавшимся. Машина же после перепрограммирования уж точно не допустит прежних ошибок. Так что нам не нужно сажать робота под арест — надо всего лишь подрегулировать его программное обеспечение.

— Вы также утверждаете, что к роботам, способным чему-либо учиться, со временем начнут относиться как к неким существам. Может быть, прикажете еще наделить их и избирательными правами? А кстати, можно будет отправить роботов на металлолом?

А.М. Время для подобных разговоров пока еще не пришло, все это — темы научной фантастики. Мы же для начала должны добиться того, чтобы автономно действующие машины отвечали за свои поступки. Какими правами будут они наделены, это — вопрос будущего.

— И все же какими конкретными правами можно было бы наделить роботов?

А.М. Я могу представить себе разве что право на ремонт и профилактическое обслуживание. Нельзя требовать от роботов ответственности за совершенные ими проступки и в то же время допускать, чтобы они приходили в негодность, начинали «барахлить». Но, в принципе, мы пока еще очень далеки от того, чтобы наделить роботов правом на жизнь.

Загрузка...