Толстяк и вагонетка

Сергей Медведев: Мы продолжаем исследование цифрового фронтира с частым гостем нашей программы Кириллом Мартыновым. Это такой своего рода шериф цифрового фронтира, только у него в кобуре, наверное, вместо пистолета томик Канта. Кирилл – философ, преподаватель Высшей школы экономики, редактор отдела политики "Новой газеты". Мы исследуем, в числе прочего, различные формы цифрового фронтира – как роботы постепенно замещают людей, как мы неуклонно движемся к точке сингулярности.

Из последних новостей – буквально вчера-позавчера я увидел в "Фейсбуке": роботы уже пишут сценарии для сериалов. Через несколько лет, я думаю, сериалы будут полностью производиться автоматами: и сценарии, и операторская работа, – такое автоматизированное производство.

Был создан также цифровой аватар. Я забыл фамилию умершего российского программиста, на основе постов которого в соцсетях был создан его аватар, и он уже общается с людьми, отвечает на вопросы.

В этом же ключе цифрового будущего я хочу поговорить о прошедшей на этой неделе в Москве лекции британского ученого Дэвида Эдмондса, специалиста по моральной философии, на тему "Машины-убийцы. Надо ли роботу читать Канта?". Поскольку все больше решений принимают роботы, он с точки зрения моральной философии смотрит на то, могут ли роботы принимать решения, основываясь только на чистой логике, возникнут ли когда-нибудь проблемы морали… Кирилл, я так понимаю, что с самого начала возникает проблема вагонетки и проблема толстяка.

Кирилл Мартынов: Достаточно давно в американской аналитической философии существует так называемой метод мысленных экспериментов, который предполагает, что мы гипотетически задаем какую-то возможную ситуацию, пытаемся тщательно продумать все возможные сценарии ее развития и делаем какой-то вывод о том, что мы можем отсюда знать. Мысленные эксперименты получили особенное распространение при обсуждении этических вопросов – это способ задать какой-то конкретный этический вопрос, реконструировав возможное событие.

Событие здесь достаточно трагическое, правда, но и с элементами комичного: сама фигура толстяка комична, но вообще у толстяка все плохо. Ситуации могут задаваться по-разному, но один из вариантов такой: по рельсам идет вагонетка, и вы понимаете, что если ничего не изменится, она собьет нескольких людей, которые переходят железную дорогу, и они погибнут. Вы можете толкнуть на эту вагонетку проходящего мимо толстяка, который ни в чем не виноват, тогда он собьет с курса эту вагонетку, и люди останутся живы. С точки зрения минимизации вреда, пожертвовать толстяком, в принципе, правильно, поскольку меньшее количество людей пострадает. С другой стороны, по всем представлениям о человеческой этике это уже намеренное убийство, ведь если бы вы в эту ситуацию не вмешались, то толстяк остался бы жив.

Сергей Медведев: А эта проблема имеет решение в моральной философии?

Кирилл Мартынов: Это очень условное решение, в зависимости от того, как вы вообще понимаете этику.

Сергей Медведев: Абсолютного решения нет?

Кирилл Мартынов: Конечно, нет. Когда мы формулируем эту вещь, мы приходим к такому достаточно странному явлению, как практическая философия. Практическая философия близка к психологии, но она не изучает особенности мышления конкретных людей, а пытается в данном случае ответить на вопрос при помощи социологического опроса и эксперимента. Просто у ста людей спрашивают: толкнули бы вы толстяка? Пожалуйста, проголосуйте. Или другой вопрос: правильно ли было толкнуть толстяка? Допустим, вы боитесь это сделать, не хотите брать на себя ответственность, но считаете ли вы это решение правильным? И дальше мы замеряем, что люди, представители данной культуры, а может быть, представители всех человеческих культур считают правильным в данном вопросе. Можно менять условия задачи, можно, например, вместо толчка толстяка использовать перевод стрелки.

Сергей Медведев: Есть два пути, к одному привязан один человек, вагонетка раздавит одного человека, а к другому пути привязаны десять человек.

Кирилл Мартынов: Должен ли я переключить стрелку, чтобы вагонетка пошла по тому пути, где лежит всего лишь один человек, и тем самым тоже совершить преднамеренное убийство этого одного человека?

Сергей Медведев: Но опосредованное.

Кирилл Мартынов: Да, уже при помощи механизма, никого непосредственно не толкая. Здесь мы можем, опять же, спросить у людей, как они считают правильным поступать, получить какие-то две выборки, сравнить ответы и дальше попытаться проанализировать полученную информацию. Почему, например, большинство людей, как показывает статистика, считают, что толкать толстяка аморально, так поступать нельзя, мы не имеем на это права, но если спрашивают о том, можно ли перевести стрелку, тогда большинство людей говорят: да, это можно сделать?

Сергей Медведев: Предположим, государственный деятель, отправляющий солдат на войну, – это то же самое. Он посылает какое-то количество людей на верную смерть ради того, чтобы выжило еще большее количество людей. Это та же самая вагонетка – куда ее пустить: на одного человека или на десять?

Кирилл Мартынов

Кирилл Мартынов: Совершенно верно. Но получается, что в основе наших представлений об этике лежат какие-то вещи, которые мы не понимаем до конца на каком-то интуитивном уровне или на уровне здравого смысла. Задача практической психологии – реконструировать этику, поэтому это все еще не психология, хотя там есть моменты психологического исследования, а именно попытка. Если психология всегда описывает, что происходит у человека в психике, в сознании, как он думает, действует, то философия, этика отвечает на вопрос, как должно быть, как человек считает правильным. Это уже лежит за пределами чисто психологического разговора.

Сергей Медведев: Существует ли в этом смысле объективная мораль? Здесь такой моральный релятивизм: все зависит от того, сам ты толкаешь толстяка под вагонетку или делаешь это при помощи стрелки, а можно сделать еще более опосредованно. Выходит, особенно в эпоху постмодерна, что объективной морали не существует, все ситуационно?

Кирилл Мартынов: Нет единого ответа на этот вопрос, и это очень показательно. Здесь все зависит от того, к какой этической традиции мы хотим принадлежать. Если мы такие этические релятивисты, то мы действительно занимаем такую позицию: как договоритесь, так и будет считаться правильным в данном сообществе. Договоримся мы, что каннибализм – это хорошо, значит, будет хорошо. Существовали какие-то общества, которые считали, что так оно и есть.

Есть позиция, представленная Кантом, которая предполагает, что моральные и аморальные поступки отличаются сами по себе в силу самой своей природы. На вопрос о том, нужно ли толкнуть толстяка, чтобы спасти чьи-то жизни, Кант четко ответил бы, что нет, нельзя, потому что каждый человек, даже если он толстяк – это финальная цель всех наших действий, нельзя человека использовать как средство, этот поступок аморален и плох именно в силу своей природы.

Есть противоположная позиция, которая предлагает смотреть на этику с точки зрения возможных последствий наших действий, то есть этичными или неэтичными являются не наши действия, а их последствия. Эта позиция называется консеквенциализмом, и она предполагает, что, вероятнее всего, если речь идет о больших жертвах, то предотвращение больших жертв одной жизнью было бы этичным, как ни странно это звучит.

Сергей Медведев: То есть, скажем, Достоевский со слезинкой ребенка – это абсолютно кантовская позиция: всемирная гармония не стоит слезинки одного ребенка?

Кирилл Мартынов: В целом – да, но в случае с Достоевским примешивается мистическая компонента. Вообще, современная этика, начиная со знаковой работы философа Аласдера Макинтайра "После добродетели", после того, как мы исключили отсылку к божественному присутствию в наших попытках конструировать этические аргументы... Во времена Фомы Аквинского конструировать этические аргументы было очень просто. Вы понимаете, что есть Бог-творец, он хорош – это образец воплощенный этики, и то, что он повелел делать, это и есть "этично", а дальше надо разобраться в методах, каких-то сюжетах и так далее. Начиная с Канта, мы исключили Бога из этой схемы, а Достоевский – нет.

Сергей Медведев: Потому что у Достоевского: "Если Бога нет, то все дозволено"... А Кант говорит: "Если Бога нет, то вступают какие-то другие законы".

Кирилл Мартынов: Кант тоже был верующим человеком, но он не считал возможным ссылаться на это в качестве философского аргумента. Кант считал, что этика должна конструироваться автономно, без ссылок на внешний авторитет, даже на божественный. А у Достоевского, если соединить две его затасканные расхожие фразы, получается, что "если Бога нет, то слезинка ребенка тоже ничего не значит", потому что без первого высказывания второе тоже не имеет никакого смысла.

Сергей Медведев: Тогда есть какие-то внеположные человеку фундаментальные онтологические основания, по которым нам нельзя убить толстяка?

Кирилл Мартынов: Я лично нахожусь на той позиции, что человеческая этика может быть объяснена из эволюционной перспективы.

Сергей Медведев: Этика – это вообще чисто человеческое изобретение? Для этики, для морали нужен человек?

Кирилл Мартынов: Если говорить цинично (может быть, кому-то это покажется оскорбительным), то этика – это изобретение стадных животных. Этика появляется там, где есть стадо приматов, в нашем случае, живущих по определенным правилам, где в одном стаде живет несколько самцов и самок с разным статусом. Это достаточно большая группа, и им нужно находить какие-то способы взаимодействия друг с другом, совместного выживания в долгосрочной перспективе. Вот здесь нужна этика.

Когда заявляешь тезис о том, что в основе этики лежат эволюционные причины, обычно считают, что это резко занижает статус этики и делает ее чем-то таким животным, вульгарным, чем можно пренебречь. Я как раз совершенно не исхожу из этого. Мне кажется, вообще вся человеческая культура имеет эволюционные корни, но это не делает ее менее достойной, значимой и прекрасной. Этика важна, и у нее есть реальные основания – это то, что в течение многих миллионов лет наши предки жили друг с другом в одних и тех же пространствах, в одних и тех же группах, будь то город или племя.

Сергей Медведев: То есть можно сказать, что мораль – это свойство эволюции?

Кирилл Мартынов: Мораль – это именно свойство человеческой эволюции или эволюции приматов. Конечно, у шимпанзе тоже есть мораль, но у них другая мораль, это мораль их вида, она может отличаться от нашей. Опять же не каждый моральный акт может быть напрямую сведен к каким-то эволюционным причинам, потому что очевидно, что человеческая культура тоже эволюционирует. Есть исследования антропологов, которые показывают, что человек как вид, как и многие другие виды, какое-то время был видом каннибалов, но потом по каким-то социальным и культурным причинам культурная эволюция продолжалась, и мы решили, что это неприемлемо даже в целях выживания.

Сергей Медведев: То есть мораль эволюционирует вместе с человечеством, и мы подходим к тому пределу, когда продолжением человека становится машина, компьютерный мозг, робот. Встает вопрос, что мы должны укладывать в этот мозг и каким образом будет развиваться человеческая мораль с учетом компьютеров. Сейчас у нас появляются роботы-водители, может возникнуть ситуация, когда роботу-водителю нужно будет принять решение о том, чтобы машина потеряла управление с целью спасти людей, находящихся в ней, или отвернуть, если машина несется в сторону автобусной остановки с людьми. Можно отвернуть машину, повредить своего пассажира, но при этом спасти людей на остановке, то есть робот должен будет принять моральное решение. Теперь мы будем закладывать эти вещи в компьютерную программу?

Кирилл Мартынов: Лекция Эдмондса и вообще интерес к этике, возникший довольно неожиданно, напоминает мне то, что случилось с интересом к понятию интеллекта 50–60 лет назад. Есть такое понятие "разум"; философы веками спорили о том, что такое разум, зачем он нужен, как он устроен. Всегда казалось, что этот разговор имеет очень косвенное отношение к реальной жизни, к каким-то инженерным решениям, экономическим проблемам, – это была такая форма самопознания.

Возникли компьютеры, и немедленно встал вопрос, есть ли хоть что-то, что компьютеры не могут делать вместо людей. Этот вопрос был поставлен еще в конце 40-х годов. И вдруг вопрос о разуме, который теперь обладает чертами вопроса об искусственном интеллекте, приобрел совершенно конкретные инженерные, технологические, социальные измерения.

С этикой на наших глазах происходит то же самое. Обсуждая значение победы программы, играющей в го, над человеческим игроком, мы с вами говорили: компьютер обыграл нас в шахматы, он обыгрывает нас в го, что дальше? Дальше, как ни странно, покер, но не потому, что это сложная игра, а потому, что она ведется в реальном мире, где можно блефовать, где нет полных данных о ситуации и так далее. В реальности следующий шаг – это автономная машина, которая выходит в реальный мир и принимает там решения, берет на себя какую-то ответственность.

Сергей Медведев: И сама обучается.

Кирилл Мартынов: В этой ситуации от вопроса о том, что такое разум, мы внезапно переходим к совершенно практическому вопросу о том, как отличать правильные поступки от неправильных. И теперь их уже задают не моралисты, как в XVIII веке, во времена Канта, а инженеры, потому что для инженера, безусловно, важно, чтобы машина, которую он спроектировал, например, автомобиль, способный передвигаться самостоятельно, без водителя, не воспринимался окружающими людьми как какой-то злой монстр. Автомобиль должен вести себя таким образом, чтобы человеку было понятно, почему он ведет себя на дороге так, а не иначе, даже попадая в сложную ситуацию.

В начале передачи вы сказали, что скоро будут одни только роботы, пишущие сценарии (как в том советском фильме: "Скоро будет одно телевидение"). Я тоже верю в перспективы искусственных существ-программ, созданных для решения самых разных задач, но мне все-таки ситуация видится несколько иначе: роботы и люди будут писать сценарии в какой-то связке. Это очень важно, это означает, что в одном социальном пространстве будут одновременно действовать и принимать решения люди и… мы говорим "роботы", но на самом деле это программы. Люди должны понимать, как программы принимают решения, а для этого надо научить программы принимать решения так, чтобы людям это было понятно. И есть единственный способ, чтобы они принимали решения похожим на человека образом. Круг замыкается, и действительно выясняется, что это вопрос о том, каковы человеческие представления о правильных поступках.

Сергей Медведев: То есть к программистам нужно сажать гуманитариев и моральных философов, которые будут программировать эти ситуации. Как выразился в своей лекции Эдмондс, в будущем можно будет заказать себе машину с определенной философией: "Я хочу машину с кожаным салоном и философией Канта, которая в случае чего не переедет этого толстяка, чтобы спасти жизнь другим".

Кирилл Мартынов: В прошлом году вышла книга Дэвида Эдмондса на русском языке "Убили бы вы толстяка?", посвященная как раз этому. Мне кажется, здесь две истории. С одной стороны, мы уже сейчас создаем машины без какой-либо философии, они способны принимать какие-то решения, и нас это устраивает на каком-то базовом уровне. Но когда машин будет становиться больше, когда их автономное участие в нашей жизни будет нарастать и качественно, и количественно, действительно возникнет вопрос о том, что недостаточно принимать наиболее эффективные решения с точки зрения машины.

Есть понятие интерфейса, и интерфейс должен быть дружелюбным. Этика становится одним из ключевых измерений интерфейса, это действительно вопрос проектирования интерфейса, так что теперь этика стала вопросом проектирования интерфейса. Можно согласиться с тем, что действительно в какой-то момент времени, сначала в отдельных сферах, а потом, видимо, повсеместно, мы будем программировать машины на определенные этические, философские установки.

Сергей Медведев: Появляются роботы-хирурги, врачи, они будут ставить диагнозы. Имеет ли право, скажем, робот-диагност сообщать человеку, что у него рак?

Мы говорили о том, что этика эволюционна, она возникает в результате естественного отбора и стадного поведения больших групп приматов. Этика логична?

Кирилл Мартынов: Я думаю, что нет. Именно поэтому в основе машинных тренингов этики будут лежать нейронные сети, а не машины Тьюринга в классическом ключе.

Сергей Медведев: То есть можно кодировать логику, но нельзя кодировать этику?

Кирилл Мартынов: Наверное, все, в конечном итоге, можно кодировать, вопрос в том, как вы это делаете. Если вы принимаете решение просто на основании, например, минимизации вреда, то это, как ни странно, оказывается не всегда приемлемо для людей. Мы говорим не про абстрактную, а про человеческую этику – она несовершенна. Но нам, вероятнее всего, нужно делать не совершенную божественную этику или этику роботов, что было бы проще, а этику, которая приемлема для людей. Именно поэтому сейчас ведутся эти исследования в области практической философии, Эдмондс ездит по миру, проводятся какие-то школы и так далее.

Сергей Медведев: А может быть такая ситуация, при которой машина будет моральнее человека?

Кирилл Мартынов: Я тоже об этом подумал. Этот момент уже был обыгран в массовой культуре – в классическом фильме "Терминатор-2": плохого парня перепаяли, перепрограммировали… Эта дама, Сара Коннор, наблюдая за тем, как ее сын, Джон Коннор, будущий лидер повстанцев, играет с Терминатором, в роли которого Арнольд Шварценеггер, говорит, что это, по сути, идеальный отец, он не предаст, никогда не покинет, всегда его будет защищать, он учится, слушает, что ему говорят, он абсолютно надежен и так далее.

У людей идет какая-то сложная игра вокруг машинного разума. С одной стороны, это источник массовых страхов, а с другой, я бы сказал пафосно, один из источников надежды, что роботы научат нас лучше любить. Если вы действительно получите роботов-кантианцев, то они будут как-то присутствовать в человеческой жизни, в обществе и влиять на него.

Сергей Медведев: Может быть, через десять-двадцать лет робот будет в составе суда присяжных как человек, в которого в большей степени, чем в самого продвинутого философа, заложены все алгоритмы философии (те же самые кантовские), и голос робота может учитываться при принятии судебного решения…

Кирилл Мартынов: Существует стандартная логика, говорящая, что машина не совершает ошибок. Человек – такое творческое существо, которое может позволить себе роскошь совершить ошибку, а у машин просто алгоритм, и они его выполняют.

Но в реальности ситуация совершенно другая. Как сейчас нейронные сети учат распознавать образы, так же и искусственно созданные нейронные сети будут учить принимать решения. На входе у вас такая-то ситуация, вам нужно принять правильное с этической точки зрения решение, но оно может быть ошибочным с точки зрения, грубо говоря, программы. Вы понимаете, что да, он убийца, но это не доказано.

Сергей Медведев: Мы, наверное, наделим робота самым человеческим правом – правом на ошибку. Может быть, это и будет та самая точка сингулярности. Это будет означать окончательное достижение им человеческих свойств. Но пока мы живем в реальном мире, и смею вас заверить, что сейчас в студии присутствовали два живых человека по имени Кирилл Мартынов и Сергей Медведев.