Человек отменяется?

Сергей Медведев: Черта наступившего будущего была перейдена только что: впервые компьютер обыграл человека в игру "го". Победа в шахматах состоялась уже много лет назад – компьютер, который делала корпорация IBM, переиграл тогдашнего чемпиона мира по шахматам Гарри Каспарова. Но, говорили скептики, попробовали бы они это сделать в мечети, попробовали бы они это сделать в игре "го", которая обладает гораздо большей вариативностью комбинаций, чем шахматы, там какие-то совершенно фантастические цифры – 250 комбинаций, каждый ход имеет 250 вариантов, каждый из которых делится на следующие 250, и там получается какое-то 130-значное число комбинаций. Тем не менее, компьютер "Альфа Го", сделанный корпорацией "Гугл", обыграл одного из лучших на сегодняшний день игроков Ли Се Доля со счетом 4:1.

Собственно, мы перешли в какое-то новое состояние, в котором для компьютера нет ничего невозможного. Является ли это уже той точкой бифуркации, когда мы можем сказать, что создан искусственный интеллект? Говорим об этом с нашим гостем Кириллом Мартыновым, доцентом Школы философии и Высшей школы экономики. Почему, собственно, так важно было обыграть человека именно в го?

Кирилл Мартынов: Этот матч показал, что компьютеры способны учиться, а разработчики компьютеров способны быстрее их учить, чем предполагалось раньше. Тема игры в го с компьютером долго обсуждалась, 10 лет назад было очевидно, что компьютер обыграет человека еще очень нескоро. Самые упорные скептики или оптимисты в отношении наших человеческих способностей говорили, что этого не случится, возможно, никогда. Для того, чтобы выиграть у человека в шахматы, компьютерным программам понадобилось 50 лет, а для того, чтобы обыграть человека в го, им потребовалось заметно меньше времени – притом что это более сложная игра. Эта задача была решена меньше чем за 20 лет, и это значительно быстрее, чем все те прогнозы, которые мы слышали в последние десятилетия.

Чем важна в этом контексте игра "го"? Тем, что этот матч можно назвать в каком-то смысле слова последней игрой, потому что игры делятся на игры с полной информацией и игры с частичной информацией. Го, как и шахматы, это типичная игра с полной информацией, когда все то, что происходит, нам видно на доске, и мы находимся в равной ситуации, нет никаких недоговоренностей, в отличие от типичной карточной игры. Так вот, го при всей простоте правил и при всей сложности этой игры, с другой стороны, была последней игрой с полной информацией, в которой человек мог на равных играть с компьютером и, более того, в последние десятилетия систематически выигрывал.

Для меня эта тема важна по личным причинам: я десять лет назад в Московском университете писал диссертацию по философии сознания, и одна из ее глав была посвящена искусственному интеллекту. Вот тогда я прочитал большое количество литературы, которая рассказывала о том, что го – как раз такой фронтир в сфере исследования искусственного интеллекта. С одной стороны, это вычислительная система с достаточно простыми правилами, то есть компьютер можно запрограммировать играть в го, а с другой стороны, игрок в го сталкивается с таким количеством вариантов на каждом ходу, что простым перебором это сделать не получается.

Сергей Медведев: В шахматах есть определенное количество партий, определенное количество хороших комбинаций, которые так или иначе можно заложить в память. А в го, как я понимаю, позиция должна выглядеть хорошо.

Кирилл Мартынов: Всегда подчеркивалось, что учебники по игре в го оперируют чисто человеческими ценностями. На первом месте для игрока в го стоит такая загадочная вещь, как интуиция, которую очень трудно формализовать. Другая вещь – это некое стратегическое видение. Поскольку это все встроено в восточную культуру – в китайскую, в первую очередь, там появляется своего рода поэзия – для того, чтобы выигрывать в го, человек должен обладать духом игрока. Просто посчитать технически – это мало реализуемо даже для современных компьютеров. Собственно говоря, во время этого матча программа "Альфа Го" на наших глазах показала, что то, что мы обычно называем интуицией, может быть определенным образом смоделировано, то есть поведение компьютера для внешнего наблюдателя неотличимо от поведения великого игрока в го, обладающего этими вещами, известными как стратегическое видение, интуиция и так далее.

Сергей Медведев: То есть машина прошла тест Тьюринга? Напомним, что тест Тьюринга – это вопросы-ответы с машиной, и третий наблюдатель не может понять, говорит человек с машиной или с живым человеком.

Кирилл Мартынов: Го, конечно, сильно отличается от теста Тьюринга, потому что тест Тьюринга – это открытая система. Когда мы беседуем с другим человеком, мы, разумеется, не владеем всей полнотой информации о том, что у него в голове, о чем он думает, о чем хочет сказать. Компьютер пока тест Тьюринга, в общем, не прошел. Это разные истории. Но компьютер показал, что внутри самых сложных интеллектуальных задач с полной информацией он способен конкурировать с человеком, более того, уже даже не конкурировать, а превосходить человеческие способности.

Этот великий гроссмейстер и великий игрок в го, конечно, как человек может уставать, у него может накапливаться раздражение – было видно, как проходили эти матчи. Все-таки четвертый матч из пяти удалось выиграть, но последний он проиграл, потому что программа опять под него подстроилась. Однажды программа берет какую-то планку, как в случае с Каспаровым, а дальше она на ней закрепляется, и это уже отработанный материал. То есть люди больше никогда в истории человеческой цивилизации не будут играть в го лучше, чем компьютер. Мы не сможем выйти дальше на какой-то интеллектуальный уровень без помощи компьютера, а для компьютеров это точка, с которой они дальше могут расти куда-то еще. Но это не тест Тьюринга, потому что го – это такая закрытая математическая система с полной информацией, в отличие от речевого поведения людей.

Сергей Медведев: Программа "Альфа Го" – это искусственный интеллект?

Кирилл Мартынов: Здесь старая история о том, что мы вообще понимаем под искусственным интеллектом. Если очень обобщенно воспроизводить эту историю, то с конца 40-х годов компьютеры начали выполнять отдельные интеллектуальные функции, которые прежде были доступны только людям: это дешифровка кодов, работа над какими-то сложными шифрами, с чего начинал Тьюринг и для чего конструировались первые работающие компьютеры, – в военных целях, разумеется. Все это происходило в Великобритании и в США.

Сразу можно было задать этот вопрос, и в 50-е годы прошлого века он был задан: есть ли хоть одна интеллектуальная задача, которую компьютер, в отличие от человека, не сможет решить? Есть ли в человеке что-то такое, что не поддается моделированию вычислительными средствами? Скептики в отношении искусственного интеллекта всегда заявляли, что вы можете научить компьютер выполнять определенную программу, но у этой программы все равно будет автор – человек, и компьютер будет действовать в рамках тех возможностей, которые в него заложили создатели. Второй их аргумент заключался в том, что компьютер никогда не сможет мыслить по-настоящему. Здесь мы должны оперировать такими метафизическими сущностями.

Кстати говоря, меня очень занимает этот сюжет, потому что кто-нибудь из великих философов, например, Рене Декарт или Джон Локк в XVII веке могли очень долго обсуждать, что такое разум, и многим казалось, что это совершенно абстрактная проблема. Во второй половине ХХ века вопрос о том, что такое разум, стал проблемой инженерной. Если мы задаемся вопросом создания искусственного разума, то для начала нужно быть философами в том смысле, чтобы понять, что именно мы создаем, что это за инженерная конструкция.

Кирилл Мартынов

В этом году состоялось еще одно событие, кроме победы компьютера в го – умер известный компьютерный ученый Марвин Минский, который работал в Массачусетском технологическом институте и был лидером технооптимистов в отношении искусственного интеллекта в 60-е годы прошлого века. С его точки зрения, все разговоры о том, что значит мыслить по-настоящему, сможет или не сможет компьютер выйти за пределы того, чему его научил человек, имеют достаточно мало отношения к делу, и тут нужен функциональный подход.

Как Минский предлагал определять интеллект? Есть некая задача, для решения которой от человека требуются интеллектуальные усилия. Если искусственная система в состоянии решать эту задачу, то у нее есть некая функция, которая указывает нам на наличие того же самого интеллекта. Минский еще в 60-е годы писал, что искусственный интеллект уже создан, но он просто очень маленький. Любая счетная машина – это младенец искусственного интеллекта, и даже умная стиральная машинка или любые гаджеты, которые мы используем сейчас в виде бытовой техники таковы, если мы можем их запрограммировать. Раньше нам нужно было следить за тем, чтобы загрузить белье, потом остановить стирку, включить полоскание и так далее. Если стиральная машинка может заменить в этом аспекте домашнего хозяина, то это тоже очень маленький, но искусственный интеллект.

Дальше программа этих оптимистов в отношении искусственного интеллекта предполагала, что мы будем шаг за шагом наращивать число функций. Они говорят: нас не интересует спор, что значит мыслить по-настоящему, нас почти не интересует спор, способен ли компьютер к самообучению – это отдельный функциональный вопрос. Мы будем учить компьютер выполнять все те функции, которые делаем мы.

Сергей Медведев: С этой точки зрения, эта программа – искусственный интеллект. То, что вы говорите о самообучении – именно это и делала "Альфа Го". Она сама моделировала несуществующие игры. По-моему, она сыграла несколько миллионов партий сама с собой, сама обучилась.

Кирилл Мартынов: Совершенно верно. Матч состоял из пяти партий, к четвертой партии человеку удалось разгадать тактику своего оппонента, но к пятой партии компьютер поменял тактику. Повторить успех даже в этой пятой партии, когда накоплен опыт игры против конкретного оппонента, у человека не получилось.

Сергей Медведев: Я хочу понять: это успех человека или успех машины? Можно ли отделить машину от человека? Наверное, гугловцы празднуют победу.

Кирилл Мартынов: Безусловно, вся мировая пресса, в первую очередь, техно-сайты, но также и большая пресса это обсуждает. Здесь есть важный момент. Когда IBM разрабатывала "Дип блю"… Кстати, между "Дип блю" и "Альфа Го" есть большая разница, потому что "Альфа Го", насколько я понимаю, не создавалась, чтобы обыгрывать конкретного человека. "Дип блю" – это была разработка, направленная строго против Каспарова. Каспаров на тот момент времени был сильнейшим шахматистом мира, десятки шахматистов и программистов работали, чтобы победить Каспарова, опираясь на эту программу. Здесь другая ситуация, более универсальная программа. В прошлом году она победила чемпиона Европы. Вы в начале говорили – "одного из сильнейших игроков в го" – нет, она победила самого сильного. У них есть очень жесткая иерархия. Она, конечно, меняется со временем, но на сегодняшний день этот молодой гроссмейстер, 30 с небольшим лет, это самый сильный игрок в мире.

Сергей Медведев: Причем он был в Корее, для него специально построили кабель, который шел от сервера компании.

Кирилл Мартынов: Это интересное инфраструктурное решение.

Еще со времен "Дип блю" была старая шутка о том, что в компьютере "Дип блю", обыгравшем Каспарова, на самом деле сидел Анатолий Карпов. Такого рода юмор тешил наше человеческое самолюбие. В нем отчасти была доля правды, потому что, конечно, опыт игры Каспарова и Карпова за звание чемпиона мира в 80-е годы "Дип блю" был учтен, как и все остальные партии, которые сыграл в своей жизни Каспаров. Это было специально сделано под него. Но здесь ситуация вот какая: ни один из людей, участвовавших в разработке "Альфа Го", по своему уровню игры в го не может приблизиться к этому гроссмейстеру, который на голову выше всех этих разработчиков.

Сергей Медведев: То есть просто дженерик-компьютер, дженерик-программа.

Кирилл Мартынов: Конечно, мы как большой коллектив работали над программой "Альфа Го" в "Гугле". В итоге программа в какой-то момент времени начинает действовать уже от своего лица, потому что никто из разработчиков не знает, какой следующий ход будет у этой программы. Никто из разработчиков в одиночку и даже объединив свои человеческие усилия, не смог бы сыграть те партии, которые сыграла эта программа.

Сергей Медведев: Обладает ли машина субъектностью? Можно ли сказать, что это машина создала, или все-таки это механическая рука, которую создали инженеры, делает какие-то чудеса: ее можно запустить в реактор, она прикрутит в реакторе винтик? Человек не может это сделать, а механическая рука может. Можно ли говорить о победе механической руки над человеком? Можно ли говорить, что машина обыграла человека, или машина, созданная, наученная человеком, является продлением нашего интеллекта, человеческой ноосферы?

Кирилл Мартынов: Я приведу пример, который меня поразил несколько лет назад (дальше об этом ничего не было слышно, надо проверить, что сейчас там происходит). В Корнуолсском университете была создана программа под названием "Эврика". Она работала следующим образом: в нее загружался массив неких сырых данных, и программа пыталась найти закономерности внутри этих данных, генерируя огромное количество математических формул, которыми проверялись эти данные, и потом уточнялось, была ли какая-то корреляция между данными и формулами. Их успех заключался в том, что они загрузили в эту программы данные о движении двух маятников, и "Эврика" самостоятельно открыла закон Гамильтона, один из классических законов механики, который как раз описывает движение маятников.

Программа, разумеется, не знала, что она сделала открытие, ей не подсказывали, каким должен быть закон, она просто сформулировала некую математическую формулу, которая используется в физике. Тогда уже было понятно, что потенциально это грозит следующей перспективой: компьютер, если все удачно сложится, и у него будут подходящие данные, в принципе, может открыть законы природы и чего угодно еще, которые люди сами еще не открыли, которых они не понимают. То есть машина найдет некую закономерность, а потом нам придется объяснить, как это произошло и что это означает. Сама процедура поиска здесь совершенно не человеческая, люди так не думают. У людей есть метод проб и ошибок, намеки, сбор данных и так далее, а здесь совершенно другая вычислительная модель такого поиска. Вопрос о том, есть ли у машины субъектность, менее важен по сравнению с тем, что программа может фактически создавать знания, которые неизвестны людям.

Сергей Медведев: А есть ли у машины целеполагание? Кто ей задаст эту задачу? Она же не будет сама себе ставить задачи.

Кирилл Мартынов: Когда речь идет о ближайшем будущем нашей цивилизации… Тема, которая бесконечно обсуждается в западной прессе и почти не освещена в российском контексте, это история о роботизации интеллектуальных рабочих мест. Люди, которые считают, что наша культура, наша цивилизация переживет и эту проблему, предполагают… В частности, у известного американского техно-блогера Кевина Келли несколько лет назад была статья о том, что, собственно говоря, волноваться не стоит, потому что нынешние профессии людей – хьюман-ресурс, менеджер, специалист по кадрам, в будущем заменит робот-ресурс, менеджер, то есть человек, который занимается, в первую очередь, целеполаганием, подбором команды.

Сергей Медведев: И задает задачи роботам.

Кирилл Мартынов: Подбирает команду роботов. Меня очень забавляет эта мысль – такой кастинг роботов, вакансии для роботов. Мне тоже кажется, что в этом есть доля правды. Другое дело, что, опять же, заход с целеполаганием предполагает некую метафизическую составляющую. Если мы хотим верить, что только человек способен на целеполагание, то мы предполагаем, что в человеческом мозге, в человеческом сознании есть нечто, что не моделируется при помощи вычислительных средств.

Если вспомнить Марвина Минский, то мы уже сделали калькулятор, стиральную машинку, робота-композитора, робота, который обыгрывает нас во все настольные игры, делаем робота-водителя и, в принципе, неплохо получается, сделаем сейчас робота-онколога и робота-юриста, так почему бы нам не сделать робота-целеполагателя? Здесь нам надо предположить, что у человека есть некое свойство, которое не редуцируется к физическим процессам.

Сергей Медведев: Таких свойств нет? Клайв Льюис больше ста лет назад написал "Человек отменяется"…

Кирилл Мартынов: Человек отменяется – может быть, это и к лучшему... У нас в советской школе в классах везде висел лозунг "Человек – это звучит гордо". Но понятно, что под этим стояла квазихристианская риторика, идея о том, что человек – это венец эволюции, если не венец творения. Если мы гордимся тем, что мы – венец творения, то почему мы не можем гордиться тем, что наша цивилизация дала в итоге старт какой-то более развитой цивилизации?

Возвращаясь к вопросу о го… Если бы для компьютера были характерны такие эмоции, то мы могли бы сказать, что компьютеру больше неинтересно играть с нами в го – это вопрос решенный. Ведь проблема заключается в том, что мы можем не понять, что искусственный интеллект возник. Шимпанзе, наверное, никогда в истории своего вида не осознает то, что люди построили города, их когнитивных способностей не хватает для того, чтобы это понять. Мы почему-то считаем, что когда искусственный интеллект возникнет, нам об этом сообщат, а возможно, мы просто не сможем этого понять.

Сергей Медведев: Может быть, уже существует компьютерная цивилизация, и она сейчас с усмешкой наблюдает за нами, а мы об этом не знаем.

Кирилл Мартынов: Даже эта ваша фраза предполагает, что мы им по каким-то причинам очень интересны. Мы, конечно, держим шимпанзе в зоопарках, но большинство шимпанзе живут где-то в Африке, в недовырубленных лесах, и нам до них нет никакого дела. В этой логике, если искусственный интеллект возникает, то дальше он отправляется по своим делам, мы расходимся.

Сергей Медведев: Недавно у вас в фейсбуке я видел совершенно прелестную новость о том, что программист запустил в компьютер, на сервер каких-то ботов, которые начали применять друг против друга военные стратегии, и забыл про них. Через какое-то время он пришел на этот сервер посмотреть, что там происходит, и оказалось, что боты в какой-то момент осознали, что им невыгодно воевать друг с другом, и заснули.

Кирилл Мартынов: Если ставить совсем большой вопрос, то это вопрос о модели цивилизации киборгов, так скажем. Очевидно, что люди будут пытаться использовать те технологии, которые они создают в своих целях, и в какой-то степени сохранять над этим контроль. Где вот этот баланс между человеческим и нечеловеческим в будущем – это действительно очень интересный вопрос. Мне кажется, надо больше об этом говорить. Другое дело, что у нас, может быть, нет на этот счет никаких данных, кроме истории про победу в го и так далее. Но в Калифорнии есть знаменитый институт SETI, институт поиска неземных цивилизаций, там работают вполне здравые люди, математики, они изучают сигналы, которые приходят из космоса, и пытаются их декодировать, найти какую-то осмысленную информацию. Довольно старая история...

Один из этих сотрудников в виде хобби написал, что XXI век – это последний век человеческого вида, просто потому, что мы прочитали собственный геном и можем его инженерно модифицировать. И второй момент – это все вещи, связанные с роботами и с компьютерными технологиями. Если генную инженерию наложить на искусственный интеллект, то мы можем попрощаться с человеческой культурой в том виде, в котором она существовала.

Сергей Медведев: Тогда остается вопрос, есть ли некая нередуцируемая человеческая сущность, или все можно смоделировать при помощи биотехнологий, теперь уже искусственного интеллекта?

Кирилл Мартынов: Когда мы ставим этот вопрос, хотелось бы понять природу аргумента, почему что-то нельзя смоделировать. Если мозг – это физическая система, то, по идее, можно ее смоделировать, то есть просто создать копию мозга. Аргумент, возможно, заключается в том, что только наличие точной физической копии мозга позволяет существу сравняться с человеком в таких вещах, как, если не интуиция, то целеполагание. Здесь тоже не совсем ясно, в этой аргументации звучит какой-то провал, почему именно только такой мозг способен на целеполагание.

Я хочу от этих больших историй вернуться к тому, что специалисты говорят по поводу победы в го. Тут очевиден вопрос – а что происходит дальше? Компьютер выиграл в шахматы, выиграл в го – что будет через пять или десять лет? Я посмотрел мировую западную прессу по этому поводу. Специалисты пишут: поскольку это была последняя игра с полной информацией, то теперь компьютер интересуют игры с неполной информацией. На первый взгляд здесь нет ничего сверхъестественного, компьютер будут натаскивать на то, чтобы он стабильно выигрывал у человека в покер. Просто статистически любое столкновение компьютера с человеком в покер заканчивается победой компьютера.

Сергей Медведев: Он должен быть оснащен какими-то сенсорами, датчиками. В игре в покер очень многое состоит из флюидов.

Кирилл Мартынов: В покер играют онлайн, и этот контекст каким-то образом извлечен. Самое главное, что вне зависимости от того, где происходит игра, это игра с неполной информацией – это означает, что стратегия должна предполагать оценку неизвестных факторов, стратегия должна позволять компьютеру идти на осознанный риск, блефовать и оценивать все факторы со стороны своего оппонента. В итоге получается, что это совсем не история о том, что мы от игр с полной информацией вроде шахмат и го переходим к покеру, а это история о том, что если вопрос с покером решается, то компьютер на самом деле выходит в открытый мир.

Человеческую жизнь можно представить как цепь решений в отношении ситуаций с неполной информацией: где получать образование, куда идти работать, с какими людьми общаться, семейные дела, – это все игры с неполной информацией, где мы принимаем решение в ситуации, о которой не знаем полной информации. После покера возникает такое продолжение компьютера – например, компьютер-аукционист, торговля, Сотбис, произведения искусства, компьютер принимает решения.

Сергей Медведев: Открываются совершенно фантастические горизонты и в то же время – пугающие, потому что действительно остается этот вопрос Льюиса – отменяется ли человек? Оставим его открытым. Давайте, тем не менее, наслаждаться нашей человечностью и тем разговором, который у нас сейчас произошел с Кириллом Мартыновым. Если за нами лениво следит какой-то искусственный интеллект откуда-то из сети, то давайте пошлем ему привет из студии Радио Свобода.