Homo Deus

• Юваль Ной Харари выпустил в уходящем году книгу Homo Deus, где утверждает, что новой религией человечества станет датаизм, вера в информацию.
• Некоторые эксперты полагают: датаизм не может стать религией. Религия основана на представлении о сверхъестественном, а данные – соизмеримая человеку сущность.
• В своей книге Харари пишет об отделении ума от сознания. Искусственный интеллект – это вещь, обладающая умом, но не обладающая сознанием.
• Существует определение человека как права на ошибку, на иррациональное поведение; искусственные интеллекты этим не обладают.

Сергей Медведев: Мы начинаем подводить итоги 2018 года. Под елкой находим одну из самых интересных книг, которая вышла в этом году: "Homo Deus. Краткая история будущего" Юваля Ной Харари, автора предыдущего бестселлера под названием Sapiens, где он обозревает историю человечества. В новой книге он обращается к будущему и говорит, что теперь мы все подвержены одной и той же религии – религии датаизма. Это религия, которая утверждает, что новым богом стала информация. Подробности в сюжете нашего корреспондента Светланы Осиповой.

Светлана Осипова: "Если что-то переживаешь, запиши это, загрузи в сеть и поделись", – так звучит девиз датаистов. Датаизм – это поклонение данным, и именно оно может стать новой религией человека XXI века. Развитие технологий искусственного интеллекта и больших данных помогают человеку решать глобальные проблемы, тем самым превращая его в сверхчеловека. Об этом говорит израильский историк-медиевист Юваль Харари в своей книге "Homo Deus. Краткая история будущего".

В то же время технологии поставят человека в зависимое положение, сделают его лишь частью некоего глобального алгоритма. Позволит ли искусственный интеллект трансформировать человека разумного в человека "божественного", и не станет ли человек лишним звеном в системе из-за неспособности обрабатывать данные так же эффективно, как компьютер, остается вопросом без ответа. Также довольно трудно предсказать, как изменит искусственный интеллект наше общество.

Сергей Медведев: У нас в гостях Полина Колозариди, научный сотрудник Института образования и Центра социологии высшего образования Высшей школы экономики, и Петр Левич, основатель Future Foundation.

Вот одна из главных мыслей, которую я извлек из этой книги: "Организмы – это алгоритмы. Жизнь является обработкой данных". Согласны вы с этим утверждением, что наша человеческая жизнь – это уже не белковая, а информационная форма существования материи?

Петр Левич: Этот вопрос похож на разные другие вопросы, которыми задавалось человечество. Что есть человек: подобие бога, он определяется душой, или это просто кусок мяса с нейронами? Но мы не можем поставить эксперимент, который покажет то или иное. Как правило, тут все решает комфортность того ответа, в который человеку больше хочется верить. Возможно, господину Харари комфортно верить в то, что человек есть просто алгоритм. Кому-то комфортнее считать, что это не так, и он тоже действует эффективно, основываясь на другой позиции.

Полина Колозариди: Мне кажется, Харари отражает некоторую позицию, которая, если кому-то важна и интересна, то в основном политикам и корпорациям, тем, кто работает с данными. Мы в своей повседневности публикуем фотографии в Инстаграме или рассказываем про себя в Фейсбуке не потому, что хотим служить богу данных, а потому, что хотим рассказать друзьям про свою повседневность или миру – что-то важное о себе. Человек в быту не думает об этом, а потом приходят взрослые дядьки и говорят: вы же датаисты, ребята, вы просто не знали об этом! Мне кажется, что это в некотором смысле позиция власти, легитимирующая существующее положение вещей – то, что мы все отправляем корпорациям и государствам свои данные: это классно, ребята, это наше будущее!

Сергей Медведев: Не является ли это упрощением? Как у Харари в книге: человек первый раз в жизни увидел слона, раньше он удивлялся бы, соизмерял свои ощущения с прошлым опытом, а сейчас он просто, не думая, достает телефон, начинает фотографировать и моментально постит. Это некая новая форма восприятия и освоения действительности при помощи цифрового глаза и сети.

Полина Колозариди: Любой ход будет в том или ином смысле упрощением. Харари тоже упрощает очень многие вещи.

Сергей Медведев: Конечно, книга популяризаторская.

Полина Колозариди: На мой взгляд, она обманчиво популяризаторская. В той же истории со слоном – это взгляд очень со стороны и сверху на то, что происходит, когда вы видите слона. Если вы почитаете комментарии, которые люди оставляют под фотографией слона, почитаете их чаты или спросите их, то узнаете, что люди могут очень старомодно задумываться о соизмерении слона со своим прошлым опытом.

Петр Левич: Тут есть некая легитимизация повседневности: я что-то фотографирую и хочу увековечить это в бесконечности. Это желание понятно. Чем, в конце концов, это отличается от желания художников, которые тоже хотели себя увековечить? Да, тут есть разница в упрощении. Действительно, большинство технологий, которые мы создаем, упрощают. Тут нужно разобраться в нашей системе восприятия. Мы воспринимаем объекты относительно целостно, они как-то кодируются в наших нейронах, но это явно не двоичный код. Когда же мы работаем с цифровой реальностью, там возникает дискретность. Мы ценим личную беседу, которая невозможна в цифровой реальности из-за того, что она проще, она дискретна. Бесконечная целостность с точностью до квантовых флуктуаций, бесконечная глубина реальной реальности в этом месте действительно теряется, и это продолжение логики упрощения, неумения работать со сложными системами.

Гуляя по лесу, я ощущаю холод: мокро, сыро, меня могут убить дикие звери. На всех уровнях я присутствую там полностью. Или же я протягиваю руку и присутствую в цифровой реальности – это проще и безопаснее. Это про то, имею ли я смелость и силу полностью и подлинно присутствовать в какой-то более сложной системе, или я присутствую в упрощенном варианте в более простой системе. Человек есть более сложная система, чем цифровая реальность, потому что человек не дискретен.

Полина Колозариди: Мне и Харари, и наш разговор начинают напоминать такие довольно укорененные в нашей интеллектуальной истории теории… Наверное, самая близкая к современности – это кибернетика: есть связи в машинном, животном и социальном мире, они все устроены более-менее похоже, все они есть система.

Сергей Медведев: Харари так и говорит – это все алгоритмы.

Полина Колозариди: Что все это представляет собой, с моей точки зрения, как социального исследователя? Во-первых, это вполне укоренные в истории способы воспринимать мир и транслировать его, создавать вокруг него какие-то категории, более того, пускать их в бой, делать частью политики и технологии.

В чем суть кибернетики? Это идея про то, что связи в разных системах устроены похожим образом. Вот наш мозг – центр принятия решений, наши органы чувств, руки осязают мир, дают нам обратную связь. Система связей и взаимоотношений есть и в технологиях, и в обществе: центр принятия решений где-нибудь в Кремле или в Вашингтоне, Париже, есть отделения на местах, министерства и региональные ведомства. Мы устраиваем систему так, чтобы получать информацию о том, что происходит у нас в каждом месте, возвращаем ее в центр. Но и технологии тоже могут быть устроены похожим образом.

Полина Колозариди

Кибернетика была популярна по обе стороны океана в 60-70-е годы. Потом в западных научных исследовательских подходах ее популярность несколько снизилась. Тем не менее, кибернетика и сегодня остается в ядре многих дисциплин, которые существуют и в естественных, и в социальных науках. Базово это такой набор теорий, которые говорят, что мир – это система, и ею можно управлять. Эта идея популярна среди политиков по понятным причинам: классно, если мы воспринимаем мир как систему, и если ею можно управлять, то мы будем управлять. И лес можно превратить в систему, и человека, и машину, – все можно превратить в систему, было бы желание и некоторый набор источников, на которые можно опереться.

Очень серьезная уязвимость таких моделей в том, что они все превращают в некие единообразные схемы и становятся очень нечувствительны к деталям, к своему понятийному аппарату, мало его рефлексируют. Само понятие системы, технологий, алгоритмов и так далее подается в очень упрощенном виде, как будто это само собой разумеющиеся вещи на уровне здравого смысла. Вы знаете, что такое система: ну, и поехали, значит, мы все знаем. Это не так, на уровне политических, идеологических, дисциплинарных подходов у нас могут быть довольно серьезные разногласия.

Сергей Медведев: То есть мир – это не обязательно система, это может быть среда, например?

Полина Колозариди: Естественно. Это может быть среда, это может быть пространство какого-то хаоса, который не систематизируется. Есть еще теории хаоса, которые вмещают хаос в систему, но это отдельная история.

Сергей Медведев: Тут прослеживается интеллектуальная биография Харари в технооптимизме, в техноутопизме, отсылающая еще ко временам рождения кибернетики, к ХХ веку, из которого родилась нынешняя компьютерная революция. В этой книжке случился запоздалый всплеск техноутопизма ХХ века – в частности, идея о том, что все является дата, все является биг-дата, все является потоком информации, а мы сами – лишь машины по переработке информации. Другой такой машиной является бактерия, более совершенной машиной – искусственный интеллект, а человек – лишь микрочип. Об этом техноутопизме Харари рассуждает Константин Габов, социолог, участник Клуба любителей интернета и общества.

Константин Габов: Вряд ли датаизм может стать религией, потому что в понятие религии заложено представление о сверхъестественном. Данные – это некая соизмеримая человеку сущность. Вряд ли это масштабное социальное явление. Среди узкой прослойки – наверное, да, мы можем говорить об этом. Возможно, то, что описывается в книге, существует в Силиконовой долине, в каких-то кругах в России. Человек как нечто описываемое полностью, формализуемое – это мечта многих ученых, которых можно назвать позитивистами. У позитивизма было несколько сильных аргументов, связанных с тем, что человека можно описать, человеку можно предложить некое описание того, как он действует, как будет действовать, некие предсказания, связанные с человеком. Но в случае датаизма они всегда исходили из редуцирующих человека представлений: человек редуцируется до какого-то одного интереса, одной мотивации.

Есть известная гипотеза о китайской комнате. Человек, сидящий в комнате, знает алгоритм ответов на вопросы на китайском языке, которого он не знает. Ему дают вопросы, дают одни иероглифы, он дает по алгоритму другие иероглифы, и они являются правильным ответом на вопрос. Он не знает языка. Это метафора компьютера, который дает правильный ответ на вопрос, не понимая самого вопроса, то есть давание правильного ответа не есть понимание. Против этого аргумента до сих пор ничего не предложено ни в одной из наук.

Сергей Медведев: А с другой стороны, может быть, это не редукция, а расширение человека: человек плюс смартфон, человек плюс Гугл, человек плюс "облако"?

Петр Левич: Действительно, без смартфона мы не можем делать многое из того, что нам сейчас приходится делать. С другой стороны, нам кажется, что мы перестали запоминать номера телефонов. Но если посмотреть историю человечества в сотни тысяч лет, то необходимость запоминать номера телефонов – это всего лишь несколько десятилетий: сейчас уже не нужно помнить и до этого не нужно было помнить. Кажется, что мы пытаемся померить минус и плюс какими-то сиюминутными вещами, не такими уж важными в контексте человечности в целом.

Сергей Медведев: Со времен изобретения письменности человек делегировал свои способности запоминания внешним девайсам. Знаменитый диалог фараона с Тором, изобретателем письменности: "Что ты придумал, Тор? Мне теперь не нужна моя голова, когда все можно записать на глиняных табличках".

Петр Левич: Мне нравится определение человека как права на ошибку, на иррациональное поведение, чем не обладают алгоритмы, искусственные интеллекты. Конечно, программист может допустить ошибку в программировании, но это случайности, они противоречат ошибке. Вот в этом и наша разница. Когда мы ставим в искусственные интеллекты алгоритмы, модерируя нашу более сложную живую систему, оказывается, что модератор, управленец не содержит ошибки. Мы пытаемся содержать ошибку хотя бы в себе. Совершая ошибку, я начинаю выделяться из этой системы, становлюсь каким-то странным существом, которое точно нужно как-то контролировать. Это мешает нам совершать ошибку, дегуманизирует нас.

Петр Левич

В этом для меня основной страх модерирования искусственными интеллектами, потому что это ограничение свободы, причем даже не политической. Ограничение политической свободы я замечаю, могу с этим бороться или сдаться и не протестовать, но это входит в мою зону рефлексии. А это ограничение внутренней свободы, свободы на ошибку, на эмоции, на иррациональное поведение, на какие-то действия. Фильтр появляется между подсознанием и сознанием, я не знаю, каких эмоций я не испытываю, каких действий не совершаю, потому что это внутренняя несвобода. Это самое глубокое и самое страшное, потому что я не могу этого заметить.

Сергей Медведев: Еще одна вещь, о которой пишет Харари в этой книге, – это отделение ума от сознания. Искусственный интеллект – это вещь, обладающая умом, но не обладающая сознанием. Мы выделяемся тем, что у нас есть понятие собственной идентичности, собственного "я". Возможна ли та точка, на которой искусственный интеллект может обладать сознанием, или это принципиально человеческое?

Полина Колозариди: Вопрос про сознание вне моей компетенции, им занимаются когнитивисты либо философы. Могу сказать про знания. Можно ли говорить об искусственном интеллекте, как о некотором субъекте, у которого есть знания про нас, но при этом нет человечности, чем бы она ни была? Можем ли мы считать, что это знание существует? Знание Фейсбука про нас, знание каких-то алгоритмов, которые есть у мобильных операторов или у банков про нас… Слова о том, что ваш мобильный телефон знает вас лучше, чем ваши родители и супруги, – это расхожий мем, который действительно довольно интересен. Наш первый ответ на него: нет, знания – это не только то, что мы можем давать правильные ответы, но и то, что мы можем обладать некоторой творческой способностью. Это реально интересно, можем ли мы говорить про то, что машина принципиально отлична от того, как знаем мы. Нет, уже сегодня не можем, потому что в то, как мы знаем мир, включена довольно большая часть того, как знают мир машины.

Сергей Медведев: Я говорю про себя: я часто думаю при помощи Гугла. Мне легче загуглить какой-то вопрос, чем извлекать его из глубин собственного сознания.

Полина Колозариди: Вообще-то обычно люди не воспринимают это как что-то ужасное. Конечно, мы можем представить себе, что в какой-то момент отключат телефон, интернет, электричество, газ, но к тому времени, если такое произойдет, у нас будут другие проблемы в жизни, кроме того, что мы чего-то не помним без Гугла. Апокалиптические сценарии, которые могут возникнуть из-за возможных техногенных катастроф, очень здорово описаны еще с 70-х годов, когда люди начали писать про новое Средневековье. Тем не менее, в нашей обыденной жизни все это пока работает, и мы мыслим, в том числе, и технологично.

В целом наши операции мышления сильно связаны с технологиями, с тем, как структурирован мир, а он структурирован, в том числе, технологиями. Другого мира мы не знаем. Мы не можем изобрести человека, условно говоря, как Руссо, который отделяет все человеческое, не технологическое, говорит – вот дикарь. Наоборот мы пытаемся соотнести разные части себя, где-то больше, а где-то меньше технологичные.

Сергей Медведев: Человек, соотносящий себя с технологиями, с облаком, является ли он "хомо сапиенс", или это уже некая следующая ступень? Может быть, это первый шаг к трансгуманизму не в смысле изменения тела, а в смысле изменения сознания? Ведь "сапиенс", разум отделился от "хомо".

Петр Левич: Кажется, что путь от неандертальца до трансгуманизма – это тот самый путь, который должен пройти любой уважающий себя в данный момент "хомо сапиенс". Это распространенная позиция, но единственно ли она возможная? Мне в ней достаточно тесно и скучно.

Господин Харари говорит о "хомо деус". Кто это? Наверное, это, условно говоря, "золотой миллиард". Есть многие цивилизации – часть индийской цивилизации, какие-то племена, которые тоже биологически относятся к "хомо сапиенс", но они даже не знают этих слов. А даже если бы узнали, у них явно другой образ будущего, другая стрела времени.

Сергей Медведев: Расширение ментального горизонта человека за наш ограниченный чувственный опыт – это одна из черт поведения "хомо деуса".

Слово философу и социологу Денису Сивкову.

Денис Сивков: Человек – это не алгоритм. Определяя его как алгоритм, мы упускаем одну важную вещь: заведомо считаем, что люди – это идиоты, которыми мы можем управлять, и они не способны рефлексировать или сопротивляться. В действительности мы видим, что человеческие стратегии намного более разнообразны, чем о них могут думать цифровые аналитики или исследователи.

Я бы поставил под сомнение тезис о том, что социальные сети достаточно хорошо знают поведение пользователей. Например, ты недавно смотрел мужские рубашки, а тебе предлагают женское белье. Какой алгоритм здесь сработал, не сломалась ли система?

Когда мы говорим о том, что человек в ближайшем будущем будет заменен искусственным интеллектом или машиной, мы зачастую думаем, что алгоритмы становятся все более и более похожими на человека. Это не совсем так. Мои российские коллеги из творческой группы MCA проводят любопытные исследования. Сейчас они очень подробно анализируют разговоры простых пользователей с роботом в системах типа МФЦ. Например, вам нужно узнать, готова ли ваша справка или паспорт, вы звоните и сталкиваетесь с роботом. Так вот, для пользователей наиболее важным пунктом является то, чтобы они смогли различить голос не как похожий на человеческий, а как голос машины. Они смогут пользоваться этим только тогда, когда будут уверены, что это робот, а не человек.

В этом смысле дистанция между человеческим и машинным здесь в режиме пользования сохраняется. Возможно, она будет сохраняться и дальше, то есть технология будет стремиться не только к построению, не только к имитации человеческого, но и к сохранению, и к усложнению дистанции между человеческим и машиной. Это будет означать, что замены не произойдет, поскольку эта дистанция будет сохраняться.

Сергей Медведев: Алгоритмы, которые просчитывают наше поведение, все предсказывают, знают, как мы будем голосовать, распределяют нас по пузырям, эхо-комнатам и так далее. Действительно, вопрос об алгоритмах – это вопрос о власти. С большей информацией – это больше свободы или меньше свободы? Когда распался Советский Союз, все было очень линейно. Вот было открытое общество, в котором свободно циркулировала информация, и оно победило закрытое общество византийского типа, в котором была закрытая информация. Прошло 30 лет, и мы, по-моему, как-то иначе на это смотрим.

Полина Колозариди: Главным образом мы учимся иначе смотреть на знания и информацию. Уже второй год мы учимся жить модным словом "фейк-ньюс", которое скрывает за собой очень важное для современного человека различение между тем, что для нас важно, что является для нас сообщением всерьез от кого-то, и морем информации, которая существует вокруг нас.

Мне кажется, процесс смешивания разных видов знаний и информации начал происходить всерьез именно после конца "холодной войны". До этого можно было сказать, что это пропаганда той стороны. По крайней мере, по эти две стороны Атлантики и для стран, входящих в коммунистический и капиталистический блоки, было понятно, что тут одна идеология, тут другая, они враждуют и это можно как-то более-менее разделить. Сегодня, когда эта бинарная оппозиция ушла, мы видим, как последние ее всполохи растворяются и превращаются во что-то. Нам уже на другом уровне нужно задумываться о том, что такое информация и знание, как они связаны с нашей свободой, каков статус нашего высказывания, когда блогером может быть не просто каждый, но популярными блогерами становятся люди, транслирующие именно повседневное, а не какое-то идеологическое знание. Здесь, мне кажется, довольно важна попытка ответить на все эти вопросы, в том числе, попытавшись не сказать, что давайте мы будем говорить о знании, а добавить к этому тему с данными. Ведь помимо информации, знаний есть еще данные. У нас добавилось что-то новое, нам нужно как-то все это осмыслять.

Сергей Медведев: Как я понимаю эту лесенку, есть данные, которые превращаются в информацию при коммуникации, а затем, переработанные человеком, превращаются в знания и на высшем уровне превращаются в мудрость.

Полина Колозариди: Это классическая линейная модель, немножко эволюционистская, которой я не стала бы придерживаться. Когда мы просто идентифицируем что-то как данные, мы уже включаем то, что знаем. Я могу распознать как данные только то, что, так или иначе, существует у меня в знании. На вас красная кофта, а на Петре бордовая: я могу это распознать, потому что в моем языке есть два этих цвета. А если бы у меня было, например, 18 или 1, то мои данные были бы другими. Это, кстати, как раз очень важно, когда мы говорим про политику, так как возникает вопрос: а что знают люди, которые пытаются создать систему данных для управления?

Сергей Медведев: Петр, для вас это проблема, что увеличение информационного потока ведет к увеличению возможности манипуляций, управления людьми? Это несколько иная ситуация, чем в 1991 году, когда в том числе и Радио Свобода, и Голос Америки, свободные информационные источники и самиздат с тамиздатом развалили крупную империю? Сейчас такое невозможно?

Петр Левич: Не знаю. Может быть, и возможно. Мне чуть больше нравился стартовый вопрос: можно ли сказать, что чем больше данных, тем меньше свободы? Кажется, что истинная, глубинная свобода не зависит от количества информации. Можно быть очень свободным в старой модели городского подъезда, когда все знают все о своих соседях. Нынешнему обществу прозрачности и не снилась та степень прозрачности, какая есть в деревне, где поколениями живут вместе. И люди вполне свободны. А может быть, и нет: если они предают друг друга, стучат друг на друга, соседи могут быть не свободны. Это явно не зависит от количества информации друг о друге. А какой-нибудь хакер-аноним, который сидит где-то в офшорной зоне через двести прокси: про него никто ничего не знает, но я не назвал бы его свободным.

Второй тезис про мудрость. А есть ли какой-то другой путь к мудрости, кроме как через знания? Например, в английском нет голубого цвета: кажется, у них другое число цветов радуги. Это действительно управляет нами в том смысле, что любой язык, любая коммуникация нами управляет. В этом смысле знания, информация и то, что на них построено, работает. Тогда, наверное, в большей степени на нас влияет то, что порождает знание, то, что порождает язык цифровой реальности.

Сергей Медведев: Мы подходим к Екклезиасту: много знания – много печалей. В любом случае, я оценю этот вывод: больше информации не обязательно означает больше свободы. Человеческая свобода, сама реализация человека, его человечность, не обязательно связаны с информационным потоком и с нашей ролью как микрочипов. Но эта книга заставляет нас задуматься не столько о цифровом потоке, сколько о нас самих, о нашей собственной человечности, о нашем теле.

И здесь как нельзя кстати встает тема Нового года, с которым хочу всех поздравить. Наверное, это самый человечный праздник во всем годовом цикле. Он устремлен в будущее, но при этом очень крепко стоит на традиции, на телесности, на елке и на том человеческом тепле, которое создается из нашей коммуникации.