Проблема и решение
Владимир Губайловский: Книга Станислава Лема "Мегабитовая бомба", многочисленные эссе из которой публиковались в "Компьютерре" и на сайте еженедельника в течении 2001 года, производит впечатление странное. Это и сомнение, и недоумение, и даже растерянность. Фантасту и философу крайне не нравится все, что происходит в нашем цифровом мире. Что же так раздражает Лема?
Но прежде чем мы займемся эссеистикой знаменитого поляка, мне хочется напомнить о другом не менее известном фантасте двадцатого века, создавшем свою версию будущего - о Айзеке Азимове. Цикл его рассказов "Я - робот" начинается с короткой биографии роботопсихолога Сьюзен Келвин.
Она родилась в 1982 году. И в 2002 году ей исполнилось двадцать лет. Азимов пишет:
"В двадцать лет Сьюзен Кэлвин присутствовала на том самом занятии семинара по психоматематике, когда доктор Альфред Лэннинг из "Ю. С. Роботс" продемонстрировал первого подвижного робота, обладавшего голосом. Этот большой, неуклюжий, уродливый робот, от которого разило машинным маслом, был предназначен для использования в проектировавшихся рудниках на Меркурии. Но он умел говорить, и говорить разумно".
Можно себе представить, что тот легендарный семинар проходит прямо сейчас в одной из аудиторий Колумбийского университета. И умненькая девочка Сьюзи аккуратно записывает объяснения в тетрадочку. Насколько это реально? Абсолютно нереально.
Азимову казалось, что сделать движущуюся модель полностью человекоподобной намного сложнее, чем научить ее говорить, и говорить разумно. Научить говорить и думать, как человек, легче, чем научить ходить. И не только думать, но и поступать, руководствуясь специально приспособленным для этого случая кантовским категорическим императивом.
В рассказе "Хоровод" Айзек Азимов так формулирует три основных закона робототехники:
"Теперь слушай. Начнем с трех основных законов роботехники, - трех правил, которые прочно закреплены в позитронном мозгу... Первое. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Второе, ...Робот должен повиноваться командам человека, если эти команды не противоречат Первому Закону. И третье. Робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам".
Рассказы Азимова имели такой успех на протяжении всей второй половины 20 века, что во многом определили наше представление о будущем. Сначала далеком, потом близком - сегодня уже наступившем. Законы робототехники - это законы этические. Век роботов не наступил. Но, может быть, еще наступит?
Азимов был убежден - и эту его убежденность разделяли многие и многие его читатели, что если создавать искусственный разум, то он должен быть в точности антропоморфен. И в первую очередь, он должен быть нравственен. Ведь чем законы робототехники, которые заложены в самые основы позитронного мозга, это не законы совести? "Возлюби ближнего", "не убий". Азимов этими законами сформулировал и отправную точку, и конечную цель. Или робот должен быть в главном подобен человеку, или его не должно быть.
Но вернемся к главной теме нашей передачи - к книге Станислава Лема "Мегабитовая бомба"
Главное, что не устраивает Лема в современных компьютерных системах, это отсутствие в них хоть какого-то намека на самостоятельность на то или иное проявление свободы воли, с одной стороны, и ограничение и подавление свободы человека с другой. Компьютеры - это рабы, но рабы какие-то странные - первое и главное что они делают - это порабощение их хозяина. (www.computerra.ru/online/bl/lem/)
Можно привести много высказываний Лема и по тому и по другому поводу:
"...повсеместно нас без нашего согласия начинают окружать устройства, ограничивающие личную свободу и при этом подменяющие индивидуальную ответственность за поступки. Мы постепенно попадаем под опеку компьютерных систем, которые мнимо увеличивают радиус действия свободы, а в сущности (будто бы для нашего благополучия) - ее ограничивают" (эссе "Компьтерная опека")
Другое эссе названо "Artificial servility - язык моделирования виртуальной реальности". ("Artificial servility" означает в переводе с латыни "искусственное рабство"). Лем пишет:
"Почему "рабство"? Потому, что во всем этом производстве (приносящем разным майкрософтам миллиарды), во всей массе компьютеров, во всех поколениях hardware и software, модемах, провайдерах, серверах нет ни следа разума. Нет ни капли интеллекта. Работают так, как рабы: по нашему приказу".
В том-то и дело, что не как рабы. А если и как рабы, то рабы очень капризные. Хотят поработают, хотят "зависнут", хотят прервут выполнение по какой-то им одним ведомой причине. А ты ходишь вокруг них как последний идиот (впрочем, почему как?), ну давай дружочек, давай мы компьютер перегрузим, или пустим в монопольном режиме, или уберем этот сервис, вдруг он тебе мешает?
Лемовское "искусственное рабство" - это несбыточная мечта и программиста и системного администратора, и пользователя. Дело в том, что и сам компьютер и любое приложение не являются детерминированными объектами, то есть при двух разных стартах одной и той же программы, мы может гарантировать только с некоторой степенью вероятности, что результаты будут совпадать, иногда эта вероятность близка к единице (но никогда не равна!), это в первую очередь относится к программам "прошитым в железе" компьютера, сервисам операционных систем, а иногда эта вероятность откровенна мала, особенно если это касается работы в глобальной сети, и мы не контролируем удаленный ресурс, к которому обращаемся.
Развитие пошло по совершенно другому пути, не по тому который Лем предвидел и предрекал. Развиваются не антропоморфные роботы (они тоже есть, но как игрушечные маргинальные явления), и не космическая экспансия. Если бы другому фантасту Артуру Кларку автору "Космической Одиссеи" сказали в свое время, что 2001 году человечество, обладая всеми необходимыми техническими средствами для полета на Марс, откажется от него из-за высокой стоимости проекта, он бы, вероятно не поверил.
Лем пишет о том, что Сети совершенно безразлично какая информация передается по ее каналам: откровенное вранье, "голые задницы", или великая формула E = mc2, пишет о том что даже курица будет убегать если вы попытаетесь ее ударить, а вот компьютер останется на месте. Лем всматривается и не видит ничего человеческого в этом огромном, стремительно растущем цифровом мире. И ему начинает казаться, что скоро, очень скоро эта махина скует человека по рукам и ногам, сделает своим придатком, и погубит, погубит, потому что нет у нее позитронных мозгов, в которые заложена первая аксиома робототехники - не причини вред человеку.
Подходя к решению некоторой проблемы на компьютере, мы можем двигаться двумя путями - условно говоря сверху вниз или снизу вверх. Мы можем попытаться смоделировать некоторую систему, которая имитирует целостный процесс человеческого мышления (пусть ограниченный, но антропоморфный интеллект), и это может быть даже разумно - если человек справляется и с более сложными задачами, то частную ограниченную строго определенными условиями сможет вероятно решить и его имитатор. Именно такой подход казался единственно возможным и Лему и другим мыслителям и фантастам размышлявшим о будущем развитии компьютеров и всего человечества.
Но есть и другой путь - строго утилитарный. Можно, рассматривая как данность наши сегодняшние уже реализованные возможности, попытаться так раздробить проблему на структурные модули, чтобы каждый из них был реализуем сегодня.
То есть можно попытаться создать неизбежно очень сложный автомат - аналог человеческой руки, чтобы дать ему гаечный ключ и предложить заворачивать гайки. А можно не моделировать руку, а приспособить простой механизм для тех же целей. Этот механизм ничем на руку похож не будет, кроме того, что гайки он будет заворачивать очень хорошо - даже лучше, чем человеческая рука. Но ведь рука может делать много всего другого. Конечно. А вы скажите нам, что именно вы хотите, тогда мы создадим другой автомат уже, может быть, с отверткой, и наша локальная задача будет опять разрешена.
Можно привести более сложный пример.
В одной из передач "Седьмого континента" "Компьютерные программы, как конец спортивных шахмат" программист Михаил Донской, один из авторов знаменитой шахматной программы "Каисса", говорит:
"В искусственном интеллекте с самого начала были два течения. Если есть сложная задача, которую мы признаем задачей искусственного интеллекта (вначале это были шахматы, распознавание образов, сейчас это распознавание речи или еще что-то), то есть два философских подхода. Один - решить задачу и черт с ним как, а второй подход - попытаться понять, как ее делает человек и повторить алгоритм решения человека.
Можно сказать, компьютероморфный и антропоморфный подходы. Мы, конечно, шли по первому пути. Главное, чтобы программа играла в шахматы...
Яркий образец другого подхода к шахматам - это Михаил Моисеевич Ботвинник... он поставил перед собой задачу отрефлектировать свой собственный шахматный опыт, понять, как играет шахматный мастер, и воткнуть в программу этот алгоритм шахматного мастера. Я добавлю в скобках, как он его понимал. Ботвинник был не единственным на этом пути. Но, что характерно для меня (я не знаю относиться к этому, с позитивной или с негативной точки зрения), что ни одного успеха, ни только в шахматах, но и в искусственном интеллекте вообще, на антропоморфном пути не было достигнуто. Рано или поздно любая проблема, по спортивному ли признаку или по чисто прагматическому, сворачивала на то, что задачу нужно решать. Искусственный интеллект, не искусственный интеллект, ну его к черту. Надо решить задачу".
Компьютероморфный, алгоритмический, вычислительный подход, это подход очень скромный. Он приводит к сосредоточенности на очень определенной, очень конкретной задаче. Человек, реализующий этот подход, в первую очередь озабочен тем, чтобы рамки решаемой задачи предельно сузить - перевести ее на очень простой алгоритмический язык. Если он встречает трудности на своем пути - он старается их, по возможности, исключить так переформулировав задачу, чтобы ее решение было достижимо сегодня. Исключить, именно упростив условия, а, не увеличивая сложность решения. При этом очень часто задача упрощается и уплощается, теряются размерности, степени свободы, и человек сознательно идет на это. Он не стремится к общности решения, он ищет хотя бы одно решение, которое под силу его сегодняшнему инструменту. Он дробит реальность на биты, чтобы, оттолкнувшись от самого дна, построить объекты, программы... Если такое решение будет найдено, человек наверняка попытается его обобщить. Но как сказано в одном из законов Мерфи: "если задача кажется простой, то она наверняка сложна, если она кажется сложной, она - абсолютно неразрешима". Компьютероморфный подход занимается решением только простых и очень простых задач. Но как показывает практика, таких задач становится все больше.
А вот на антропоморном пути успехов пока не видно.
Четкое понимание того, что же такое алгоритм, появилось лишь в 30-е годы. Одному из крупнейших логиков двадцатого века, Алану Тьюрингу, принадлежит не первое по хронологии, но самое, на мой взгляд, наглядное определение алгоритма - в виде некой формальной машины с конечным числом состояний, которая движется по бесконечной бумажной ленте, где нарисованы квадратики. У машины есть маркер, и она, перемещаясь в заданную клеточку, может ее покрасить (сделать черной, если клеточка белая) или протереть (сделать белой, если клеточка черная). Вот и все, что машина Тьюринга умеет. Самое поразительное, что любой формальный алгоритм, какой бы сложности он ни был, на этой машине реализуется.
Когда это стало ясно, Алонзо Чёрч сформулировал тезис: множество всех программ для машины Тьюринга и есть все вычислимое множество - все, что можно посчитать. Момент очень важный, практически революционный. Люди начали точно представлять себе все множество вычислимых вещей, то есть указали границы, за которыми вычислению нечего делать. Сразу же выяснилось, что есть задачи, которые машине Тьюринга (а значит, и любой другой вычислительной машине) не под силу.
Анализируя одну из таких задач, Клини пишет:
"Мы должны ожидать, что руководитель вычислительного центра неизбежно потерпит неудачу, если он предпримет разработку этой задачи. Это опровергает представление о том, что машины могут все, которое внедряется в общественное мнение нынешними сообщениями о современных достижениях в области быстродействующих вычислительных машин. Чтобы улучшить эту процедуру или машину, нужна изобретательность, то есть вещь, которую нельзя встроить в машину". (Клини С. К. Математическая логика. М., "Мир", 1973, стр. 295.)
Компьютероморфный подход сразу же отбрасывает все неразрешимые задачи. Он принципиально ограничен, его возможности четко очерчены принципом Черча.
Станислав Лем отказывается принимать сложившуюся прагматическую ситуацию, потому что с его точки зрения ни одно из предлагаемых чисто прагматических решений не приближает человека к цели: к познанию разума, добра и свободы. Все что мы можем предложить на сегодняшний день - это ничтожно мало. Мы не отвечаем на главные этические вопросы. Мы ни на шаг не продвинулись к созданию такого сознания, которое бы руководствовалось тремя законами робототехники Азимова. Но хуже того мы объявляем поиски в этом направлении не более чем пустословием. Михаил Донской говорит:
"Искусственный интеллект, не искусственный интеллект, ну его к черту. Надо решить задачу. Само-то понятие искусственного интеллекта в каком-то смысле "пиарное", а не содержательное".
Ведь и полеты в космос, в конечном то счете, имели для Лема одну только цель - встретить другой разум, чтобы понять собственный. Так что наше пересыпание из пустого в порожнее не может вызвать у классика ничего кроме раздражения.
Но может быть не все так плохо?
Чего не может, и никогда не сможет компьютер? Что Клини называет "изобретательностью"? Компьютер не способен работать с неформальными объектами. Неформальный объект - это всегда объект актуально неперечислимый или реально бесконечный.
Если мы дадим машине команду "пойди туда не знаю куда", она останется на месте, или остановится, или будет ходить по кругу, она - зациклится, зависнет, "упадет". Поищи где-нибудь, может что-нибудь найдешь - это не команда. Формализация - это всегда установка четких границ. Как только границы заданы можно начинать работать, можно писать реальный, работающий алгоритм, потому что границы всегда можно сузить, доведя их до уровня сегодняшних возможностей машины. Но, устанавливая и сужая эти границы, мы берем на себя ответственность за то, что в отграниченной нами области есть решение. Можно искать черную кошку в темной комнате, но если она там есть. Если, устанавливая границы поиска, человек ошибется, ответа не будет. Если он не ошибется, то ответ тоже может быть не найден, но тогда можно переформулировать условия сдвинуть границы и повторить попытку. Можно дать машине все данные о движении планет, собранные Тихо Браге, и она найдет законы Кеплера, это совершенно реально. Но это должны быть именно данные о движении планет, а не биржевые сводки.
Устанавливая границы, формализуя задачу, человек отсекает бесконечные множества, он работает с актуальной бесконечностью. Это то чему современный компьютер никогда не научится. Это и есть подлинное творчество. Здесь ему никто не поможет. Здесь-то и понадобится интуиции и провидение. Если границы верны - ответ будет найден, не сегодня, так завтра, или через век.
Но по мере того как границы формального, оцифрованного, мира становятся все шире, по мере того, как машина становится все самостоятельней, мы все больше узнаем о самих себе. Это отрицательное знание. Мы констатируем: данная область полностью перечислима. Она не требует нашего вмешательства, на сегодняшнем уровне знания, или, что чаще, почти не требует. Именно потому, что содержимое модуля для нас предельно понятно, мы можем об этом содержимом забыть и использовать его как черный ящик, как специализированный преобразователь данных, который из набора на входе получает набор на выходе другой, однозначно определенный.
Нужно двигаться дальше, потому что перед нами всегда остается бесконечное поле познания.
По мере развития компьютеров и стремительного расширения круга задач, которые они способны решить, выяснились вещи, которые классики фантастики совершенно не предвидели и, по-видимому, предвидеть не могли. С одной стороны задачи, которые казались практически неразрешимыми - решаются и довольно успешно. Это касается и шахмат, и распознавания образов, и многих- многих других задач. Складывается впечатление, что как только задача отчетливо сформулирована, она будет решена и довольно быстро. Но природа мышления человека, какие-то его главные характеристики, оказались совершенно не сводимы ко всей сумме решаемых им самим вычислительных задач: человек больше и сложнее. Это различие не количественное, а качественное, и чтобы его осознать нужны другие формы мышления, нужна постановка иных задач принципиально невычислительной природы?
Создание искусственного интеллекта это не задача создания одного конкретного алгоритма. Это задача бесконечного, формального исчерпания действительного, окружающего нас мира. Она бесконечна по определению. Но, постепенно уходя в более высокие, более содержательные области, мы отступаем из центра круга, который мы отдаем компьютеру. И нам становится все интереснее говорить с ним. Не потому что он атропоморфен, а, может быть, потому что он - другой.
Никакой интеллект не может развиваться без постоянного теснейшего контакта с другим интеллектом. Почему мы должны думать что искусственный интеллект в этом так уж отличен? Почему мы считаем, что он представляет собой замкнутую программу? Почему мы полагаем, что он есть отделенный, отдельный от человека объект? Может быть, он сумматор разнонаправленных человеческих усилий, собирающая линза, без которой рассеянный свет наших знаний не в силах ничего зажечь.
А с другой стороны, почему в нас так глубоко засел азимовский миф о роботе? И мы именно так себе представляем искусственный разум? А если он нелокализован? Разве не Лем писал в "Солярисе", что, отправляясь к другим мирам, главное отвыкнуть от мысли, что всякий разум антропоморфен в той или иной степени? А если это мыслящий океан? Может быть, мы просто не там ищем? Может быть, росток или эмбрион этого искусственного интеллекта, это не какая-то чрезвычайно "умная" программа, а вся Сеть целиком? Ведь, если мы посмотрим на нее как на отдельный от нас субъект, она очень интеллект напоминает. Дело, может быть, в том, что Сеть создал (или вырастил?) ни какой-то отдельный человек или даже коллектив людей, а все человечество в целом, и уже потому она больше чем сумма усилий всех людей, участвовавших и участвующих в этом грандиозном творении. Если мы даже в качестве гипотезы встанем на эту точку зрения, очень многие недостатки Сети, могут предстать, ни чем иным как ее самостоятельностью, то есть проявлением ее свободы и независимости от нас - от ее создателей. Может быть, Сеть - это интеллектуальный океан, Солярис у вас на столе?
Все ссылки в тексте программ ведут на страницы лиц и организаций, не связанных с радио "Свобода"; редакция не несет ответственности за содержание этих страниц.
