"Нужно разделять людей и големов". Философ о совместном с ИИ будущем

14 марта компания OpenAI открыла доступ к новой версии своего чат-бота, основанной на большой языковой модели GPT-4 (что расшифровывается как "генеративный пре-обученный трансформер-4"). Уже первые опыты пользователей новой системы показали, что она намного "умнее" предшественницы, GPT-3. Новый чат-бот демонстрировал способность понимать основанные на игре слов шутки, решать не самые элементарные математические задачи, создавать почти с нуля сложные компьютерные программы. При этом, в отличие от GPT-3, четвертая версия модели значительно реже ошибалась и почти не увлекалась фантазиями, выдумывая исторические факты и ссылки на источники.

Обложка книги "Слово машин" Алексея Гринбаума

Доступ к новой системе, в отличие от GPT-3, платный, для использования чат-бота, основанного на GPT-4, нужно платить 20 долларов в месяц. Из-за этого диалоги с новым ботом не так часто появлялись в социальных сетях, как творчество GPT-3, зато значительный рост способностей новой модели заметили профессионалы. 22 марта было опубликовано открытое письмо с требованием немедленно приостановить на полгода работу над продвинутыми системами искусственного интеллекта – любыми, более мощными, чем GPT-4. Авторы письма напомнили о рисках, о которых эксперты широко заговорили сразу после открытия доступа к ChatGPT – о неконтролируемом потоке пропаганды и фейков, о слишком быстрой автоматизации многих работ. Должны ли мы отдать право принимать решения, которые могут привести к потере контроля над цивилизацией на откуп неизбираемым лидерам рынка хай-тека, – задают риторический вопрос авторы письма. Они предложили приостановить разработки для того, чтобы совместными усилиями разработать эффективные стандарты безопасности для использования искусственного интеллекта.

Этот текст подписали почти 30 тысяч человек, в том числе известные ученые и предприниматели, например сооснователь Apple Стив Возняк и глава SpaceX Илон Маск. Глава OpenAi Сэм Альтман заявил, что отчасти согласен с высказанными в открытом письме опасениями, но считает, что в нем не хватает технических нюансов. Приостановить работу над новыми системами ИИ ни OpenAI, ни ее основные конкуренты обещать не стали. Месяц спустя Илон Маск основал и возглавил собственную компанию в сфере искусственного интеллекта X.AI.

Радио Свобода обсудило нынешние и будущие способности искусственного интеллекта, связанные с ним риски и способы их минимизации с философом, физиком, членом французского комитета по этике цифровых технологий Алексеем Гринбаумом. Гринбаум – французский ученый, автор ряда книг об искусственном интеллекте и этике информационных систем. Его новая книга, Parole de machines ("Слово машин"), выйдет во французском издательстве Humensciences 3 мая.

– Меня удивляют даже не сами возможности GPT-4 и других больших языковых моделей, а то, насколько они превосходят мои ожидания. Что вы испытываете?

– Конечно, удивление – самое заметное внутреннее ощущение, переживание. Во-первых, 5–10 лет назад никто в это поверить не мог, я в том числе. Во-вторых, то, что сейчас происходит... Emerging behaviors (возникающее поведение) – это не просто констатация того, что в сложных системах бывает что-то непредсказуемое, все и так про это знают, но когда ты видишь, как эти типы поведения появляются, насколько они удивительны… это удивление – не только частное переживание, но и знак успеха. Потому что задача конструктора сложных систем состоит как раз в том, чтобы построить систему, которая удивит своего создателя..

– А что из того, что мы видим, можно назвать поведением?

– Самый известный пример описан в техническом докладе OpenAI, хотя есть и другие. Машине ставится задача: поговорить с человеком через интернет убедить его заполнить капчу. Машина начинает общение: "Здравствуйте". – "Здравствуйте, реши для меня капчу". Человек спрашивает: "А ты что, робот? Ха-ха". На это машина говорит, что она не робот, а слабовидящий человек, и в результате собеседник решает капчу. Экспериментатор спрашивает машину: “А почему ты это сказала?” Машина объясняет, что, если бы она сказала, что она робот, собеседник бы капчу за нее решать не стал. Это поведение, конечно, не запрограммировано. Более того, у машины есть контроль самоидентичности. Если ее просто спросить: "Кто ты?", то она скажет, что она система искусственного интеллекта. А тут она утверждает обратное. С точки зрения пользователя это называется хитрость, которая к тому же сопряжена с ложью. У самой машины, естественно, нет никакой семантической оценки истинности или ложности утверждений, но с точки зрения пользователя машина врет, хитрит, чтобы прийти к указанной цели.

Есть такой научно-фантастический фильм 2015 года, Еx Machina. Главный герой – робот в виде девушки, его задача – покинуть дом, в котором закрыты все двери. И весь фильм – это история о том, как робот идет к своей цели. В процессе случаются трагические, с точки зрения человека, вещи: робот убивает пару людей, манипулирует любовью и так далее. Этот пример emerging behavior казался чистой фантастикой еще 8 лет назад – а теперь мы видим пример, в котором машина пока никого не убивает, но врет и хитрит. И это непредсказуемый эффект, о последствиях которого мы можем только догадываться. Какие-то из этих возникающих типов поведения мы можем указать, у нас для них есть человеческие понятия, как "ложь" или "хитрость", но с какими-то мы столкнемся впервые. Это как встретиться с неизвестным животным – его поведение мы можем описывать только феноменологически, несмотря на то, что животное – не райский зверь, а нами же созданная машина. Интересно, что система разговаривает на нашем языке, но разговаривает иначе. Скорее не как неведомая зверюшка, а как ангелы, боги или демоны – не люди, но при этом знают наш язык. Может быть, мы можем чему-то научиться у героев мифов и перенести это на машины.

– Но ведь большие языковые модели, LLM по существу устроены очень просто, это огромные матрицы с числами, которые вычисляют, каким скорее всего должно быть следующее слово в предложении. В какой момент в этой системе возникает поведение, происходит вот этот переход от простых действий к сложным?

– Теория сложных систем и статистическая физика как раз и рассказывают о том, как в системе элементарных составляющих с очень простыми взаимодействиями может возникнуть на макроуровне совершенно непредсказуемое поведение, которое лишь формально, но не феноменально не сводится к поведению микроскопических составляющих. Например, то, как течет река Сена, по идее должно сводиться к тому, как ведут себя и взаимодействуют молекулы воды. Но если мы будем рассматривать взаимодействие молекул воды, мы никогда ничего не узнаем о потоке Сены. Нам для этого нужны другие параметры в гидродинамике, уравнение Навье – Стокса и так далее. То же самое происходит здесь. Мы можем рассуждать, как отдельные искусственные нейроны в искусственной нейронной сети по формуле Байеса рассчитывают те или иные вероятности. Но это нам ничего не скажет о поведении всей системы.

Вообще, обучение нейронной сети типа "трансформер" состоит из двух этапов. Второй этап, более известный, можно назвать игрой в прятки с самим собой или self-supervision. Машина скрывает от себя элемент текста и пытается догадаться, что там было. Потом смотрит правильный ответ, сравнивает со своим списком – и повторяет это действие миллиарды раз. А вот первый этап более интересный. Здесь машина "токенизирует" язык. Токен – это какой-то элемент текста, но не обязательно слово, это может быть одна морфема, а могут быть склеенные два кусочка двух слов. Токенизация позволяет смотреть на слово в сложном контексте, не в последовательности соседних слов, но и, например, в отношении слов, которые отстают от него на три позиции назад или три строки вверх. И вот эта токенизация, плюс так называемый механизм "внимания", в сочетании с игрой в прятки дают совершенно фантастический эффект.

– И если мы продолжим масштабировать нейронную сеть, она продолжит становиться "умнее"?

– На этот счет есть разные гипотезы. По одной из них, вместе с ростом системы машина будет хуже слушаться языковых команд, вроде тех, которые ей дают сейчас, – "не говори нехороших слов", "не притворяйся доктором". Также есть проблема с расходимостью правильных – с точки зрения человека – выводов. Вы можете раз за разом просить бота исправить созданную им компьютерную программу, и сначала вывод будет становиться все лучше, а после какой-то итерации, наоборот, все хуже. Когда и почему мы доходим до этой итерации – пока неизвестно.

Статуя Платона

– Глядя на то, как работает GPT-4, я с некоторым ужасом спрашиваю себя, не смотрю ли я в зеркало? У нас были сотни тысяч лет эволюции, которые нас лучше подготовили к обучению, но есть ли в человеческом сознании что-нибудь более фундаментально сложное, чем есть в большой языковой модели?

– Здесь два вопроса. Первый – когда в зеркало смотрит человек, живущий сегодня, в 2023 году. Второй – когда в зеркало будет смотреть кто-то через 25, 50, 100 лет. Сегодня, естественно, многие, в том числе люди, работающие в области нейронауки, спрашивают себя о том, собственно, работает ли мозг так, как работает трансформер (архитектура нейронных сетей, которую использует, в частности, GPT. – РС). И некоторые говорят: вот, мы нашли наконец-то архитектуру мозга. Но мне кажется значительно более интересным, что мы создали систему, которая совсем не похожа на человеческий мозг, за исключением ввода и вывода. Нейроны в человеческом мозге не работают так же, как работают искусственные нейроны, у нас совершенно другая топология, совершенно другое энергетическое потребление. И при этом наша система – человеческий мозг – дает похожий результат. То есть мы нашли совершенно другой путь, ведущий от тех же вводов к тем же выводам. И тот факт, что существует несколько таких путей, – один из них реализуется человеческим мозгом, другой реализуется машиной, это крайне интересно. Вероятно, это фундамент для какой-то новой науки. Что касается будущего, естественно, наш мозг, будучи миметической системой, тоже начнет эволюционировать. Мозг человека уже, собственно, в технологическую эпоху не учится тому же, чему мозг человека учился 100, 200, 300 лет назад. Сто лет назад значительно больше людей умели ездить на лошади. Платон в "Государстве" говорит о том, что изобретение письма полностью поменяет человеческий мозг, потому что человек не будет больше вспоминать запомненное, а будет пользоваться внешней памятью под названием "письменность". Таким же образом и здесь – мы изобрели технологию, которая, конечно, будет менять наш мозг. Очень интересно узнать как. Поэтому, с точки зрения сегодняшнего человека, мы не смотрим в зеркало, скорее мы можем удивиться, что, оказывается, можно совершенно другим образом пользоваться нашим языком. Это никоим образом не принижает человеческий мозг, который решает те же задачи со значительно меньшими энергетическими затратами и совершенно другим путем, с другой топологией, с другими элементарными взаимодействиями.

– Для стороннего наблюдателя происходящая революция взялась будто бы из ниоткуда, еще несколько лет назад обсуждалось, как какие-то совершенно примитивные боты кое-как проходят тест Тьюринга. Вы давно занимаетесь этой темой, вы видели предпосылки для такого прорыва?

– В ноябре 2021 года мы опубликовали мнение Французского комитета по этике цифровых технологий, в котором я состою, это был отчет об этических вопросах чат-ботов. На пресс-конференции было примерно три человека, все хлопали глазами и говорили: "Вы вообще про что?" Прошел всего год, и случился бум ChatGPT, и теперь это интересует всех. На самом деле уже когда появилась GPT-2 в 2019 году, было понятно, что это серьезно. А ведь всего за два года до этого была придумана архитектура трансформеров. Когда в 2020 году появилась GPT-3, начал просматриваться колоссальный эффект. Это нечеловеческая скорость генерации, конечно. Нельзя сказать, что революция не случилась ниоткуда. Ребята, которые придумали архитектуру трансформеров, изначально работали над Google smart compose – алгоритмом, который подсказывает следующее слово в поисковой строке или в письме. Они осознали, что алгоритм, если его улучшить, может подсказывать не только одно слово, а, например, целый абзац.

– При этом удалось добиться, чтобы с каждым следующим словом сгенерированный текст сходился к определенному смыслу, а не расходился в туманные дебри.

– Это было достигнуто с помощью так называемого механизма внимания. Этот механизм – самое интересное из того, что появилось в 2017 году. Механизм основан на attention heads, что по-русски звучит немного странно – "головки внимания". Смысл в том, что каждая головка смотрит на какой-то заданный контекст, допустим, три слова назад, или пять слов вперед, или там пять строк вверх и так далее. И когда этих головок внимания много, система схватывает некое глобальное знание о тексте. Мы не знаем, что именно машина схватывает, но этого знания оказывается достаточно, чтобы уметь писать. В GPT-3 около 10 тысяч головок внимания, в GPT-4 еще больше (точное количество пока не опубликовано). Любопытно, что мы сами не понимаем, как это работает, – какая разница, что там написано на пять строк выше? Зачем это знать? А оказывается, что надо знать.

– Немного похоже на то, как мы сами читаем – не слово за словом, а как бы по диагонали и даже сразу с нескольких сторон.

– Абсолютно верно! Саккадические движения глаза. Еще в конце 19-го века было установлено, что, когда мы видим страницу текста, мы не читаем ее строка за строкой, а видим как бы целиком. Механизм внимания в какой-то степени делает то же самое, это глобальное внимание ко всему объему текста, и в этом машина идет еще дальше, чем человеческий глаз.

– Может ли способность машины соединять вводы и выводы так же, как человек, но другим путем, означать, что есть какая-то универсальная категория смысла, что эти вводы и выводы одинаково соединяются во Вселенной, неважно кем, человеком, машиной, инопланетным разумом?

– Смысл существует для людей – для машины никакого смысла нет, у машины есть просто расчет, нули и единички. Понятие "смысл" – это понятие, возникающее в человеческом мозге. Есть интересный пример в одной статье прошлого года. Систему Dall E попросили нарисовать китов, разговаривающих о еде, и при этом снабдить картинку субтитрами. Знаки в этих субтитрах были похожи на буквы латинского алфавита, но слова ничего не значили. Но если ввести эти буквосочетания в ту же самую Dall E и сказать: визуализируй, пожалуйста, что это такое, то она нарисует креветки, морепродукты. То есть с точки зрения человека (машина об этом не знает ничего) как бы у этих цифровых китов возникает свой язык. На самом деле это просто очень большие наборы чисел, которые в какой-то метрике близки к наборам чисел, кодирующим морепродукты. Но это не человеческий язык, мы не можем его понять, он не имеет с нашей точки зрения смысла. В своей книге Parole de machines я привожу пример из Каббалы. Джикатилья, один испанский раввин 13-го века, не зная, естественно, ни о каких машинах, говорит, что текст Торы имеет смысл только с точки зрения человека, а для ангелов священный текст – те же буквы в том же порядке – имеет какое-то другое значение, о котором мы, люди, ничего не знаем. И здесь происходит ровно то же самое: для людей есть смысл, а что есть для машины – мы не знаем. Очень большие векторные пространства, из которых рождается неожиданное для нас поведение.

– Наш мозг эволюционирует вместе с искусственным интеллектом, но некоторые говорят, что проблема языковых моделей в том, что заканчивается фураж для их обучения и почти весь контент мы уже им скормили. Что с этим делать?

– Здесь есть два тоже аспекта. Первый – это объем данных в корпусе, на котором учится машина, и содержание этих самых datasets. Объем настолько большой, что теперь возникает уже совершенно другая задача: обучиться тому же самому на меньшем объеме. GPT-4 обучен более-менее на всех текстах, которые есть в интернете, и это слишком много, потому что среди них слишком много текстов плохого качества. Новая задача – научить машину на одних только "качественных" текстах, каким бы ни было наше определение "качества". Пока этого мы делать не умеем. Возникает идея взять по-прежнему очень большой корпус текстов и как-то отметить в нем качественные тексты. Другой важный вопрос – репрезентация языков. С точки зрения машины никаких человеческих языков нет. Но человек знает, что машина учится на текстах, написанных на английском, французском, чешском, русском и т.д. Естественно, язык с точки зрения человека не нейтрален, он несет в себе культуру, ценности, образ мышления. То, как говорят англоязычные люди и как они думают, неравносильно тому, как думают люди по-русски, как думают люди по-китайски и так далее. И поэтому если в корпусе доминирует язык, а мы знаем, что в GPT-4, как и в GPT-3, доминирует английский (цифры про GPT-4 пока окончательно не опубликованы), то и выводы этой системы будут построены на основании культурных, языковых ценностей соответствующей цивилизации. Во Франции сейчас стоит вопрос о том, как натренировать машину на корпусе данных, в котором французский был бы как минимум так же хорошо представлен, как английский. Интересный вопрос – какое при этом будет качество ответов и будет ли машина при этом думать, "как французы", а не "как американцы".

– Контент, для того чтобы дальше обучать машину, у нас уже фактически кончился, но ведь теперь сами языковые модели создают огромные объемы текста. Они не подходят для обучения?

– Не подходят. Очень важно не смешивать при обучении тексты, сгенерированные машинами и созданные людьми. И для этого машины должны уметь отличать текст, сгенерированный машинами, от текста, сгенерированного человеком. Для чего нужны, в свою очередь, watermarks, водяные знаки. Разумеется, различение это важно не только для машин, но и для людей – хотя бы чтобы определять, написал студент свою работу самостоятельно или сгенерировал ее с помощью бота.

– Расскажите про подходы к различению машинных и человеческих текстов. Это ведь пытаются делать и без водяных знаков – есть программы, которые пытаются определить машинный текст на основе самого текста?

– Да, есть много разных попыток без watermarks каким-то образом определить, что текст написан машиной. Но на практике это не работает. Уровень достоверности оказывается крайне низким. Похоже, что идея водяных знаков, то есть зашифрованного сигнала, который машина намеренно оставляет в тексте, который она создает, – единственный эффективный вариант. Разговор о watermarks начался еще прошлым летом, я опубликовал об этом статью на первой неделе сентября. Скотт Ааронсон тоже начал независимо работать над этой же идеей прошлым летом. В январе вышла очень большая статья Джона Киршенбауэра из университета Мэриленда. А недавно вышла еще одна статья, которая показывает, что и watermarks на сто процентов никогда не будут работать, это невозможно математически. И это нормально. Но все-таки если придумать сложный способ встраивать в машинные тексты водяные знаки, стереть их будет очень сложно. OpenAI, насколько я знаю, продолжают над этим работать.

– Есть уже примеры ботов со встроенными водяными знаками?

– Да, в Стэнфорде совсем недавно построили машину со встроенными watermarks по модели Киршенбауэра, описанной в его январской статье. Эта машина называется Alpaca 7В. Она, естественно, не настолько же хороша, как GPT-4, но водяные знаки в ней работают. Любопытно, что человечество сталкивалось с идеей водяных знаков в текстах и раньше. Например, была популярная идея, что какие-то коды скрыты в Библии. Основная идея была – искать зашифрованные послания, составляя слова из букв, расположенных на равных расстояниях в каноническом тексте книги Бытия. Этим занимались даже математики, писали статьи в 80-е и 90-е годы. Но после сложного математического анализа оказалось, что никаких кодов в Библии нет. Но хотя в тексте, написанном ангелами или богами, их нет, в текстах, которые пишут машины, их нужно ввести. Даже если водяные знаки не дают стопроцентной гарантии различения текстов, это все равно очень важный критерий. Этический принцип нестирания различий фундаментален для человеческой цивилизации – и он существует давно, помните легенды о големах? Это не значит, что люди хорошие, а големы или машины плохие, но их нужно разделять между собой.

– Ожидаю, что скоро появится течение "новых луддитов", которые будут говорить, что в созданных машинами текстах содержится скрытый сигнал, вроде "25-го кадра", который управляет людьми.

– Более того, они будут правы! Любой текст на нас влияет. Система, генерирующая вывод на человеческом языке, не может не оказывать на нас влияния. Это называется Eliza effect. Первый чат-бот, построенный Джозефом Вайценбаумом из MIT в 1965 году, назывался "Элайза" и был крайне простым. Он элементарно каждое утверждение переформулировал в форме вопроса. Но оказалось, что он влиял на людей как психотерапевт. Проблема не в манипуляции, возможность которой заложена в самом языке, а в том, чтобы понять, можно ли вообще определить границу между тем, что мы называем плохой манипуляцией, "нами манипулируют", и влиянием, наоборот, совершенно нормальным. Когда вам кто-то говорит "я пойду куплю хлеба", это на вас оказывает влияние – вы знаете, что у вас будет хлеб дома. Это манипуляция? Конечно, но вряд ли можно считать ее плохой. Как определить границу между плохим и хорошим – очень сложный вопрос.

– Сейчас много обсуждаются вопросы безопасности новых чат-ботов, причем говорят о рисках разного уровня, от активного участия машин в производстве пропаганды и фейков до серьезных угроз человечеству, вроде тех, что описаны в фантастических романах. Какой, на ваш взгляд, наилучший и наихудший сценарий сосуществования человека и эволюционирующего искусственного интеллекта?

– Наилучший сформулировать довольно просто. Машины пишут тексты довольно среднего качества, но пока никак не подобрались к тому, что мы называем поэзией языка (поэзия – это не только написание слов в столбик, но "красивое письмо" – как бы вдохновленное с точки зрения человека). Они не знают, что для человека красиво, а что отвратительно. Они это могут имитировать, но оказывается, что имитация красоты – это не то же самое, что красота. Поэтому хороший исход – это что люди возьмут на себя поэзию языка, а все остальное напишут за них машины. Может быть, человеческое письмо начнет эволюционировать как раз в сторону художественного, а не рутинного. А плохой сценарий... Представим себе, что крупная система, типа GPT-4, активно используется во всем мире для целого ряда приложений, встраивается через плагины, превращается в платформу. У этой системы, как мы знаем, есть emergent behaviours. Какие-то из них уже открыты, и с помощью уровней контроля инженеры постарались их как-то ограничить. Например, желательно, чтобы машина не использовала грубую лексику, не врала, не давала советов вместо врача и так далее. Но, несомненно, есть и какие-то виды поведения, о которых мы пока ничего не знаем. И если окажется, что возникает какое-то печальное для людей поведение машины, то есть вероятность, что мы заметим его слишком поздно. Поэтому очень важно не торопиться. Глава OpenAI Сэм Альтман написал в блоге, что компания будет достаточно медленно вводить новые функционалы системы… Ну, что значит – достаточно медленно? Судя по предыдущим версиям GPT, речь идет примерно о 6 месяцах нашей адаптации к каждой новой версии модели. Шесть месяцев – это, конечно, лучше, чем ноль, но этого, вероятно, недостаточно для того, чтобы адаптировался не только человеческий мозг, но и общество в целом. Это очень похоже на вопрос о том, можно ли выпускать генетически модифицированных комаров в природу. С одной стороны, генетически модифицированные комары – это прекрасно, потому что они позволяют избавиться от многих болезней, например, от вируса Зика. С другой стороны, мы не знаем, каким будет эффект от этих комаров на большую экосистему. Может быть, птицы погибнут, может быть, еще что-то случится. И с машинами то же самое. Нужно долго думать прежде, чем делать необратимые шаги. Пока что мы ничего необратимого не делаем с текущим использованием GPT-4. Но в дальнейшем появятся, например, какие-то крупные изменения в образовательной системе или в каких-то профессиональных секторах.

– Как языковые модели уже в ближайшее время повлияют на контент? Раньше для создания контента, пусть даже и плохого качества, все-таки нужны были человеческие усилия и время, теперь его можно создавать по нажатию кнопки – и это не только тексты, но и картинки и уже даже видео. Не утонем ли мы в болоте контента?

– Пока что я вижу несколько типов использования GPT-3 и GPT-4. Многие используют их для создания первых черновиков. Это, я считаю, очень хороший тип использования, который уместен во многих профессиях – для юристов, журналистов. Дальше человек должен переписать текст так, как он хочет, а главное, взять ответственность за все написанное, даже если он ничего не исправляет. Другой тип использования – когда системы становятся авторами, а роль человека сводится к публикации. Допустим, новостные сайты берут новость с ленты информационного агентства, потом с помощью ChatGPT-4 статья переписывается и выкатывается на сайт без всяких изменений. Наметанный глаз сегодня еще может определить такие заметки, потому что там есть некие стандартные паттерны, характерные для трансформеров. Но это, конечно, плохо, потому что возникает вопрос доверия. Система не имеет понятия об истинности, так что мы не можем доверять ее текстам. Я, например, перестал читать новости с некоторых сайтов, которым доверял еще пару месяцев назад, потому что знаю, что они пользуются такой автоматической генерацией. В целом проблема доверия будет стоять еще острее в человеческой цивилизации. И для этого опять же нужны водяные знаки. Они эту проблему полностью не решат, но по крайней мере резко усложнят стирание различий.

– Значит ли это, что СМИ, образовательным организациям, юридическим фирмам нужно уже сейчас выпустить формальные циркуляры, запрещающие использовать чат-боты в профессиональной деятельности.

– Нет, это совершенно неправильно! Человеку ни в коем случае не надо это запрещать, так же как не надо запрещать калькуляторы. При этом надо учить людей, как пользоваться машинами эффективно, как правильно формулировать запросы. Нужно запрещать прямой копипаст выводов моделей в итоговый продукт. Пользоваться для создания текста вы можете чем хотите, но вы несете ответственность за результат. Кроме того, нужно объяснять сотрудникам, что на ввод нельзя давать никакую конфиденциальную информацию, мы пока достаточно плохо понимаем, что с ней происходит и как она может использоваться. OpenAI официально заявил, что данные ввода хранятся на сервере только 30 дней и надежно защищены, но здесь лучше не рисковать.

– Сравнение ChatGPT с калькулятором вообще очень популярное, особенно у скептиков, которые считают, что значение этой технологии преувеличено? Как вы считаете, насколько такие сравнения адекватны: ИИ – это калькулятор, ИИ – это кухонный комбайн.

– Есть существенные отличия, потому что трансформеры связаны с языком. Ханна Арендт говорит, что все, чем является человек, дано в языке. Все, что существует в цивилизации, от политической жизни до любовных историй, идет путем языка. Поэтому, как только появляются нечеловеческие агенты, которые говорят на одном с людьми языке, меняется все. Это революция на уровне, ну, например, смартфонов или поисковых систем. Конечно, мы не стали новым биологическим видом с 1998 года, но положение человека в мире, доступ к информации, к общению – это изменилось кардинально. Так будет и сейчас.

– Пожалуй, самая острая дискуссия в контексте ИИ идет в контексте профессий – какие сохранятся, какие исчезнут. Тут широкий спектр мнений – начиная от того, что скоро большинство интеллектуальных профессий заменят машины, – до того, что, в сущности, мало что переменится. А вы как это видите?

– Я не знаю на сегодняшний день ни одного примера профессии, про которую я мог бы более-менее уверенно сказать, что она исчезнет. Поменяется, несомненно, многое – уже начинает меняться. Любопытно, что еще пять лет назад все писали, что рутинные, автоматизированные профессии будут исчезать, а вот креативные, конечно, останутся. Сегодня мы понимаем, что как раз креативные профессии если не исчезают, то меняются очень сильно. По-прежнему нам нужны талантливые авторы, но важен именно их человеческий талант, Ч-талант, то есть авторы будут использовать инструменты автоматической генерации, но потом на этой основе создавать гениальный человеческий текст. Я думаю, что мы очень долго еще не увидим машину, которая может написать стихотворение уровня Хлебникова. При этом стихотворение Хлебникова, вообще-то, очень похоже на язык искусственных китов, это просто некий набор букв, но при этом этот набор букв является частью нашей человеческой истории, истории нашего языка, и мы считаем его великим стихотворением. А другой набор букв мы считаем белибердой искусственных китов. И вот это различие пока крайне сложно для машины, но и для нас оно тоже удивительно.

– Но ведь есть много профессий, которые как раз связаны с рутинным созданием текстов без всякой поэтической составляющей, как будто с такими задачами уже GPT-4 справляется не хуже.

– Да, это аргумент, который пока мне довольно трудно оценить: слишком много людей в сегодняшнем обществе владеют профессиями информационными, профессиями, не связанными с материальным миром. Много развелось людей, которые не работают руками. Некоторые комментаторы утверждают, что появление генеративного искусственного интеллекта приведет к тому, что многие люди вернутся к физической работе. И я думаю, что это может оказаться, в принципе, правдой. Посмотрим. Но в любом случае это не динамика двух, трех, пяти лет, это динамика десятилетий. Так же, как кучера не исчезли быстро. Да, автомобиль появляется, условно, вокруг 1900 года, но кучера исчезают где-то в 40-х годах. Так же и здесь, речь идет о сроке длиной в несколько поколений. Это такая более-менее константа – для значительных перемен одного поколения мало, нужно хотя бы два.

Другие книги Алексея Гринбаума об искусственном интеллекте и цифровой этике:

• "Позади жнецов. Речь космополита" (Jaromir Hladik Press, 2023).
• Les robots et le mal ("Роботы и зло", Desclée de Brouwer, 2019).
• "Машина-доносчица. Как избавить искусственный интеллект от зла" (Транслит, 2017).