Главная тема, занимающая сейчас британцев, – это не войны в Украине и на Ближнем Востоке, а небывалый скандал в национальном почтовом ведомстве. И это не проявление узкого провинциализма, а всенародное возмущение вопиющей несправедливостью и крайне тревожным прецедентом в отношениях человека с компьютерными программами и искусственным интеллектом.
Речь о судьбе почтмейстеров, возглавлявших тысячи небольших отделений организации, именующейся Post Office и отвечающей за оформление и оплату почтовых отправлений (не путать с Royal Mail, занимающейся физической доставкой писем и посылок по адресам). В период с 1999 по 2015 год почтмейстеры вдруг стали выглядеть самой вороватой социальной группой за всю историю Великобритании: чуть ли не половину из них подозревали в крупных хищениях. Более 900 человек были обвинены, более 700 предстали перед судом.
Их судьбу определила компьютерная бухгалтерская система Horizon, которая с суровой неотвратимостью находила недостачи в почтовых отделениях. А система эта, как считалось, не могла ошибаться. Раз показан дефицит, значит, он существует и никаких дополнительных доказательств вины не требуется. Причем зачастую дело происходило так: сами почтмейстеры видели на экранах своих компьютеров необъяснимую нехватку средств и били тревогу. В ответ они получали суровый приказ немедленно возместить недостачу. А если упорствовали, настаивая на своей невиновности, или просто были не в состоянии найти огромные порой суммы в десятки тысяч фунтов, то против них возбуждалось уголовное преследование. В лучшем случае им приходилось покрывать "недостачи" из собственного кармана, влезая в неподъемные долги, продавая или закладывая свои дома, а в худшем они оказывались за решеткой с пожизненной "черной меткой" – судимостью, перечеркивающей репутацию и всякие карьерные перспективы на всю жизнь. Сотни людей остались без средств к существованию и лишились купленного жилья, многие умерли, не выдержав позора и стресса, четверо покончили с собой.
Типичный эпизод, ставший достоянием общественности. Почтмейстер Джо Гамильтон обнаружила непонятно откуда взявшуюся солидную недостачу. И тут же позвонила в штаб-квартиру сообщить об этой странности. Но получила категорический ответ: деньги необходимо немедленно возместить, или дело будет передано в суд, ведь Horizon не ошибается. Но пока шел разговор, сумма недостачи на экране прямо на глазах Гамильтон ни с того ни с сего увеличилась вдвое! Такого не может быть, воскликнула она, но представительница штаб-квартиры была непреклонна: значит, надо заплатить новую сумму. Можно ли это решение как-то опротестовать? Нет, это невозможно, последовал ответ. "Компьютер говорит: нет".
Среди пострадавших старше всех 91-летняя Бетти Браун – на протяжении десятилетий она гордилась репутацией образцового почтмейстера. Но вдруг компьютер начал регулярно выявлять необъяснимые недостачи. Чтобы избежать суда, ей пришлось выплатить почти сто тысяч фунтов. "Меня просто ограбили… у нас отняли наши жизни", – говорит она. А вот 19-летняя Трейси Фелстед в 2002 году отказалась признавать вину и не стала покрывать недостачу – да ей, собственно, и неоткуда было взять 11 тысяч. Ее отправили за решетку. Без малого два десятилетия, пока ее приговор не был отменен судом в 2021 году, она жила в статусе опозоренного преступника. Многие, чтобы избежать тюрьмы, признавали себя виновными и залезали в огромные долги, чтобы покрыть недостачи. Они рассказывают о долгих годах жизни в нищете. "Мне не на что было купить даже школьную форму для дочери", – говорит один из реабилитированных почтовых служащих Скотт Дарлингтон.
Но труднее всего было пережить всеобщее презрение, которым были окружены считавшиеся проворовавшимися люди. Жертвы рассказывают, что энтузиасты изготавливали позорящие их плакаты с фотографиями и подписью: ‘Wanted thieves’ (разыскиваемые воры). Общественность требовала куда более суровых, чуть ли не пожизненных приговоров. "Они же украли деньги пенсионеров", – уверяли самые "осведомленные".
Сотни людей остались без средств к существованию, многие умерли, не выдержав позора, четверо покончили с собой
В 2009 году в авторитетном журнале Computer Weekly было опубликовано расследование, авторы которого утверждали, что компьютерная система почтовой службы вовсе не безупречна и часто глючит. Затем был создан Альянс за справедливость для почтмейстеров, который добился, при поддержке некоторых депутатов парламента, учреждения посреднической комиссии, которая могла хотя бы выслушать аргументы сотрудников, обвиненных в хищениях. Однако вскоре стало ясно, что руководство почтовой службы саботирует работу комиссии и продолжает публично настаивать, что Horizon вне подозрений. Под давлением общественности Post Office все же согласилась провести проверку работы программы, наняв для этой цели авторитетную аудиторскую организацию Second Sight. Но когда та выявила многочисленные дефекты и сбои, почтовое начальство приказало ей прекратить работу и отказалось передать аудиторам важнейшие файлы.
Сейчас мало у кого вызывает сомнение, что Horizon изначально была совершенно непригодной для выполнения функции бухгалтерского контроля. Изготовитель софтвера – японская компания Fujitsu – принесла извинения, обещала активно сотрудничать с британскими властями в разрешении последствий скандала, а также обязалась внести существенный финансовый вклад в фонд для выплаты компенсаций жертвам дефектной системы. Однако главный виновник скандала – Post Office – все еще ссылается на "сложности" с анализом технических проблем Horizon. Здесь распространено мнение, что почтовое ведомство давно уже понимало проблему с компьютерной бухгалтерией, но замалчивало ее, пытаясь избежать ответственности. Остается еще выяснить, шла ли речь о преступной халатности или же имел место корыстный умысел. Были ли недостачи чисто виртуальными, или некто, контролировавший систему, выводил реальные средства, перекладывая вину на почтмейстеров. Большинство юристов согласны: это самый крупный и самый позорный случай катастрофического провала в истории британского правосудия.
В 2017 году 555 почтмейстеров подали иск против почтового ведомства в Высокий суд Лондона и выиграли его. С декабря 2020 года суды начали процесс пересмотра и отмены приговоров. Однако большинство остается в силе: суды просто не успевают рассматривать апелляции. И при нынешних темпах многие почтмейстеры до реабилитации просто не доживут. Поэтому в парламенте обсуждается возможность принятия специального закона, скопом отменяющего все обвинительные приговоры, вынесенные на основе "показаний" дефектного софтвера и предусматривающие значительные денежные компенсации пострадавшим служащим или их наследникам.
Бывшая руководительница ведомства Пола Веннелз добровольно вернула орден Командора Британской империи, которым была награждена в 2019 году, а также подала в отставку со всех своих многочисленных постов в других компаниях и организациях. Она также лишилась сана священника Англиканской церкви. Но вполне вероятно, что она так легко не отделается и ей самой предстоит предстать перед судом в качестве ответчика по гражданским искам, а то и уголовному делу.
Но главное, что показала эта история, – насколько опасно полагаться на искусственный интеллект и компьютерные системы, заменяющие важные человеческие функции. Случай Horizon далеко не единственный, хотя, возможно, и самый вопиющий.
В США все большие сомнений вызывает компьютерная программа распознавания лиц, ошибки которой часто приводят к арестам невиновных. В штате Мичиган с 2013 по 2015 год компьютер ложно обвинил почти 40 тысяч человек в мошенничестве. В Австралии 470 тысяч получателей социальных пособий были безосновательно оштрафованы компьютером на большие суммы. Прежде чем ошибка была исправлена, огромное число людей оказалось под невыносимым стрессом, трое покончили с собой. В 2019 году в Нидерландах компьютерная система решила, что все лица, родившиеся за пределами страны, должны автоматически подозреваться в мошенническом получении пособий.
Чем больше мы полагаемся на искусственный интеллект, тем более могущественными становятся бесчеловечные системы, управляющие нашими жизнями
Подобных случаев на самом деле бесчестное количество. Знаменитый художник сэр Грейсон Перри с изумлением обнаружил однажды, что его счет за электричество и газ вдруг подскочил с 300 фунтов до 39 тысяч (!) в месяц. Известный журналист Джо Сопел испытал похожий шок, увидев, что и его счета за энергию выросли в десятки раз – до 20 тысяч фунтов. Когда речь идет о знаменитостях, подобное становится широко известно, но нужно исходить из того, что тысячи, если не десятки или даже сотни тысяч обычных людей по всему миру регулярно становятся жертвами компьютерных сбоев. И каждый раз доказывать ошибочность штрафов или неправомерных начислений – дело далеко не простое, требующее больших затрат времени, чреватое стрессом и нервными срывами.
Известны случаи, когда ошибающиеся компьютеры срывали запуски космических ракет. И совсем уже чудовищная, но, увы, реальная перспектива – системы отслеживания возможного применения ядерного оружия тоже могут когда-нибудь ошибиться, спровоцировав мировую войну и даже гибель человеческой цивилизации.
Популярный британский колумнист Хьюго Рифкинд подводит в газете "Таймс" неутешительный итог: "Чем больше профессий и процессов мы автоматизируем, чем больше полагаемся на искусственный интеллект, тем более могущественными становятся бесчеловечные системы, управляющие нашими жизнями".
Андрей Остальский – лондонский журналист и политический комментатор
Высказанные в рубрике "Право автора" мнения могут не отражать точку зрения редакции
