Более 20 лет назад японский технологический консориум Fujitsu создал ИТ-систему бухгалтерского учета для Почты Великобритании (UK Post Office). Система получила название Horizon. Рабочие места этой системы были установлены по всей стране. Часто это были небольшие почтовые отделения, которые собирали и доставляли письма и посылки. 20 лет назад это был крупнейший гражданский ИТ-проект в Европе.
Компьютеры всегда совершали ошибки, ИИ делает ситуацию критически опасной, но закон на стороне машин
Более 20 лет назад консориум Fujitsu поставил главному почтовому ведовству Великобритании UK Post Office систему автоматизации рабочих мест почтовых работников по всей стране. Только через много лет стало известно, что система постоянно ошибалась, и многие почтовые работники были оштрафованы, заключены в тюрьму, а несколько человек покончили с собой. Почему это происходило так долго? И можно ли сегодня защитить себя от компьютерных ошибок?
Почтовое отделение UK Post Office
Эта трагическая история связана с «презумпцией безошибочности компьютеров». Но компьютеры могут ошибаться, а в системах ИИ некоторый процент ошибок заложен изначально. И пока непонятно как защитить человека от «железного» обвинителя.
Система Horizon была далеко небезупречной. Она делала ошибки. Но руководители Почты Великобритании верили ей, а не людям.
Многих работников почтовых отделений обвинили в краже или фальсификации отчетности. От них требовали возместить убытки и угрожали судом. В период с 2000 по 2014 год более 700 человек были привлечены к ответственности, и в среднем 30 человек каждый год в период с 2000 по 2014 заключали под стражу. Люди теряли недвижимость, накопления, репутацию. Некоторые из безвинно пострадавших покончили жизнь самоубийством.
Многие подробности этой трагедии до сих пор неизвестны. Но самым вопиющим стало заявление Fujitsu, что компания знала об ошибках в системе примерно в то время, когда поставила Horizon Почте Великобритании в 1999 году.
Безупречный компьютер
Частное почтовое отделение UK Post Office
Однако один аспект скандала привлек сравнительно мало внимания: законы Англии и Уэльса предполагают, что компьютерные системы не допускают ошибок, что затрудняет оспаривание компьютерных результатов. Национальные и региональные правительства во всем мире, где существуют такие законы, должны пересмотреть их, поскольку они имеют последствия для нового поколения ИТ-систем, особенно тех, которые используют искусственный интеллект (ИИ).
Компании дополняют ИТ-системы искусственным интеллектом, чтобы улучшить процесс принятия решений. Немыслимо думать, что это происходит в правовых системах, предполагающих надежность компьютерных доказательств. Пока такие законы о «безупречном компьютере» не будут пересмотрены, все больше невиновных людей рискуют быть осуждены, из-за ошибок ИТ-системы, усовершенствованных искусственным интеллектом.
Сегодня если кто-то хочет подвергнуть сомнению или оспорить компьютерные доказательства, то именно он должен предоставить доказательства ненадлежащего использования ИТ-системы или ошибок в ее работе. Это может быть, например, код программного обеспечения или журнал нажатий клавиш. Однако получить доступ к этой информации сложно. В большинстве дел Horizon у ответчиков не было возможности узнать, какие документы или записи доказывают, что произошла соответствующая ошибка, и поэтому они не могли потребовать, чтобы Почта Великобритании раскрыла их в суде. Этот дисбаланс означал, что у людей было мало надежды защитить себя от обвинений.
Поиск пути вперед
Пол Маршалл, адвокат Cornerstone Barristers в Лондоне, и его коллеги утверждают, что презумпцию того, что компьютерные доказательства является надежными, необходимо заменить требованием о раскрытии соответствующих данных и кода в судебных делах. При необходимости такое раскрытие должно включать соблюдение стандартов и протоколов информационной безопасности, отчеты об аудитах систем и записи о шагах, предпринятых для обеспечения того, чтобы доказательства не были подделаны.
Соответствующие документы по делу Horizon были запрошены и предоставлены, когда одна группа заявителей опротестовала обвинения. Эта группа обратилась за помощью к ИТ-специалистам и в конечном итоге выиграла дело в 2019 году. Напротив, в других случаях, когда ответчики обращались за помощью к специалистам, Почта Великобритании урегулировала ситуацию во внесудебном порядке, при этом ответчикам приходилось подписывать соглашения о неразглашении информации, то есть доказательства ошибок компьютера остались скрытыми.
Процессы работы ИТ-систем можно и нужно объяснять в юридических случаях. Существуют способы обеспечить прозрачность, не раскрывая коммерческой тайны, что беспокоит некоторые организации и предприятия. Сандра Вахтер, исследователь искусственного интеллекта из Оксфордского университета говорит, что существуют инструменты, которые могут объяснить, как автоматизированные системы принимают решения, не раскрывая при этом работу алгоритма.
Назад в 1980-е
Первые поколения компьютерных систем по закону не считались безошибочными.
В 1980-е годы — на заре персональных компьютеров — закон не предполагал, что компьютер никогда не ошибается. Скорее, требовались дополнительные доказательства того, что компьютерная информация достоверна и может быть использована в суде. В XXI веке надежность компьютеров повысилась, но маятник слишком сильно качнулся в другую сторону. Мы стали слишком доверять машинам.
Сегодня сложные ИТ-системы с использованием ИИ все чаще принимают решения, влияющие на жизнь человека — от банковского дела и финансов до медицинских диагнозов, от уголовного правосудия до беспилотных автомобилей. По мере того как технологии искусственного интеллекта становятся мейнстримом, будут расти и судебные дела, связанные с этими системами.
Компьютерные доказательства не могут считаться абсолютно надежными, и соответствующие законы, допускающие такую презумпцию, должны быть пересмотрены, чтобы судебная ошибка, подобная той, что случилась с сотнями почтовых работников, никогда не повторилась.