ИИ для поиска преступников оказался под атакой адвокатов: они говворят, что его создал лжец и мошенник

Никем не проверенный ИИ на службе закона

Американские правоохранительные органы в последние годы стали всё активнее использовать инструмент на базе технологий машинного обучения для расследования тяжких и особо тяжких уголовных преступлений. Система Cybercheck является проприетарной, методология её функционирования - непрозрачна, и это вызывает массу вопросов и у юристов, выступающих на стороне защиты, и у сторонних правозащитников, и у судей. Ключевого разработчика Cybercheck уже обвиняют во лжи под присягой.

Cybercheck, согласно общедоступному описанию, собирает улики посредством сканирования интернета, в том числе тех его сегментов, которые не индексируются стандартными поисковыми системами. Сведения также собираются из социальных сетей и других источников. Конечная цель - помочь определить физическое местоположение подозреваемых на момент совершения преступления и выцедить дополнительную информацию, которая может помочь раскрыть дело.

Инструмент использовался преимущественно при расследовании тяжких преступлений - убийств, делах о торговле людьми и т.д. Кроме того, с помощью Cybercheck предпринимались попытки раскрыть старые дела и найти давно скрывающихся подозреваемых.

К концу 2023 г. Cybercheck использовался, по данным NBC News, не менее чем в 8 тыс. дел в 40 разных штатах США. Информация об этом содержится в судебных документах процесса в Нью-Йорке, где судья в итоге постановил не рассматривать собранные с помощью Cybercheck данные в качестве улик. По мнению судьи, обвинение не смогло доказать, что система является надёжной, а информация, которую она поставляет, заслуживает доверия.

В то же время создатель Cybercheck Адам Мошер (Adam Mosher) заявлял ранее, что точность отчётов Cybercheck превышает 90% (и даже 98%). Однако в ответ на требования это доказать и представить технологию на стороннюю экспертизу Мошер отвечает отказом.

Ограбление по-огайски

В городе Акрон, штат Огайо, сейчас слушается дело об ограблении и убийстве, совершённом в 2020 г. Ключевым пунктом обвинения является документ, сгенерированный с помощью Cybercheck; в декабре 2022 г. ИИ-система предположительно доказала присутствие двоих обвиняемых на месте преступления.

Однако представляющий обвиняемых юрист Дональд Маларсик (Donald Malarcik) и его коллеги заявили, что ни Cybercheck, ни его изготовитель не заслуживают доверия.

По словам Маларсика, система Cybercheck представила своё заключение после 21 дня анализа открытых данных в Сети; в рамках автоматизированного процесса были, дескать, обработаны 1,1 петабайт данных, в результате чего были составлены подробные «профили» подозреваемых.

Согласно обвинительному заключению, для формирования профилей использовались адреса электронной почты и аккаунты в социальных сетях. Cybercheck увязал профили подозреваемых со сценой убийства - с помощью сетевого адреса (уникального идентификатора устройства, подключённого к Сети) беспроводной камеры видеонаблюдения: дескать, минимум одно устройство, вероятнее всего, смартфон, который Cybercheck приписывает подозреваемому, пытался взаимодействовать с WiFi-соединением, к которому была подключена камера.

В то же время, в отчёте Cybercheck не упоминается видеозаписи, на котором фигурировал бы момент убийства, и абсолютно непонятно, откуда вообще взялся сетевой адрес этой камеры и каким образом проверялось присутствие другого устройства (смартфона) на месте преступления. Более того, криминалисты, нанятые стороной защиты, не смогли найти никаких следов аккаунтов в социальных сетях, которые упоминаются в обвинительном заключении, и выяснить, каким образом система Cybercheck пришла к заключению, что упоминаемый в отчёте адрес электронной почты принадлежал обоим подозреваемым.

Смерть, ложь и «чёрный ящик»

Юристы прямо обвинили Мошера в том, что он лгал под присягой. В ходе разных судебных процессов, проходивших в Акроне, он то заявлял, что его разработка не проходила никакой сторонней экспертизы, то ссылался на экспертизу, проведённую Университетом Саскачевана в Канаде. Однако выяснилось, что никакой экспертизы этот университет не проводил.

Также Мошера обвиняют в том, что он лгал относительно уровня своей компетентности и даже не смог представить список судебных процессов, где выступал в качестве свидетеля и эксперта: он и на этот счёт в разное время сообщал противоречивые сведения.

Маларсик и его коллеги в очередной раз потребовали от Мошера представить исходный код Cybercheck для сторонней экспертизы. Они не первые, кто предпринимает такую попытку. В прошлом году, когда в Огайо слушалось другое дело об убийстве, в рамках которого защита также попыталась истребовать исходники и алгоритмы Cybercheck для анализа. Мошер отказал, ссылаясь на коммерческую тайну.

С прессой он и его компания также отказываются общаться. Сторона обвинения, в свою очередь, тоже отмалчивается, ссылаясь на текущий судебный процесс.

В прокуратуре города заявили, что не планируют возбуждать никаких проверок в отношении создателя Cybercheck. Стоит отметить, что власти Акрона ранее заключили с его компанией Global Intelligence контракт на сумму $25 тыс. долларов, и с 2022 г. Cybercheck использовался уже в расследовании нескольких десятков дел. Аналогичные контракты у Cybercheck заключены и с властями множества других городов и регионов.

Маларсик все же ожидает, что судья в скором будущем потребует от Мошера представить для экспертизы исходники его разработки, и это уже не позволит тому отказываться под предлогом коммерческой тайны.

«Если исходить из общедоступной информации, то ситуация для стороны обвинения выглядит неважно: основу обвинительного заключения составляют данные, скомпилированные никем не проверенным проприетарным ИИ, «чёрным ящиком», чью методологию работы производитель скрывает под предлогом коммерческой тайны», - считает Анастасия Мельникова, директор по информационной безопасности компании SEQ.

По ее словам, вследствие этого ни доказать, ни опровергнуть сделанные машиной выводы никакая третья сторона не может, а это даёт стороне защиты значительные козыри.

Эксперт отметила, что Cybercheck оказывается не в состоянии ничего возразить на обвинения в том, что часть данных могла быть сфальсифицирована искусственным интеллектом.

«Сторона защиты может напомнить суду об известном пользователям генеративного ИИ ChatGPT эффекте «выдумывания», когда ИИ по каким-то своим внутренним причинам генерирует ответы, содержащие абсолютно ложную, не выдерживающую никакой критики информацию», - добавила Анастасия Мельникова. Она уточнила, что без сторонней экспертизы алгоритмов Cybercheck невозможно утверждать, что он не склонен к аналогичным «фантазиям», а между тем, на кону жизни подсудимых, а законы США требуют рассматривать любые сомнения исключительно в пользу обвиняемых.