VOYAGERLABS: ТУПОЕ ОРУЖИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

il 6 Maggio 2022 / Dossier American Lobbying, IBI World UK, Шпионаж / Scrivi un commento

В конце 1960-х годов Агентство перспективных исследовательских проектов (ARPA) Министерства обороны США первым инициировало проект взаимосвязанных коммуникаций под названием ARPANET, предшественник Интернета. С тех пор все сильно изменилось, поскольку Интернет с его повсеместным распространением изменил мир и наше представление о нем. Сеть расширилась до такой степени, что ею ежедневно пользуются не менее 5 миллиардов человек[1], в ней насчитывается почти 2 миллиарда веб-сайтов[2], она достигает каждого уголка планеты, предлагает неисчислимое количество услуг и является хранилищем впечатляющего объема данных.

В последние годы она продолжает собирать информацию о каждом аспекте нашей повседневной жизни, начиная со следов ее использования (личные данные, фотографии, мысли, покупки, перемещения, разговоры и многое другое). Эта информация занимает разные уровни сети: от публичного, доступного любому, кто подключится, до самого скрытого и секретного, защищенного более или менее сложными и фантастическими барьерами.

Хотя существуют организации – которые анализируют поисковые системы – которые стремятся обеспечить минимальную прозрачность, обширность контента по-прежнему порождает огромные проблемы, а истина сейчас настолько сложна, что ее невозможно познать. Этот огромный объем информации обозначается как “неструктурированная”. Если бы каким-то образом удалось разработать методы, позволяющие связать информацию воедино, заставить ее говорить в рамках некой разумной структуры, каков был бы результат? Власть над информацией и глобальная коммуникация. Ужасающая перспектива, о которой до сих пор мечтал ЭлонМаск, южноафриканский мультимиллиардер, который с этой целью купил Twitter. Но одного этого ему будет недостаточно.

В последние годы были опубликованы исследования, направленные на интеллектуальный сбор информации из сети путем разработки все более сложных алгоритмов. Интерпретация этой информации позволит создавать в реальном времени сценарии прогностического характера, связанные с конкретной динамикой рынков, финансов, здравоохранения, безопасности и, что самое интересное, с исследованием поведения человека. Очевидно, что существует множество гипотез использования: профилирование пользователей в деловом мире данной географической области или данного социального класса; или, в медицине или безопасности, улучшение профилактики в случае атак. Нетрудно представить себе сомнения этой отрасли науки: граница законности в получении личной информации и ее использовании очень тонка. Особенно когда нужно составить профиль миллиардов людей.

Восхождение в мир искусственного интеллекта

Сеть VoyagerLabsLtd[3]

АвиКорнблум (AviKornblum), родившийся в Израиле в июне 1966 года, прослужив 20 лет в израильской разведке и имея, представляя Моссад, опыт работы в корпорациях IDT, VerbxCommunications и FusionTelecommunicationsInternational[4], в 2010 году основал небольшую компанию, которая официально занимается программным обеспечением. Однако его особая миссия – это то, что станет его судьбой: уметь ловить в величественном море Интернета неструктурированную информацию и преобразовывать ее на основе конкретных запросов в организованные и понятные ответы. Один из его попутчиков – британец Джонатан Леон Джоффе (JonathanLeonJoffe[5]), бывший директор QTECSystemsLimited[6], который будет руководить начинающей компанией[7], которая будет называться VoyagerLabsLtd[8].

О первых годах деятельности известно немного, стартап запущен в стелс-режиме, особой форме регистрации, которая позволяет обеспечить максимальную конфиденциальность как деятельности, так и счетов. О компании VoyagerLabs становится известно в ноябре 2016 года, когда она выходит из стелс-режима[9]. В период инкубации небольшой стартап привлек более 100 миллионов долларов[10] финансирования от таких спонсоров, как британский бизнесмен Рональд Коэн (RonaldCohen[11]), британский предприниматель Ллойд Маршалл Дорфман (LloydMarshallDorfman[12]), ирландский финансист OCAPACHolding[13], владелец Oracle и HorizonsVentures китайского магната Ли Ка-Шинга (LiKa-Shing[14]). У компании есть центр исследований и разработок в Тель-Авиве и офисы в Нью-Йорке, Вашингтоне и Лондоне, в ней работает около 130 человек, большинство из которых – ученые, аналитики данных и эксперты по искусственному интеллекту[15], и у нее есть портфель (секретных) клиентов во всех секторах мировой экономической жизни[16].

Компания состоит из трех отделов: VoyagerAnalytics, VoyagerFinance и VoyagereCommerce[17]. Все продукты имеют одну и ту же философию: собрать как можно больше неструктурированной информации, включая социальные сети, и превратить ее в структурированные изображения путем обработки, управляемой сложными алгоритмами. По данным компании DoiTInternational[18], которая обеспечивает ИТ-поддержку VoyagerLabs (большие облачные пространства для безопасного хранения их данных), компания собирает в среднем 10 миллиардов единиц данных в день, что составляет 10 ТБ – впечатляющая цифра[19].

В каждой своей публичной презентации VoyagerLabs старается сообщить, что ее программное обеспечение собирает только публичную информацию и поэтому полностью прозрачно, но критики утверждают обратное, как это видно на форумах[20]NDIANationalSecurity (агентство ЦРУ[21]) или на семинарах, организованных ISSWorldMiddleEast (ассоциация компаний, занимающихся кибершпионажем[22]), которые говорят о “полезной и ранее недоступной информации путем анализа и понимания огромных объемов открытых, глубоких и неясных веб-данных“[23]. Действительно тревожная презентация.

Противоречивый бывший агент ЦРУ

Торжественная церемония приведения к присяге Леона Панетты в качестве директора ЦРУ, со Стефаном Каппесом (VoyagerLibs), Даннис Блэр, Сильвией Панеттой и Джо Байденом[24]

Успех является немедленным и нуждается в политическом прикрытии. В декабре 2015 года, за несколько недель до публичной презентации компании, ее управление было поручено Стефану Роберту Каппесу (StephanRobertKappes[25]): родился 22 августа 1951 года в Цинциннати, Каппес женат, имеет двоих детей[26], говорит на фарси и русском языке[27] и имеет степень бакалавра и магистра наук в области патологии Университета штата Огайо[28]. После окончания университета он поступил на службу в Корпус морской пехоты (1976) и быстро продвигался по служебной лестнице, пока в 1981 году не поступил на работу в ЦРУ, где занимал множество ответственных должностей: начальник отдела в Дели, Франкфурте, Кувейте, Москве и Пакистане, затем на Ближнем Востоке и в Южной Азии до 2000 года; вернулся в Америку в качестве заместителя помощника директора по операциям контрразведки, а затем, в 2004 году, сменил заместителя директора по операциям Джеймса Павитта (JamesPavitt)[29].

В этой должности он вместе с Павиттом является одним из руководителей направления операций ЦРУ во время составления спорного доклада об оружии массового поражения в Ираке[30]. Он подает в отставку после того, как об этом становится известно общественности, а через несколько дней в отставку подает и вице-директор Джон Э. Маклафлин (JohnE. McLaughlin[31]). В мае 2006 года Каппеса отзывают и назначают заместителем директора ЦРУ Джона Негропонте (JohnNegroponte[32]) – эту должность он занимает до 2009 года: его цель – восстановить имидж ЦРУ после многолетних скандалов[33]. Каппесу это не удалось, поскольку против него выступили несколько крупных шишек в спецслужбах, которые признали его виновным в “грубом неподчинении” и объявили ему импичмент[34].

В 2009 году Каппес был заочно осужден итальянским судом за то, что в 2003 году руководил похищением, экстрадицией и пытками египетского гражданина Абу Омара (AbuOmar), который был похищен в Милане агентами ЦРУ и переправлен в Египет, где его и пытали[35]. Его стиль уже хорошо известен: это он попросил Обаму “восстановить секретные тюрьмы и использовать агрессивные методы допроса”[36]. 14 апреля 2010 года Каппес подал в отставку в накаленной обстановке; операция, которой он руководил, превратилась в бойню из-за “небрежности”, т.е. неспособности провести обыск: 30 декабря 2009 года иорданец был пропущен на афганскую базу ЦРУ в жилете со взрывчаткой. Семь сотрудников ЦРУ погибли, включая начальника базы[37], а в отношении Каппеса было начато расследование[38].

Это не почетный уход: для многих наблюдателей он является одним из главных архитекторов многочисленных провалов американской разведки[39]. В апреле 2005 года он присоединился к ArmorGroupInternational в качестве директора и члена Совета директоров[40]. Впоследствии он был назначен директором QtecAnalyticsLtd (январь 2013 года) и директором QuestGlobalHoldingsLtd[41], двух компаний, занимающихся кибербезопасностью. В декабре 2015 года он начал свое предприятие с VoyagerLabs.

VoyagerAnalytics под следствием

В апреле 2020 года в Силах безопасности Колумбии разразился скандал: чиновники шпионили за переговорами 2016 года с повстанцами Революционных вооруженных сил Колумбии (FARC), которые завершились заключением мирного соглашения. Военные неправомерно собрали информацию о более чем 130 людях, включая журналистов зарубежных и отечественных СМИ, политиков и представителей НПО[42], пытаясь составить профиль их поведения[43]. В шпионской операции использовалось программное обеспечение VoyagerLabs, приобретенное несколькими годами ранее[44]. 1 мая 2020 года министр обороны Колумбии Карлос Холмс Трухильо (CarlosHolmesTrujillo) объявил об исключении 11 офицеров, а один генерал добровольно ушел в отставку[45].

В августе 2020 года VoyagerLabs оказывается вовлеченной в исторический конфликт между чилийским правительством и коренным народом мапуче. В центре внимания – операция “Ураган”[46], в ходе которой с помощью обысков и арестов, проводимых чилийскими карабинерами, предпринимается попытка запугать общину мапуче, сфабриковать ложные доказательства, чтобы обвинить некоторые семьи в терроризме[47]. Операция была проведена при участии Чилийского специализированного оперативного разведывательного подразделения[48] с использованием программного обеспечения VoyagerLabs для составления профиля лидеров мапуче[49].

Аналогичный случай происходит в Испании: в январе 2021 года Центр телекоммуникаций и информационных технологий CTTI Женералитата Каталонии тратит 1,5 миллиона евро на приобретение двух платформ, VoyagerAnalytics и VoyagerCheck, с официальной целью совершенствования борьбы с джихадистским терроризмом[50]. Однако опасения, что такие инструменты могут быть использованы для неправомерного контроля над обычными сообществами, весьма велики[51]: Mossosd’Esquadra (полицейские силы Каталонии) не новички в компьютерном взломе и шпионаже[52]. Список нарушений длинный: если вернуться в прошлое, то Центр информационной безопасности Каталонии CESICAT, который уже не работает, оказывается под обвинением в профилировании общественных активистов и журналистов, слежке за их поведением: парламентское расследование приводит к требованию отставки тогдашнего министра внутренних дел ФелипаПуига (FelipPuig[53]).

И на десерт, итальянское уголовное расследование: в расследовании прокуратуры Флоренции в ноябре 2019 года главными подозреваемыми являются адвокат Альберто Бьянки (AlbertoBianchi) и его друг Марко Каррай (MarcoCarrai) – обвинение предъявлено в торговле влиянием и незаконном финансировании партий. В центре скандала находится фонд OpenFoundation, созданный самим Бьянки для финансирования политической деятельности МаттеоРенци (MatteoRenzi), бывшего премьер-министра, лидера и основателя партии ItaliaViva. Ближе к концу 2021 года выясняется, что Марко Каррай якобы встречался в 2016 году с АвиКоренблюмом, основателем VoyagerLabs, чтобы купить их программное обеспечение с целью “мониторинга и влияния на кампанию” голосования на конституционном референдуме, который, в случае одобрения, коренным образом изменил бы Конституцию[54]. Ренци проиграл референдум, ушел в отставку, и его политическая парабола начала быстро снижаться.

Нарушает ли полиция Лос-Анджелеса Первую поправку?

Преступные организации все чаще используют социальные сети в качестве средства коммуникации. VoyagerLabs предлагает полиции инструменты анализа, которые обещают предотвратить преступные действия[55]

Использование социальных сетей против преступности растет: в опросе, проведенном Международной полицейской ассоциацией в 2017 году, говорится, что 70% полицейских департаментов используют социальные сети для мониторинга граждан[56]. Программное обеспечение VoyagerLabs также закупается Департаментом полиции Лос-Анджелеса – органом, который уже некоторое время использует весьма спорные инструменты, такие как Geofeedia[57], который обрабатывает географическое положение людей, используя социальные сети, или MediaSonar[58] и Dunami[59], двапрограммных обеспечения, полезные для составления индивидуальных профилей на основе данных, собранных в сети[60]. Информация из этих программных пакетов управляется в глобальном масштабе платформой Gotham компании Palantir[61], одним из самых противоречивых и мощных инструментов полицейских сил по всему миру[62].

Подозрение, что полицейские силы недобросовестно используют это программное обеспечение, очень велико. В январе 2020 года Центр правосудия Бреннана (BrennanCenterforJustice) обратился в Департамент полиции Лос-Анджелеса с просьбой предоставить отчет о методах, используемых для сбора информации об отдельных лицах, группах и деятельности с помощью социальных сетей, таких как Facebook, Twitter и Instagram[63]. Ответ поступил 24 февраля[64], но был признан частичным и неудовлетворительным[65]. 17 ноября 2020 года Центр Бреннана подал иск в Высший суд Калифорнии против департамента полиции[66], заставив его предоставить дополнительную документацию: в период с марта по сентябрь 2021 года[67] в ответ поступило 12 файлов общим объемом около 10 000 страниц[68].

Из документов – которые Центр Бреннана обнародует в ноябре 2021 года – вырисовывается картина, граничащая с нарушением Первой поправки: департамент подтверждает, что он широко использует инструменты расследования в социальных сетях, действует под прикрытием, используя фальшивые профили, собирает личную информацию всех видов и использует прогностическое программное обеспечение, такое как VoyagerAnalitics[69]. Прежде всего, их оперативность оставляет много сомнений, как в методах сбора, так и в ответах: информация добывается бесследно, используется для восстановления закрытых социальных профилей или закрытых социальных групп (тем самым нарушая правила платформ), для анализа отношений между различными профилями, для определения пользователей, “наиболее вовлеченных в данную позицию: эмоционально, идеологически и лично”[70]. И все это без какого-либо аудита процедур и личной ответственности за методы сбора, использования и хранения данных[71].

В документе[72]VoyagerLabs, описывающем операцию против исламского терроризма, признается, что ее инструменты могут автоматически отслеживать и классифицировать людей в соответствии с их риском стать исламскими фундаменталистами. Результаты имеют цветовую маркировку (зеленый, оранжевый и красный) на основе “калибровки искусственного интеллекта”, информация получена в течение нескольких минут и без участия человека – и без того, чтобы подозреваемый гражданин мог защитить себя[73].

7 июля 2016 года: Тысячи людей вышли на улицы Нью-Йорка и других американских городов под крики “BlackLivesMatter” против Geofeedia и недемократического использования программного обеспечения для полицейского наблюдения[74]

Пугающий метод, если подумать, что для того, чтобы быть идентифицированным как вероятный исламский террорист, достаточно иметь бессознательную связь на Facebook, возможно, созданную много лет назад и теперь забытую, с кем-то, кто один раз в жизни напечатал “Аллах велик”. Настолько пугающе, что даже представитель полиции Лос-Анджелеса выражает обеспокоенность не только риском неуправляемости механизмов мониторинга Voyager[75], но и памятью о бурных протестах, вызванных использованием Geofeedia правоохранительными органами в 2016 году[76].

Никто не может знать, сколько людей по всему миру были классифицированы как исламские террористы. Эта информация хранится в VoyagerLabs и недоступна ни одному юридическому органу: это секретный актив с огромной разрушительной силой, поскольку, если его используют спецслужбы, он может доставить в Гуантанамо любого человека, не неся ни за что ответственности. Это гамлетовское сомнение в фундаментальном принципе демократической концепции правосудия: наказан должен быть тот, чья вина в преступлении доказана, и никогда тот, кто подозревается в том, что знает кого-то, кто хотел бы однажды его совершить.

Центр Бреннана считает, что эти методики могут легко привести к аберрантным результатам. Аресты, основанные на результатах искусственного интеллекта, чреваты неизбирательным нападением на невинных активистов и представителей цветного населения[77]. 7 декабря 2021 года Центр Бреннана вернулся к задаче[78] запросить у Управления разведки и анализа Министерства внутренней безопасности, иммиграции и таможенного контроля США информацию об использовании инструментов, разработанных компаниями VoyagerLabs, ShadowDragon и LogicallyInc.;9 декабря он направляет тот же запрос в Таможенную и пограничную службу[79]. Эти просьбы, по разным причинам, остались без ответа[80].

Facebook не любит VoyagerLabs

Facebook просит полицию Лос-Анджелеса приостановить действия, нарушающие правила платформы[81]

В начале 2018 года Цукерберг столкнулся с ураганом, обрушившимся на его творение, Facebook: скандалом, связанным с CambridgeAnalytica[82]. Будучи обвиненной в неспособности защитить данные более чем 87 миллионов пользователей (данные были украдены для использования в политической пропаганде), компания Facebook стала очень щепетильно относиться к защите личной информации своих пользователей, не в последнюю очередь потому, что это дело стоило ей не менее 643 000 долларов США в виде судебных выплат[83]. Одним из первых шагов стало закрытие аккаунтов членов команды CybersecurityforDemocracy[84] в августе 2021 года: исследователи собирали информацию из сети для проведения исследования Covid19, используя расширение браузера для обхода систем обнаружения и сбора таких данных, как имена пользователей, объявления и ссылки на профили пользователей, некоторые из которых не были публично видны. По мнению Facebook, этот сбор, как и в случае с CambridgeAnalytica, нарушил неприкосновенность частной жизни пользователей[85].

В ноябре 2021 года Департамент полиции Лос-Анджелеса заявил, что Facebook не нравится программное обеспечение VoyagerLabs, которое используется слишком случайно. По мнению Facebook, такое программное обеспечение нарушает конфиденциальность, но самое главное обвинение направлено на сотрудников полиции, которые используют фальшивые аккаунты для работы под прикрытием, что является вопиющим нарушением стандартов платформы – деятельность, которую разделяют калифорнийская и российская полиция. Facebook (Meta) требует прекратить эту деятельность[86]. Напрасно. Это не первый случай, когда Facebook вмешивается, приказывая полиции приостановить следственные действия с использованием фальшивых аккаунтов: такое уже случалось в 2018 году с полицией Мемфиса, но в том случае Facebook удалось добиться приостановки аккаунтов[87].

Согласно документам, опубликованным Центром Бреннана, Twitter также использовался для неизбирательного сбора информации с помощью инструмента мониторинга ABTShield, разработанного польской организацией EDGE NPD[88]: ABTShield собрал так много твитов, что это заставило само программное обеспечение выйти из строя и вынудило EDGE NPD прекратить свою деятельность. В течение всего периода тестирования продолжался сбор огромного объема данных, в общей сложности почти 2 миллиона твитов, в среднем около 70 000 в день. По данным EDGE NPD, программное обеспечение собрало около 200 миллионов твитов в течение испытательного периода, отправив лишь часть из них в полицию Лос-Анджелеса[89]. Остальное остается в базах данных компании, и кто знает, что и кому будет использовано.

Большой блеф

Применение глубокого обучения в обнаружении насильственного поведения по изображениям[90]

“Это гиперболический маркетинг искусственного интеллекта. Чем больше они хвастаются, тем меньше я в это верю”. Это заявление Кэти О’Нил(CathyO’Neil), специалиста по анализу данных и алгоритмов, о том, что обещания VoyagerLabs не имеют под собой ничего научного: “Они говорят нам: “Мы можем увидеть, есть ли у кого-то преступные намерения”. Нет, не можете. Даже в случае людей, совершающих преступления, вы не можете предсказать, что у них есть преступные намерения“[91]. Одним из примеров является использование предиктивных методов в Санта-Круз, штат Калифорния, в 2011 году: после девяти лет городской совет единогласно проголосовал за их запрет, поскольку этот метод усугубляет расовое неравенство[92]. Как будто в этом была какая-то необходимость.

Идея о том, что существуют прогностические индикаторы риска, которые можно успешно использовать, дискредитирована десятилетиями академических исследований[93]. Нет никаких доказательств того, что такое программное обеспечение принесло пользу в борьбе с терроризмом и преступностью, напротив, оно оказалось дискриминационным, разделительным и разрушительным для сообществ. В частности, в области исламского терроризма, где VoyagerLabs работает наиболее интенсивно, методы анализа основаны на концепциях, которые, как было показано, являются абсолютно аберрантными, например, рассмотрение исламской радикализации как автоматизма, ведущего к терроризму[94].

В 2017 году Voyager Labs быланазванаамериканскимгигантом Gartner[95] “Cool Vendors in AI for Banking and Investment Services 2017”[96]. В ноябре того же года он также получил награду 2017 EuropeanNewProductInnovationAward[97] от престижной консалтинговой компании Frost&Sullivan[98]. В сентябре 2020 года она получает награду “Инновация года в области технологий с открытым исходным кодом”[99] от Института OSMOSIS, который обучает следователей, исследователей, журналистов и аналитиков киберразведки методам и практике разведки с открытым исходным кодом[100]. В ноябре 2020 года она была удостоена награды “Лучшее отраслевое решение в области ИИ для разведки”[101] на церемонии AI BreakthroughAwards 2020, проводимой одноименной ведущей организацией в области разведки[102].

Похвалы есть, но реальных доказательств эффективности не хватает. И все же есть те, кто в это верит и делает большие ставки на предиктивные методы: в ноябре 2021 года компания VoyagerLabs прибыла в Японию и в синергии с TerilogyWorx[103] подписала важное соглашение с японским правительственным агентством на поставку своих платформ для борьбы с терроризмом и преступностью[104]. Подписание состоялось через несколько месяцев после заключения еще одного важного соглашения, на этот раз между VoyagerLabs и Microsoft, состоящего из нескольких платформ, составляющих программу “MicrosoftOneCommercialPartner” для совместного маркетинга программного обеспечения с глобальными отделами продаж Microsoft, расположенными в 170 странах[105].

Поэтому VoyagerLabs продолжает находить клиентов. Остается только надеяться, что этот метод созреет и станет эффективным – и, прежде всего, чтобы он наносил как можно меньше побочного ущерба. Когда военные технологии нацелены не на помощь, а на замену человеческого интеллекта, тревога сменяется восхищением: риск совершить непоправимые и бесчеловечные ошибки становится драматически реальным. Выражение своего мнения само по себе не может считаться преступлением или предвестником насилия. В прошлом борьба за гражданские права или за право женщин голосовать считалась проявлением терроризма. Это способ подавления идей, а не насилия.

[1]https://www.statista.com/statistics/617136/digital-population-worldwide/

[2]https://www.internetlivestats.com/total-number-of-websites/

[3]https://www.northdata.com/Voyager+Labs+Ltd.,+London/Companies+House+07154170

[4]https://www.topionetworks.com/people/avi-kornblum-5833be77385326fe88000011

[5]https://www.cbetta.com/director/jonathan-leon-joffe

[6]https://suite.endole.co.uk/insight/people/17092653-mr-jonathan-leon-joffe

[7]https://find-and-update.company-information.service.gov.uk/officers/JGerG860MZIbPkKxIPxeewVDpM4/appointments

[8]https://find-and-update.company-information.service.gov.uk/company/07154170

[9]https://insidebigdata.com/2016/11/02/voyager-labs-emerges-from-stealth-mode-with-next-gen-cognitive-computing-deep-insights-platform/

[10]https://equityzen.com/company/voyageranalytics/

[11]https://sirronaldcohen.org/ ; https://insidebigdata.com/2016/11/02/voyager-labs-emerges-from-stealth-mode-with-next-gen-cognitive-computing-deep-insights-platform/

[12]https://www.forbes.com/profile/lloyd-dorfman/?sh=5d24653b227f ; https://insidebigdata.com/2016/11/02/voyager-labs-emerges-from-stealth-mode-with-next-gen-cognitive-computing-deep-insights-platform/