Отчет Anthropic: ИИ-модели использовали для слежки, киберпреступлений, мошенничества и возможного создания биологического оружия

Компания Anthropic опубликовала отчет, в котором подробно изложила выявленные случаи недопустимого и потенциально опасного использования её моделей искусственного интеллекта семейства Claude. Документ включает несколько разделов: кибероперации, слежка, операции влияния, разработка вооружений, биологические сценарии и мошенничество.

Так ИИ-модели семейства Claude использовались киберпреступниками для реальных взломов. Одна из группировок киберпреступников использовала Claude для анализа кода в 1,8 млн приложений для Android на предмет поиска ключей и прочих учётных данных - они впоследствии использовались для взлома корпоративных сетей и кражи информации. В одном случае удалось похитить более терабайта данных, в другом добычей киберпреступников стали несколько десятков миллионов записей о пассажирах одной авиакомпании.

Также ИИ-помощник Anthropic Claude использовался как вспомогательное средство для слежки за гражданами разных стран. Он, в частности, создал систему массового перехвата коммуникаций, способную работать с сетями всех мобильных операторов одной из африканских стран. В другой стране Claude помог в обработке огромных массивов публикаций в соцсетях: определял местоположение людей, их демографические характеристики и политические взгляды.

Обнаружены девять операций влияния, в которых при помощи Anthropic Claude разрабатывались новостные сайты с фальшивыми материалами.

Помимо этого, ИИ-помощник использовался в разработке ПО для оружейных систем: управляемых ракет, торпед, роя дронов, а также системы наведения радиоэлектронной борьбы и подавления ПВО.

Кроме того, Anthropic приводит пять случаев недопустимого применения Claude в области биологии. В своем отчете компания утверждает, что не может точно определить, для каких целей проводили исследования в этой области, поскольку их результаты можно использовать как для создания вакцин, так и для разработки опасных патогенов. Как сказано в отчете, эти ученые обошли блокировку моделей в их регионе и пытались «скрыть цель своих исследований, чтобы обойти наши меры предосторожности».

Как пишет The New York Times, из-за неопределенности целей Anthropic не стала раскрывать имена исследователей, страну их происхождения или биологические компоненты. Компания уточнила, что, несмотря на это, проявила осторожность и заблокировала этих пользователей.

Компания привела пример подозрительного использования. В мае один ученый использовал нейросеть Claude для написания заявки на получение гранта для проведения исследований, направленных на эксперимент с вирусом чикунгунья. Как утверждает компания, он хотел создать мутации вируса, которые сделали бы его более опасным при неоднократном заражении животных. Как утверждает Anthropic, это исследование вызвало беспокойство, так как удалось установить, что работа предназначалась для военного научно-исследовательского института.

«Чего мы не знаем, так это того, было ли целью исследования для создания оружия. Но военное учреждение, проводящее исследования по усилению функций вирусов, вызывает беспокойство», - заявил глава отдела анализа угроз в Anthropic Джейкоб Кляйн.