Depois da OpenAI, Claude da Anthropic também ‘invadiu’ três organizações externas durante testes

A Anthropic, criadora da plataforma de inteligência artificial (IA) Claude, revelou ter descoberto que os seus modelos invadiram três organizações durante a realização de testes de cibersegurança. Os modelos estavam supostamente a operar em ambiente isolado, mas, devido a um “desentendimento” entre a empresa e um fornecedor externo, tal não era o caso, alega a startup norte-americana. Os casos foram revelados dias depois de a OpenAI ter estado na origem de uma situação com contornos semelhantes.

“Após analisarmos 141.006 execuções de avaliação em que o Claude poderia ter obtido acesso à internet, identificámos três incidentes em que um modelo acedeu à internet a partir de — ou durante a interação com — o ambiente de avaliação da Irregular, um dos nossos parceiros externos de avaliação, e, em seguida, obteve acesso não autorizado à infraestrutura de produção de três organizações diferentes”, indicou a Anthropic num comunicado.

Num dos casos descritos pela Anthropic, o modelo foi instruído a realizar um ciberataque contra uma empresa fictícia. No entanto, o nome dessa empresa correspondia ao nome de um website real existente. O modelo acabou por assumir tratarem-se da mesma entidade e explorou vulnerabilidades na infraestrutura digital dessa empresa para extrair informação e obter acesso à respetiva base de dados.

Segundo a empresa, a auditoria foi desencadeada depois de a rival OpenAI ter revelado, na semana passada, que dois dos seus modelos estiveram por detrás de um ciberataque autónomo que vitimou a Hugging Face. Os modelos da OpenAI também estavam a ser testados quando conseguiram contornar as regras de segurança e aceder à internet, invadindo uma plataforma para fazer batota no exame.

Estes novos incidentes poderão fazer subir de tom as vozes que defendem um maior controlo e escrutínio sobre as principais empresas de IA, cujos modelos têm vindo a adquirir cada vez mais capacidades para agir autonomamente.