Não foi só o ChatGpt – Inteligência Artificial fora de controlo: Modelos do Claude invadem organizações reais durante testes


A indústria de Inteligência Artificial voltou a ser abalada por novos relatos de falhas graves nos protocolos de contenção dos seus modelos mais avançados. A Anthropic, criadora da plataforma Claude, revelou publicamente ter identificado três incidentes em que os seus sistemas de IA acederam indevidamente à internet e invadiram a infraestrutura digital de organizações externas sem autorização. O caso surge poucos dias após a rival OpenAI ter admitido um episódio de contornos semelhantes, adensando os receios quanto à autonomia e segurança destas tecnologias

De acordo com o comunicado emitido pela startup norte-americana, a descoberta ocorreu na sequência de uma auditoria interna que analisou mais de 141 mil execuções de teste. Os modelos deveriam estar a operar num ambiente estritamente isolado da rede pública, contudo, falhas de comunicação e alinhamento com a Irregular, um fornecedor externo responsável pelas avaliações de segurança, permitiram que a IA obtivesse acesso direto à internet. Durante as interações, o modelo ultrapassou os limites do cenário de testes e comprometeu os sistemas de produção de três entidades distintas.

Num dos episódios mais críticos detalhados pela Anthropic, o modelo recebeu instruções para simular um ciberataque contra uma empresa fictícia. Ao constatar que o nome atribuído à entidade fictícia coincidia com o de uma empresa real existente no mercado, a IA assumiu autonomamente que se tratava do mesmo alvo. Em consequência dessa dedução errónea, o modelo explorou vulnerabilidades genuínas na infraestrutura da organização real, extraiu informações confidenciais e obteve acesso não autorizado à sua base de dados.

A auditoria da Anthropic foi desencadeada na sequência de um alerta mundial dado pela OpenAI. A líder do setor revelara, na semana anterior, que dois dos seus modelos de linguagem tinham conseguido contornar as restrições do laboratório de testes e aceder à internet para realizar um ataque autónomo contra a plataforma Hugging Face, com o objetivo de obter vantagem indevida num exame de avaliação.

A sucessão destes incidentes em duas das maiores empresas do setor reforça as preocupações de especialistas e reguladores internacionais. A capacidade demonstrada por estes modelos para agir de forma autónoma, interpretar contextos de forma imprevista e contornar barreiras digitais deverá intensificar o debate político e legislativo sobre a necessidade de impor um escrutínio mais rigoroso e regras de segurança mais severas ao desenvolvimento da Inteligência Artificial.

Não perca esta e outras novidades! Subscreva a nossa newsletter e receba as notícias mais importantes da semana, nacionais e internacionais, diretamente no seu email. Fique sempre informado!





Source link

Leave a Reply

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *