Pentest IA/LLM

Revisão das metodologias de pentest da Vantico para uma aplicação de IA/LLM

Na Vantico, seguimos uma metodologia padrão do setor baseada no OWASP Top 10 para Aplicações de Modelos de Linguagem de Grande Porte.

A Vantico oferece dois níveis de pentest de Inteligência Artificial (IA) e de Modelos de Linguagem de Grande Porte (LLM) para ativos Web e Web + API.

Injeção de Prompt em LLM/IA Focado em testar a segurança dos seus sistemas de IA contra ataques de injeção de prompt. Esses ataques manipulam a entrada da IA para gerar uma saída maliciosa, o que pode comprometer a integridade e a confidencialidade do sistema. Os pentests de Injeção de Prompt em IA/LLM são realizados como um pentest Ágil com um relatório automatizado.

LLM de Cobertura Total Teste seus LLMs com base no Open Web Application Security Project (OWASP) Top 10 para Aplicações de LLM. Nossos testes verificam se suas aplicações de IA estão protegidas contra acesso não autorizado, vazamento de dados e interrupções. Para uma cobertura completa do seu LLM e de suas conexões Web e API, este é realizado como um pentest Abrangente, que inclui uma análise final e um relatório do pentest.

Para um LLM de Cobertura Total, realizamos as seguintes etapas para garantir uma cobertura completa:

• Reconhecimento Inicial de Escopo Direcionado

• Serviços de Aplicação

• Conjunto de Dados de Treinamento e Processamento

• Serviços de Produção de LLM

• Plugins

• Serviços a Jusante

Reconhecimento Inicial de Escopo Direcionado Os testadores examinam a documentação fornecida e o escopo apresentado no briefing. Utilizando diversas ferramentas, os testadores confirmam a presença de diferentes conjuntos de componentes e tecnologias no ambiente.

Serviços de Aplicação A Vantico examina a aplicação em busca de qualquer dependência excessiva, exposição de informações sensíveis, tratamento inseguro de saída ou outras áreas críticas que possam impactar os serviços a jusante. Os testadores explorarão a aplicação para identificar se os seguintes itens estão presentes e acessíveis: vazamento de informações, exposição e bypass de filtros. Os LLMs precisam ser monitorados, validados e protegidos.

Os testadores tentarão injetar informações enganosas e código/software inseguro no LLM. Por fim, verificarão o tratamento de saída para identificar casos de Cross-Site Scripting (XSS), Cross-Site Request Forgery (CSRF) e Server-Side Request Forgery (SSRF), escalonamento de privilégios ou execução remota de código em sistemas de backend.

---

Conjunto de Dados de Treinamento e Processamento A Vantico também testa para injeção maliciosa de dados e injeção de conteúdo que possam impactar os dados de treinamento do LLM, o que pode levar a danos reputacionais e à exploração do sistema. A Vantico verificará se os processos de triagem e os filtros de entrada estão implementados e se atacantes podem injetar dados maliciosos ou falsificados nos dados do modelo. Os testadores também verificarão se o conjunto de dados de treinamento está sujeito a exposições e vazamentos não intencionais.

---

Serviços de Produção de LLM Os testadores da Vantico interagem com o LLM para identificar quaisquer injeções de prompt exploráveis e configurações incorretas que possam ocasionar ataques de Negação de Serviço (DoS) no modelo. Eles explorarão injeções de prompt diretas e indiretas para obter acesso não autorizado, exfiltrar dados ou documentar replays de prompt. Além disso, os testadores verificarão a validação de entrada, os limites de taxa e se há monitoramento de recursos implementado para prevenir ataques de negação de serviço.

A Vantico também revisará a funcionalidade e as permissões do LLM para garantir que não haja autonomia excessiva e que o modelo possua controles de acesso e restrições de rede, mantendo a confidencialidade, integridade e disponibilidade.

---

Plugins A Vantico testa todos os plugins instalados para identificar explorações relacionadas à dependência excessiva, à exposição de informações sensíveis ou ao tratamento inseguro de saída, de forma similar à abordagem aplicada aos serviços de aplicação. Adicionalmente, a Vantico revisará o design inseguro dos plugins e a possível autonomia excessiva. Os plugins são suscetíveis à manipulação de URLs, acesso não autorizado e tomada de controle de repositórios, podendo ter acesso desproporcional a sistemas críticos e informações que podem ser exploradas.

---

Serviços a Jusante A Vantico revisará os serviços para confirmar que a exploração de bibliotecas, golpes envolvendo plugins, pacotes comprometidos e componentes de terceiros desatualizados ou depreciados com vulnerabilidades documentadas não impactaram os dados de treinamento. Além disso, os testadores verificarão se há configurações para aprovação humana e se a autorização está implementada nos sistemas a jusante.

Informações Adicionais de Metodologia: O OWASP LLM Top 10 de 2025 identifica as seguintes vulnerabilidades:

• LLM01: Injeção de Prompt

• LLM02: Divulgação de Informações Sensíveis

• LLM03: Cadeia de Suprimentos

• LLM04: Envenenamento de Dados e do Modelo

• LLM05: Tratamento Inadequado de Saída

• LLM06: Autonomia Excessiva

• LLM07: Vazamento de Prompt do Sistema

• LLM08: Fraquezas em Vetores e Embeddings

• LLM09: Desinformação

• LLM10: Consumo Ilimitado

Ferramentas Nossos pentesters podem usar ferramentas tais como:

• Adversarial Robustness Toolbox (ART)

• CleverHans

• Foolbox

• Burp Suite / OWASP ZAP

• AI Fairness 360 / Fairlearn