Aplicações de Inteligência Artificial com LLMs na Segurança Cibernética: O Desafio das Alucinações

 

Introdução

Este artigo discute as principais aplicações de LLMs em cibersegurança e em Security Operations Centers (SOCs), incluindo modelos de SOC as a Service (SOCaaS), explorando seus benefícios, riscos e estratégias de mitigação diante das alucinações, com base em estudos e frameworks recentes até 2025.

Aplicações dos LLMs na Segurança Cibernética

LLMs já estão sendo aplicados em múltiplas funções:

• Detecção de ameaças: análise de logs e correlação de eventos para identificar anomalias [1].
• Simulação de ataques: geração de cenários de phishing e engenharia social, úteis para treinamento [1].
• Análise de malware: auxílio na interpretação de código e sugestão de contramedidas, alinhadas a frameworks como o MITRE ATT&CK [3].
• Automação administrativa: geração de relatórios e apoio em auditorias [1].
• SOC e SOCaaS: classificação de alertas, execução de playbooks automatizados e apoio na produção de relatórios para clientes [4].

Essas aplicações aumentam a capacidade analítica e apoiam equipes em ambientes de escassez de especialistas [1].

Benefícios das Aplicações de LLMs

Os benefícios mais relevantes incluem:

• Escalabilidade: processamento de grandes volumes de dados em tempo real [1].
• Automação e velocidade: redução de erros humanos e aceleração da resposta [4].
• Proatividade: simulação de cenários de ataque antes que ocorram [1].
• Eficiência em SOCs: triagem e priorização de alertas mais eficaz [4].

O Problema das Alucinações nos LLMs

 

Apesar dos avanços, os LLMs sofrem com alucinações, outputs incorretos mas plausíveis [2].

• Falsos negativos e falsos positivos: levando à omissão de ameaças ou desperdício de recursos [2].
• IoCs inventados: como IPs ou domínios inexistentes [2].
• Package hallucinations: nomes fictícios de pacotes de software sugeridos por LLMs podem ser explorados por atacantes (“slopsquatting”) [5].
• Programação assistida por IA: sugestões de código com vulnerabilidades [3].

No contexto de SOCaaS, um relatório automatizado incorreto pode comprometer a confiança do cliente e induzir respostas equivocadas [4].

Impactos das Alucinações na Cibersegurança e em SOC/SOCaaS

 

As alucinações podem ser exploradas como superfícies de ataque:

• Manipulação adversária: por meio de prompt injection ou data poisoning [2].
• Sobrecarga operacional: falsos incidentes desviam recursos [2].
• Ataques à cadeia de suprimentos: exploração de pacotes fictícios criados com base em outputs de LLMs [5].
• Comprometimento da confiança em SOCaaS: relatórios errôneos podem gerar riscos regulatórios e contratuais [4].

Estratégias de Mitigação

 

As principais estratégias incluem:

• Fine-tuning com dados verificados [3].
• Retrieval-Augmented Generation (RAG) para ancorar respostas em fontes confiáveis [6].
• Validação cruzada automática com bases de vulnerabilidades e inteligência de ameaças [2].
• Supervisão humana em processos críticos [7].
• Frameworks e benchmarks de segurança:
  • OWASP Top 10 for LLM Applications [8].
  • Métodos de detecção de alucinações com métricas de incerteza [7].
  • Uso de grafos de conhecimento para reduzir alucinações [6].
  • Segurança ofensiva aplicada a sistemas de IA (Red Team) [9].

Conclusão

LLMs oferecem ganhos significativos em eficiência e automação para SOCs e SOCaaS, mas as alucinações representam um risco crítico. A combinação de estratégias de mitigação técnica, supervisão humana e uso de frameworks consolidados será essencial para que a IA seja um aliado confiável na defesa cibernética.

Além disso, é importante salientar que, apesar de seu enorme potencial para lidar com o volume gigantesco de eventos de segurança e a crescente superfície de ataque nas organizações, os LLMs não substituem a presença de analistas de segurança cibernética qualificados. Esses profissionais permanecem indispensáveis para:

• validar outputs gerados pela IA,
• interpretar sinais sutis de ataques,
• aplicar julgamento contextual em incidentes críticos,
• e garantir a resiliência das operações de segurança.

Portanto, o futuro dos SOCs deve ser pensado como um modelo híbrido, em que LLMs ampliam a capacidade de análise e resposta, mas sempre sob supervisão humana contínua. Essa colaboração humano–máquina constitui o caminho mais seguro para alcançar equilíbrio entre escalabilidade, precisão e confiabilidade em cibersegurança.

Referências

 

[1] J. Zhang et al., “When LLMs meet cybersecurity: a systematic literature review,” Cybersecurity, vol. 8, no. 12, pp. 1–29, 2025. doi: 10.1186/s42400-025-00361-w

[2] Y. Yao et al., “A survey on large language model (LLM) security and privacy,” Computers & Security, vol. 144, p. 103656, 2024. doi: 10.1016/j.cose.2024.103656

[3] S. Ben Yaala et al., “Vulnerability detection in large language models,” Journal of Cybersecurity and Privacy, vol. 5, no. 3, pp. 507–523, 2025. doi: 10.3390/jcp5030071

[4] A. K. Sood, S. Zeadally, and E. K. Hong, “The paradigm of hallucinations in AI-driven cybersecurity systems: Understanding taxonomy, classification outcomes, and mitigations,” Computers & Electrical Engineering, vol. 124, p. 110307, 2025. doi: 10.1016/j.compeleceng.2025.110307

[5] J. Spracklen et al., “We have a package for you! A comprehensive analysis of package hallucinations by code-generating LLMs,” USENIX ;login:, vol. 50, no. 3, pp. 19–29, 2025. Available: https://www.usenix.org/publications/loginonline/we-have-package-you-comprehensive-analysis-package-hallucinations-code