Skip to content
AI & Innovation, Cyber Resilience & Data Security

How AI Has Impacted the Security Mission

CISOs must simultaneously defend against AI attacks and enable teams to use it safely.


Onde quer que você vá, ouve-se a mesma história. A IA mudou tudo, os invasores estão mais rápidos e a governança é fundamental. Essa é uma narrativa que outros 50 CISOs poderiam contar.
Após 20 anos na área de segurança cibernética, tenho a vantagem da perspectiva. Passei por grandes mudanças tecnológicas: a internet, os dispositivos móveis, a nuvem… e muito mais. Para mim, o que é interessante é o que há de fundamentalmente diferente na IA em comparação com todas as outras transições tecnológicas.  

A IA não substituiu a missão do CISO. Sim, ela mudou o ritmo, mas uma boa segurança sempre teve a ver com ser a equipe que não apenas protege a tecnologia, mas também ajuda a empresa a se destacar no mercado em que atua. Assim como aconteceu com a internet, os dispositivos móveis e a nuvem, garantir que a empresa utilize bem a IA é um requisito básico.

1. Como era meu trabalho há um ano

Há um ano, minhas prioridades teriam sido muito familiares a qualquer CISO: ransomware, identidade, gerenciamento de vulnerabilidades, risco de terceiros, segurança na nuvem, proteção de dados, resiliência. A IA estava na agenda, mas principalmente como um risco associado a uma tecnologia emergente. Hoje, ela está se tornando parte de quase todas essas discussões.

O mundo do ano passado não era simples. Tínhamos que proteger identidades, sistemas, aplicativos, infraestrutura e dados. E agora, tudo isso continua, mas estamos lidando com sistemas capazes de consumir enormes quantidades de informação, gerar novas informações, fazer recomendações, escrever software, automatizar fluxos de trabalho e, cada vez mais, agir em nome das pessoas. Os problemas antigos não desapareceram. A IA chegou e acelerou o ritmo da pilha de segurança existente.

2. O que mudou e por que essa mudança não foi gradual

O maior ponto de inflexão é a queda drástica no custo da capacidade. Um invasor não precisa mais das mesmas habilidades nem do mesmo investimento de tempo. Antes, ele teria que dedicar inúmeras horas ao aprimoramento de suas habilidades de programação ou à produção de conteúdo para operar em grande escala, além de inúmeras horas para identificar e refinar alvos. Ao mesmo tempo, meus próprios funcionários passaram, de repente, a ter ferramentas poderosas capazes de processar informações corporativas e produzir código, análises e conteúdo.
Portanto, temos duas acelerações simultâneas. O que mudou não foi simplesmente o fato de os invasores terem acesso à IA. Todos passaram a ter acesso à IA. E a adoção ocorreu de baixo para cima. Os funcionários não esperaram pela estratégia de IA da empresa. Os desenvolvedores começaram a usar copilotos. As pessoas experimentaram modelos de linguagem de grande porte (LLMs) públicos. As áreas de negócios descobriram oportunidades de automação.
Para a maioria das principais tecnologias corporativas, a área de segurança teve alguma oportunidade de preparar o ambiente antes da adoção generalizada. No caso da IA generativa, a adoção muitas vezes ocorreu antes da governança.

3. Como a própria missão mudou

Historicamente, o setor de segurança se perguntava: “Como protegemos essa tecnologia?”. Mas a IA levanta outra questão: “Como permitimos que a empresa utilize essa tecnologia com segurança?”.
Isso leva os CISOs a questões que não se limitam apenas à segurança cibernética:

  • Que informações os funcionários podem fornecer aos sistemas de IA?
  • Quais modelos e serviços são aprovados?
  • O que acontece com as instruções e os dados enviados?
  • Onde os dados corporativos são armazenados?
  • Como gerenciamos identidades, agentes e permissões de IA?
  • Como validamos o código gerado pela IA?
  • Que tipo de supervisão humana é necessária?
  • Como as responsabilidades jurídicas, de privacidade, segurança, governança de dados e conformidade se relacionam entre si?

Dito isso, os CISOs precisam ter cuidado para não se tornarem luditas ou a “polícia da IA”. O papel do CISO é ajudar a definir os limites de segurança dentro dos quais a empresa possa agir com agilidade. Se a estratégia de segurança para a IA for simplesmente “não use”, você já perdeu. As pessoas vão usá-la. Nosso trabalho é tornar o caminho seguro o caminho mais fácil.

4. O que tive que reaprender ou desaprender

Uma coisa que tive que desaprender foi a ideia de que a equipe de segurança precisa compreender totalmente uma tecnologia antes que a empresa a adote. Com a IA, a adoção e a experimentação estão ocorrendo simultaneamente à nossa compreensão dos riscos. Temos que permitir uma adoção inteligente e ponderada.

Outra questão é o determinismo. Os profissionais de segurança foram formados avaliando sistemas nos quais, de maneira geral, a Entrada A deveria produzir a Saída B. Os sistemas generativos não se comportam de maneira tão simples assim. Estamos acostumados a perguntar se um controle funciona. A IA nos obriga a nos sentirmos mais à vontade para perguntar com que confiabilidade ele funciona, em que condições ele falha e o que acontece quando isso ocorre. Isso é intelectualmente interessante.
Vinte anos de experiência na área de segurança ensinam a reconhecer padrões. Agora, a IA me lembra que o reconhecimento de padrões pode se tornar um risco quando as suposições subjacentes mudam.
No início, presumi que o principal problema seria o uso malicioso da IA externamente contra nós. Mas logo descobri que o maior impacto seria internamente, na governança de dados, na adoção interna e na capacitação das equipes de negócios.
5. O que vem a seguir/dicas para colegas
Primeiro, não criem um universo separado para a segurança da IA.Mapeiem a IA aos conceitos que vocês já conhecem: identidade, classificação de dados, privilégio mínimo, registro de eventos, risco de terceiros, desenvolvimento seguro, resposta a incidentes e resiliência.Em segundo lugar, preste muita atenção aos agentes. A interação predominante atualmente costuma ser: humano → modelo → resposta. A arquitetura mais relevante está se tornando cada vez mais: humano → agente → ferramentas → sistemas → dados → ações. Quando a IA puder realizar ações (em vez de apenas gerar texto), a autorização, a identidade, a proveniência, o monitoramento e o alcance do impacto se tornam muito mais importantes. Estou menos preocupado com uma IA dizendo a coisa errada do que com um agente de IA autorizado a fazer a coisa errada.Em terceiro lugar, proteja a camada de dados.Os modelos mudarão rapidamente. Os fornecedores mudarão. As arquiteturas mudarão. A maior empresa de IA da atualidade e o modelo de ponta mais badalado logo se tornarão o Betamax. Seus ativos de segurança duradouros continuam sendo saber quais dados você possui, onde eles estão, quem pode acessá-los e o que essas pessoas têm permissão para fazer com eles.
Em quarto lugar, não avalie o sucesso com base na quantidade de IA que você bloqueia.Uma estrutura de segurança sofisticada deve permitir a adoção legítima e, ao mesmo tempo, restringir riscos inaceitáveis. Toda grande mudança tecnológica gera um período em que a capacidade avança mais rápido do que o controle. A internet fez isso. Os dispositivos móveis fizeram isso. A nuvem fez isso. A IA está fazendo isso a uma velocidade extraordinária.

Lidar bem com isso não significa eliminar totalmente o risco da IA. Significa decidir deliberadamente quais riscos você está disposto a assumir, estabelecer limites para eles e, mesmo assim, permitir que os negócios sigam em frente.  

A IA não revogou os fundamentos da segurança cibernética, mas está mudando a economia e a velocidade em torno deles. Após 20 anos de transformações sucessivas na segurança, a IA pode ser a primeira em que o CISO deve, simultaneamente, se defender contra a tecnologia, protegê-la e ajudar a empresa a adotá-la. É isso que torna a situação um desafio.
Bill O’Connellé diretor de segurança da Commvault.

More related posts


AI Data Resilience

Read more about AI Data Resilience