Usar IA para programar pode prejudicar seu aprendizado (estudo revela queda de 17% na retenção)

A inteligência artificial está transformando a forma como desenvolvemos software. Ferramentas como GitHub Copilot, Claude e ChatGPT prometem acelerar o desenvolvimento, reduzir erros e aumentar a produtividade. Mas será que existe um custo oculto nessa revolução? Um novo estudo da Anthropic levanta uma questão crucial: assistentes de IA podem estar prejudicando o desenvolvimento de habilidades de programação.

Pesquisas anteriores já mostraram que a IA ajuda profissionais a realizar tarefas específicas mais rapidamente. Em um estudo observacional com dados do Claude.ai, a Anthropic descobriu que a IA pode acelerar algumas tarefas em até 80%. Mas essa produtividade aumentada vem com trade-offs significativos.

Outras pesquisas indicam que, ao usar assistência de IA, as pessoas ficam menos engajadas com seu trabalho e reduzem o esforço cognitivo investido nas tarefas — em outras palavras, elas terceirizam seu pensamento para a IA.

O experimento: 52 desenvolvedores, dois grupos, resultados surpreendentes

Para investigar se esse "offloading cognitivo" pode impedir o crescimento profissional, a Anthropic conduziu um experimento controlado randomizado com desenvolvedores de software. O foco foi na área de programação, onde ferramentas de IA já se tornaram padrão.

A questão central é crítica: enquanto a programação se torna mais automatizada e o trabalho acelera, os humanos ainda precisarão das habilidades para detectar erros, orientar resultados e fornecer supervisão para IA implantada em ambientes de alto risco. A IA oferece um atalho tanto para o desenvolvimento de habilidades quanto para maior eficiência? Ou os ganhos de produtividade minam o aprendizado?

Design do estudo

O experimento recrutou 52 engenheiros de software (principalmente júniores), todos usando Python pelo menos uma vez por semana há mais de um ano. Os participantes tinham familiaridade com assistentes de IA, mas não conheciam Trio, a biblioteca Python usada no teste.

O estudo foi dividido em três etapas:

1. Aquecimento inicial

2. Tarefa principal: codificar dois recursos diferentes usando Trio (requerendo compreensão de programação assíncrona)

3. Quiz avaliativo

Os participantes foram informados sobre o quiz, mas instruídos a trabalhar o mais rápido possível. A tarefa foi projetada para simular como alguém aprende uma nova ferramenta através de um tutorial autoguiado.

Cada participante recebeu descrição do problema, código inicial e explicação dos conceitos Trio necessários. A plataforma online incluía um assistente de IA na barra lateral com acesso ao código dos participantes, capaz de produzir código correto quando solicitado.

Como a avaliação funcionou

A avaliação foi baseada em pesquisas de educação em ciência da computação, identificando quatro tipos de questões para avaliar domínio de habilidades de programação:

O foco principal foi em debugging, leitura de código e problemas conceituais — as habilidades mais importantes para supervisionar código cada vez mais gerado por IA.

Resultados: produtividade vs aprendizado

Os resultados revelaram uma tensão clara entre velocidade e compreensão:

Velocidade: Em média, participantes do grupo IA terminaram cerca de dois minutos mais rápido, embora a diferença não tenha sido estatisticamente significativa.

Aprendizado: Houve diferença significativa nas notas do quiz. O grupo IA obteve média de 50%, comparado a 67% no grupo que codificou manualmente — equivalente a quase duas notas de letra completas (Cohen's d=0.738, p=0.01).

A maior lacuna entre os grupos apareceu em questões de debugging, sugerindo que a capacidade de entender quando o código está incorreto e por que falha pode ser particularmente prejudicada se a IA impedir o desenvolvimento.

Como os desenvolvedores realmente usaram a IA

Uma descoberta surpreendente foi quanto tempo os participantes passaram interagindo com o assistente de IA. Vários levaram até 11 minutos (30% do tempo total) compondo até 15 consultas diferentes. Isso ajudou a explicar por que, em média, usar IA não resultou em ganhos significativos de velocidade.

Participantes sem IA encontraram mais erros — incluindo erros de sintaxe e conceitos Trio, estes últimos mapeando diretamente para tópicos testados na avaliação. A hipótese é que participantes que encontraram mais erros Trio provavelmente melhoraram suas habilidades de debugging ao resolver esses erros independentemente.

Padrões de interação: o que diferencia alto e baixo desempenho

A análise qualitativa identificou padrões distintos de interação com IA, levando a diferentes resultados.

Padrões de baixa pontuação (média < 40%)

1. Delegação total à IA (n=4)

• Dependência completa da IA para escrever código

• Completaram tarefas mais rapidamente

• Encontraram poucos ou nenhum erro

• Pontuação média mais baixa

2. Dependência progressiva de IA (n=4)

• Começaram fazendo perguntas, mas eventualmente delegaram toda escrita de código

• Pontuaram mal principalmente por não dominar conceitos da segunda tarefa

3. Debugging iterativo com IA (n=4)

• Confiaram na IA para debugar e verificar código

• Fizeram mais perguntas, mas usaram o assistente para resolver problemas em vez de clarificar compreensão

• Foram mais lentos e pontuaram mal

Padrões de alta pontuação (média ≥ 65%)

1. Geração seguida de compreensão (n=2)

• Geraram código primeiro, depois fizeram perguntas de acompanhamento para melhorar compreensão

• Não foram particularmente rápidos, mas mostraram maior entendimento no quiz

• Abordagem similar à delegação, mas com verificação da própria compreensão

2. Código híbrido com explicação (n=3)

• Compuseram consultas pedindo geração de código junto com explicações

• Ler e entender explicações levou mais tempo, mas ajudou na compreensão

3. Investigação conceitual (n=7)

• Fizeram apenas perguntas conceituais

• Dependeram da compreensão melhorada para completar a tarefa

• Encontraram muitos erros, mas os resolveram independentemente

• Modo mais rápido entre padrões de alta pontuação

Implicações práticas: o que isso significa para desenvolvedores e empresas

Para desenvolvedores individuais

Os resultados sugerem que esforço cognitivo — e até mesmo ficar dolorosamente travado — provavelmente é importante para promover maestria. Esta é uma lição que se aplica a como indivíduos escolhem trabalhar com IA e quais ferramentas usam.

Dicas para usar IA sem prejudicar seu aprendizado:

• Use modos de aprendizado quando disponíveis (Claude Code Learning, ChatGPT Study Mode)

• Faça perguntas conceituais, não apenas peça código pronto

• Solicite explicações do código gerado

• Tente resolver problemas independentemente antes de pedir ajuda à IA

• Use a IA para verificar sua compreensão, não para substituí-la

Para empresas e gestores

Incorporar IA agressivamente no local de trabalho, particularmente em engenharia de software, vem com trade-offs. Benefícios de produtividade podem custar habilidades necessárias para validar código escrito por IA se o desenvolvimento de habilidades de engenheiros júniores foi prejudicado pelo uso de IA.

Considerações importantes:

• Pense intencionalmente sobre como implantar ferramentas de IA em escala

• Considere sistemas ou escolhas de design que garantam que engenheiros continuem aprendendo enquanto trabalham

• Equilibre pressões organizacionais com desenvolvimento de habilidades a longo prazo

• Capacite desenvolvedores juniores para exercer supervisão significativa sobre sistemas que constroem

Limitações e próximos passos

Este estudo é apenas um primeiro passo para descobrir como a colaboração humano-IA afeta a experiência dos trabalhadores.

Limitações importantes:

• Amostra relativamente pequena (52 participantes)

• Avaliação mediu compreensão logo após a tarefa de programação

• Não está claro se desempenho imediato no quiz prevê desenvolvimento de habilidades a longo prazo

• Focou apenas em programação

Perguntas para pesquisas futuras:

• Efeitos da IA em tarefas além da programação

• Se esse efeito diminui longitudinalmente conforme engenheiros desenvolvem maior fluência

• Como assistência de IA difere da assistência humana durante o aprendizado

• Impactos de ferramentas agênticas de programação como Claude Code

Conclusão: equilibrando produtividade e aprendizado

Os resultados apresentados aqui não estão em contradição com pesquisas anteriores que mostraram ganhos de produtividade de 80% com IA. Esse estudo anterior mediu produtividade em tarefas onde participantes já tinham habilidades relevantes, enquanto este examina o que acontece quando pessoas estão aprendendo algo novo.

É possível que a IA tanto acelere a produtividade em habilidades bem desenvolvidas quanto dificulte a aquisição de novas — embora mais pesquisas sejam necessárias para entender essa relação.

Para acomodar o desenvolvimento de habilidades na presença de IA, precisamos de uma visão mais expansiva dos impactos da IA sobre os trabalhadores. Em um local de trabalho aumentado por IA, ganhos de produtividade importam, mas também importa o desenvolvimento a longo prazo da expertise da qual esses ganhos dependem.

A mensagem principal é clara: nem toda dependência de IA é igual. A forma como interagimos com IA enquanto tentamos ser eficientes afeta quanto aprendemos. Para desenvolvedores e outras profissões, o desafio é encontrar o equilíbrio entre aproveitar a aceleração que a IA oferece e manter o desenvolvimento contínuo de habilidades críticas.

FAQ: Perguntas frequentes sobre IA e desenvolvimento de habilidades

A IA sempre prejudica o aprendizado de programação?

Não. O estudo mostrou que a forma de interagir com IA importa mais do que simplesmente usá-la. Desenvolvedores que faziam perguntas conceituais e buscavam compreensão tiveram melhor desempenho que aqueles que apenas delegavam código.

Devo evitar usar assistentes de IA enquanto aprendo?

Não necessariamente. Use-os estrategicamente: peça explicações, faça perguntas conceituais e tente resolver problemas independentemente antes de pedir ajuda completa à IA.

Ferramentas de IA tornarão habilidades de debugging obsoletas?

Pelo contrário. O estudo sugere que habilidades de debugging se tornam ainda mais críticas em um mundo onde cada vez mais código é gerado por IA, pois alguém precisa identificar quando esse código está incorreto.

Quanto tempo economizo usando IA para programar?

No estudo, o grupo IA terminou cerca de dois minutos mais rápido (não estatisticamente significativo). Ganhos de produtividade provavelmente são maiores em tarefas repetitivas ou familiares.

Como posso usar IA sem prejudicar minhas habilidades?

Use modos de aprendizado, faça perguntas conceituais, solicite explicações do código gerado e tente resolver problemas independentemente antes de pedir ajuda à IA.