Chain-of-thought prompting: guia essencial para melhorar respostas de LLMs em 2026

Grandes Modelos de Linguagem (LLMs) geram texto usando uma técnica chamada autoregressão, que envolve prever a próxima palavra mais provável em uma sequência com base nas palavras anteriores. Agentes baseados em LLMs, como o ChatGPT, também são ajustados para seguir a intenção do usuário. Portanto, eles não apenas completam a sequência de entrada, mas capturam a intenção do usuário e geram uma resposta adequada.

Se você já usou o ChatGPT por um tempo, certamente percebeu que a qualidade de uma resposta também depende da qualidade da entrada do usuário — o agente fornece respostas "melhores" para certas consultas do que para outras.

O segredo para obter a melhor resposta possível é entender como os LLMs geram a saída e formular o prompt de entrada de acordo. O conjunto de técnicas aplicadas à entrada do usuário para explorar todo o potencial do modelo é conhecido como Prompt Engineering.

Neste artigo, vamos explorar uma das técnicas de Prompt Engineering mais poderosas: o Chain-of-Thought (CoT) prompting. Esta técnica envolve estruturar o prompt de uma forma que facilite para o modelo completar tarefas complexas que exigem raciocínio ou resolução de problemas. Estudos mostraram que, sem CoT, o mesmo modelo falha em fornecer a resposta correta.

Capacidades padrão dos modelos

Embora os LLMs sejam conhecidos por sua capacidade de generalização, as capacidades do modelo dependem da tarefa. Ao usar LLMs, é importante considerar que cada modelo foi treinado em uma base de dados enorme, porém limitada, e foi otimizado para certas tarefas. Portanto, enquanto o modelo pode ter alto desempenho em certos domínios, pode falhar em outros.

As capacidades do modelo também dependem do tempo disponível. Assim como em humanos, se você me pede uma soma de 5 dígitos, vai precisar de algum tempo para pensar e responder com a resposta correta. Se você fizer isso com pressa, pode facilmente calcular errado e falhar na resposta.

Da mesma forma, se dermos a um modelo de linguagem uma tarefa muito complexa para fazer no tempo que leva para calcular seu próximo token, ele pode falhar em fornecer a resposta correta.

No entanto, semelhante aos humanos, isso não significa necessariamente que o modelo seja incapaz de realizar a tarefa. Com algum tempo ou orientação para raciocinar, o modelo ainda pode ser capaz de responder de forma confiável.

A resposta do modelo e o tempo necessário para gerá-la também podem ser influenciados por vários fatores, como a formulação específica da pergunta:

• Se o prompt for curto e simples, pode não levar muito tempo para o modelo gerar o próximo token.

• Se o prompt for longo e complexo, o modelo pode precisar processar mais informações antes de gerar o próximo token, o que pode levar mais tempo.

O Chain-of-Thought prompting orienta os LLMs a terem sucesso na resolução de tarefas complexas, tanto escolhendo a forma de formular o prompt quanto fornecendo ao modelo o tempo ou as etapas necessárias para gerar a resposta correta.

O que é Chain-of-Thought prompting?

Chain-of-Thought prompting é uma técnica que melhora o desempenho de modelos de linguagem ao solicitar explicitamente que o modelo gere uma explicação passo a passo ou processo de raciocínio antes de chegar a uma resposta final. Este método ajuda o modelo a decompor o problema e não pular nenhuma tarefa intermediária para evitar falhas de raciocínio.

O CoT é eficaz porque ajuda a focar o mecanismo de atenção do LLM. A decomposição do processo de raciocínio faz com que o modelo concentre sua atenção em uma parte do problema por vez, minimizando o risco de erros que podem surgir ao lidar com muita informação simultaneamente.

Origem do CoT

Pesquisadores do Google introduziram o Chain-of-Thought prompting em um artigo intitulado "Chain of Thought Prompting Elicits Reasoning in Large Language Models" em 2022. Esta pesquisa destacou como guiar um modelo através de uma série de etapas de raciocínio intermediárias melhorou significativamente seu desempenho em tarefas como resolução de problemas matemáticos, raciocínio lógico e perguntas de múltiplas etapas.

Os autores originais referem-se à cadeia de pensamento como a série de etapas de raciocínio intermediárias em linguagem natural que levam à saída final, chamando essa abordagem de Chain-of-Thought prompting.

Como funciona o Chain-of-Thought prompting?

O processo começa com a elaboração de prompts que incentivam o modelo a pensar no problema de maneira passo a passo, gerando assim as etapas intermediárias sem pular direto para a resposta final. Isso pode ser feito usando diferentes estratégias:

#1. Instruções explícitas

Dar instruções explícitas significa decompor o problema no próprio prompt do usuário. Por exemplo, usar frases como "Primeiro, precisamos considerar..." para solicitar que o modelo detalhe seu processo de pensamento.

Vamos ver isso na prática!

Imagine que minha mãe espanhola me enviou a receita da família para preparar Cold Brew:

input_text = """
¡Preparar café Cold Brew es un proceso sencillo y refrescante!
Todo lo que necesitas son granos de café molido grueso y agua fría.
Comienza añadiendo el café molido a un recipiente o jarra grande.
Luego, vierte agua fría, asegurándote de que todos los granos de café
estén completamente sumergidos.
Remueve la mezcla suavemente para garantizar una saturación uniforme.
Cubre el recipiente y déjalo en remojo en el refrigerador durante al
menos 12 a 24 horas, dependiendo de la fuerza deseada.
"""

Digamos que estamos interessados em traduzir todas as palavras relacionadas a café para o inglês, e queremos usar o ChatGPT para a tarefa:

prompt = f"""
Give me a numbered list of all coffee-related words in English from the text below:
Text: <{input_text}>
"""
response = chatgpt_call(prompt)
print(response)

Se pedirmos ao modelo para fazer essa tarefa diretamente, podemos ver que ele executa a tarefa incorretamente. Não apenas produz palavras não relacionadas a café, mas também as produz em espanhol, não em inglês.

Podemos considerar que essa tarefa é complexa, pois requer duas etapas:

1. Traduzir o texto do espanhol para o inglês.

2. Identificar as palavras relacionadas ao café.

Em vez disso, o modelo pula direto para a tarefa final de identificar as palavras relacionadas ao café, perdendo a etapa de tradução. Ao especificar a tradução como uma tarefa intermediária ou decompor a tarefa nas duas etapas principais, podemos guiar o modelo em direção à saída correta:

prompt = f"""
Give me a numbered list of all coffee-related words in English from the text below:
The task requires the following actions:
1 - Translate the given text into English.
2 - List each coffee-related word from the English text.
Text: <{input_text}>
"""
response = chatgpt_call(prompt)
print(response)

Incluir a Chain-of-Thought acima leva à resposta correta.

#2. Instruções implícitas

Às vezes, não há necessidade de decompor o problema nós mesmos no prompt. A Universidade de Tóquio, juntamente com o Google Research, propôs um método interessante para melhorar as respostas do LLM que consistia em simplesmente adicionar "Let's think step by step" (Vamos pensar passo a passo) no final do prompt original.

Esta frase simples solicita que o modelo raciocine em voz alta e passe por todas as etapas necessárias para realizar a tarefa.

Aplicando esse truque simples ao conjunto de dados de matemática MultiArith, os autores descobriram que essa instrução implícita quadruplicou a precisão de 18% para 79%!

#3. Exemplos demonstrativos

Usamos o termo "zero-shot" na seção acima várias vezes. Zero-shot refere-se à capacidade de um modelo de executar uma tarefa sem ter sido explicitamente treinado em exemplos dessa tarefa específica.

Ele se baseia na capacidade do modelo de generalizar e gerar respostas apropriadas para tarefas novas e não vistas anteriormente. Isso significa que quando abrimos a interface do usuário do ChatGPT e fazemos uma pergunta diretamente, estamos fazendo zero-shot prompting.

No entanto, existem maneiras de mostrar ao modelo vários exemplos de tarefas semelhantes que queremos resolver. Fornecer uma série de exemplos demonstrativos é conhecido como one-shot e few-shot prompting, dependendo do número de exemplos fornecidos.

One-shot prompting

O one-shot prompting envolve mostrar ao modelo um exemplo semelhante à tarefa-alvo para orientação.

Few-shot prompting

O few-shot learning funciona da mesma forma que o one-shot, mas o número de exemplos fornecidos é maior, tipicamente em torno de cem. O desempenho do modelo aumenta linearmente com o número de exemplos.

Few-shot prompting foi estudado por Jason Wei e Denny Zhou et al. do Google. Esta abordagem é particularmente útil para tarefas que requerem conhecimento mais especializado ou específico do domínio, onde o modelo pode não ter conhecimento de fundo suficiente para executar a tarefa usando zero-shot ou one-shot prompting. Few-shot prompting às vezes é visto como um pequeno ajuste fino do modelo em uma coleção de dados novos ou especiais.

Few-shot CoT prompting

One-shot e few-shot prompting não são CoT. No entanto, pesquisadores exploraram como o few-shot learning pode ser combinado com CoT prompting, conhecido como "Few-shot CoT prompting". Em um few-shot CoT, o modelo recebe alguns exemplos de problemas junto com suas soluções passo a passo para guiar seu processo de raciocínio.

Combinar few-shot CoT prompting com outras técnicas, como retrieval-augmented generation ou consulta interativa, pode melhorar ainda mais o desempenho e a confiabilidade do modelo. Integrar bases de conhecimento externas, bancos de dados ou sistemas de recuperação de informações permite que o modelo aprimore seu raciocínio com informações factuais e atualizadas.

Implementando Chain-of-Thought prompting na prática

Existem várias maneiras de incluir CoT em nossos prompts:

• Templates estruturados: Usar templates que delineiam explicitamente as etapas que o modelo deve seguir, como vimos no exemplo do café.

• Prompts interativos: Envolver o modelo em um diálogo onde ele é solicitado a explicar cada etapa ou guiar o processo de raciocínio do modelo fornecendo feedback ou correções em cada etapa. Isso também é conhecido como abordagem Human-in-the-Loop.

• Loops de feedback: Incorporar mecanismos de feedback onde as etapas intermediárias do modelo são avaliadas e refinadas, se necessário. Isso também é conhecido como Multi-Stage prompting.

Múltiplos frameworks podem ajudá-lo a implementar CoT e outras técnicas de Prompt Engineering, mas LangChain é o mais popular.

Benefícios do Chain-of-Thought prompting

O Chain-of-Thought prompting oferece vários benefícios, particularmente no aprimoramento do desempenho e confiabilidade de modelos de linguagem em tarefas complexas.

#1. Precisão aprimorada

Ao dividir um problema em etapas menores e gerenciáveis, o modelo pode lidar com tarefas complexas com mais precisão. Etapas intermediárias fornecem pontos de verificação onde erros potenciais podem ser detectados e corrigidos, levando a respostas finais mais precisas.

A razão pela qual tarefas como problemas matemáticos, quebra-cabeças lógicos ou perguntas de múltiplas etapas se beneficiam dessa abordagem é porque elas já naturalmente requerem múltiplas etapas de raciocínio.

#2. Interpretabilidade aprimorada

O processo de raciocínio passo a passo é transparente, permitindo que os usuários entendam como o modelo chegou à sua conclusão. Essa transparência constrói confiança nas saídas do modelo.

Também pode ajudar na depuração, já que os usuários podem identificar mais facilmente onde o modelo pode ter errado em seu raciocínio.

Limitações e considerações

É claro que, como qualquer técnica, existem sempre certas desvantagens que vale a pena considerar:

Dependência do modelo

É importante considerar que o CoT é uma técnica dependente do modelo. Portanto, a eficácia do CoT prompting depende em grande parte das capacidades do modelo de linguagem subjacente.

Geração de prompts

Elaborar prompts CoT eficazes também pode ser desafiador. Requer design cuidadoso para garantir que os prompts orientem o modelo corretamente através do processo de raciocínio. Atualizar e manter prompts para diferentes tipos de tarefas e domínios pode ser demorado e pode exigir refinamento constante.

Desempenho

O CoT prompting pode não ser tão eficaz para tarefas que não têm um processo de raciocínio sequencial claro. Além disso, pode não generalizar bem para tipos inteiramente novos ou inesperados de problemas sem treinamento ou adaptação adicional, portanto, manter uma base de conhecimento atualizada e prompts adequados é crucial.

Trade-offs

Embora o CoT prompting aumente a interpretabilidade fornecendo explicações passo a passo, pode levar a saídas mais longas e mais verbosas, que nem sempre podem ser desejáveis para todas as aplicações.

Conclusão

Neste artigo, vimos como o Chain-of-Thought prompting representa um avanço significativo no aprimoramento das capacidades de raciocínio de Grandes Modelos de Linguagem, juntamente com alguns exemplos práticos de sua implementação.

Seja usando templates de prompt, prompting interativo ou loops de feedback, a ideia por trás dessas abordagens é guiar o modelo através do processo de raciocínio e explorar suas capacidades.

Além disso, exploramos técnicas poderosas como one-shot e few-shot prompting que melhoram ainda mais o desempenho do modelo e podem ser combinadas com CoT, juntamente com os benefícios e algumas limitações que não podemos ignorar.

Considere experimentar as técnicas discutidas neste artigo para construir prompts mais confiáveis e de alto desempenho, e tenha em mente: Prompt Engineering pode ter um grande impacto em suas saídas!

Perguntas frequentes sobre Chain-of-Thought prompting

O Chain-of-Thought prompting pode ser usado para todos os tipos de perguntas?

Embora o Chain-of-Thought prompting seja particularmente eficaz para tarefas complexas de raciocínio em múltiplas etapas, pode não ser sempre necessário para perguntas mais simples que podem ser respondidas diretamente. É mais benéfico para problemas onde um processo detalhado, passo a passo, também é naturalmente necessário para chegar à resposta correta.

O Chain-of-Thought prompting pode ser usado com qualquer modelo de IA?

Sim, por exemplo, ao treinar um robô para navegar em um labirinto, a abordagem CoT pode ser usada para decompor a navegação em etapas, como identificar a posição atual, avaliar caminhos possíveis e escolher o caminho com menos obstáculos.

O Chain-of-Thought prompting está contribuindo para a explicabilidade da IA?

Sim, ele ajuda o usuário a seguir o processo de raciocínio do modelo, tornando-o mais transparente e interpretável. Isso é particularmente valioso em áreas como saúde e finanças, onde entender a lógica por trás das decisões de IA é crucial.

Qual é a diferença entre Chain-of-Thought prompting e Multi-Step prompting?

O Chain-of-thought prompting envolve guiar o modelo através de uma série de etapas de raciocínio lógico para resolver um problema. Em contraste, o multi-step prompting envolve fornecer sequencialmente prompts ou dicas adicionais em cada estágio do problema, guiando progressivamente o modelo em direção à solução.

O que é Self-Consistency com Chain-of-Thought prompting?

Na self-consistency, em vez de produzir uma única cadeia de pensamento como no CoT, o modelo gera múltiplas cadeias para a mesma pergunta, cada cadeia representa um caminho diferente de raciocínio. A resposta final é determinada com base no resultado mais frequente entre esses diferentes caminhos de raciocínio. Isso ajuda a mitigar erros que podem ocorrer em uma única cadeia de raciocínio.