Aprendendo Beautiful Soup: tutorial completo para iniciantes

Um guia passo a passo para instalar, configurar e utilizar Beautiful Soup para extrair dados de HTML e XML

Author

Data Hackers
29 de junho de 2026

Se você está começando no mundo da raspagem de dados, o Beautiful Soup é uma ferramenta essencial que pode simplificar sua experiência com Python. Neste tutorial completo, vamos guiá-lo pelo processo de instalação, configuração e uso dessa biblioteca incrível para extrair informações de arquivos HTML e XML, permitindo que você colete dados valiosos de sites que não oferecem APIs públicas.

Com passos simples e exemplos práticos, você aprenderá a transformar o conteúdo das páginas da web em um formato fácil de manipular, utilizando métodos intuitivos como find() e find_all(). Abordaremos também como lidar com HTML malformado e outras dicas que vão otimizar suas tarefas de web scraping.

Introdução ao Beautiful Soup

Se você está interessado em raspagem de dados da web, uma das bibliotecas mais populares para isso em Python é o Beautiful Soup. Esta ferramenta fornece uma maneira fácil e eficiente de extrair informações de arquivos HTML e XML, permitindo automatizar a coleta de dados em sites que não disponibilizam uma API pública.

Instalando o Beautiful Soup

Para começar a usar o Beautiful Soup, você deve primeiramente instalar a biblioteca e a sua dependência requests, que permitirá obter o conteúdo da página web que deseja analisar. A instalação é simples e pode ser feita através do terminal com os seguintes comandos: 

pip install beautifulsoup4
pip install requests

Após a instalação, você deve importá-lo em seu código Python: 

import requests
from bs4 import BeautifulSoup

Com o Beautiful Soup instalado, ele transforma o conteúdo de uma página da web em uma estrutura navegável, permitindo buscar elementos específicos, como títulos, parágrafos ou links, usando métodos como find() e find_all(). Por exemplo, para pegar o título de uma página, você pode usar: 

titulo = site.find("title")
print(titulo)

Uma característica importante do Beautiful Soup é sua capacidade de lidar com HTML malformado, tornando o processo de extração muito mais confiável. Entre as principais vantagens dessa ferramenta estão sua facilidade de uso e a capacidade de fazer a raspagem de sites estáticos, que carregam todos os dados de uma só vez. Para sites dinâmicos que utilizam muitas chamadas JavaScript, você pode precisar de outras soluções, como o Selenium.

Nos próximos tópicos, você aprenderá na prática como configurar e utilizar o Beautiful Soup para suas próprias aplicações de raspagem de dados.

O Beautiful Soup está hoje entre as principais ferramentas de raspagem de dados, do que é muito válido saber usá-lo

Instalação do Beautiful Soup: Passo a Passo

Passos para instalar o Beautiful Soup

  1. Verifique se você tem o Python instalado: A primeira coisa a fazer é garantir que você possui o Python em seu sistema. Você pode baixar a versão mais recente diretamente do site oficial do Python.

  2. Instale a biblioteca BeautifulSoup: Utilize o gerenciador de pacotes pip para a instalação. Abra seu terminal ou prompt de comando e execute:

  3. Verifique a instalação: Após a instalação, você pode confirmar se tudo foi instalado corretamente ao tentar importar a biblioteca em um script Python:

Exemplo de Código

Aqui está um exemplo prático que ajuda a verificar se a instalação foi bem-sucedida. O código a seguir cria um objeto BeautifulSoup a partir de um documento HTML simples: 

# Importando a biblioteca
from bs4 import BeautifulSoup

# Criando um documento HTML simples
html_doc = """
<html>
    <head>
        <title>A história do Dormouse</title>
    </head>
    <body>
        <p class="story">Era uma vez três irmãs pequenas; e seus nomes eram
        <a href="http://example.com/elsie">Elsie</a>,
        <a href="http://example.com/lacie">Lacie</a> e
        <a href="http://example.com/tillie">Tillie</a>;
        e elas viviam no fundo de um poço.</p>
    </body>
</html>
"""

# Criando um objeto BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

# Imprimindo o título do documento HTML
print(soup.title.string)

Dicas para a instalação do Beautiful Soup

  • Versão do Python: Certifique-se de que você está utilizando uma versão atualizada do Python.

  • Ambientes Virtuais: É recomendável usar ambientes virtuais para gerenciar as dependências do seu projeto, evitando conflitos entre diferentes pacotes.

  • Bibliotecas de Parser: O Beautiful Soup suporta diferentes bibliotecas de parser. O html.parser embutido é suficiente para a maioria das tarefas, mas você pode optar por lxml ou html5lib para necessidades de análise mais avançadas. Use o pip para instalar esses parsers adicionais, se necessário.

Como configurar o Beautiful Soup

A configuração do Beautiful Soup para suas atividades de scraping é um passo fundamental. Neste guia, vamos explorar como realizar essa configuração de maneira simples e eficaz.

Instalando o Beautiful Soup e Requests

Para instalar o Beautiful Soup, execute o comando: 

pip install beautifulsoup4

Para fazer solicitações HTTP, você também precisará do Requests. Instale-o com o seguinte comando: 

pip install requests

Importando as bibliotecas

Após a instalação das bibliotecas, o próximo passo é importá-las no seu arquivo Python: 

from bs4 import BeautifulSoup
import requests

Criando um objeto Beautiful Soup

Para utilizar o Beautiful Soup, você precisa passar o conteúdo HTML que deseja analisar para criar um objeto Beautiful Soup. Aqui está como:

  1. Faça uma solicitação à página da web usando o Requests.

  2. Crie um objeto Beautiful Soup passando o conteúdo HTML da página. 

# URL da página que você deseja raspar
url = 'https://exemplo.com'
# Fazendo a solicitação
response = requests.get(url)
# Criando o objeto Beautiful Soup
soup = BeautifulSoup(response.content, 'html.parser')

Escolhendo um parser

Ao criar seu objeto Beautiful Soup, você deve especificar o parser que deseja usar. O parser padrão é html.parser, mas você também pode utilizar outros parsers, como lxml ou html5lib, caso tenha necessidades específicas de análise.

Para usar um parser diferente, substitua 'html.parser' pelo nome do parser desejado na linha de criação do objeto soup: 

soup = BeautifulSoup(response.content, 'lxml')

Verificando a configuração

Uma forma simples de verificar se o Beautiful Soup foi configurado corretamente é imprimir o objeto soup que você criou. Isso deve dar uma saída legível do HTML da página raspada: 

print(soup.prettify())

Dicas de configuração

  • Condições de erro: Sempre verifique se a solicitação para a URL foi bem-sucedida, testando response.status_code. Um código 200 indica sucesso.

  • Ambientes virtuais: Considere usar ambientes virtuais (virtualenv) para organizar suas dependências de projeto.

  • Documentação: Consulte a documentação oficial do Beautiful Soup para explorar funcionalidades avançadas e exemplos adicionais.

Utilização básica do Beautiful Soup para extração de dados

A utilização do Beautiful Soup para extração de dados é essencial no campo do web scraping. Com ela, você pode navegar e extrair informações preciosas de páginas da web de forma simples e eficiente. Vamos explorar algumas operações básicas.

Estrutura básica para extração de dados

Para iniciar, você precisa de duas bibliotecas: requests para fazer requisições HTTP e Beautiful Soup para analisar o HTML recebido. Aqui está um esboço básico para começar seu projeto de scraping: 

import requests
from bs4 import BeautifulSoup

# Definição da URL a ser raspada
url = 'URL_DO_SITE'
response = requests.get(url)

# Criando o objeto Beautiful Soup
soup = BeautifulSoup(response.text, 'html.parser')

Extraindo títulos de notícias

Digamos que você deseje extrair os títulos das notícias de um site. Após inspecionar a página, você pode descobrir que os títulos estão contidos em tags h2 com a classe titulo-noticia. O código a seguir realiza essa extração: 

# Buscando todos os elementos que contêm os títulos das notícias
titulos = soup.find_all('h2', class_='titulo-noticia')

# Imprimindo os títulos das notícias
for titulo in titulos:
    print(titulo.text.strip())

Capturando preços de produtos em um e-commerce

Caso você queira coletar os preços de produtos em uma loja virtual, utilize o método find_all para identificar os preços na página: 

# URL da página de produtos
url = 'URL_DA_LOJA_DE_E-COMMERCE'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# Buscando todos os elementos que contêm os preços
precos = soup.find_all('span', class_='preco-product')

# Extraindo e imprimindo os preços
for preco in precos:
    print(preco.text.strip())

Para coletar todos os links de uma página, utilize o seguinte método: 

# Buscando todos os elementos 'a', que representam links
links = soup.find_all('a')

# Extraindo e imprimindo os atributos 'href' de cada link
for link in links:
    href = link.get('href')
    if href:
        print(href)

Questões comuns sobre Beautiful Soup

Ao iniciar com Beautiful Soup, é normal que surgem algumas dúvidas. Aqui estão algumas das questões comuns que muitos principiantes enfrentam:

  1. Qual a diferença entre Beautiful Soup e outras bibliotecas?
    Beautiful Soup é uma biblioteca focada em análise de documentos HTML e XML. Enquanto fornece uma forma clara de acessar e manipular dados, outras bibliotecas como Scrapy são mais focadas em operações de scraping em grande escala.

  2. Como lidar com erros de conexão ao acessar uma página?
    Ao utilizar a biblioteca requests, você pode verificar o status da resposta. Por exemplo:

  3. O que fazer se a página estiver protegida por CAPTCHA?
    Se você encontrar uma página com CAPTCHA, a extração automática se torna mais complicada. O Beautiful Soup não lida com scripts complexos ou CAPTCHAs, portanto, pode ser necessário usar ferramentas como Selenium que simulam a navegação do usuário.

  4. Como extrair dados de tabelas?
    Para isso, você deve encontrar a tag que representa a tabela. Utilize métodos como find_all() para acessar as linhas e colunas dela. Um exemplo:

  5. Como evitar sobrecarga no servidor?
    Durante o scraping, sempre respeite as políticas do site. Para evitar problemas, insira delays entre as requisições. Uma abordagem simples seria:

  6. Os elementos estão sendo retornados como None?
    Isso pode ocorrer quando você tenta acessar elementos que não existem ou quando o HTML está malformado. Utilize prettify() para inspecionar a estrutura do HTML e garantir que você está acessando os elementos corretos.

Considerações finais

Chegamos ao final deste tutorial sobre o Beautiful Soup, que é uma ferramenta poderosa para quem deseja mergulhar no mundo do web scraping. Abordamos desde a instalação da biblioteca e suas configurações iniciais até exemplos práticos de extração de dados de páginas HTML e XML. Agora, com o conhecimento das funções básicas e dicas para otimizar suas atividades de raspagem, você está preparado para começar a explorar e extrair informações valiosas da web.

Lembre-se de sempre respeitar as políticas dos sites que você está raspando e utilizar boas práticas para evitar sobrecarregar os servidores. O Beautiful Soup oferece uma forma acessível de transformar dados não estruturados em informações úteis que podem enriquecer suas análises e aplicações. Boa raspagem!