Como construir um Data Warehouse do zero com tenologias modernas 🔨

E mais: Meta acelera sua API Llama com Cerebras; A melhor Stack Open-Source para trabalhar com AI Agents

Author

Gabriel Lages
May 05, 2025 • Tempo de leitura estimado: 13 minutos

Fala Data Hackers! Partiu entrar no mês de maio com as novidades mais quentes do universo dos dados?

Essa é a newsletter do Data Hackers, a melhor forma de iniciar a semana por dentro das principais novidades do mundo dos dados e AI.

Aproveitando, esses são alguns dos destaques de hoje:

P.S.: Ainda não é assinante da newsletter? Clique aqui para se inscrever gratuitamente

Da configuração de pipelines ETL à modelagem de dados, este artigo da Senior Data Engineer Rihab Feki guia o leitor pelo processo de construção de um Data Warehouse moderno, explorando suas etapas essenciais e fornecendo insights valiosos. Uma verdadeira aula para aqueles que querem entender melhor o design, e usando a famosa Medallion Architecture! (em Inglês)

Dica de newsletter para você!

Você curtiria ter as notícias que são furo mundial em matéria de IA e dados em primeiríssima mão, e ainda ter acesso a conteúdos exclusivos?

A "Mindstream” é uma newsletter sobre IA que hoje tem relevância global, e assinando a news (é gratuito!) você ganha acesso a conteúdos como o Fluxograma de Decisões do ChatGPT e um Guia para Produtividade em IA em 2025. Basta se cadastrar no link abaixo.

ChatGPT at Work: Free Resource Bundle

Power up your productivity with Mindstream's exclusive ChatGPT toolkit, designed for professionals who want to work smarter, not harder.

Your free bundle includes:

  • ChatGPT Decision Flowchart

  • Advanced Prompt Templates

  • 2025 AI Productivity Guide

  • Task Automation Framework

  • Industry-Specific Use Cases

Join thousands of AI-powered professionals by subscribing to our daily newsletter. Get the complete bundle instantly after signup - no extra steps required.

Obs: Essa é uma parceria, para cada pessoa que clicar no link (o acesso ao conteúdo é gratuito) eles fazem uma doação para a comunidade Data Hackers (se quiser clicar vai ajudar a gente e ainda ter acesso a um conteúdo bem relevante 🥸).

A Meta firmou uma parceria com a Cerebras para lançar sua nova API Llama, prometendo alcançar velocidades de inferência até 18 vezes mais rápidas que as das soluções tradicionais baseadas em GPU.

Os chips especializados da Cerebras permitem cortar o tempo de processamento de aplicações como real time agents, e o objetivo da Meta, mais que entrar no mercado de inferência de IA, é posicionar seus modelos Llama como protagonistas. (em Inglês)

Construir agentes de IA pode ser muito desafiador, ainda mais quando se perde tempo com repositórios desatualizados e posts vagos. Por isso utilizar os recursos e ferramentas certas pode fazer toda a diferença.

Este post apresenta uma lista de ferramentas open-source eficazes, de frameworks que organizam a lógica dos agentes a bibliotecas para uso de memória. Perfeito para transformar ideias em protótipos funcionais sem complicações desnecessárias. (em Inglês)

OUTROS TÓPICOS

No Itaú, a democratização dos dados está transformando o setor financeiro. A estratégia adotada pelo banco foca em criar experiências melhores e mais rápidas para os clientes, utilizando uma arquitetura moderna de malha de dados. Este artigo explora como a equipe está capacitando membros e aplicando IA generativa para obter resultados mais eficazes. A implementação dessa tecnologia no modelo de comunidades do banco já tem permitido avanços significativos na eficiência e na personalização dos serviços. (em Português)

Navegar pelos dados sem um dicionário é como viajar sem um mapa. Este artigo traz uma lista com as melhores ferramentas de dicionário de dados para 2025, passando por opções como Amundsen, DataHub, Open Metadata e mais. Um guia essencial para quem quer organizar e padronizar a linguagem de dados em sua equipe, evitando confusões e garantido que todos estejam na mesma página. (em Inglês)

Se você já se perdeu na escolha de formatos de arquivo para Big Data, esse guia vai te ajudar a clarear as ideias: é um mergulho nas características de Parquet, Avro e ORC para entender os aspectos em que cada um brilha mais em projetos de dados. A escolha certa pode transformar a performance do seu pipeline! (em Português).

No primeiro LlamaCon, a Meta AI anunciou uma série de novidades quentíssimas para quem ama construir com Llama. O destaque foi a prévia limitada do Llama API, unindo o melhor dos modelos fechados com a flexibilidade de um open-source. Além disso, foram apresentadas novas ferramentas de proteção Llama e também o Programa de Defensores Llama, tudo para garantir segurança e eficiência. Outra boa notícia foi a revelação dos 10 ganhadores internacionais das Llama Impact Grants, com bolsas somando mais de 1.5 milhões de dólares em prêmios para impulsionar mudanças transformadoras. Mais do que um evento, o LlamaCon foi uma “coroação” do Llama como líder do ecossistema open source de IA. (em Português)

A Uber implementou um sistema de automação de faturas utilizando IA generativa, e assim conseguiu elevar MUITO o padrão de suas operações financeiras. Através de ML e NLP, eles otimizaram o processo, diminuindo a intervenção manual e os custos operacionais. O resultado? Mais precisão, menos erros e uma experiência de usuário melhorada na submissão de faturas. Confira como foi esse processo. (em Inglês)

Visual Studio Code já é o queridinho de muitos, mas para os engenheiros de dados, ele tem ainda mais potencial. E acredite, com a lista de 14 extensões indicadas pelo Manojkumar Vadivel, sua produtividade vai voar! Imagine integrar Jupyter, Docker ou mesmo o Copilot da GitHub diretamente no seu ambiente de trabalho. Adeus, tarefas repetitivas; olá, eficiência! Estas ferramentas são essenciais para quem deseja turbinar seu workflow e explorar novas possibilidades sem sair do editor. (em Inglês)

DICA DE VÍDEO

Está pensando em iniciar seus estudos em Inteligência Artificial? Este vídeo da Asimov Academy traz um compilado de planos de estudo pra quem quer começar do zero. O conteúdo vai desde a economia da IA até trilhas de estudo sob medida — voltadas para desenvolvedores, analistas de dados ou até mesmo empreendedores. Uma verdadeira recapitulação do mercado, com perspectivas sobre as oportunidades dos próximos 5 anos. (em Português)

VAGAS DA SEMANA

Remoto

Híbrido - São Paulo-SP

MEME DA SEMANA

DATA VISUALIZATION DA SEMANA

A invasão da Rússia pela Ucrânia está completando três anos, e, como você pode conferir nesse Dataviz, desde então o apoio internacional ao esforço de guerra alcançou incríveis 267,2 bilhões de euros. Os EUA lideram com o ranking dos apoiadores com 114,1 bilhões, seguidos pela União Europeia com 48,9 bilhões. Mas não parou por aí: Canadá, Japão e outras nações mostraram solidariedade. A maior parte vai para ajuda militar, mas apoio financeiro e humanitário também são essenciais para a defesa e sustentação da Ucrânia durante o conflito. (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS

Quer fazer uma parceria com a comunidade Data Hackers?

Amplie a visibilidade da sua marca e produto entre as principais lideranças em dados, garantindo que suas iniciativas atinjam diretamente as maiores referências em dados e inteligência artificial do Brasil.

Wow! Já que chegou até aqui, qual a nota dessa edição da Newsletter?

Pode dar sua opinião sincera...

Faça Login ou Inscrever-se para participar de pesquisas.

Logo