O que é e para que serve MLOps? 🔨

O DBT vai fracassar?

Author

Data Hackers
November 07, 2022

Fala Data Hackers! Sejam bem-vindos a mais uma news!Você junta os dados, limpa, faz análises, cria um modelo bonitão no notebook e aí, depois desse esforço todo, ta pronto? Nããão! Ainda tem toooodo o trabalho de colocar em produção, manter online, acompanhar a performance do modelo e retreinar de tempos em tempos. Sabe quem é responsável por isso?Os Machine Learning Operations Engineers. WHAT?! Quer saber mais sobre esse profissional e como eles trabalham para entregar todo esse fluxo em empresas referências? Então não deixe de ouvir nosso último podcast! Chamamos grandes referências no assunto da TW, nossa parceira e uma das principais consultorias digitais do mundo para falar sobre o que é MLOps e como você pode aplicar os conceitos na sua empresa!Mas tem muito mais assunto legal nessa news, como por exemplo:

Se você quer conhecer sobre a área que está ajudando time de data science e machine learning a colocar seus modelos em produção de forma sustentável e escalável, esse episódio é para você. Hoje nós vamos falar sobre Machine Learning Operations, o MLOps! Para essa conversa nós convidamos nossos amigos da ThoughtWorks para explicar os desafios e necessidades em criar uma cultura de MLOps. Participaram desse papo os Machine Learning Engineers Eduardo Santos e Wilder Barbosa Galvão. Vem ouvir!

Há algumas news atrás, eu postei um dos textos polêmicos do Benn Stancil, o co-founder do Mode, que vem questionando há algum tempo o valuation das grandes startups de Data.

Naquela vez foi o Snowflake, agora foi o DBT. Nesse artigo, muito irônico e engraçado, Benn questiona várias coisas no modelo de negócios do DBT, principalmente o seu valuation.

Benn também levanta que os concorrentes no mercado como Dagster e Airflow são mais poderosos e vão, hora ou outra, ganharem muito do espaço do DBT. Será que DBT realmente vai cair no futuro?? (em Inglês)

 

Depois desse bafafá todo que Dall-e da Open AI e o Stable Diffusion da Stability com LMU Munich, a NVIDIA lançou também a sua IA de geração de imagens através de texto.

Segundo a NVIDIA, seu modelo ainda bate o Dall-e e o Stable Diffusion por que usa "expert denoisers" que acabam entendendo melhor o contexto dos textos dos usuários.

Essa aí eu to doido pra testar também hein! (em Inglês)

Quer sair estudando Deep Learning amanhã? Peraí! Esse post breve do Analytics Insights traz 10 conceitos que você deve dominar antes de aprender como funcionam os métodos de Deep Learning. Anota aí e procure se capacitar! (em Inglês)

Em uma 

, o Google Cloud revelou que, além de executar um validador Solana “para participar e validar a rede”, planeja trazer seu Blockchain Node Engine para a cadeia Solana em 2023. O Blockchain Node Engine já 

. (em Inglês)

Tipagem de dados é um negócio necessário, mas que faz a. gente passar raiva né? Nesse artigo do Data Hacker Lucas Gabriel, você vai aprender a usar o pydantic, uma lib muito útil para validar schema em dados semi-estruturados, CSV, JSON e outros. (em Português)

O Instituto Glória está buscando pessoas voluntárias para trabalhar com Dados e IAQuer ter uma experiência relevante em Data ou simplesmente fazer a diferença no mundo usando seus conhecimentos? O Instituto Glória, instituto que usa IA para identificar padrões nos casos de violência contra mulheres e meninas, está buscando pessoas voluntárias para trabalhar em seu projeto. Quer saber mais sobre esse programa? Confere nosso episódio sobre Data 4 Good com o Guga, que é CTO da ONG. (em Português)

A Pesquisa State of Data Brazil 2022 está quase terminando! Não perca a oportunidade de contribuir com o maior projeto brasileiro para mapear o mercado de Dados no país. Compartilhe com seus colegas!

VAGAS DA SEMANA

  • Exp. em desenvolvimento de ETL e ELT;

  • Exp. em Python (Airflow, Pandas), SQL (Stored Procedures) e Shell Script;

  • Experiência Vivência com práticas de engenharia de software (Orientação a objetos, CI/CD,

  • Containers Docker, Git, Testes Unitários);

  • Vivência em dados

  • SQL

  • Hadoop

  • Conhecimento de bancos de dados;

  • Conhecimentos da plataforma de dados do Itaú;

  • Curiosidade em aprender ferramentas Big Data.

"Dashboard no Looker, bem pensado e curado pelo time dedados"vs "Planilha no Excel puxada pelo stakeholder em 30 segundos"(╯°□°)╯︵ ┻━┻

Pra variar, o time do Visual Capitalist é o destaque dessa semana com essa viz que está bombando no Linkedin: O Resultado Operacional das Big Techs. Obtendo dados dos relatórios para investidores de Google, Microsoft, Apple e Amazon, o time fez um belo Sankey Diagram para mostrar de onde vem o faturamento e o que sobra de lucro de cada produto/serviço das gigantes. (em Inglês)

GitHub Universe09 e 10 de Novembro - Evento gratuito (parte online)SAMBA - Simpósio Acadêmico Multidisciplinar de Big Data Analytics23 e 24 de Novembro - Evento Híbrido - Gratuito para professores e alunos da rede públicaAWS Re:Invent28 de Novembro a 02 de Dezembro - Parte Online gratuita

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso

.