Os melhores (ou piores) casos de erros em Data Engineering 🤦‍♂️

Sam Altman quer criar o "iPhone das IA"; Microsoft deve anunciar novo chip de IA e diminuir custos de GPU.

AuthorAuthor

Data Hackers & Paulo Vasconcellos
October 16, 2023

Fala, galera vidrada em dados! Bora pra mais uma edição da news?

Obs: Sabia que essa é a edição 290 da Newsletter do Data Hackers? são mais de 5 anos de newsletters chegando toda a segunda ao seu email! Quer ajudar o Data Hackers a continuar crescendo? Divulgue o novo site da nossa newsletter para os colegas da área de dados, o link é: datahackers.news

Dessa vez trazemos as novidades que agitaram o mercado essa semana, fora um post só com usuários compartilhando erros em Data Engineering. Cada coisa que só vendo…

Confira ainda alguns outros destaques dessa edição:

A maior pesquisa do mercado brasileiro de dados está de volta e contamos com sua participação!

Por mais um ano, o Data Hackers, em parceria com a Bain & Company, anunciam a edicão 2023 do State of Data Brazil. Ajude-nos a mapear o mercado brasileiro de dados ao responder e compartilhar a nossa pesquisa. Assim como nos anos anteriores, os dados da pesquisa serão disponibilizados para a comunidade, além de um detalhado relatório sobre os maiores insights percebidos esse ano.

Nessa nova edição, melhoramos as perguntas sobre trabalho remoto, hibrido e presencial, além de adicionar perguntas relacionadas ao uso de tecnologias de IA generativa, como ChatGPT, Midjourney, dentre outras.

E temos uma grande novidade! Quem responder a pesquisa ganha acesso imediato ao “Guia Data Hackers: Carreira + Salários em Dados 2023”, um relatório completo sobre o mercado de trabalho em dados em 2023 com insights atualizados sobre salários, progressão de carreira, tecnologias e muito mais. Clique aqui e participe do State of Data Brazil!

Sendo uma atividade relativamente recente e que requer muita prática, é mais que normal que muitos erros em Data Engineering sejam cometidos todos os dias. Quase todo mundo que trabalha com dados tem alguma história pra contar, de si mesmo ou de outrem.

Nesse post, tem centenas de pessoas compartilhando histórias, uma mais inusitada que a outra. Convidamos você a se divertir, a aprender com os erros dos outros, e quem sabe até compartilhar sua história. Não precisa ter vergonha, vai… (em Inglês)

Artigo em que o Data Hacker Milton Gama Neto aborda o conceito de Responsible AI, que ganhou ainda mais relevância com o surgimento do ChatGPT e pode ser definido como a prática de desenvolver e operacionalizar soluções de inteligência artificial que sigam valores éticos e tenham como objetivo de mitigar danos a sociedade e garantir uma atuação responsável.

O artigo traz o que as gigantes de tecnologia tem feito em relação a essa questão, esclarece quais os pilares básicos de Responsible AI e a importância deles para evitar que no futuro a tecnologia tropece na ética.

(em Português)

A Microsoft deve apresentar na sua conferência anual de desenvolvedores, que acontece no próximo mês, o fruto de um trabalho de muitos anos: o primeiro chip voltado para inteligência artificial desenvolvido pela empresa.

Com o novo chip, a expectativa é que a Microsoft diminua sua dependência em relação aos chips da Nvidia, cuja demanda aumentou bastante com o crescimento da procura por GPUs, além de diminuir os custos que a empresa fundada por Bill Gates tem com GPU.

(em Inglês)

OUTROS TÓPICOS

Post com exemplos práticos de pipelines de dados usando dados do mercado imobiliário e se servindo de recursos como Jupyter Notebooks, Apache Druid, Superset e Dagster, tudo explicado passo a passo, de forma didática. (em Inglês)

Uma reportagem recente do Wall Street Journal aponta os altíssimos custos que as gigantes de tecnologia estão tendo para entregar funcionalidades com IA para seus clientes. Um exemplo é o Github Copilot, lançado pela Microsoft usando IA da OpenAI e que é que ajuda os usuários a criar, consertar e traduzir códigos: enquanto os usuários pagam apenas 10 dólares por mês, a empresa perde uma média de 20 dólares por mês para cada usuário. (em Inglês)

Depois do sucesso do ChatGPT, a OpenAI parece estar com ambições cada vez mais ousadas: seu CEO Sam Altman já tem conversas avançadas com o designer Jony Ive, que atuou na Apple por mais de 20 anos, e também com a gigante japonesa Softbank, para um projeto de um novo produto. A ideia seria criar um novo hardware baseado em inteligência artificial, algo como o “iPhone das IA”, que pode ser tão disruptivo quando o smartphone foi anos atrás. (em Inglês)

Artigo de minha autoria com dicas para ler melhor e mais rápido sem precisar de leitura dinâmica ou qualquer habilidade diferentona. Esta é a segunda parte do artigo (você pode ler a primeira aqui), dessa vez focando em dicas mais avançadas, mas que podem ser seguidas por qualquer um e fazer toda a diferença ao consumir conteúdo. (em Português)

DICA DE VÍDEO

Qual o salário de um cientista de dados iniciante? O que pode fazer diferença para ganhar melhor? Desde que as organizações voltaram sua atenção para os dados, a ciência de dados virou objeto de hype, atraiu profissionais de outras áreas e ganhou várias lendas sobre salários e condições de trabalho. Nesse vídeo, a cientista de dados Kizzy Terra usa sua experiência para explicar o que é lenda e o que é verdade nessa história. (em Português)

VAGAS DA SEMANA

Belo Horizonte - MG - Híbrido

  • Atuação na análise, definição, desenho técnico e na proposta de solução para o escopo de um problema;

  • Criação de modelos de Machine Learning;

  • Experiência com análise de dados e modelos estatísticos;

  • SQL (domínio);

  • Python ou R;

  • Controle de versão (de preferência o Git, por GitHub ou GitLab);

  • Docker e/ou Kubernetes (diferencial).

Belo Horizonte - MG - Híbrido

  • Atuação na análise, definição, desenho técnico e na proposta de solução para o escopo de um problema;

  • Criação de modelos de Machine Learning;

    SQL e ETLs;

  • Python (domínio);

  • Controle de versão (de preferência o Git, por GitHub ou GitLab);

  • Docker e/ou Kubernetes;

    Feature Stores (diferencial);

  • AWS (Sagemaker) (diferencial).

MEME DA SEMANA

Veja mais memes como esse no nosso canal do slack.

DATA VISUALIZATION DA SEMANA

O fluxo migratório de milionários e bilionários é grande: levantamentos apontam que cerca de 122 mil indivíduos com patrimônio líquido de mais de 1 milhão de dólares devem mudar para um novo país até o fim do ano. Mas quais países os ricos abandonam, e quais buscam como destino? Com base em um relatório de migração da riqueza privada elaborado pela consultoria de migração de investimentos Henley & Partners, o portal Visual Capitalist elaborou esse mapa que ilustra bem o fluxo migratório dos milionários. Vale conferir, principalmente pra quem se interessa por questões de investimentos e regimes tributários. (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS

  • 26 de outubro - Presencial (São Paulo - SP) e Online

  • 21 de outubro - Belo Horizonte - MG

  • 21 de outubro - SP - (vagas esgotadas!)

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso canal do slack.

Wow! Já que chegou até aqui, qual a nota dessa edição da Newsletter?

Pode dar sua opinião sincera...

Login or Subscribe to participate in polls.

Logo