• Data Hackers Newsletter
  • Posts
  • Os melhores (ou piores) casos de erros em Data Engineering ūü§¶‚Äć‚ôāÔłŹ

Os melhores (ou piores) casos de erros em Data Engineering ūü§¶‚Äć‚ôāÔłŹ

Sam Altman quer criar o "iPhone das IA"; Microsoft deve anunciar novo chip de IA e diminuir custos de GPU.

Fala, galera vidrada em dados! Bora pra mais uma edição da news?

Obs: Sabia que essa é a edição 290 da Newsletter do Data Hackers? são mais de 5 anos de newsletters chegando toda a segunda ao seu email! Quer ajudar o Data Hackers a continuar crescendo? Divulgue o novo site da nossa newsletter para os colegas da área de dados, o link é: datahackers.news

Dessa vez trazemos as novidades que agitaram o mercado essa semana, fora um post só com usuários compartilhando erros em Data Engineering. Cada coisa que só vendo…

Confira ainda alguns outros destaques dessa edição:

A maior pesquisa do mercado brasileiro de dados está de volta e contamos com sua participação!

Por mais um ano, o Data Hackers, em parceria com a Bain & Company, anunciam a edicão 2023 do State of Data Brazil. Ajude-nos a mapear o mercado brasileiro de dados ao responder e compartilhar a nossa pesquisa. Assim como nos anos anteriores, os dados da pesquisa serão disponibilizados para a comunidade, além de um detalhado relatório sobre os maiores insights percebidos esse ano.

Nessa nova edição, melhoramos as perguntas sobre trabalho remoto, hibrido e presencial, além de adicionar perguntas relacionadas ao uso de tecnologias de IA generativa, como ChatGPT, Midjourney, dentre outras.

E temos uma grande novidade! Quem responder a pesquisa ganha acesso imediato ao ‚ÄúGuia Data Hackers: Carreira + Sal√°rios em Dados 2023‚ÄĚ, um relat√≥rio completo sobre o mercado de trabalho em dados em 2023 com insights atualizados sobre sal√°rios, progress√£o de carreira, tecnologias e muito mais. Clique aqui e participe do State of Data Brazil!

Sendo uma atividade relativamente recente e que requer muita prática, é mais que normal que muitos erros em Data Engineering sejam cometidos todos os dias. Quase todo mundo que trabalha com dados tem alguma história pra contar, de si mesmo ou de outrem.

Nesse post, tem centenas de pessoas compartilhando histórias, uma mais inusitada que a outra. Convidamos você a se divertir, a aprender com os erros dos outros, e quem sabe até compartilhar sua história. Não precisa ter vergonha, vai… (em Inglês)

Artigo em que o Data Hacker Milton Gama Neto aborda o conceito de Responsible AI, que ganhou ainda mais relev√Ęncia com o surgimento do ChatGPT e pode ser definido como a pr√°tica de desenvolver e operacionalizar solu√ß√Ķes de intelig√™ncia artificial que sigam valores √©ticos e tenham como objetivo de mitigar danos a sociedade e garantir uma atua√ß√£o respons√°vel.

O artigo traz o que as gigantes de tecnologia tem feito em rela√ß√£o a essa quest√£o, esclarece quais os pilares b√°sicos de Responsible AI e a import√Ęncia deles para evitar que no futuro a tecnologia tropece na √©tica.

(em Português)

A Microsoft deve apresentar na sua conferência anual de desenvolvedores, que acontece no próximo mês, o fruto de um trabalho de muitos anos: o primeiro chip voltado para inteligência artificial desenvolvido pela empresa.

Com o novo chip, a expectativa é que a Microsoft diminua sua dependência em relação aos chips da Nvidia, cuja demanda aumentou bastante com o crescimento da procura por GPUs, além de diminuir os custos que a empresa fundada por Bill Gates tem com GPU.

(em Inglês)

OUTROS T√ďPICOS

Post com exemplos práticos de pipelines de dados usando dados do mercado imobiliário e se servindo de recursos como Jupyter Notebooks, Apache Druid, Superset e Dagster, tudo explicado passo a passo, de forma didática. (em Inglês)

Uma reportagem recente do Wall Street Journal aponta os altíssimos custos que as gigantes de tecnologia estão tendo para entregar funcionalidades com IA para seus clientes. Um exemplo é o Github Copilot, lançado pela Microsoft usando IA da OpenAI e que é que ajuda os usuários a criar, consertar e traduzir códigos: enquanto os usuários pagam apenas 10 dólares por mês, a empresa perde uma média de 20 dólares por mês para cada usuário. (em Inglês)

Depois do sucesso do ChatGPT, a OpenAI parece estar com ambi√ß√Ķes cada vez mais ousadas: seu CEO Sam Altman j√° tem conversas avan√ßadas com o designer Jony Ive, que atuou na Apple por mais de 20 anos, e tamb√©m com a gigante japonesa Softbank, para um projeto de um novo produto. A ideia seria criar um novo hardware baseado em intelig√™ncia artificial, algo como o ‚ÄúiPhone das IA‚ÄĚ, que pode ser t√£o disruptivo quando o smartphone foi anos atr√°s. (em Ingl√™s)

Artigo de minha autoria com dicas para ler melhor e mais r√°pido sem precisar de leitura din√Ęmica ou qualquer habilidade diferentona. Esta √© a segunda parte do artigo (voc√™ pode ler a primeira aqui), dessa vez focando em dicas mais avan√ßadas, mas que podem ser seguidas por qualquer um e fazer toda a diferen√ßa ao consumir conte√ļdo. (em Portugu√™s)

DICA DE V√ćDEO

Qual o sal√°rio de um cientista de dados iniciante? O que pode fazer diferen√ßa para ganhar melhor? Desde que as organiza√ß√Ķes voltaram sua aten√ß√£o para os dados, a ci√™ncia de dados virou objeto de hype, atraiu profissionais de outras √°reas e ganhou v√°rias lendas sobre sal√°rios e condi√ß√Ķes de trabalho. Nesse v√≠deo, a cientista de dados Kizzy Terra usa sua experi√™ncia para explicar o que √© lenda e o que √© verdade nessa hist√≥ria. (em Portugu√™s)

VAGAS DA SEMANA

Belo Horizonte - MG - Híbrido

  • Atua√ß√£o na an√°lise, defini√ß√£o, desenho t√©cnico e na proposta de solu√ß√£o para o escopo de um problema;

  • Cria√ß√£o de modelos de Machine Learning;

  • Experi√™ncia com an√°lise de dados e modelos estat√≠sticos;

  • SQL (dom√≠nio);

  • Python ou R;

  • Controle de vers√£o (de prefer√™ncia o Git, por GitHub ou GitLab);

  • Docker e/ou Kubernetes (diferencial).

Belo Horizonte - MG - Híbrido

  • Atua√ß√£o na an√°lise, defini√ß√£o, desenho t√©cnico e na proposta de solu√ß√£o para o escopo de um problema;

  • Cria√ß√£o de modelos de Machine Learning;

    SQL e ETLs;

  • Python (dom√≠nio);

  • Controle de vers√£o (de prefer√™ncia o Git, por GitHub ou GitLab);

  • Docker e/ou Kubernetes;

    Feature Stores (diferencial);

  • AWS (Sagemaker) (diferencial).

MEME DA SEMANA

Veja mais memes como esse no nosso canal do slack.

DATA VISUALIZATION DA SEMANA

O fluxo migrat√≥rio de milion√°rios e bilion√°rios √© grande: levantamentos apontam que cerca de 122 mil indiv√≠duos com patrim√īnio l√≠quido de mais de 1 milh√£o de d√≥lares devem mudar para um novo pa√≠s at√© o fim do ano. Mas quais pa√≠ses os ricos abandonam, e quais buscam como destino? Com base em um relat√≥rio de migra√ß√£o da riqueza privada elaborado pela consultoria de migra√ß√£o de investimentos Henley & Partners, o portal Visual Capitalist elaborou esse mapa que ilustra bem o fluxo migrat√≥rio dos milion√°rios. Vale conferir, principalmente pra quem se interessa por quest√Ķes de investimentos e regimes tribut√°rios. (em Ingl√™s)

PR√ďXIMOS EVENTOS E MEETUPS

  • 26 de outubro - Presencial (S√£o Paulo - SP) e Online

  • 21 de outubro - Belo Horizonte - MG

  • 21 de outubro - SP - (vagas esgotadas!)

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso canal do slack.

Wow! Já que chegou até aqui, qual a nota dessa edição da Newsletter?

Pode dar sua opini√£o sincera...

Login or Subscribe to participate in polls.

Logo