• Data Hackers Newsletter
  • Posts
  • Como os engenheiros de dados e demais profissionais devem se preparar para a era da IA?

Como os engenheiros de dados e demais profissionais devem se preparar para a era da IA?

E mais: Por que ganhar 150 mil por ano não te faz necessariamente bem sucedido?; Concurso público pra Cientista de dados, salário 20 mil; Conhecendo em detalhes a stack de dados da Netflix;

Fala Data Hackers! Antes do carnaval chegar trazendo descanso ou folia, bora se ligar nas novidades do mundo dos dados?

Dessa vez temos um guia sobre como engenheiros de dados e outros profissionais da área devem se preparar para a era da IA que se aproxima, uma oportunidade de concurso público na área de dados, com 7 vagas e salário inicial de R$ 20 mil, uma análise sobre as demissões em massa que ocorreram no setor Tech em janeiro de 2024 e um artigo ensinando como extrair dados de arquivos de textos desestruturados usando LLMs pra isso.

Confira outros destaques da news de hoje:

Quer trabalhar com a equipe do Data Hackers? Conhece alguém com o perfil?

Se você é apaixonada por marketing digital, criatividade e análise de dados , estamos procurando mais um profissional que possa contribuir com as nossa ações operacionais dentro da comunidade Data Hackers.

O Assistente de Marketing apoiará na comunicação da comunidade, estratégicas de marketing digital. Contribuindo para o crescimento das nossas ações.

Requisitos da vaga:

  • Formação em Marketing, Publicidade, Comunicação ou área relacionada (caso ainda esteja cursando podemos oferecer um estágio);

  • Experiência anterior em funções similares será valorizada;

  • Conhecimento profundo das principais plataformas de mídia social, e ferramentas analíticas;

  • Habilidades criativas, especialmente na criação de conteúdo visual;

  • Fortes habilidades de comunicação escrita e verbal;

  • Capacidade de gerenciar múltiplas tarefas e prazos;

  • Mais detalhes da vaga no link: https://forms.gle/DSVNSKu8S2zmGe4T8

Saíram os dois ganhadores de um exemplar autografado do livro “O Cientista e o Executivo”, do Sandor Caetano e do Diego Barreto! O sorteio foi feito entre quem ouviu e interagiu com a gente no episódio #78, que teve os dois autores como convidados.

Para saber se você foi um dos ganhadores, basta acessar o post do Medium neste link. Mas mesmo se você não tiver ganho, aproveita para ouvir e compartilhar esse episódio. Modéstia à parte, o conteúdo tá incrível.

Muito se comenta sobre como a IA pode diminuir o papel dos engenheiros de dados num futuro próximo, mas na verdade ter expertise em dados pode ser mais necessário que nunca. A questão, no entanto, é que os profissionais precisam se preparar e ajudar as empresas para, usando IA, extrair o máximo dos seus dados - e isso inclui saber onde aplicar a tecnologia e quais modelos e ferramentas usar em cada situação. Saiba como se preparar melhor para os novos tempos. (em Inglês)

Trabalhando com dados, é comum encontrar informações relevantes em conjuntos de textos que, no entanto, podem estar altamente desestruturados. Como extrair essas informações e gerar valor a partir delas?

Este artigo mostra como usar LLMs para transformar conjuntos de textos em dados devidamente estruturados, o que pode ser de grande utilidade em diversos contextos. (em Inglês)

O ano de 2023 foi brutal para o setor Tech: 260 mil cargos deixaram de existir, e os empresários atribuíram isso à inflação elevada e à queda de demanda dos consumidores.

Agora, no entanto, a inflação caiu pela metade e a confiança dos consumidores está voltando - e mesmo assim empresas como Meta, Amazon, Microsoft, Google e TikTok demitiram 25 mil funcionários em 2024. Este artigo analisa os motivos para isso. (em Inglês)

OUTROS TÓPICOS

Na semana passada, a Neuralink, empresa de propriedade do bilionário Elon Musk, implantou pela primeira vez um chip no cérebro de um ser humano. Segundo uma postagem no X (antigo Twitter), o paciente está se recuperando bem. É a primeira experiência desde maio de 2023, quando a empresa conseguiu autorização da FDA, agência reguladora do governo dos EUA, para realizar esse tipo de teste. Caminho até a comercialização, no entanto, ainda deve ser longo. (em Inglês)

Apesar de serem eficientes em diversos contextos, os LLMs (Large Language Models) não apresentam bom desempenho para dados corporativos e/ou privados, por não terem treinados com essas informações. Para resolver essa questão, pesquisadores da Meta propuseram a técnica Retrieval Augmented Generation (RAG), que permite usar LLMs para dados privados sem precisar treinar os modelos novamente. Neste artigo, o Data Hacker Milton Gama Neto ensina a utilizar essa técnica. (em Português)

Pesquisa feita pela GitClear buscou investigar a qualidade e capacidade de manutenção dos códigos elaborados com o auxílio de IA em comparação com os códigos anteriores à existência de ferramentas nesse sentido. Os resultados mostraram que os códigos criados com IA parecem com os de um “colaborador itinerante”, com alto índice de desrespeito ao princípio DRY (don’t repeat yourself). (em Inglês)

No YouTube há vários vídeos de pessoas contando que largaram um salário anual de 6 dígitos em áreas como Ciência de Dados - e com um salário desses, praticamente todo mundo pensa que eles eram profissionais bem sucedidos. Cansado de ver comentários nesse sentido, um profissional que já esteve exatamente nessa posição, com um alto salário, resolveu explicar porque não é bem assim. (em Inglês)

Depois de testar vários Code Assistants que usam IA, Frank Andrade, que assina a página ThePyCoach no Medium, divide nesse artigo sua percepção de cada uma delas. Spoiler: não há uma única ferramenta perfeita. Algumas são melhores para quem está aprendendo a programar, outras são melhores para testar um código, entre mil outras possibilidades. Vale conferir qual se encaixa melhor a cada caso. (em Inglês)

DICA DE VÍDEO

Você já teve curiosidade de conhecer a stack de dados de uma gigante do streaming? Neste vídeo, um engenheiro de dados e um engenheiro de software da Netflix apresentam aos engenheiros recém-chegados à empresa o stack de dados daquela que é uma das maiores empresas de streaming do globo, além de falar sobre como os pipelines são criados. Vídeo fundamental para quem quer entender melhor como funciona a engenharia de dados em grandes empresas. (em Inglês)

VAGAS DA SEMANA

A Comissão de Valores Mobiliários (CVM) abriu inscrições para um concurso público que contempla 7 vagas para Cientistas de Dados no Rio de Janeiro, com remuneração inicial de R$ 20.924,80.

Data limite de inscrições: 06/03/2024

Para saber mais detalhes dessa oportunidade você pode acessar:

Telefone de contato: 0800 2834628

Remoto

  • Mínimo de 4 anos de experiência na área de extração, tratamento e análise de dados;

  • Proficiência em programação nas linguagens R e Python;

  • Experiência com extração de banco de dados relacional e/ou não relacional, preferencialmente Postgre e/ou ElasticSearch;

  • Experiência em ferramentas de visualização de dados tais como Qlik Sense, Power BI, R Shiny e Kibana;

  • Fluência em inglês (diferencial).

Remoto

  • Graduação em Estatística, Ciência da Computação, Matemática ou similares;

  • Conhecimentos técnicos em Ciência de Dados, Modelos Estatísticos, Análise de Dados, Combate a Fraudes;

  • Paixão por novas tecnologias e técnicas de modelagem, e por aplicá-las a novos negócios;

  • Elevada autonomia para condução de suas atividades;

  • Curiosidade e motivação para resolver novos problemas.

MEME DA SEMANA

Acesse mais memes como esse em nosso canal do slack

DATA VISUALIZATION DA SEMANA

O ano de 2023 foi, comprovadamente, o mais quente que se tem notícia desde que as medições de temperatura começaram a ser feitas em meados do Século XIX. Mas quais foram os picos de calor ao longo do ano, como eles estão relacionados às emissões de carbono e quais as consequências do calor na natureza? Essa apresentação feita pela Reuters apresenta os dados de maneira organizada, dos recordes de temperatura quebrados à influência do calor sobre fenômenos como tufões e furacões. (em Inglês)

Open Data Day Recife
(inscrições abertas para palestrantes aqui)

  • 2 a 8 de março - Recife-PE

  • 16 de novembro - São Paulo-SP

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso canal do slack.

Wow! Já que chegou até aqui, qual a nota dessa edição da Newsletter?

Pode dar sua opinião sincera...

Login or Subscribe to participate in polls.

Logo