Com nossa mudança de paradigma, começamos a lidar com um monte de tecnologias novas e, principalmente, com Big Data. Neste processo, começamos a trabalhar com Hadoop e MapReduce, na intenção de poder extrair, analisar e gerar insights para o Mercado da Música. MapReduce foi inventado pelo Google para poder processar a quantidade de informação que eles trabalham, mas parece que a quantidade aumentou de uma forma tão grande que tiveram que inventar uma nova: Google Cloud Dataflow.

Um breve esquema abaixo, sem maiores detalhes, para aqueles que se interessam pela parte mais técnica do assunto.

Google Dataflow Schema

 

No Google I/O de 2014 o vice presidente de infraestrutura do Google, Urs Hölzle, declarou que eles próprios não utilizam MapReduce há anos!

“We don’t really use MapReduce anymore.”

Todos que trabalham com Big Data já devem saber disso, mas de uma coisa eles ainda não sabem… nós, da Zamus, fomos selecionados para testar o Alpha do Google Dataflow!

“Cloud Dataflow is the result of over a decade of experience in analytics. It will run faster and scale better than pretty much any other system out there.”

Isso significa que poderemos melhorar ainda mais nossos processos, velocidade, economia e entregar mais qualidade em nossas análises sobre o Mercado da Música.

Vamos compartilhar esperiências sobre Hadoop, MapReduce e Dataflow? Você utiliza outra solução? Qual?

Tags:
0 Comentários

Envie uma Resposta

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

Zamus, Educação e Tecnologia para o Novo Mercado da Música.

FALE CONOSCO

Envie um e-mail para nós e ficaremos felizes em respondê-lo.

    Fazer login com suas credenciais

    ou    

    Esqueceu sua senha?

    Create Account