Google Cloud Dataflow

Com nossa mudança de paradigma, começamos a lidar com um monte de tecnologias novas e, principalmente, com Big Data. Neste processo, começamos a trabalhar com Hadoop e MapReduce, na intenção de poder extrair, analisar e gerar insights para o Mercado da Música. MapReduce foi inventado pelo Google para poder processar a quantidade de informação que eles trabalham, mas parece que a quantidade aumentou de uma forma tão grande que tiveram que inventar uma nova: Google Cloud Dataflow.

Um breve esquema abaixo, sem maiores detalhes, para aqueles que se interessam pela parte mais técnica do assunto.

No Google I/O de 2014 o vice presidente de infraestrutura do Google, Urs Hölzle, declarou que eles próprios não utilizam MapReduce há anos!

“We don’t really use MapReduce anymore.”

Todos que trabalham com Big Data já devem saber disso, mas de uma coisa eles ainda não sabem… nós, da Zamus, fomos selecionados para testar o Alpha do Google Dataflow!

“Cloud Dataflow is the result of over a decade of experience in analytics. It will run faster and scale better than pretty much any other system out there.”

Isso significa que poderemos melhorar ainda mais nossos processos, velocidade, economia e entregar mais qualidade em nossas análises sobre o Mercado da Música.

Vamos compartilhar esperiências sobre Hadoop, MapReduce e Dataflow? Você utiliza outra solução? Qual?