A cada dia que passa eu fico mais surpreso com as possibilidades criadas pela inovação tecnológica. A Amazon acaba de incrementar o seu portfólio se serviços de computação nas nuvens, com lançamento do serviço Amazon Elastic MapReduce.
O MapReduce, criado pelo Google, é um modelo de programação já implementado em linguagens como Java, C++ e outras. Ele é baseado em recursos disponíveis em linguagens funcionais como o LISP. O MapReduce possibilita o processamento e a geração de massas de dados gigantescas. Esse processamento é feito, de forma transparente, em clusters de computadores comuns. O MapReduce simplificou a computação em larga-escala realizada Google. Detalhes como tolerância a falhas, balanceamento de carga são abstraídos, o que torna a programação menos maçante e sujeito a falhas.
Antes, esse tipo processamento não era acessível fora de grandes centros de pesquisa ou empresas como o Google. Porem, baseando-se nos papers liberados pelo Google, Doug Cutting criou uma implementação open-source em Java do MapReduce. O projeto chamado de Hadoop foi disponibilizado pela Apache.
A adoção do Hadoop foi muito rápida, hoje ele é utilizado por empresas como Yahoo, Facebook, Microsoft, Autodesk, IBM e etc. O Facebook utiliza o Hadoop para mapear os relacionamentos na sua rede social. O Yahoo personaliza o conteúdo exibido para 300 milhões de pessoas, baseado na análise das suas preferências. O Hadoop tem substituído soluções caseiras no o atendimento de necessidades do core business destas empresas.
O MapReduce, criado pelo Google, é um modelo de programação já implementado em linguagens como Java, C++ e outras. Ele é baseado em recursos disponíveis em linguagens funcionais como o LISP. O MapReduce possibilita o processamento e a geração de massas de dados gigantescas. Esse processamento é feito, de forma transparente, em clusters de computadores comuns. O MapReduce simplificou a computação em larga-escala realizada Google. Detalhes como tolerância a falhas, balanceamento de carga são abstraídos, o que torna a programação menos maçante e sujeito a falhas.
Antes, esse tipo processamento não era acessível fora de grandes centros de pesquisa ou empresas como o Google. Porem, baseando-se nos papers liberados pelo Google, Doug Cutting criou uma implementação open-source em Java do MapReduce. O projeto chamado de Hadoop foi disponibilizado pela Apache.
A adoção do Hadoop foi muito rápida, hoje ele é utilizado por empresas como Yahoo, Facebook, Microsoft, Autodesk, IBM e etc. O Facebook utiliza o Hadoop para mapear os relacionamentos na sua rede social. O Yahoo personaliza o conteúdo exibido para 300 milhões de pessoas, baseado na análise das suas preferências. O Hadoop tem substituído soluções caseiras no o atendimento de necessidades do core business destas empresas.Agora começam a aparecer ofertas da plataforma Hadoop para cloud computing. A pioneira foi a empresa Cloudera, formada por ex-engenheiros do Google, Yahoo, Oracle e outras. A Amazon, maior referência em cloud computing, passou a oferecer o mesmo serviço. No caso da Amazon, o serviço já nasce integrado com todo o ecossistema de serviços já disponíveis como o S3 e o EC2. Todo esse poder computacional esta disponível para empresas de todos os portes e para simples mortais como você e eu.
