• Netflix Libera Genie para Hadoop como Código Aberto

    Netflix, a conhecida empresa de streaming de filmes pela Internet, liberou recentemente como código aberto seu sistema de gerenciamento de recurso e trabalho para Haddop, chamado Genie. O software Genie foi desenvolvido para ajudar a Netflix no gerenciamento de cargas de trabalho (workloads) com seus clusters Haddop configurados de diferentemente de múltiplas formas, que rodam no serviço de nuvem da Amazon, o Amazon Web Services. Ao utilizar o Genie, um usuário final pode submeter trabalhos para um serviço de execução e deixar que o Genie "encaixe" o trabalho em um cluster Hadoop apropriado, enquanto os administradores podem utilizar o Genie para navegar através dos clusters Hadoop registrados que estejam disponíveis e visualizar suas configurações associadas. Porém, o Genie não consegue manipular agendamentos de workflow, tarefas de agendamento, ou mesmo gerenciamento de recursos como o provisionamento ou o escalonamento de clusters Hadoop.


    Um cenário típico seria um cluster Hadoop sendo configurado com as configurações armazenadas no serviço Amazon S3. Um administrador poderia então utilizar o cliente Genie para informar ao serviço Genie correspondente um ID único, nome e outras propriedades desse cluster. Uma vez registrado, os usuários finais podem aplicar requisições de jobs para o Genie, especificando o tipo de trabalho, argumentos de linha de comando e dependências de arquivos, além de permitir a especificação de que tipo de cluster Hadoop pegar, seja via ID, nome ou mesmo demais propriedades. Esses dados são então utilizados pelo Genie para selecionar um cluster apropriado.

    O novo sistema de gerenciamento é construído em um leque de ferramentas que foram criadas para o Hadoop, e liberadas como código aberto pela Netflix. O Karyon, por exemplo, manipula o gerenciamento de bootstrap e o ciclo de vida para serviços web. Já o Eureka oferece o registro de serviços e descoberta para o Genie, que então utiliza o Archaius, um sistema de propriedade dinâmica, e o Servo, uma interface de monitoramento. E, finalmente, o Ribbon junta todos esses serviços intermediários. A netflix tornou isso uma questão de princípios ao lançar seus desenvolvimentos como código aberto, além de torná-los disponíveis através do Netflix Open Source Center sob a licença Apache 2.0. O código fonte do Genie pode ser encontrado no repositório GitHub do Netflix. Mesmo sabendo que esse código já está rodando em um ambiente de produção da própria Netflix há alguns meses, os desenvolvedores dizem que esse é um trabalho em progresso e deve ser considerado como uma versão 0 (zero).

    Saiba Mais:

    - Heise Online: Netflix releases open source Genie for Hadoop (em Inglês)

    Sobre o Autor: code

    Administrador e Editor do Portal Under-Linux, desenvolvedor Linux e FOSS para Linux, autor de livros e artigos, atuando na área de Educação Digital e P&D com AI.

Visite: BR-Linux ·  VivaOLinux ·  Dicas-L