Um cenário típico seria um cluster Hadoop sendo configurado com as configurações armazenadas no serviço Amazon S3. Um administrador poderia então utilizar o cliente Genie para informar ao serviço Genie correspondente um ID único, nome e outras propriedades desse cluster. Uma vez registrado, os usuários finais podem aplicar requisições de jobs para o Genie, especificando o tipo de trabalho, argumentos de linha de comando e dependências de arquivos, além de permitir a especificação de que tipo de cluster Hadoop pegar, seja via ID, nome ou mesmo demais propriedades. Esses dados são então utilizados pelo Genie para selecionar um cluster apropriado.
O novo sistema de gerenciamento é construído em um leque de ferramentas que foram criadas para o Hadoop, e liberadas como código aberto pela Netflix. O Karyon, por exemplo, manipula o gerenciamento de bootstrap e o ciclo de vida para serviços web. Já o Eureka oferece o registro de serviços e descoberta para o Genie, que então utiliza o Archaius, um sistema de propriedade dinâmica, e o Servo, uma interface de monitoramento. E, finalmente, o Ribbon junta todos esses serviços intermediários. A netflix tornou isso uma questão de princípios ao lançar seus desenvolvimentos como código aberto, além de torná-los disponíveis através do Netflix Open Source Center sob a licença Apache 2.0. O código fonte do Genie pode ser encontrado no repositório GitHub do Netflix. Mesmo sabendo que esse código já está rodando em um ambiente de produção da própria Netflix há alguns meses, os desenvolvedores dizem que esse é um trabalho em progresso e deve ser considerado como uma versão 0 (zero).
Saiba Mais:
- Heise Online: Netflix releases open source Genie for Hadoop (em Inglês)