postado em 10 de abr. de 2012 02:37 por Nazareno Ferreira de Andrade
Aluno: Geraldo Sarmento Título: Configurando o Hadoop através de um Processo Empírico Flexível Banca: Lívia Campos (orientadora), Raquel Lopes (orientadora), Andrey Brito (UFCG), Alexandre Nóbrega Duarte (UFPB)
Data: 23/04/2012 Hora: 10h Local: Auditório do CEEI
Resumo:
Atualmente é comum, tanto no meio acadêmico quando no corporativo, a
geração de grandes volumes de dados, também conhecidos com Big Data.
Para processar esses dados é essencial a utilização de plataformas de
alto desempenho como o popular Hadoop. No que diz respeito à
configuração dessa plataforma observa-se uma quantidade considerável de
parâmetros que devem ser ajustados e os quais seus usuários normalmente
não têm noção de como fazê-la, resultando em um Hadoop mal configurado e
com um desempenho aquém de seu real potencial. Este trabalho propõe um
processo para auxiliar a configuração de aplicações sobre o Hadoop
através de técnicas empíricas que utilizam subespaços de parâmetros
dessa plataforma e realizam análises estatísticas para verificar a
relevância dos mesmos extraindo os valores otimizados em função do
subespaço de parâmetros considerado. Visando instanciar o processo
foi realizado um estudo de caso de forma a obter uma configuração
adequada com impacto positivo sobre o tempo de resposta das aplicações. A
validação foi feita através de uma comparação com soluções existentes
na qual o processo proposto teve uma significativa vantagem levando em
consideração o tempo de resposta da aplicação utilizada. Apesar do tempo
de conclusão do processo ter sido maior que o das outras soluções, são
analisados cenários através dos quais o uso do processo se mostra mais
vantajoso que o uso das outras soluções, principalmente no que diz
respeito a sua flexibilidade quanto ao número de parâmetros e métricas
possíveis de serem avaliadas. |
|