Administração Apache Hadoop

5
Dias

Métodos de Formação

Sem opções de Formação definidas

Curso em Privado

Peça-nos um orçamento para a realização deste curso em Privado. Estamos disponíveis para propor as datas e os conteúdos à medida das suas necessidades.
 

O Curso de Administração Hadoop fornece aos participantes uma compreensão abrangente de todos os passos necessários para operar e manter um cluster
Hadoop. O futuro administrador de sistemas Hadoop estará preparado para manter grandes e complexos Clusters Hadoop através de Planeamento, Instalação, Configuração, Monitorização e Tunning.
O curso é essencialmente prático com exemplos e exercícios retirados de sistemas reais.

1. Introdução ao Curso
1.1. Introdução ao Curso
1.2. Objetivos do Curso
1.3. Visão geral do Curso
1.4. Pré-requisitos do Curso
1.5. Valor do Curso para os profissionais
1.6. Temas abrangidos
1.7. Conclusão


2. Introdução ao Big Data e ao Hadoop
2.1. Introdução ao Big Data e ao Hadoop
2.2. Objetivos
2.3. Introdução
2.4. Tipos de Dados
2.5. Características do Big Data
2.6. Atratividade da tecnologia Big Data
2.7. Benefícios para os negócios com a tecnologia Big Data
2.8. Abordagem da análise tradicional da TI
2.9. Plataforma da tecnologia Big Data para Discovery e Exploration
2.10. Capacidades da tecnologia Big Data
2.11. Big Data e casos de estudo2.12. Desafios do Big Data
2.13. Introdução ao Hadoop
2.14. Hadoop e o tradicional Rdbms
2.15. História e marcos do Hadoop
2.16. Serviços vitais do Hadoop
2.17. Arquitectura Hdfs
2.18. Organizações que usam Hadoop
2.19. Quiz
2.20. Sumário


3. Planeamento do Cluster Hadoop
3.1. Planeamento do Cluster Hadoop
3.2. Objectivos
3.3. Visão geral do Cluster Hadoop
3.4. Arquitectura do Cluster Hadoop
3.5. Fluxo de trabalho do Cluster Hadoop
3.6. HDFS Writes
3.7. Exemplo HDFS Writes
3.8. Preparar HDFS Writes
3.9. Pipelined HDFS Writes
3.10. Namenod
3.11. Funcionalidaes Namenod
3.12. Replicando réplicas em falta
3.13. HDFS Reads
3.14. Cluster desiquilibrado
3.15. Utilidade Balancer
3.16. Factores para o planeamento do cluster Hadoop
3.17. Configurações do Hardware e redes– Slave
3.18. Configurações do Hardware e redes – Master
3.19. Tipologia de redes para o Cluster Hadoop
3.20. Tipologia e components do Cluster Hadoop
3.21. Comandos de gestão do Cluster
3.22. Quiz
3.23. Sumário
3.24. Conclusão

4. Instalação e Configuração do Hadoop
4.1. Instalação e Configuração do Hadoop
4.2. Objectvos
4.3. Ubuntu Server - Introducão
4.4. Instalação do Ubuntu Server 12.4
4.5. Cenário de negócio
4.6. Demo Instalar Ubuntu Server 12.4
4.7. Instalação do Hadoop – Pre-requisitos
4.8. Instalação do Hadoop
4.9. Demo Hadoop 1.0 no Ubuntu Server 12.4
4.10. Pré-requisitos da instalação Multi-Node Hadoop
4.11. Passos da instalação Multi-Node Hadoop
4.12. Cluster Single-Node vs Cluster Multi-Node
4.13. Demo Criar um clone da Máquina Virtual Hadoop
4.14. Demo Executar o ambiente do Cluster Hadoop
4.15. Demo Instalar Hadoop 2 no Servidor Ubuntu 12.4
4.16. Quiz
4.17. Sumário
4.18. Conclusão


5. Funcionalidades Avançadas da Configuração do Cluster
5.1. Funcionalidades Avançadas da Configuração do Cluster
5.2. Objectivos
5.3. Estrutura de Dados
5.4. Visão geral da Configuração do Hadoop
5.5. Tipos de ficheiros de configuração
5.6. Ficheiros importantes de configuração
5.7. Parâmetros e valores de configuração
5.8. Configuração do Cluster Hadoop _ Parâmetros e valores
5.9. Reduzir a configuração do mapa Hadoop _ Parâmetros e valores
5.10. Pré-requisitos para a instalação do Hadoop
5.11. Setup do ambiente Hadoop
5.12. Incluir e excluir ficheiros de configuração
5.13. Cenário de negócio
5.14. Demo – Configuração das funções do Hadoop
5.15. Quiz
5.16. Sumário
5.17. Conclusão


6. Sistema de Arquivos Distribuido Hadoop
6.1. Sistema de Arquivos Distribuido Hadoop
6.2. Objectivos
6.3. Introdução ao Sistema de Arquivos Distribuido Hadoop
6.4. Fins do HDFS
6.5. Arquitectura HDFS
6.6. Design do HDFS
6.7. Conceito do HDFS
6.8. Máquina de Armazenamento Hadoop
6.9. Medidas da execução da capacidade
6.10. Arquitectura do Armazenamento Heterogêneo HDFS
6.11. Ilustração da Arquitectura do Armazenamento HDFS
6.12. Consciência do Rack HDFS
6.13. HDFS Writes
6.14. HDFS Reads
6.15. Importantes comandos do HDFS
6.16. Tipos dos comandos do HDFS
6.17. Comandos do utilizador
6.18. Comandos do Administrador
6.19. Cenário do negócio
6.20. Demo-HDFS
6.21. Introdução ao Sqoop
6.22. Como é que o Sqoop trabalha
6.23. Pré-requisitos para a instalação do Sqoop
6.24. Instalar e Configurar o Sqoop
6.25. Importação dos dados do MySQL
6.26. Cenário do negócio
6.27. Demo – Instalar Sqoop
6.28. Quiz
6.29. Sumário
6.30. Conclusão


7. Visão Geral do Mapreduce e YARN
7.1. Visão geral do Mapreduce e do YARN
7.2. Objectivos
7.3. Introdução ao Mapreduce
7.4. Conceitos do Mapreduce
7.5. História do Mapreduce
7.6. Execução paralela automática no Mapreduce
7.7. Estrutura do Mapreduce
7.8. Como Map e Reduce funcionam juntos
7.9. Exemplo do Mapreduce
7.10. Fluxo do trabalho do Mapreduce
7.11. Caracteristicas do Mapreduce
7.12. Desenvolvimento e bibliotecas do Mapreduce
7.13. Falha e recuperação do Mapreduce
7.14. Introdução ao YARN
7.15. Necessidade do YARN
7.16. Beneficios do YARN
7.17. Arquitectura YARN
7.18. Configuração do YARN
7.19. Trabalhar com YARN e YARN Web UI
7.20. Quiz
7.21. Sumário
7.22. Conclusão


8. Componentes Importantes do Hadoop
8.1. Componentes importantes do Hadoop
8.2. Objectivos
8.3. Hive
8.4. Hive vs Bases de Dados Tradicionais
8.5. Tipos de Dados Hive
8.6. Pré-requisitos do Hive
8.7. Instalação do Hive
8.8. Instalação do Hive de Tarball
8.9. Configuração do Hive
8.10. Site Hive
8.11. Template Hive Default.xml.
8.12. Ficheiros de log
8.13. Variáveis da configuração Hive
8.14. Variáveis da configuração Hive usadas para interagir com Hadoop
8.15. Cenário de negócio
8.16. Demo – Instalação do Hive
8.17. Pig
8.18. Pré-requisitos para Pig
8.19. Instalação do Pig
8.20. Comandos úteis do Pig
8.21. Configuração do Pig
8.22. Cenário de negócio
8.23. Demo – Instalação do Pig
8.24. Impala
8.25. Instalação e configuração do Impala
8.26. Quiz
8.27. Sumário
8.28. Conclusão


9. Administração e Manutenção do Hadoop
9.1. Objectivos
9.2. Formação NameNode estrutural e convenções de nomes
9.3. Formação DataNode estrutural e convenções de nomes
9.4. Imagem do Sistema de ficheiros e Logo de edição
9.5. Procedimento de verificação
9.6. Procedimento de recuperação de falha no NameNode
9.7. Modo de segurança
9.8. Metada e Backup Dta
9.9. Problemas para os Administradores Hadoop
9.10. Soluções para os problemas
9.11. Adicionar Noods
9.12. Remover Noods
9.13. Quiz
9.14. Sumário
9.15. Conclusão


10. Componentes do Ecosistema Hadoop
10.1. Componentes do Ecosistema Hadoop
10.2. Visão geral do Ganglia
10.3. Componentes do Ganglia
10.4. Instalação do Ganglia no Servidor Hadoop
10.5. Usar Ganglia para gráficos
10.6. Visão geral do Nagios
10.7. Instalação do Nagios
10.8. Instalação da construção Nagios do método fonte
10.9. Configuração do Nagios para Alertas Hadoop
10.10. Introdução ao Sqoop
10.11. Vantagem do Sqoop
10.12. Instalação e configuração do Sqoop
10.13. Importar dados do MySQL para Hive, usando o Sqoop
10.14. Outros componentes do Ecosistema
10.15. Oozie
10.16. Como funciona o Oozie
10.17. Avro
10.18. Thirft
10.19. Rest
10.20. Mahout
10.21. Apache Cassandra
10.22. Yarn
10.23. MR2
10.24. Segurança Hadoop
10.25. Kerberos e Hadoop
10.26. Importância da segurança no Hadoop
10.27. Componentes do sistema de segurança Hadoop
10.28. Escalão de autorização integrado na segurança Hadoop
10.29. Camada de segurança OS
 

Após a conclusão do curso, os formando deverão:
● Obter uma compreensão clara do Apache Hadoop, HDFS, Hadoop Cluster e Administração Hadoop;
● Obter conhecimento sobre Hadoop 2.0, Name Node High Availability, HDFS Federation, YARN, MapReduce v2
● Planear e implementar um cluster Hadoop
● Carregar dados e executar aplicações
● Configurar e ajustar o desempenho
● Gerir, manter, monitorar e solucionar problemas de um Cluster Hadoop
● Garantir uma implantação e compreender o backup e a recuperação
● Adquirir conhecimento sobre Oozie, Hcatalog/Hive, e Administração HBase


● Experiência em administração de sistemas operativos é útil mas não essencial;
● Experiência anterior em programação básica e conhecimento matemático será útil.