Data Science com Spark / Hadoop

5
Dias

Métodos de Formação

Sem opções de Formação definidas

Curso em Privado

Peça-nos um orçamento para a realização deste curso em Privado. Estamos disponíveis para propor as datas e os conteúdos à medida das suas necessidades.
 

Descrição do Curso

Os sistemas de armazenamento tradicionais, não foram projetados para armazenar dados gerados em alta velocidade, alto volume e grande variedade, os 3 Vs que definem o Big Data. As novas ferramentas de Big Data e Data Science permitem explorar grandes volumes de dados de forma efetiva, eficiente e económica.

O curso de Applied Data Science using Spark and Hadoop on Cloudera fornece aos participantes uma formação sólida e prática sobre a utilização de Spark e Hadoop em diferentes indústrias e situações.

Este curso aborda a aplicação das ferramentas de data science em situações reais em diferentes indústrias e situações.

A quem se destina

Quem pode beneficiar deste curso:

  • Este curso é ideal para profissionais com experiência em desenvolvimento, analistas de dados e estatística.
  1. Introdução ao Curso
    1. Introdução ao Curso
    2. Objetivos do Curso
    3. Visão geral do Curso
    4. Pré-requisitos do Curso
    5. Valor do Curso para os profissionais
    6. Temas abrangidos
    7. Conclusão
  2. Introdução ao Big Data e Data Science
    1. O que caracteriza o Big Data
    2. O que caracteriza o Data Science
    3. Papel do Data Scientist
    4. Sumário
    5. Conclusão
  3. Casos de Estudo
    1. Saúde
    2. Finanças
    3. Retalho
    4. Marketing
    5. Telcos
    6. Setor Público
    7. Sumário
    8. Conclusão
  4. Workflow de projetos 
    1. Etapas de um projeto
    2. Caso prático
    3. Sumário
    4. Conclusão
  5. Fontes de Dados
    1. Diferentes fontes de dados
    2. Dados estruturados e não estruturados
    3. Utilização de ferramentas de obtenção de dados
    4. Casos práticos
    5. Sumário
    6. Conclusão
  6. Análise e Transformação dos dados de input
    1. Diferentes formatos de dados
    2. Diferentes tipos de dados
    3. Conversão de diferentes tipos de ficheiros
    4. Tratamento de grandes volumes de dados
    5. Utilização e tratamento de data sets
    6. Casos práticos
    7. Sumário
    8. Conclusão
  7. Análise de Dados e Métodos Estatísticos
    1. Introdução a Probabilidades e Estatística
    2. Análise Estatística de Dados
    3. Estatística e Data Science
    4. Casos práticos
    5. Sumário
    6. Conclusão
  8. Introdução ao Machine Learning
    1. Introdução
    2. Os 3 Cs
    3. Tratamento de dados e algoritmos
    4. Classificador Naive-Bayes
    5. Casos práticos
    6. Sumário
    7. Conclusão
  9. Sistemas de recomendação
    1. Introdução aos diferentes sistemas de recomendação
    2. Diferentes tipos de sistemas
    3. Limitações dos sistemas de recomendação
    4. Casos práticos
    5. Sumário
    6. Conclusão
  10. Introdução ao Apache Spark e ao MLib
    1. Introdução ao Apache Spark
    2. Utilização do Apache Spark
    3. Utilização do pacote MLib
    4. Casos práticos
    5. Sumário
    6. Conclusão
  11. Utilização dos sistemas de recomendação com MLib
    1. Introdução à utilização do MLib em sistemas de recomendação
    2. Criação de sistemas de recomendação usando MLib
    3. Tuning e Weighting
    4. Casos práticos
    5. Sumário
    6. Conclusão
  12. Teste e Avaliação dos sistemas
    1. Desenho de sistemas efectivos de testes
    2. Avaliação de sistemas
    3. Utilização de interfaces para os sistemas de recomendação
    4. Casos práticos
    5. Sumário
    6. Conclusão
  13. Aplicação dos Conceitos e Ferramentas em Sistemas de Produção
  14. Implementação prática em produção
  15. Trabalhar com grandes volumes de dados, Big Data
  16. Utilização de ferramentas de visualização
  17. Próximos passos
  18. Casos práticos
  19. Sumário
  20. Conclusão
  21. Conclusão
    1. Revisão do curso
    2. Avaliação do curso
    3. Obrigado!
    4. Sessão de esclarecimento de dúvidas

Após a conclusão do curso, os formando deverão:

  • Conceitos de Big Data e Data Science;
  • Saber o papel do data scientist nas organizações;
  • Exemplos práticos da utilização das ferramentas de Data Science nas organizações;
  • Integrar dados provenientes de diferentes fontes;
  • Utilizar as ferramentas disponíveis para transformar e normalizar dados estruturados e não estruturados;
  • Analisar diferentes problemas e propor as melhores aproximações à sua resolução;
  • Introdução aos diferentes sistemas de recomendação;
  • Sistemas de machine learning;
  • Utilização das diferentes ferramentas em diferentes situações.

 

  • Experiência em Apache Hadoop é útil mas não essencial;
  • Experiência anterior de programação numa linguagem de scripting tipo Python ou outra é útil mas não essencial;
  • Conhecimentos de sistema operativo Unix/Linux é útil mas não essencial.