Academia ETL - Pipelines de ingestão e DW - 4 cursos em 1

De forma 100% visual, integrando dados e construindo seus pipelines e JOBS em APACHE HOP e TALEND

4.79 (17 reviews)

Udemy

platform

Português

language

Other

What you will learn

O que é Hop Orchestration Platform

Entendendo sobre fluxos de trabalho e pipelines

Entendendo sobre projetos e ambientes

Instalação do APACHE HOP

Criando pipelines com arquivos texto

Realizando tratamento de dados para entendimento do processo de engenharia de dados

O que são transformações, links e ações dentro de um pipeline

Construindo um workflow, orquestrador da sequência das operações

Entendendo o HOP GUI e seus componentes

Entendendo menu barras, principal e perspectivas

Criando sua área de projetos

Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output

Entendendo o que é : View output, Preview output , Debug output

Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist

Leitura de dados em uma API: Rest Client, JSON Input, JSON Output

Construindo Workflow com execução de pipelines

Entendo o uso de variáveis globais no APACHE HOP

Automatização de pipeline ou workflow pelo HOP-RUN

Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão

Instalação de banco de dados Postgresql, usando PGAdmin

Como trabalhar com a ferramenta ETL Open Source Talend Data integration

Para que funciona uma ferramenta ETL

Como realizar a integração de dados dentro do Talend Data integration

Principais componentes do Talend: TFILEARCHIVE, TFILEUNARCHIVE,TFILECOMPARE E TFILEOUTPUTDELIMETED ,TFILECOPY E TFILELIST,TFILEDELETE E TJAVA

Mais componentes: TFILEEXIST E TMSGBOX,TFILEROWCOUNT,TAGGREGATEROW, TSORTROW E TLOGROW, TREPLACE E TFILTERCOLUMN

Mais componentes: TFILTERROW,TSPLITROW,TFILEINPUTXML, TLOGCATCHER , TROWGENERATION,TDIE E TLOGROW

Mais componentes:TLOGCATCHER , TROWGENERATION,TWARN E TLOGROW ,TSENDMAIL

Como exportar um projeto de desenvolvimento para produção

Como importar um projeto para produção

Aprendendo o uso das conhecidas variáveis de contexto

O que é Business Intelligence (BI)

O que é Data Warehouse (DW)

Como criar as tabelas staging, dimensão e fato

Construção da carga dim_tempo

Como o APACHE HOP pode se tornar um integrador de dados e construção de projetos de DW

Entendendo o que é HOP projects

Como funciona um pipeline e um workflow

Interface de trabalho do APACHE HOP

Instalação do APACHE HOP e do banco Postgres

Entendendo sobre Modelagem Multidimensional

Preparação de dados e construção de pipelines e workflow das cargas do DW

O que são dimensões Slow Change Dimension 1 e 2

Identificando as informações inconsistentes e armazenando no DW para ajustes

Entendendo Levantamento de Dados com Gestores - Matriz de Necessidades

Entendendo como criar um documento alinhado ( Gestor-Sistemas) - Fonte de Dados

Entendo como criar um modelo multidimensional - Dimensão e Fato