Pyspark e Nifi: analisando e criando projetos de dados
Analisando dados com duas grandes ferramentas de mercado
4.71 (21 reviews)
517
students
5 hours
content
Oct 2024
last update
$19.99
regular price
What you will learn
O que é PYSPARK
O que é SPARK
Instalando o SPARK em um ambiente Windows, configurando
Instalando o ANACONDA
Instalando a JDK
Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
Entendendo o conceito de NÓ, CLUSTER
Conhecendo os módulos e pacotes do PYSPARK
O que é SparkContext
Entendo o que é RDD (Resilient Distributed Dataset)
Trabalhando com Spark Dataframe
Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
Aprendendo o que é uma função Lambda
Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
Monitoramento de jobs com SPARK UI
O que é SparkSession
Leitura de arquivos externos
SPARK SQL
Leitura de dados em JSON
Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
Entendo sobre o gerenciamento e a automatização do fluxo de dados
Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
O que é Flow File
O que é um Processor
O que é um Fluxo de Dados
O que é uma conexão
O que é um grupo de processor
Aprendendo sobre a barra de componentes
Aprendendo sobre a barra de controle navegação
Aprendendo sobre a barra de operação
Desenvolvimento de diversos fluxos de dados
Extensões: Putfile, Getfile, ExtractText, SplitText
Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
Extensões: MergeContent, ReplaceText, CompressContent
Uso de Input Port, Funil e Process Group
Related Topics
4317694
udemy ID
9/24/2021
course created date
10/9/2021
course indexed date
Bot
course submited by