PySpark e Elasticsearch - construindo projetos com dados
Trabalhando com dados com velocidade e variedade em tecnologias inovadoras
4.75 (2 reviews)
36
students
7 hours
content
Oct 2024
last update
$19.99
regular price
What you will learn
O que é PYSPARK
O que é SPARK
Instalando o SPARK em um ambiente Windows, configurando
Instalando o ANACONDA
Instalando a JDK
Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
Entendendo o conceito de NÓ, CLUSTER
Conhecendo os módulos e pacotes do PYSPARK
O que é SparkContext
Entendo o que é RDD (Resilient Distributed Dataset)
Trabalhando com Spark Dataframe
Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
Aprendendo o que é uma função Lambda
Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
Monitoramento de jobs com SPARK UI
O que é SparkSession
Leitura de arquivos externos
SPARK SQL
Leitura de dados em JSON
Elasticsearch sobre o seu mecanismo criado para análise de dados e busca
Entender como é realizada a combinação de muitos tipos de buscas — estruturadas, não estruturadas
Compreender Elasticsearch usa APIs RESTful e JSON padrão
Aprendizado sobre Elasticsearch, Logstash e Kibana
Elasticsearch banco de dados NoSQL
Logstash ferramenta para ingestão de dados
Kibana ferramenta para criação de visualização de dados e Dashboards
Canvas utilizado para criação de infográficos, documentos e projetos gráficos com os dados
Compreender sobre como são armazenados os documentos
Entender a estrutura JSON de armazenamento
Entender sobre índices, tipos de documentos, documentos e campos
Entendimento do que são shards, conhecimento sobre partição de índices, conhecimento sobre réplica de shards
O que é um NÓ
Como utilizar e o que significa um Request Body
Como funciona a busca URI
Trabalhando com as aplicações Discover, Viazualize
Related Topics
4235958
udemy ID
8/11/2021
course created date
8/15/2021
course indexed date
Bot
course submited by