Nos clients

Code formation

sparkdev

Durée

21 heures (généralement 3 jours pauses comprises)

Pré requis

PRE-REQUISITES

familiarity with either Java / Scala / Python language (our labs in Scala and Python)
basic understanding of Linux development environment (command line navigation / editing files using VI or nano)

Aperçu

OBJECTIF:

Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.

PUBLIC :

Développeurs / Analystes de données

Machine Translated

Plan du cours

Scala primer
- A quick introduction to Scala
- Labs : Getting know Scala
Spark Basics
- Background and history
- Spark and Hadoop
- Spark concepts and architecture
- Spark eco system (core, spark sql, mlib, streaming)
- Labs : Installing and running Spark
First Look at Spark
- Running Spark in local mode
- Spark web UI
- Spark shell
- Analyzing dataset – part 1
- Inspecting RDDs
- Labs: Spark shell exploration
RDDs
- RDDs concepts
- Partitions
- RDD Operations / transformations
- RDD types
- Key-Value pair RDDs
- MapReduce on RDD
- Caching and persistence
- Labs : creating & inspecting RDDs; Caching RDDs
Spark API programming
- Introduction to Spark API / RDD API
- Submitting the first program to Spark
- Debugging / logging
- Configuration properties
- Labs : Programming in Spark API, Submitting jobs
Spark SQL
- SQL support in Spark
- Dataframes
- Defining tables and importing datasets
- Querying data frames using SQL
- Storage formats : JSON / Parquet
- Labs : Creating and querying data frames; evaluating data formats
MLlib
- MLlib intro
- MLlib algorithms
- Labs : Writing MLib applications
GraphX
- GraphX library overview
- GraphX APIs
- Labs : Processing graph data using Spark
Spark Streaming
- Streaming overview
- Evaluating Streaming platforms
- Streaming operations
- Sliding window operations
- Labs : Writing spark streaming applications
Spark and Hadoop
- Hadoop Intro (HDFS / YARN)
- Hadoop + Spark architecture
- Running Spark on Hadoop YARN
- Processing HDFS files using Spark
Spark Performance and Tuning
- Broadcast variables
- Accumulators
- Memory management & caching
Spark Operations
- Deploying Spark in production
- Sample deployment templates
- Configurations
- Monitoring
- Troubleshooting

Nos Clients témoignent

★★★★★

Richard est très calme et méthodique, avec un aperçu analytique - exactement les qualités nécessaires pour présenter ce type de cours.

Kieran Mac Kenna

Machine Translated

Analyse de cas

国栋张

Machine Translated

toutes les parties de cette session

Eric Han - Fmr

Machine Translated

Nous en savons beaucoup plus sur l’ensemble de l’environnement.

John Kidd

Machine Translated

Le formateur a rendu le cours intéressant et divertissant, ce qui aide un peu tout au long de la journée.

Ryan Speelman

Machine Translated

Ernesto a fait un excellent travail en expliquant les concepts de haut niveau de l'utilisation de Spark et de ses différents modules.

Michael Nemerouf

Machine Translated

J'ai aimé la méthodologie attendue par Jorge

Experian Colombia S.A

Machine Translated

Richard était très disposé à faire une digression quand nous voulions poser des questions semi-liées sur des choses qui ne figuraient pas dans le programme. Les explications étaient claires et il était au premier plan des mises en garde dans tous les conseils qu'il nous donnait.

ARM Limited

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Ajay était très sympathique, serviable et connaissait bien le sujet dont il discutait.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Machine Translated

Je pense que le formateur avait un excellent style en combinant l'humour et des histoires réelles pour rendre les sujets abordables. Je recommande vivement ce professeur à l'avenir.

Machine Translated

Catégories Similaires

Cours Similaires

CA$6900

Formation Spark for Developers

Nos clients

Code formation

Durée

Pré requis

Aperçu

OBJECTIF:

PUBLIC :

Plan du cours

Scala primer

Spark Basics

First Look at Spark

RDDs

Spark API programming

Spark SQL

MLlib

GraphX

Spark Streaming

Spark and Hadoop

Spark Performance and Tuning

Spark Operations

Nos Clients témoignent

Catégories Similaires

Cours Similaires

Réduction spéciale

Analyse Efficace des Exigences avec les Méthodes Agiles et une Modélisation Agile

Business Process Modeling using BPMN and UML

Business Process Modeling using BPMN and UML

Analyse Efficace des Exigences avec les Méthodes Agiles et une Modélisation Agile

Business Process Modeling using BPMN and UML

Newsletter offres spéciales