Temario del curso
Introducción
Comprensión del Big Data
Visión general de Spark
Visión general de Python
Visión general de PySpark
- Distribución de datos usando el marco Resilient Distributed Datasets (RDD).
- Distribución de cómputo mediante operadores de la API de Spark.
Configuración de Python con Spark
Configuración de PySpark
Uso de instancias EC2 de Amazon Web Services (AWS) para Spark
Configuración de Databricks
Configuración del clúster AWS EMR
Aprendizaje de los conceptos básicos de la programación en Python
- Iniciación con Python.
- Uso del Notebook Jupyter.
- Uso de variables y tipos de datos simples.
- Trabajo con listas.
- Uso de sentencias if.
- Manejo de entradas del usuario.
- Trabajo con bucles while.
- Implementación de funciones.
- Trabajo con clases.
- Trabajo con archivos y excepciones.
- Gestión de proyectos, datos y APIs.
Aprendizaje de los conceptos básicos de Spark DataFrame
- Iniciación con Spark DataFrames.
- Implementación de operaciones básicas con Spark.
- Uso de Groupby y operaciones de agregación.
- Trabajo con marcas de tiempo (timestamps) y fechas.
Ejercicio práctico con un proyecto en Spark DataFrame
Comprensión del aprendizaje automático (Machine Learning) con MLlib
Uso de MLlib, Spark y Python para Machine Learning
Comprensión de las regresiones
- Aprendizaje de la teoría de Regresión Lineal.
- Implementación del código de evaluación de regresión.
- Ejercicio práctico de ejemplo de Regresión Lineal.
- Aprendizaje de la teoría de Regresión Logística.
- Implementación del código de Regresión Logística.
- Ejercicio práctico de ejemplo de Regresión Logística.
Comprensión de los Bosques Aleatorios (Random Forests) y Árboles de Decisión
- Aprendizaje de la teoría de métodos de árboles.
- Implementación de códigos para Árboles de Decisión y Bosques Aleatorios.
- Ejercicio práctico de ejemplo de clasificación con Bosque Aleatorio.
Trabajo con agrupamiento K-means
- Comprensión de la teoría del agrupamiento K-means.
- Implementación del código de agrupamiento K-means.
- Ejercicio práctico de ejemplo de agrupamiento.
Trabajo con sistemas de recomendación
Implementación de procesamiento del lenguaje natural
- Comprensión del Procesamiento del Lenguaje Natural (NLP).
- Visión general de las herramientas NLP.
- Ejercicio práctico de ejemplo de NLP.
Streaming con Spark en Python
- Visión general del streaming con Spark.
- Ejercicio práctico de ejemplo de Spark Streaming.
Comentarios finales
Requerimientos
- Habilidades generales de programación.
Público objetivo
- Desarrolladores.
- Profesionales de TI.
- Científicos de datos.
Reseñas (6)
Me gustó que fuera práctico. Amé aplicar el conocimiento teórico con ejemplos prácticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
El curso trataba sobre una serie de temas muy complejos y relacionados, y Pablo tiene un conocimiento profundo de cada uno de ellos. A veces, los matices se perdían en la comunicación y/o debido a las presiones de tiempo, lo que posiblemente hizo que las expectativas no se cumplieran del todo por esta razón. También hubo algunos problemas con la configuración de UHG/Azure Databricks, pero Pablo/UHG resolvió estos rápidamente una vez que se hicieron evidentes. Esto para mí demostró un alto nivel de entendimiento y profesionalismo entre UHG y Pablo,
Michael Monks - Tech NorthWest Skillnet
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
Atención individualizada.
ARCHANA ANILKUMAR - PPL
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
Formación práctica..
Abraham Thomas - PPL
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
Las lecciones se impartieron en un cuaderno de Jupyter. Los temas estaban estructurados con una secuencia lógica y ayudaron naturalmente a desarrollar la sesión desde las partes más sencillas hasta las más complejas. Ya soy un usuario avanzado de Python con conocimientos en Aprendizaje Automático, por lo que encontré el curso más fácil de seguir que, posiblemente, algunos de mis compañeros que tomaron el curso de formación. Aprecio que se hayan omitido algunos de los conceptos más elementales y que se haya centrado en los temas más sustanciales.
Angela DeLaMora - ADT, LLC
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
tareas de práctica
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curso - Python and Spark for Big Data (PySpark)
Traducción Automática
