Saltar a contenido

Plantilla entregable U1

Unidad 1: Arquitecturas Big Data y ETL batch distribuido

Producto de la unidad: pipeline batch de ETL distribuido con Spark, reglas de calidad básica, diseño de almacenamiento y salidas analíticas en Parquet listas para BI/ML.


Datos generales

Curso: Big Data
Unidad: 1
Estudiante / equipo: ____
Fecha: _ / / ___

Docente: ______


Entregable esperado

El estudiante/equipo debe presentar un pipeline batch funcional basado en Apache Spark, acompañado de una propuesta de arquitectura Big Data, evidencias de extracción, transformación, validación de calidad, escritura en formato analítico y una justificación técnica del diseño de almacenamiento elegido.


Sesiones de la Unidad 1

Sesión Tema Actividad práctica Evidencia esperada
S1 Arquitectura Big Data Analizar un caso, identificar batch/streaming y proponer arquitectura Lambda o Kappa. Ficha de arquitectura, flujo lógico y justificación de la elección.
S2 Fundamentos Apache Spark Crear SparkSession, cargar DataFrames, explorar datos, usar acciones, lazy evaluation y RDD. Notebook ejecutado, resultados de consultas, acciones y plan de ejecución.
S3 ETL distribuido en batch Construir flujo ETL con limpieza, joins, funciones ventana y validación de calidad. Pipeline ETL ejecutado, reglas aplicadas, métricas de calidad y salida Parquet.
S4 HDFS, formatos y almacenamiento Diseñar salida analítica con Parquet, particionado y lectura de validación. Estructura física de salida, comparación CSV/Parquet y justificación técnica.

Estructura sugerida del informe

1. Resumen ejecutivo

Describe el caso elegido, el objetivo del pipeline batch y el resultado obtenido.

2. Caso de negocio y arquitectura propuesta

Incluye:

  • problema o necesidad de datos;
  • usuarios o áreas que consumirán el resultado;
  • tipo de procesamiento requerido: batch, streaming o mixto;
  • arquitectura propuesta: Lambda, Kappa u otra variante justificada;
  • flujo lógico desde fuentes hasta salida analítica.

3. Fuentes de datos

Documenta:

  • datasets utilizados;
  • ubicación de archivos fuente;
  • formato original;
  • volumen aproximado;
  • columnas principales;
  • problemas detectados en los datos.

Diccionario básico de datos

Campo Tipo de dato Descripción Ejemplo

4. Extracción y exploración con Spark

Documenta:

  • creación de la SparkSession;
  • lectura de archivos;
  • esquema inferido o definido;
  • conteo de registros;
  • primeras filas;
  • exploración inicial con DataFrames.

5. Transformaciones ETL

Describe las transformaciones implementadas:

  • limpieza de nulos o registros inválidos;
  • eliminación de duplicados;
  • filtros de negocio;
  • joins distribuidos;
  • agregaciones;
  • funciones ventana;
  • columnas derivadas;
  • decisiones iniciales de rendimiento.

6. Validación de calidad de datos

Registra los controles aplicados.

Regla de calidad Dataset/columna Resultado Acción aplicada Evidencia
Nulos
Duplicados
Valores inválidos
Integridad de join

7. Ejecución y plan de procesamiento

Incluye evidencias de:

  • acciones que disparan ejecución;
  • lazy evaluation;
  • plan lógico o físico con explain;
  • particiones utilizadas si aplica;
  • observaciones de rendimiento.

8. Carga y almacenamiento analítico

Documenta:

  • ruta de salida;
  • formato elegido;
  • particionado aplicado;
  • compresión si aplica;
  • lectura de validación desde Parquet;
  • estructura física de carpetas;
  • consulta objetivo que se beneficia del diseño.

9. Comparación y justificación técnica

Explica por qué el formato y particionado son adecuados para el caso.

Criterio CSV u origen Parquet / salida analítica Comentario
Tamaño
Lectura selectiva
Esquema
Consumo BI/ML

10. Dataset final para BI/ML

Describe:

  • tabla o dataset final generado;
  • granularidad;
  • columnas finales;
  • métricas o indicadores disponibles;
  • posibles consultas BI;
  • posible uso posterior en ML.

11. Evidencias

Adjunta o referencia:

  • capturas de ejecución;
  • logs;
  • salidas de consola;
  • fragmentos de código;
  • notebooks/scripts usados;
  • rutas de archivos Parquet;
  • tablas de resultados;
  • capturas de estructura de carpetas.

12. Conclusiones

Resume:

  • qué se logró implementar;
  • qué problemas de datos se encontraron;
  • qué decisiones técnicas se tomaron;
  • cómo el resultado queda preparado para la Unidad 2 o para consumo BI/ML.

Rúbrica de evaluación

Criterio N1 Inicio N2 En proceso N3 Logro esperado
Arquitectura Big Data Presenta una arquitectura incompleta o sin relación clara entre componentes. Presenta una arquitectura definida, pero con algunas incoherencias en el flujo de datos. Presenta una arquitectura clara y coherente, incluyendo fuente, Spark, almacenamiento y salida analítica.
Procesamiento con Spark Solo realiza lectura básica o transformaciones mínimas. Realiza transformaciones, pero con errores o poca consistencia. Realiza lectura, exploración, limpieza, tipado y transformaciones correctas en Spark.
Fundamentos de ejecución Spark No evidencia acciones, lazy evaluation ni plan de ejecución. Evidencia parcialmente acciones o plan de ejecución. Explica y evidencia acciones, lazy evaluation y/o plan de ejecución con claridad.
Proceso ETL ETL incompleto o no evidenciado. ETL funcional, pero con debilidades en alguna fase. ETL completo, estructurado y evidenciado: Extract, Transform y Load.
Calidad del dataset final Dataset con errores, nulos críticos o mala estructura. Dataset parcialmente limpio, con detalles pendientes. Dataset limpio, consistente, tipado y listo para análisis/BI.
Almacenamiento analítico en Parquet No almacena correctamente o no usa formato analítico. Almacena en Parquet, pero sin validación o justificación suficiente. Almacena correctamente en Parquet, valida lectura y justifica formato/particionado.
Diseño de almacenamiento No explica ruta, estructura ni criterio de organización. Describe parcialmente la salida o el particionado. Explica ruta, estructura física, particionado y consulta objetivo beneficiada.
Evidencias de ejecución No presenta evidencias. Presenta evidencias parciales. Presenta evidencias claras de Spark, ETL, validaciones y salida Parquet.
Estructura del entregable Documento desordenado o incompleto. Documento parcialmente organizado. Documento completo, ordenado y alineado a la plantilla.
Claridad y presentación Difícil de entender. Entendible, pero poco claro. Claro, ordenado y profesional.

Producto final de Unidad 1

Pipeline batch distribuido con Spark, salida analítica en Parquet, validación de calidad básica y dataset preparado para consumo BI/ML o integración con las siguientes unidades.