Saltar a contenido

Plantilla entregable U2

Unidad 2: Sistema Big Data en tiempo real

Producto de la unidad: pipeline streaming con múltiples patrones de ingesta y Spark, observabilidad, estimación de recursos/costos y modelo predictivo de analítica/ML entrenado y evaluado.


Datos generales

Curso: Big Data
Unidad: 2
Estudiante / equipo: ____
Fecha: _ / / ___

Docente: ______


Entregable esperado

El estudiante/equipo debe presentar un pipeline streaming funcional basado en un sistema de mensajería/event streaming y procesamiento con Spark, acompañado de evidencias técnicas, métricas operativas, propuesta de observabilidad/costos y un modelo predictivo entrenado, evaluado y seleccionado mediante experimentación distribuida para integrarse en la U3.


Sesiones de la Unidad 2

Sesión Tema Actividad práctica Evidencia esperada
S6 Ingesta en tiempo real (Kafka) Publicar eventos de negocio desde microservicios o cambios CDC desde una base OLTP. Topics, producer/consumer, contrato de evento y evidencias del caso elegido.
S7 Procesamiento en Streaming con Spark Consumir eventos desde el broker con Spark, parsear JSON, validar esquema y transformar datos. Notebook/script de streaming, checkpoint, salidas y validaciones.
S8 Observabilidad (Grafana) y Costos Ejecutar el previo 08_obs_basico, la práctica principal de observabilidad y la segunda parte de costos/escalado. Métricas, logs, dashboard, alertas y estimación de costos/escalado.
S9 ML distribuido: regresión con MLlib Entrenar, evaluar y guardar un modelo distribuido. Modelo entrenado, métricas y artefacto guardado.
S10 Series de tiempo e inferencia en streaming Aplicar el modelo guardado sobre datos batch y/o Kafka streaming. Predicciones, métricas y evidencia de inferencia.
S11 Tuning y experimentación distribuida Comparar configuraciones y seleccionar el mejor modelo con validación distribuida. Mejor modelo seleccionado y tabla de experimentación.

Estructura sugerida del informe

1. Resumen ejecutivo

Describe el objetivo del pipeline streaming, el caso elegido y el resultado obtenido.

2. Arquitectura del pipeline

Incluye:

  • fuente de datos: MS o réplica CDC;
  • sistema de mensajería/event streaming como capa de ingesta;
  • Spark como motor de procesamiento;
  • almacenamiento/salidas analíticas;
  • capa BI/ML;
  • observabilidad y supuestos de ejecución.

3. Ingesta de eventos en tiempo real

Documenta:

  • caso elegido en S6: MS o réplica CDC;
  • caso sensores en S7;
  • topics, colas o canales utilizados;
  • productores y consumidores;
  • estrategia de particionado;
  • ejemplos de eventos.

Contrato de evento

Campo Tipo de dato Descripción Ejemplo

4. Procesamiento en streaming con Spark

Documenta:

  • lectura desde el broker/event stream;
  • parseo JSON;
  • validación de esquema;
  • filtros y transformaciones;
  • ventanas o watermarking si aplica;
  • checkpoint;
  • salida del stream.

5. Observabilidad y rendimiento

Registra resultados de pruebas controladas.

Prueba Fuente Trigger Throughput Latencia Lag/errores Observaciones
1
2
3

6. Costos y escalado

Estima:

  • CPU;
  • memoria;
  • particiones, colas o canales del broker;
  • ejecutores Spark;
  • volumen de datos esperado;
  • almacenamiento;
  • riesgos de backpressure;
  • estrategia de escalado.

7. BI/ML distribuido con Spark

Documenta:

  • dataset analítico generado;
  • features construidas;
  • tablas Gold/Mart si aplica;
  • salidas en Parquet;
  • uso previsto para BI o ML.

8. Modelo predictivo e inferencia

Incluye:

  • objetivo del modelo;
  • variables/features;
  • algoritmo usado;
  • métricas de evaluación;
  • predicciones generadas;
  • evidencia de inferencia batch o streaming;
  • artefactos/modelo listos para integrarse en U3.

9. Evidencias

Adjunta o referencia:

  • capturas de ejecución;
  • logs;
  • salidas de consola;
  • fragmentos de código;
  • notebooks/scripts usados;
  • métricas del pipeline;
  • métricas del modelo;
  • archivos Parquet o artefactos generados.

10. Conclusiones

Resume:

  • qué se logró implementar;
  • qué limitaciones se encontraron;
  • qué decisiones técnicas se tomaron;
  • cómo se integrará el resultado en U3 mediante DataOps/DevOps.

Checklist de entrega

Criterio Cumple Observaciones
Se implementó ingesta de eventos para caso MS o réplica CDC. [ ]
Se documentaron contratos de evento. [ ]
Se implementó procesamiento streaming con Spark. [ ]
Se midió latencia, throughput, lag o errores. [ ]
Se propuso observabilidad con dashboard, métricas y alertas. [ ]
Se estimaron recursos, costos y escalado. [ ]
Se generó dataset BI/ML o tablas mart en Parquet. [ ]
Se entrenó y evaluó un modelo predictivo. [ ]
Se evidenció inferencia batch o streaming. [ ]
Se adjuntaron evidencias técnicas reproducibles. [ ]

Producto final de Unidad 2

Pipeline streaming con Kafka y Spark, observabilidad operativa, salidas BI/ML y modelo predictivo listo para integrarse y desplegarse en la U3.