Saltar a contenido

Sesión 01 – Arquitecturas Big Data

Tema: Ecosistema Big Data, procesamiento batch y streaming, arquitecturas Lambda y Kappa.

Propósito: Identificar los componentes del ecosistema Big Data y decidir qué arquitectura utilizar según un problema real.

La presentación de la sesión 1 plantea justamente ese propósito y centra la decisión entre Lambda y Kappa en función del problema.

Motivación

Una plataforma similar a Netflix recibe miles de eventos por segundo: reproducciones, búsquedas, clics en recomendaciones y errores de reproducción. La empresa necesita analizar datos históricos y eventos en tiempo real para mejorar su servicio. La pregunta central es: ¿qué arquitectura Big Data debería utilizar: Lambda o Kappa? Ese caso aparece en la motivación de la PPT.

1. ¿Qué es Big Data?

Big Data se refiere al procesamiento de grandes volúmenes de datos que no pueden ser manejados eficientemente con herramientas tradicionales. La sesión lo resume a partir de las 5V: volumen, variedad, velocidad, veracidad y valor.

2. Ecosistema Big Data

Una solución Big Data puede entenderse como un flujo de trabajo:

  1. Fuente de datos
  2. Ingesta / extracción
  3. Almacenamiento
  4. Procesamiento
  5. Visualización / consumo

En la PPT se ilustra este ciclo con extracción, almacenamiento distribuido, procesamiento distribuido y visualización de valor.

3. Batch vs Streaming

Batch

Trabaja con datos acumulados y se procesa periódicamente.

Ejemplos: reportes diarios, logs históricos, entrenamiento de modelos.

Streaming

Procesa datos conforme llegan al sistema.

Ejemplos: fraude, recomendaciones en tiempo real, monitoreo.

La sesión presenta ambos enfoques como base de decisión arquitectónica.

4. Arquitectura Lambda

Lambda combina tres capas:

  • Batch layer: procesamiento histórico
  • Speed layer: procesamiento en tiempo real
  • Serving layer: consulta de resultados

Ventaja: alta precisión al combinar histórico y tiempo real.

Desventaja: mayor complejidad.

5. Arquitectura Kappa

Kappa procesa todo como streaming.

Ventaja: arquitectura más simple.

Desventaja: menos optimizada para datos históricos.

6. Regla de decisión

  • Si necesitas histórico + tiempo real → Lambda
  • Si todo es eventos en tiempo real → Kappa

7. Comparación rápida

Aspecto Lambda Kappa
Histórico Sí No separado
Tiempo real Sí Sí
Complejidad Alta Menor
Capas Batch + Speed + Serving Solo streaming
Reprocesamiento Desde batch Reprocesando stream

Esta comparación aparece sintetizada en la presentación.

8. Tecnologías del ecosistema

La ficha y los ejemplos de la PPT usan esta secuencia:

Usuarios → Kafka → Spark Processing → Data Lake / Base de datos → Dashboard / Aplicaciones

Y proponen tecnologías como: - Kafka para ingesta - Spark para procesamiento distribuido - Data Lake para almacenamiento - Power BI / Dashboard para visualización.

9. Caso guiado: plataforma de streaming

Problema

La plataforma necesita: - datos históricos - eventos en tiempo real - recomendaciones y monitoreo

Análisis

Como requiere histórico + tiempo real, la arquitectura más adecuada es Lambda.

Flujo simple propuesto

Usuarios → Kafka → Spark Streaming + Batch → Data Lake / DW → Dashboard

caso = "Plataforma de streaming"
tipo_procesamiento = "Ambos"
arquitectura = "Lambda"

tecnologias = ["Kafka", "Spark Streaming", "Spark Batch", "Data Lake", "Dashboard"]

print("Caso:", caso)
print("Tipo de procesamiento:", tipo_procesamiento)
print("Arquitectura sugerida:", arquitectura)
print("Tecnologías:", tecnologias)

10. Actividad práctica guiada

Responde en el notebook:

  1. ¿El caso requiere batch, streaming o ambos?
  2. ¿Conviene Lambda o Kappa?
  3. ¿Qué tecnologías del ecosistema propondrías?
  4. Escribe un flujo lógico simple de la arquitectura.

La actividad práctica de la PPT pide analizar un caso, identificar el tipo de procesamiento, elegir arquitectura y proponer un diagrama simple.

11. Plantilla para la propuesta

  • Caso analizado:
  • Tipo de procesamiento:
  • Arquitectura seleccionada:
  • Justificación:
  • Tecnologías propuestas:
  • Diagrama simple: Fuente → Ingesta → Procesamiento → Almacenamiento → Visualización
propuesta = {
    "caso": "Streaming de video",
    "tipo_procesamiento": "Ambos",
    "arquitectura": "Lambda",
    "justificacion": "Necesita histórico y tiempo real",
    "tecnologias": ["Kafka", "Spark", "Data Lake", "Power BI"],
    "diagrama": "Usuarios -> Kafka -> Spark -> Data Lake -> Dashboard"
}

for k, v in propuesta.items():
    print(f"{k}: {v}")

12. Actividad autónoma

Elige uno de estos casos: - comercio electrónico - sensores IoT - red social - transporte inteligente

Luego define: 1. qué datos genera 2. si necesita batch, streaming o ambos 3. si conviene Lambda o Kappa 4. qué tecnologías propones 5. qué riesgos o supuestos observas

Esto sigue la actividad autónoma y la ficha de arquitectura de la sesión 1.

casos = {
    "comercio_electronico": "Ambos -> Lambda",
    "sensores_iot": "Streaming predominante -> Kappa",
    "red_social": "Ambos -> Lambda",
    "transporte_inteligente": "Ambos -> Lambda"
}

casos

13. Cierre

Ideas clave

  • Big Data trabaja con gran volumen, variedad y velocidad
  • Existen dos tipos principales de procesamiento: batch y streaming
  • Las arquitecturas más usadas en esta sesión son Lambda y Kappa
  • La decisión depende del tipo de problema.

14. Preguntas de reflexión

  1. ¿En qué casos una empresa necesitaría procesamiento en tiempo real?
  2. ¿Qué ventajas tiene combinar batch y streaming?
  3. ¿Qué arquitectura usarías para un sistema de sensores IoT y por qué?

La sesión cierra con reflexión y conecta la siguiente clase con almacenamiento distribuido (HDFS).