Sesión 01 – Arquitecturas Big Data¶
Tema: Ecosistema Big Data, procesamiento batch y streaming, arquitecturas Lambda y Kappa.
Propósito: Identificar los componentes del ecosistema Big Data y decidir qué arquitectura utilizar según un problema real.
La presentación de la sesión 1 plantea justamente ese propósito y centra la decisión entre Lambda y Kappa en función del problema.
Motivación¶
Una plataforma similar a Netflix recibe miles de eventos por segundo: reproducciones, búsquedas, clics en recomendaciones y errores de reproducción. La empresa necesita analizar datos históricos y eventos en tiempo real para mejorar su servicio. La pregunta central es: ¿qué arquitectura Big Data debería utilizar: Lambda o Kappa? Ese caso aparece en la motivación de la PPT.
1. ¿Qué es Big Data?¶
Big Data se refiere al procesamiento de grandes volúmenes de datos que no pueden ser manejados eficientemente con herramientas tradicionales. La sesión lo resume a partir de las 5V: volumen, variedad, velocidad, veracidad y valor.
2. Ecosistema Big Data¶
Una solución Big Data puede entenderse como un flujo de trabajo:
- Fuente de datos
- Ingesta / extracción
- Almacenamiento
- Procesamiento
- Visualización / consumo
En la PPT se ilustra este ciclo con extracción, almacenamiento distribuido, procesamiento distribuido y visualización de valor.
3. Batch vs Streaming¶
Batch¶
Trabaja con datos acumulados y se procesa periódicamente.
Ejemplos: reportes diarios, logs históricos, entrenamiento de modelos.
Streaming¶
Procesa datos conforme llegan al sistema.
Ejemplos: fraude, recomendaciones en tiempo real, monitoreo.
La sesión presenta ambos enfoques como base de decisión arquitectónica.
4. Arquitectura Lambda¶
Lambda combina tres capas:
- Batch layer: procesamiento histórico
- Speed layer: procesamiento en tiempo real
- Serving layer: consulta de resultados
Ventaja: alta precisión al combinar histórico y tiempo real.
Desventaja: mayor complejidad.
5. Arquitectura Kappa¶
Kappa procesa todo como streaming.
Ventaja: arquitectura más simple.
Desventaja: menos optimizada para datos históricos.
6. Regla de decisión¶
- Si necesitas histórico + tiempo real → Lambda
- Si todo es eventos en tiempo real → Kappa
7. Comparación rápida¶
| Aspecto | Lambda | Kappa |
|---|---|---|
| Histórico | Sí | No separado |
| Tiempo real | Sí | Sí |
| Complejidad | Alta | Menor |
| Capas | Batch + Speed + Serving | Solo streaming |
| Reprocesamiento | Desde batch | Reprocesando stream |
Esta comparación aparece sintetizada en la presentación.
8. Tecnologías del ecosistema¶
La ficha y los ejemplos de la PPT usan esta secuencia:
Usuarios → Kafka → Spark Processing → Data Lake / Base de datos → Dashboard / Aplicaciones
Y proponen tecnologías como: - Kafka para ingesta - Spark para procesamiento distribuido - Data Lake para almacenamiento - Power BI / Dashboard para visualización.
9. Caso guiado: plataforma de streaming¶
Problema¶
La plataforma necesita: - datos históricos - eventos en tiempo real - recomendaciones y monitoreo
Análisis¶
Como requiere histórico + tiempo real, la arquitectura más adecuada es Lambda.
Flujo simple propuesto¶
Usuarios → Kafka → Spark Streaming + Batch → Data Lake / DW → Dashboard
caso = "Plataforma de streaming"
tipo_procesamiento = "Ambos"
arquitectura = "Lambda"
tecnologias = ["Kafka", "Spark Streaming", "Spark Batch", "Data Lake", "Dashboard"]
print("Caso:", caso)
print("Tipo de procesamiento:", tipo_procesamiento)
print("Arquitectura sugerida:", arquitectura)
print("Tecnologías:", tecnologias)
10. Actividad práctica guiada¶
Responde en el notebook:
- ¿El caso requiere batch, streaming o ambos?
- ¿Conviene Lambda o Kappa?
- ¿Qué tecnologías del ecosistema propondrías?
- Escribe un flujo lógico simple de la arquitectura.
La actividad práctica de la PPT pide analizar un caso, identificar el tipo de procesamiento, elegir arquitectura y proponer un diagrama simple.
11. Plantilla para la propuesta¶
- Caso analizado:
- Tipo de procesamiento:
- Arquitectura seleccionada:
- Justificación:
- Tecnologías propuestas:
- Diagrama simple: Fuente → Ingesta → Procesamiento → Almacenamiento → Visualización
propuesta = {
"caso": "Streaming de video",
"tipo_procesamiento": "Ambos",
"arquitectura": "Lambda",
"justificacion": "Necesita histórico y tiempo real",
"tecnologias": ["Kafka", "Spark", "Data Lake", "Power BI"],
"diagrama": "Usuarios -> Kafka -> Spark -> Data Lake -> Dashboard"
}
for k, v in propuesta.items():
print(f"{k}: {v}")
12. Actividad autónoma¶
Elige uno de estos casos: - comercio electrónico - sensores IoT - red social - transporte inteligente
Luego define: 1. qué datos genera 2. si necesita batch, streaming o ambos 3. si conviene Lambda o Kappa 4. qué tecnologías propones 5. qué riesgos o supuestos observas
Esto sigue la actividad autónoma y la ficha de arquitectura de la sesión 1.
casos = {
"comercio_electronico": "Ambos -> Lambda",
"sensores_iot": "Streaming predominante -> Kappa",
"red_social": "Ambos -> Lambda",
"transporte_inteligente": "Ambos -> Lambda"
}
casos
13. Cierre¶
Ideas clave¶
- Big Data trabaja con gran volumen, variedad y velocidad
- Existen dos tipos principales de procesamiento: batch y streaming
- Las arquitecturas más usadas en esta sesión son Lambda y Kappa
- La decisión depende del tipo de problema.
14. Preguntas de reflexión¶
- ¿En qué casos una empresa necesitaría procesamiento en tiempo real?
- ¿Qué ventajas tiene combinar batch y streaming?
- ¿Qué arquitectura usarías para un sistema de sensores IoT y por qué?
La sesión cierra con reflexión y conecta la siguiente clase con almacenamiento distribuido (HDFS).