Universidad Peruana Unión
Carret. Central km. 19.5 Ñaña. Telf. 01-6186300 Casilla 3564 Lima 1, Perú
Sílabo: Big Data
| N. |
Campo |
Información |
N. |
Campo |
Información |
| 01 |
Facultad/EGP |
Facultad de Ingeniería y Arquitectura |
09 |
Año de plan de estudio |
2022-1 |
| 02 |
Programa de estudio |
EP Ingeniería de Sistemas |
10 |
Ciclo de estudio |
9 |
| 03 |
Tipo de estudio |
General |
11 |
Código de asignatura |
|
| 04 |
Nombre de asignatura |
Big Data |
12 |
Número de créditos |
3 |
| 05 |
Duración |
|
13 |
Nota mínima probatoria |
13 |
| 06 |
Horas de la asignatura |
H. Te. Pract: 32 / H. Prc. Pres: 32 |
14 |
Año y semestre académico |
2026-2 |
| 07 |
Docente |
Sullon Macalupu Abel Angel |
|
|
|
| 08 |
Pre-requisito |
Minería de datos |
|
|
|
II. Sumilla
La asignatura de Big Data es de carácter teórico-práctico. Desarrolla competencias para implementar soluciones Big Data distribuidas con procesamiento batch, procesamiento streaming, observabilidad, analítica/ML y visualización BI. El curso utiliza LambdaLab como entorno integrado de procesamiento distribuido en batch y streaming con Spark y Kafka, permitiendo construir pipelines de datos, gestionar almacenamiento analítico en Parquet, aplicar observabilidad y desarrollar soluciones BI/ML distribuidas mediante laboratorios reproducibles basados en Docker.
III. Competencia del perfil de egreso en relación a la asignatura
| Tipo |
Competencia |
Nivel / dimensiones |
| General |
INVESTIGACIÓN E INNOVACIÓN: Desarrolla y aplica habilidades de investigación científica y formativa, así como la capacidad de innovar de manera ética y basada en principios bíblico-cristianos, para contribuir al avance del conocimiento y la solución de problemas en la sociedad. |
N. 1.1: Problematización, Diseño de Investigación. |
| Específica |
CIENCIA DE DATOS E INTELIGENCIA ARTIFICIAL: Diseña y gestiona sistemas inteligentes basándose en metodologías, estándares y herramientas a fin de lograr estrategias de mejora para la organización. |
N. 1.1: Analista de negocios, ingeniería de datos, científico de datos, analista de datos. |
IV. Resultado de aprendizaje de la asignatura
| Resultado de aprendizaje |
Producto Académico |
| Implementa, integra y sustenta una solución Big Data end-to-end que combina pipelines batch distribuidos, ingesta y procesamiento de eventos en tiempo real, analítica/ML a escala, observabilidad técnica y una capa de visualización BI, demostrando valor para la toma de decisiones. |
Nombre: Sistema Big Data distribuido end-to-end para procesamiento batch y streaming, analítica/ML, observabilidad y visualización BI para la toma de decisiones. |
|
Descripción: Solución Big Data reproducible que integra Spark, Kafka, almacenamiento analítico, procesamiento streaming, observabilidad con Grafana, analítica/ML distribuida, series de tiempo o inferencia y visualización BI. La solución muestra evidencias de ejecución, métricas técnicas y del modelo, documentación operativa y demo end-to-end. |
V. Unidades de aprendizaje
Unidad 1: Arquitecturas Big Data y ETL batch distribuido
| Resultado de aprendizaje |
Producto |
| Construye un pipeline batch reproducible con procesamiento distribuido, aplica transformaciones sobre datos a escala, valida la calidad básica de los datos, organiza salidas en formatos analíticos como Parquet y deja un dataset preparado para consumo BI/ML. |
Nombre: Pipeline batch de ETL distribuido con salidas analíticas en Parquet listas para BI/ML. |
| Criterios de evaluación del producto |
Descripción del producto |
| Arquitectura Big Data seleccionada y justificada. Uso correcto de Spark/PySpark para extracción, transformación, agregacion y procesamiento distribuido. Datos cargados y particionados en formatos analíticos. Pipeline batch reproducible. Primer componente ML distribuido con métricas básicas. Evidencias técnicas y documentación de ejecución. |
Pipeline batch que procesa datos distribuidos con Spark, genera salidas analíticas en Parquet y deja resultados preparados para analítica, ML y BI. |
Sesiones de aprendizaje
| N. |
Fecha |
Contenido |
HT |
HP |
Actividad práctica |
Actividad autónoma |
| 1 |
10/08/2026 - 15/08/2026 |
Arquitectura Big Data: arquitecturas Lambda y Kappa, batch vs. streaming. |
2 |
2 |
Analiza LambdaLab y decide entre arquitectura Lambda o Kappa, justificando batch vs. streaming para un caso de negocio. |
Elabora un diagrama de arquitectura (Lambda o Kappa), decisiones técnicas, supuestos y riesgos. |
| 2 |
16/08/2026 - 22/08/2026 |
Fundamentos PySpark: extracción, transformaciones, funciones, agrupaciones, agregaciones, RDD y evaluación perezosa (lazy evaluation). |
2 |
2 |
Ejecuta transformaciones distribuidas con PySpark y valida resultados mediante DataFrames/RDD, identificando el momento en que Spark ejecuta realmente el cálculo (por ejemplo, con explain()). |
Documenta transformaciones, funciones aplicadas, evidencias de ejecución y el efecto de la evaluación perezosa en el plan de ejecución. |
| 3 |
23/08/2026 - 29/08/2026 |
Procesamiento distribuido y carga de datos particionada en HDFS y formatos analíticos, con validación de calidad de datos (esquema, nulos, duplicados). |
2 |
2 |
Construye una salida analítica particionada en formato columnar lista para BI/ML, aplicando controles de calidad (esquema, nulos, duplicados) antes de la carga. |
Justifica formato, particionado, estructura de carpetas, criterios de consulta y los controles de calidad aplicados. |
| 4 |
30/08/2026 - 05/09/2026 |
ML distribuido con Spark MLlib (Regresión). |
2 |
2 |
Entrena un modelo de regresión distribuida con Spark MLlib y reporta métricas iniciales. |
Compara configuraciónes básicas y documenta resultados del modelo. |
| 5 |
06/09/2026 - 12/09/2026 |
Integración del procesamiento batch distribuido: arquitectura Big Data, PySpark, HDFS, formatos analíticos, particionamiento y ML distribuido. |
2 |
2 |
Evaluación de la Unidad I: 1. Resolver la evaluación teórico-práctica de los temas de la Unidad I. 2. Presentar y sustentar el Pipeline batch de ETL distribuido con salidas analíticas en Parquet listas para BI/ML. |
Corrige observaciones y consolida la documentación técnica de U1. |
Unidad 2: Sistema Big Data en tiempo real: ingesta, streaming, observabilidad y BI/ML
| Resultado de aprendizaje |
Producto |
| Implementa un pipeline Big Data en tiempo real que integra ingesta de eventos empresariales e IoT/sensores mediante Kafka, procesamiento distribuido con Spark Structured Streaming, observabilidad con Grafana y estimación de costos operaciónales. Además, prepara salidas BI/ML distribuidas y reutiliza modelos para series de tiempo e inferencia batch y/o streaming. |
Nombre: Pipeline en tiempo real con ingesta de eventos empresariales e IoT/sensores, procesamiento streaming con Spark, observabilidad/costos y salidas BI/ML distribuidas. |
| Criterios de evaluación del producto |
Descripción del producto |
| Ingesta de eventos empresariales mediante Kafka. Ingesta de eventos IoT/sensores. Procesamiento streaming con Spark Structured Streaming. Observabilidad con métricas y tableros. Estimacion de costos y criterios de escalado. Salidas BI/ML distribuidas. Series de tiempo o inferencia en streaming documentada y validada. |
Pipeline Big Data en tiempo real que procesa eventos, produce resultados analíticos, expone métricas operativas y prepara resultados para BI/ML distribuido. |
Sesiones de aprendizaje
| N. |
Fecha |
Contenido |
HT |
HP |
Actividad práctica |
Actividad autónoma |
| 6 |
13/09/2026 - 19/09/2026 |
Ingesta de eventos empresariales en tiempo real. |
2 |
2 |
Publica y consume eventos empresariales con Kafka para un flujo de negocio. |
Documenta contrato de evento, tópico, particionado y evidencia de publicación/consumo. |
| 7 |
20/09/2026 - 26/09/2026 |
Ingesta de eventos IoT/sensores en tiempo real. |
2 |
2 |
Simula eventos de sensores o telemetría y los integra al pipeline de Kafka. |
Ajusta esquema de evento, frecuencia, volumen y validaciones de datos. |
| 8 |
27/09/2026 - 03/10/2026 |
Procesamiento en streaming con Spark: ventanas, watermarking y semántica de entrega. |
2 |
2 |
Implementa procesamiento con Spark Structured Streaming usando ventanas, agregaciones, watermarking para datos tardíos y checkpointing. |
Registra efectos de parámetros de streaming, watermark, latencia y throughput. |
| 9 |
04/10/2026 - 10/10/2026 |
Observabilidad con Grafana y costos. |
2 |
2 |
Instrumenta el pipeline con métricas, tablero de observabilidad y estimación de costos. |
Define umbrales, riesgos operativos, costos estimados y plan de escalado. |
| 10 |
11/10/2026 - 17/10/2026 |
Series de tiempo e inferencia en streaming. |
2 |
2 |
Aplica un modelo o inferencia de series de tiempo sobre datos batch y/o eventos streaming. |
Compara resultados, errores, supuestos y recomendaciones técnicas. |
| 11 |
18/10/2026 - 24/10/2026 |
BI/ML distribuido con Spark: KPIs del BI y visualización de la predicción de series de tiempo en streaming. |
2 |
2 |
Prepara y visualiza en el BI los KPIs del flujo de eventos en streaming junto con la predicción de series de tiempo generada en la sesión anterior. |
Documenta datos de salida, KPIs, métricas, validaciones y la relación entre la predicción y su visualización en BI. |
| 12 |
25/10/2026 - 31/10/2026 |
Integración del procesamiento en tiempo real: Kafka, eventos empresariales e IoT, Spark Structured Streaming, observabilidad, costos y salidas BI/ML. |
2 |
2 |
Evaluación de la Unidad II: 1. Resolver la evaluación teórico-práctica de los temas de la Unidad II. 2. Presentar y sustentar el Pipeline en tiempo real con ingesta, streaming, observabilidad y salidas BI/ML distribuidas. |
Corrige observaciones y prepara la integración final del sistema. |
Unidad 3: Integración, DataOps y despliegue del sistema final
| Resultado de aprendizaje |
Producto |
| Integra los componentes desarrollados en las unidades anteriores, despliega o empaqueta el sistema mediante prácticas de DataOps/DevOps, prepara una demo end-to-end, documenta la operación del sistema, valida resultados técnicos y analíticos, y sustenta una solución final orientada a la toma de decisiones. |
Nombre: Sistema Big Data distribuido end-to-end para procesamiento batch y streaming, analítica/ML, observabilidad y visualización BI para la toma de decisiones. |
| Criterios de evaluación del producto |
Descripción del producto |
| Integración end-to-end de batch, streaming y BI/ML. Prácticas DataOps/DevOps aplicadas al empaquetado o despliegue. Documentación operativa completa. Hardening y revisión técnica final. Demo reproducible. Sustentación técnica con evidencias de ejecución, métricas, resultados y valor para la toma de decisiones. |
Producto final que integra pipelines batch y streaming, observabilidad, analítica/ML, visualización BI y documentación operativa para una demo end-to-end defendida técnicamente. |
Sesiones de aprendizaje
| N. |
Fecha |
Contenido |
HT |
HP |
Actividad práctica |
Actividad autónoma |
| 13 |
01/11/2026 - 07/11/2026 |
Integración del sistema, DataOps y BI. |
2 |
2 |
Integra los componentes batch, streaming, observabilidad y BI/ML en una demo end-to-end. |
Documenta flujo completo, dependencias, pasos de ejecución y evidencias de integración. |
| 14 |
08/11/2026 - 14/11/2026 |
Revisión técnica final y hardening. |
2 |
2 |
Realiza revisión técnica, estabiliza configuración, corrige fallos y mejora documentación operativa. |
Completa el checklist de hardening y prepara el guion de demostración, las evidencias, las métricas y la explicación técnica del sistema. |
| 15 |
15/11/2026 - 21/11/2026 |
Integración del sistema Big Data end-to-end: procesamiento batch y streaming, DataOps, observabilidad, BI/ML, documentación y despliegue. |
2 |
2 |
Evaluación de la Unidad III: 1. Resolver la evaluación teórico-práctica de los temas de la Unidad III. 2. Presentar y sustentar el Sistema Big Data distribuido end-to-end para procesamiento batch y streaming, analítica/ML y visualización BI. |
Registra las observaciones del docente y actualiza el repositorio, las evidencias, las métricas y la documentación final. |
| 16 |
22/11/2026 - 28/11/2026 |
Integración de sistemas Big Data: arquitectura, procesamiento distribuido, batch, streaming, observabilidad, DataOps, BI/ML y despliegue. |
2 |
2 |
Continuación de la evaluación de la Unidad III: Realizar, según corresponda, la evaluación final individual o las presentaciones y sustentaciones pendientes mediante demostración, preguntas técnicas y revisión de evidencias. |
Actualiza la entrega final y reflexiona sobre aprendizajes, limitaciones y mejoras futuras del sistema. |
VI. Estrategias metodologicas
| N. |
Estrategias de ensenanza y de aprendizaje que se aplicaran en la asignatura |
| 1.1 |
Aprendizaje Cooperativo: Fomenta habilidades colaborativas y de trabajo en equipo, cruciales en la mayoria de los entornos laborales modernos. |
| 1.2 |
Flipped Classroom (Clase Invertida): En esta metodologia, los estudiantes revisan el material teorico fuera del aula, generalmente en linea, y utilizan el tiempo en clase para actividades prácticas y discusiones. |
| 1.3 |
Simulacion: Ofrece experiencias prácticas que son esenciales para la aplicacion de teorias en situaciones del mundo real. |
| 1.4 |
Estudios de caso: Desarrolla el pensamiento crítico y la toma de decisiones al analizar situaciones complejas, preparando a los estudiantes para enfrentar problemas similares en sus futuras carreras profesionales. |
| 1.5 |
Proyectos: Fomentan habilidades de investigación, gestión del tiempo y trabajo en equipo, todas cruciales en el mundo profesional. |
VII. Evaluación
La evaluación de los estudiantes se rige por el Reglamento de Estudios, disponible en: https://upeu.edu.pe/reglamentos/evaluación/.
La estructura evaluativa comprende componentes formativos y/o de procesos, de producto y genéricos, reflejando un enfoque integral.
Componentes de evaluación y ponderacion
- Evaluación de Sesiones (ES): Es el promedio de las evaluaciónes aplicadas a los estudiantes para verificar su proceso de aprendizaje durante las sesiones de las unidades. Su contribucion a la nota final es de hasta el 20%.
- Evaluación de Productos (EP): Es el promedio ponderado de las evaluaciónes de los productos entregados en cada unidad. Este componente representa un mínimo del 70% de la nota final.
- Evaluación de Competencias Generales (ECG): Esta evaluación aporta hasta un 10% al calculo de la nota final.
Programacion de evaluaciónes
| Fecha |
Unidad |
Producto |
Evaluación de proceso y de resultado |
Pesos |
| 18/09/2026 |
Unidad 1: Arquitecturas Big Data y ETL batch distribuido |
Pipeline batch de ETL distribuido con salidas analíticas en Parquet listas para BI/ML. |
Evaluación de sesiones |
5% |
| 18/09/2026 |
Unidad 1: Arquitecturas Big Data y ETL batch distribuido |
Pipeline batch de ETL distribuido con salidas analíticas en Parquet listas para BI/ML. |
Evaluación del producto |
20% |
| 30/10/2026 |
Unidad 2: Sistema Big Data en tiempo real: ingesta, streaming, observabilidad y BI/ML |
Pipeline en tiempo real con ingesta de eventos empresariales e IoT/sensores, procesamiento streaming con Spark, observabilidad/costos y salidas BI/ML distribuidas. |
Evaluación de sesiones |
5% |
| 30/10/2026 |
Unidad 2: Sistema Big Data en tiempo real: ingesta, streaming, observabilidad y BI/ML |
Pipeline en tiempo real con ingesta de eventos empresariales e IoT/sensores, procesamiento streaming con Spark, observabilidad/costos y salidas BI/ML distribuidas. |
Evaluación del producto |
25% |
| 20/11/2026 |
Unidad 3: Integración, DataOps y despliegue del sistema final |
Sistema Big Data distribuido end-to-end para procesamiento batch y streaming, analítica/ML, observabilidad y visualización BI para la toma de decisiones. |
Evaluación de sesiones |
10% |
| 20/11/2026 |
Unidad 3: Integración, DataOps y despliegue del sistema final |
Sistema Big Data distribuido end-to-end para procesamiento batch y streaming, analítica/ML, observabilidad y visualización BI para la toma de decisiones. |
Evaluación del producto |
25% |
| 20/11/2026 |
Competencia General |
INVESTIGACIÓN E INNOVACIÓN: Desarrolla y aplica habilidades de investigación científica y formativa, así como la capacidad de innovar de manera ética y basada en principios bíblico-cristianos, para contribuir al avance del conocimiento y la solución de problemas en la sociedad. |
Competencia General |
10% |
| Componente |
Peso |
| Evaluación de sesiones |
20% |
| Evaluación del producto |
70% |
| Evaluación de competencia generica |
10% |
| Total |
100% |
VIII. Recursos, medios y materiales
| N. |
Recursos, medios y materiales |
| 1 |
Guias y/o tutoriales |
| 2 |
PC de Escritorio con programas de ofimática |
| 3 |
Laboratorios |
| 4 |
Internet - Wifi |
| 5 |
Proyector y/o TV Smart |
IX. Referencias
Básica (Fuentes primarias)
- Brink, H., Richards, J. and Fetherolf, M. (2016). Real-World Machine Learning. Manning Publications.
- Erl, T., Khattak, W. and Buhler, P. (2016). Big Data Fundamentals: Concepts, Drivers & Techniques. Prentice Hall.
- Cielen, D., Meysman, A. and Ali, M. (2016). Introducing Data Science. Manning Publications.
Complementaria (Fuentes secundarias)
- Garillot, F. and Maas, G. (2017). Stream Processing with Apache Spark. O'Reilly.
- Richert, W. and Pedro-Coelho, L. (2013). Building Machine Learning Systems with Python. Packt Publishing.
- Grus, J. (2015). Data Science from Scratch. O'Reilly Media Inc.
- Poole, D. L. and Mackworth, A. K. (2010). Artificial Intelligence: Foundations of Computer Agents. Cambridge University Press.
- Marz, N. and Warren J. (2015). Big Data: Principles and Best Practices of Scalable Realtime Data Systems. Manning Publications.
- Ryza, S., Laserson, U., Owen, S., and Wills, J. (2017). Advanced Analytics with Spark. 2nd ed. O'Reilly.
- Harrington, P. (2012). Machine Learning in Action. Manning.
- Kelleher, J. D., Mac Namee, B. and D'Arcy, A. (2015). Fundamentals of Machine Learning for Predictive Data Analytics: Algorithms, Worked Examples, and Case Studies. The MIT Press.
- Gurin, J. (2014). Open Data Now. McGraw-Hill.
- Ryza, S., Laserson, U., Owen, S., and Wills, J. (2015). Advanced Analytics with Spark. O'Reilly.
- Geron, A. (2017). Hands-on Machine Learning with Scikit-Learn & TensorFlow. O'Reilly.
- Kitchin, R. (2014). The Data Revolution: Big Data, Open Data, Data Infrastructures and Their Consequences. SAGE Publications.
Libros
- Pena, S. (2017). Análisis de datos. Fundacion universitaria. Bogota.
- Caballero, R., Riesco, E. (2019). Big Data con Python: recoleccion, almacenamiento y proceso. Alfaomega Cloud.
- Holmes, D. (2017). Big Data, una breve introduccion. Alfaomega Cloud.
Enlaces de internet