~/bda/m01 $ cat index.md
- Big Data Aplicado
- M01
Almacenamiento y ecosistema de datos
Presentación y recorrido de los apuntes.
Presentación
Section titled “Presentación”M01 desarrolla los fundamentos de almacenamiento y procesamiento distribuido del ecosistema Hadoop. Tiene una duración de 24 horas curriculares; el calendario aprobado estima 20 sesiones presenciales de una hora, habitualmente agrupadas en diez bloques de dos horas, del 22/10/2026 al 23/11/2026. Se organiza en apuntes independientes para que cada bloque pueda leerse, practicarse y revisarse con profundidad.
Retoma de M00 rutas, usuarios, permisos, SSH y scripts: ahora esas herramientas permiten construir y administrar un sistema de almacenamiento. Antes de empezar, debes poder distinguir una orden del anfitrión de otra ejecutada dentro de un contenedor. Los ejemplos y actividades formativas preparan procedimientos y decisiones; solo las actividades expresamente anunciadas como calificables en Aules tendrán ese uso.
El recorrido comienza por el problema que resuelve un sistema de ficheros distribuido, continúa con la operación e integridad de HDFS, explica cómo YARN y MapReduce ejecutan trabajos por lotes y amplía los formatos hacia almacenamiento de objetos, data lake, lakehouse e Iceberg. PostgreSQL y Hive completan la visión de las capas operacionales y analíticas. El último documento transfiere estas decisiones al proyecto transversal, sin sustituir la formación técnica de cada apartado.
Presentación de clase
Section titled “Presentación de clase”Abrir la presentación de M01 (pantalla completa)
Materiales del módulo
Section titled “Materiales del módulo”| Documento | Contenido principal | Horas curriculares de referencia |
|---|---|---|
| 01. Hadoop y HDFS | Ecosistema, arquitectura, bloques, replicación e instalación manual de HDFS en un contenedor. | 4 |
| 02. Operaciones y administración de HDFS | CLI, bloques, permisos, fsck, administración, snapshots e integridad. |
5 |
| 03. YARN y ejecución de trabajos | Gestión de recursos, configuración y supervisión de trabajos. | 2 |
| 04. MapReduce | Fases y ejemplos resueltos, ventas por tienda paso a paso con Hadoop Streaming y ejercicios. | 3 |
| 05. Formatos, almacenamiento de objetos y lakehouse | Crear y leer CSV, JSONL, Avro, Parquet y ORC; comparación posterior. S3/MinIO, data lake, lakehouse y Apache Iceberg. | 4 |
| 06. PostgreSQL | Restricciones, transacciones e índices. Diagnóstico de una consulta selectiva y un informe sobre los viajes reales de NYC TLC. | 2 |
| 07. Hive | HiveQL, metastore, tablas, formatos, particiones y consultas. | 4 |
| 08. Proyecto | Decisión acumulativa de almacenamiento reutilizable en M02. | 0 |
Objetivos del módulo
Section titled “Objetivos del módulo”- Comprender por qué el almacenamiento distribuido es necesario para conjuntos de datos masivos.
- Operar HDFS y comprobar bloques, replicación, integridad y recuperación.
- Interpretar la ejecución distribuida de tareas con YARN y MapReduce.
- Elegir formatos, compresión y organización física de datos según su uso.
- Distinguir el papel de PostgreSQL, HDFS y Hive en una arquitectura de datos.
- Transferir las decisiones técnicas a un caso profesional documentado.
Relación con resultados de aprendizaje y criterios de evaluación
Section titled “Relación con resultados de aprendizaje y criterios de evaluación”| RA / CE | Evidencia observable en M01 | Documentos |
|---|---|---|
| RA1.a) Caracterizar el diseño y construcción de soluciones de almacenamiento | Comparativa razonada HDFS, PostgreSQL, S3/MinIO, data lake e Iceberg; Blueprint de almacenamiento. | 01, 05, 06 y 08 |
| RA1.c) Determinar el formato adecuado para el almacenamiento | Elección de CSV, Avro, Parquet u ORC, compresión y particionado para un caso concreto. | 05 y 07 |
| RA1.d) Procesar los datos almacenados | Ejecución y comprobación de trabajos y consultas en M01-MR-01, M01-PG-02 y M01-HIVE-01. | 03, 04, 06 y 07 |
| RA2.a) Determinar la importancia del almacenamiento para procesar grandes volúmenes rápidamente | Explicación de bloques, localidad y separación entre almacenamiento y cómputo. | 01 y 05 |
| RA2.b) Comprobar el modelo de computación distribuida | M01-YARN-01 y M01-MR-01: aplicación, tareas y salida verificadas. Evidencia parcial del criterio: la muestra pequeña no demuestra aceleración a gran escala. | 03 y 04 |
| RA2.c) Probar la tolerancia a fallos | M01-HDFS-07: fichero replicado, parada de un DataNode, lectura y restauración. Directa para ese fallo; no prueba disponibilidad del anfitrión o NameNode. | 03 |
| RA2.d) Determinar el crecimiento y uso posterior del almacenamiento | Diseño de particiones, histórico, formatos y decisión entre HDFS, objetos y tablas Iceberg. | 01, 05 y 08 |
| RA2.e) Visualizar el crecimiento añadiendo módulos | M01-HDFS-06: incorporación de un tercer DataNode, registro y distribución de réplicas. Directa para ampliación lógica; los contenedores comparten disco físico. | 03 |
| RA3.a) Valorar la calidad de los datos en sistemas distribuidos | Distinción entre integridad de bytes y calidad semántica; identificación de controles que se trabajarán en M04. | 01 y 02 |
| RA3.b) Valorar el riesgo de integridad con mayor volumen | Justificación de replicación, checksums, snapshots y organización del histórico. | 01, 02 y 05 |
| RA3.c) Reconocer sumas de verificación de contenidos | M01-HDFS-03: consulta de checksum, lectura y distinción respecto al diagnóstico de bloques con fsck. |
02 |
| RA3.d) Reconocer el papel del servidor antes de la suma de verificación | Explicación de la coordinación NameNode/DataNode durante lectura, detección y recuperación de bloques. | 01 y 02 |
La tabla identifica aprendizajes y evidencias previstas, no CE ya superados. Un ensayo del laboratorio por el profesorado no demuestra la competencia de cada alumno. El diseño final de almacenamiento se recoge en M01-PROY-01 como transferencia acumulativa a M02; el proyecto conjunto comienza el 26/04/2027.