El documento describe la arquitectura de una solución para un dashboard de esfuerzos de desarrollo. Se utilizó Google Colab y Jupyter para cargar datos CSV a una capa de trabajo y convertirlos a formato Parquet, luego se enviaron a capas de aterrizaje, procesada y funcional en un datalake. Los datos funcionales se cargaron a BigQuery y se analizaron en DataStudio para crear dashboards sobre esfuerzos de desarrollo por frente de negocio, persona, rol y proveedor.

1. Dashboard de Esfuerzos de
Desarrollo
Trabajo Final - Grupo 2
CURSO: ESPECIALIZACIÓN BIGDATA

2. Arquitectura de la solución
Dashboard de Esfuerzos
de Desarrollo

3. Se utilizó Google Colab para ejecutar el upload de los archivos de datos a la capa
Workload de nuestra solución Datalake.
Google Colab – Python: Upload de CSVs a capa Workload

4. Se utilizó Jupyter
para ejecutar el
código PySpark que
envía los archivos
CSV subidos al
Workload a la capa
Landing
cambiándolos a
formato PARQUET.
Jupyter – PySpark: Carga a capa Landing

5. Se envió los
archivos
PARQUET de la
capa Landing a la
capa Curated,
procesada y
particionada por
Año/Mes.
Jupyter – PySpark: Carga a capa Curated

6. Se usó PySpark
para realizar el
Select final
haciendo join a las
3 tablas de datos:
UserStories,Times y
People, obteniendo
data útil para el
análisis y
persistiéndola en la
capa Functional.
Jupyter – PySpark: Carga a capa Functional

7. Se usó Jupyter Python3 para cargar la data de la capa Functional a la tabla BigQuery.
Jupyter – Python3: Carga de Datos a BigQuery

8. Se usó BigQuery para almacenar en una tabla la data a la que se accederá con
herramientas de análisis de datos.
Google BigQuery

9. Dashboard de
Esfuerzos de
Desarrollo
Se usó DataStudio
para consultar la
tabla BigQuery y
hacer el análisis de
datos de Esfuerzos
de Desarrollo por
Frente de Negocio.
Google DataStudio

10. Dashboard de
Esfuerzos de
Desarrollo
Análisis de
Esfuerzos de
Desarrollo por
Persona, Rol y
Proveedor.
Google DataStudio

11. Gracias