Automatización de la ingesta y el procesamiento de datos mediante Azure Databricks

Los trabajos de Databricks son un servicio eficaz que permite la automatización de flujos de trabajo de ingesta y procesamiento de datos. Permite la orquestación de canalizaciones de datos complejas, que pueden incluir tareas como la ingesta de datos sin procesar de varios orígenes, la transformación de estos datos mediante Delta Live Tables y su conservación en Delta Lake para su posterior análisis. Con Azure Databricks, los usuarios pueden programar y ejecutar automáticamente sus tareas de procesamiento de datos, lo que garantiza que los datos estén siempre actualizados y disponibles para los procesos de toma de decisiones.

Este laboratorio se tarda aproximadamente 20 minutos en completarse.

Nota: la interfaz de usuario de Azure Databricks está sujeta a una mejora continua. Es posible que la interfaz de usuario haya cambiado desde que se escribieron las instrucciones de este ejercicio.

Aprovisiona un área de trabajo de Azure Databricks.

Sugerencia: si ya tienes un área de trabajo de Azure Databricks, puedes omitir este procedimiento y usar el área de trabajo existente.

En este ejercicio, se incluye un script para aprovisionar una nueva área de trabajo de Azure Databricks. El script intenta crear un recurso de área de trabajo de Azure Databricks de nivel Premium en una región en la que la suscripción de Azure tiene cuota suficiente para los núcleos de proceso necesarios en este ejercicio, y da por hecho que la cuenta de usuario tiene permisos suficientes en la suscripción para crear un recurso de área de trabajo de Azure Databricks. Si se produjese un error en el script debido a cuota o permisos insuficientes, intenta crear un área de trabajo de Azure Databricks de forma interactiva en Azure Portal.

En un explorador web, inicia sesión en Azure Portal en https://portal.azure.com.
Usa el botón [>_] situado a la derecha de la barra de búsqueda en la parte superior de la página para crear una nueva instancia de Cloud Shell en Azure Portal, para lo que deberás seleccionar un entorno de PowerShell. Cloud Shell proporciona una interfaz de línea de comandos en un panel situado en la parte inferior de Azure Portal, como se muestra a continuación:

Nota: si has creado anteriormente una instancia de Cloud Shell que usa un entorno de Bash, cámbiala a PowerShell.
Ten en cuenta que puedes cambiar el tamaño de la instancia de Cloud Shell. Para ello, arrastra la barra de separación de la parte superior del panel o utiliza los iconos —, ⤢ y X de la parte superior derecha del panel para minimizar, maximizar y cerrar el panel. Para obtener más información sobre el uso de Azure Cloud Shell, consulta la documentación de Azure Cloud Shell.

En el panel de PowerShell, introduce los siguientes comandos para clonar este repositorio:

 rm -r mslearn-databricks -f
 git clone https://github.com/MicrosoftLearning/mslearn-databricks

Una vez clonado el repositorio, escribe el siguiente comando para ejecutar el script setup.ps1, que aprovisiona un área de trabajo de Azure Databricks en una región disponible:
```
 ./mslearn-databricks/setup.ps1
```
Si se solicita, elige la suscripción que quieres usar (esto solo ocurrirá si tienes acceso a varias suscripciones de Azure).
Espera a que se complete el script: normalmente tarda unos 5 minutos, pero en algunos casos puede tardar más. Mientras esperas, revisa el artículo Programación y organización de flujos de trabajo en la documentación de Azure Databricks.

Crear un clúster

Azure Databricks es una plataforma de procesamiento distribuido que usa clústeres* de Apache Spark para procesar datos en paralelo en varios nodos. Cada clúster consta de un nodo de controlador para coordinar el trabajo y nodos de trabajo para hacer tareas de procesamiento. En este ejercicio, crearás un clúster de *nodo único para minimizar los recursos de proceso usados en el entorno de laboratorio (en los que se pueden restringir los recursos). En un entorno de producción, normalmente crearías un clúster con varios nodos de trabajo.

Sugerencia: si ya dispones de un clúster con una versión de runtime 13.3 LTS o superior en tu área de trabajo de Azure Databricks, puedes utilizarlo para completar este ejercicio y omitir este procedimiento.

En Azure Portal, ve al grupo de recursos msl-xxxxxxx que se creó con el script (o al grupo de recursos que contiene el área de trabajo de Azure Databricks existente)
Selecciona el recurso Azure Databricks Service (llamado databricks-xxxxxxx si usaste el script de instalación para crearlo).
En la página Información general del área de trabajo, usa el botón Inicio del área de trabajo para abrir el área de trabajo de Azure Databricks en una nueva pestaña del explorador; inicia sesión si se solicita.

Sugerencia: al usar el portal del área de trabajo de Databricks, se pueden mostrar varias sugerencias y notificaciones. Descarta estos elementos y sigue las instrucciones proporcionadas para completar las tareas de este ejercicio.
En la barra lateral de la izquierda, selecciona la tarea (+) Nuevo y luego selecciona Clúster (es posible que debas buscar en el submenú Más).
En la página Nuevo clúster, crea un clúster con la siguiente configuración:
- Nombre del clúster: clúster del Nombre de usuario (el nombre del clúster predeterminado)
- Directiva: Unrestricted (Sin restricciones)
- Modo de clúster de un solo nodo
- Modo de acceso: usuario único (con la cuenta de usuario seleccionada)
- Versión de runtime de Databricks: 13.3 LTS (Spark 3.4.1, Scala 2.12) o posterior
- Usar aceleración de Photon: seleccionado
- Tipo de nodo: Standard_D4ds_v5
- Finaliza después de 20 minutos de inactividad
Espera a que se cree el clúster. Esto puede tardar un par de minutos.

Nota: si el clúster no se inicia, es posible que la suscripción no tenga cuota suficiente en la región donde se aprovisiona el área de trabajo de Azure Databricks. Para obtener más información, consulta El límite de núcleos de la CPU impide la creación de clústeres. Si esto sucede, puedes intentar eliminar el área de trabajo y crear una nueva en otra región. Puedes especificar una región como parámetro para el script de configuración de la siguiente manera: ./mslearn-databricks/setup.ps1 eastus

Creación de un cuaderno y obtención de datos de origen

En la barra lateral, usa el vínculo (+) Nuevo para crear un Cuaderno y cambiar el nombre predeterminado del cuaderno (Bloc de notas sin título [fecha]) a Procesamiento de datos. A continuación, en la lista desplegable Conectar, selecciona el clúster si aún no está seleccionado. Si el clúster no se está ejecutando, puede tardar un minuto en iniciarse.

En la primera celda del cuaderno, escribe el siguiente código, que utiliza comandos del shell para descargar los archivos de datos de GitHub en el sistema de archivos utilizado por el clúster.

 %sh
 rm -r /dbfs/FileStore
 mkdir /dbfs/FileStore
 wget -O /dbfs/FileStore/sample_sales_data.csv https://github.com/MicrosoftLearning/mslearn-databricks/raw/main/data/sample_sales_data.csv

Usa la opción del menú ▸ Ejecutar celda situado a la izquierda de la celda para ejecutarla. A continuación, espera a que se complete el trabajo de Spark ejecutado por el código.

Automatización del procesamiento de datos con trabajos de Azure Databricks

Reemplaza el código del primer cuaderno por el código siguiente. A continuación, ejecútalo para cargar los datos en un DataFrame:
```
 # Load the sample dataset into a DataFrame
 df = spark.read.csv('/FileStore/*.csv', header=True, inferSchema=True)
 df.show()
```
Mueve el mouse debajo de la celda de código existente y usa el icono + Código que aparece para agregar una nueva celda de código. A continuación, en una nueva celda, escribe el código siguiente para agregar datos de ventas por categoría de producto:
```
 from pyspark.sql.functions import col, sum

 # Aggregate sales data by product category
 sales_by_category = df.groupBy('product_category').agg(sum('transaction_amount').alias('total_sales'))
 sales_by_category.show()
```
En la barra lateral, usa el vínculo (+) Nuevo para crear un trabajo.
Cambia el nombre de trabajo predeterminado (Nuevo trabajo [fecha]) a Automated job
Configura la tarea sin nombre en el trabajo con los valores siguientes:
- Nombre de tarea: Run notebook
- Tipo: Cuaderno
- Origen: Área de trabajo
- Ruta: selecciona tu cuaderno de procesamiento de datos
- Clúster: Seleccione el clúster
Selecciona Crear tarea.
Selecciona Ejecutar ahora

Sugerencia: en el panel derecho, en Programación, puedes seleccionar Agregar desencadenador y configurar una programación para ejecutar el trabajo (por ejemplo, diaria, semanal). Sin embargo, en este ejercicio, lo ejecutaremos manualmente.
Selecciona la pestaña Ejecuciones en el panel Trabajo y supervisa la ejecución del trabajo.
Después de que la ejecución del trabajo se haya llevado a cabo correctamente, puedes seleccionarlo en la lista Ejecuciones y comprobar su salida.

Has configurado y automatizado correctamente la ingesta y el procesamiento de datos mediante trabajos de Azure Databricks. Ahora puedes escalar esta solución para controlar canalizaciones de datos más complejas e integrarlas con otros servicios de Azure para obtener una arquitectura de procesamiento de datos sólida.

Limpieza

En el portal de Azure Databricks, en la página Proceso, selecciona el clúster y ■ Finalizar para apagarlo.

Si has terminado de explorar Azure Databricks, puedes eliminar los recursos que has creado para evitar costes innecesarios de Azure y liberar capacidad en tu suscripción.