Explorar o Azure Stream Analytics

Neste exercício, você vai provisionar um trabalho do Azure Stream Analytics em sua assinatura do Azure e usá-lo para processar um fluxo de dados em tempo real.

Este laboratório levará aproximadamente 15 minutos para ser concluído.

Antes de começar

É necessário ter uma assinatura do Azure com acesso de nível administrativo.

Criar recursos do Azure

Entre em sua assinatura do Azure pelo portal do Azure usando as credenciais dela.
Use o botão [>_] à direita da barra de pesquisa na parte superior da página para criar um Cloud Shell no portal do Azure, selecionando um ambiente Bash e criando um armazenamento caso solicitado. O Cloud Shell fornece uma interface de linha de comando em um painel na parte inferior do portal do Azure, conforme mostrado aqui:
No Azure Cloud Shell, digite o comando a seguir para baixar os arquivos necessários para este exercício.
```
 git clone https://github.com/MicrosoftLearning/DP-900T00A-Azure-Data-Fundamentals dp-900
```
Aguarde a conclusão do comando e digite o seguinte comando para alterar o diretório atual para a pasta que contém os arquivos deste exercício.
```
 cd dp-900/streaming
```
Insira o comando a seguir para executar um script que cria os recursos do Azure que você precisará neste exercício.
```
 bash setup.sh
```
Ignore todas as mensagens de aviso sobre alterações futuras e recursos experimentais.

Aguarde enquanto o script é executado e executa as seguintes ações:
1. Instala as extensões da CLI do Azure necessárias para criar recursos (você pode ignorar quaisquer avisos sobre extensões experimentais)
2. Identifica o grupo de recursos do Azure fornecido para este exercício.
3. Cria um recurso do Hub IoT do Azure, que será usado para receber um fluxo de dados de um dispositivo simulado.
4. Cria uma Conta de Armazenamento do Azure, que será usada para armazenar dados processados.
5. Cria um trabalho do Azure Stream Analytics, que processará os dados do dispositivo de entrada em tempo real e gravará os resultados na conta de armazenamento.

Explorar os recursos do Azure

No portal do Azure, na página inicial, selecione Grupos de recursos para ver os grupos de recursos em sua assinatura. O grupo de recursos learn*xxxxxxxxxxxxxxxxxx… *, identificado pelo script de configuração, deve estar incluído.
Selecione o grupo de recursos learn*xxxxxxxxxxxxxxxxx… * e revise os recursos dele, que devem incluir o seguinte:
- Um Hub IOT chamado iothubxxxxxxxxxxxxx, que é usado para receber dados de dispositivo de entrada.
- Uma conta de armazenamento chamada storexxxxxxxxxxxx, na qual os resultados do processamento de dados serão gravados.
- Um trabalho do Stream Analytics chamado streamxxxxxxxxxxxxx, que será usado para processar dados de streaming.
Se todos esses três recursos não estiverem listados, clique no botão ↻ Atualizar até que eles apareçam.
Selecione ao trabalho streamxxxxxxxxxxxxxxx do Stream Analytics e visualize as informações em sua página Visão geral, observando os seguintes detalhes:
- O trabalho tem uma entrada chamada iotinput e uma saída chamada bloboutput. Elas fazem referência ao Hub IoT e à conta de armazenamento criada pelo script de configuração.
- O trabalho tem uma consulta, que lê os dados da entrada iotinput e os agrega contando o número de mensagens processadas a cada 10 segundos; gravando os resultados na saída bloboutput.

Usar os recursos para analisar dados de streaming

Na parte superior da página Visão geral do trabalho do Stream Analytics, selecione o botão ▷ Iniciar e, no painel Iniciar trabalho, selecione Iniciar para iniciar o trabalho.
Aguarde uma notificação de que o trabalho de streaming foi iniciado com êxito.
Volte para o Azure Cloud Shell e insira o comando a seguir para simular um dispositivo que envia dados para o Hub IoT.
```
 bash iotdevice.sh
```
Aguarde o início da simulação, que será indicada por uma saída como esta:
```
 Device simulation in progress: 6%|#    | 7/120 [00:08<02:21, 1.26s/it]
```
Enquanto a simulação estiver em execução, volte ao portal do Azure, retorne à página do grupo de recursos learnxxxxxxxxxxxxxxxxx…** * e selecione a conta de armazenamento **storexxxxxxxxxxxx*.
No painel à esquerda do painel da conta de armazenamento, selecione a guia Contêineres.
Abra o contêiner de dados.
No contêiner de dados, navegue pela hierarquia de pastas, que inclui uma pasta para o ano atual, com subpastas para o mês, dia e hora.
Na pasta da hora, observe o arquivo que foi criado, que deve ter um nome semelhante a 0_xxxxxxxxxxxxxxxx.json.

No menu … do arquivo (à direita dos detalhes do arquivo), selecione Exibir/editar e revise o conteúdo do arquivo; que deve consistir em um registro JSON para cada período de 10 segundos, mostrando o número de mensagens recebidas de dispositivos IoT, assim:

{"starttime":"2021-10-23T01:02:13.2221657Z","endtime":"2021-10-23T01:02:23.2221657Z","device":"iotdevice","messages":2}
{"starttime":"2021-10-23T01:02:14.5366678Z","endtime":"2021-10-23T01:02:24.5366678Z","device":"iotdevice","messages":3}
{"starttime":"2021-10-23T01:02:15.7413754Z","endtime":"2021-10-23T01:02:25.7413754Z","device":"iotdevice","messages":4}
...

Use o botão ↻ Atualizar para atualizar o arquivo, observando que resultados adicionais são gravados no arquivo à medida que o trabalho do Stream Analytics processa os dados do dispositivo em tempo real conforme são transmitidos do dispositivo para o Hub IoT.
Retorne ao Azure Cloud Shell e aguarde a conclusão da simulação do dispositivo (ela deve ser executada por cerca de 3 minutos).
De volta ao portal do Azure, atualize o arquivo mais uma vez para ver o conjunto completo de resultados que foram produzidos durante a simulação.
Retorne ao grupo de recursos learnxxxxxxxxxxxxxxxxx…** * e abra novamente o trabalho **streamxxxxxxxxxxxxx* do Stream Analytics.
Na parte superior da página de trabalho do Stream Analytics, use o botão ⬜ Parar para interromper o trabalho, confirmando quando solicitado.

Observação: se você terminou de explorar a solução de streaming, exclua o grupo de recursos criado neste exercício.