Изучение аналитики в режиме реального времени в Microsoft Fabric

Microsoft Fabric предоставляет аналитику в режиме реального времени, позволяя создавать аналитические решения для потоков данных в режиме реального времени. В этом упражнении вы будете использовать возможности аналитики в режиме реального времени в Microsoft Fabric для приема, анализа и визуализации потока данных в реальном времени от компании такси.

Эта лаборатория занимает около 30 минут.

Примечание. Для выполнения этого упражнения требуется клиент Microsoft Fabric.

Создание рабочей области

Прежде чем работать с данными в Fabric, необходимо создать рабочую область с включенной емкостью Fabric.

Совет. Рабочая область — это контейнер для всего, что вы создаете (события, дома событий, панели мониторинга). Емкость Fabric позволяет выполнять эти элементы.

1. Перейдите на домашнюю страницу https://app.fabric.microsoft.com/home?experience=fabric Microsoft Fabric в браузере и войдите с помощью учетных данных Fabric.

2. В строке меню слева выберите Рабочие области (значок выглядит как ).

3. Создайте рабочую область с выбранным именем, выбрав режим лицензирования, включающий емкость Fabric (пробная версия, premium или Fabric).

   Совет. Использование емкости, включающей Fabric, гарантирует, что рабочая область имеет механизмы, необходимые для приема в режиме реального времени и аналитики. Отдельная рабочая область обеспечивает изоляцию и простоту очистки ресурсов лабораторий.

4. Когда откроется новая рабочая область, она должна быть пустой.

   

Создание потока событий

Теперь вы готовы найти и принять данные в режиме реального времени из источника потоковой передачи. Для этого вы начнете работу в Центре реального времени Fabric.

Совет. Центр реального времени централизованные источники потоковой передачи и упрощает их подключение. Поток событий связывает источники в назначения и может добавлять преобразования между ними.

Совет. При первом использовании Центра реального времени могут отображаться некоторые советы по началу работы . Вы можете закрыть их.

1. В строке меню слева выберите концентратор реального времени .

   Концентратор в режиме реального времени предоставляет простой способ поиска источников потоковых данных и управления ими.

   

2. В центре реального времени в разделе “Подключение к “ выберите источники данных.

3. Найдите источник данных “Желтый такси ” **и выберите **“Подключить”. Затем в мастере подключения** присвойте *источнику имя и taxi измените имя потока событий по умолчанию, чтобы изменить его taxi-dataна . Поток по умолчанию, связанный с данными, автоматически будет называться *taxi-data-stream:

   Совет. Пример желтого такси является безопасным, общедоступным потоком , без необходимых учетных данных, и он согласован для всех учащихся. Очистить имена упрощают поиск источника, потока событий и потоковой передачи позже.

   

4. Нажмите кнопку “Далее “ и дождитесь создания исходного и события, а затем нажмите кнопку “Открыть поток событий”. В потоке событий будет отображаться источник такси и поток данных такси на холсте конструктора:

   

Создание дома событий

Поток событий получает данные такси в режиме реального времени, но в настоящее время ничего не делает с ним. Создадим хранилище событий, в котором можно хранить захваченные данные в таблице.

Совет. Хранилище событий предоставляет устойчивое хранилище и базу данных KQL, чтобы вы могли сохранить поток и запросить его позже, даже после поступления новых событий. KQL (язык запросов Kusto) — это язык, доступный только для чтения, используемый для быстрого изучения, фильтрации и анализа больших наборов данных.

1. В строке меню слева нажмите кнопку “Создать”. ** На новой странице в разделе “Аналитика в режиме реального времени” выберите Eventhouse. Присвойте ему уникальное имя вашего выбора.

   Примечание. Если параметр “Создать “ не закреплен на боковой панели, сначала необходимо выбрать параметр с многоточием (…).

   

   Закройте все советы или запросы, отображаемые до тех пор, пока не увидите новое пустое хранилище событий.

   

2. В области слева обратите внимание, что в вашем хранилище событий содержится база данных KQL с таким же именем, как и в хранилище событий. Вы можете создавать таблицы для данных в режиме реального времени в этой базе данных или создавать дополнительные базы данных по мере необходимости.

3. Выберите базу данных и обратите внимание, что существует связанный набор запросов. Этот файл содержит некоторые примеры запросов KQL, которые можно использовать для начала запроса таблиц в базе данных.

   Совет. База данных KQL содержит таблицы. Набор запросов — удобное место для записи и выполнения запросов без дополнительной настройки.

   Однако в настоящее время нет таблиц для запроса. Давайте разрешим эту проблему, получив данные из потока событий в новую таблицу.

4. На главной странице базы данных KQL выберите “ Получить данные”.

   

5. Для источника данных выберите eventstream** > Existing eventstream.**

6. В области выбора или создания целевой таблицы создайте новую таблицу с именемtaxi. Затем в области “Настройка источника данных” выберите рабочую область и поток событий данных такси и назовите подключение taxi-table.

   

7. Нажмите кнопку “Далее”, чтобы выполнить действия, чтобы проверить данные, а затем завершить настройку. Затем закройте окно конфигурации, чтобы просмотреть свой дом событий с таблицей такси.

   

   Соединение между потоком и таблицей было создано. Давайте убедимся, что в потоке событий.

8. В строке меню слева выберите концентратор реального времени и просмотрите страницу “Мои потоки данных”. В меню … для потока потоковой передачи ** данных такси выберите **“Открыть поток событий”.

   Теперь в потоке событий отображается назначение для потока:

   

   Совет. Выберите место назначения на холсте конструктора и если под ним не отображается предварительный просмотр данных, нажмите кнопку “Обновить“.

   Совет. Проверка в потоке событий подтверждает, что события отправляются в место назначения. Предварительная версия может кэшировать— обновление извлекает последний пример.

   В этом упражнении вы создали очень простой поток событий, который записывает данные в режиме реального времени и загружает его в таблицу. В реальном решении обычно добавляются преобразования для агрегирования данных по темпоральным окнам (например, для отслеживания средней цены каждой акции в течение пяти минут).

   Теперь давайте рассмотрим, как можно запрашивать и анализировать захваченные данные.

Запрос захваченных данных

Поток событий записывает данные тарифа на такси в режиме реального времени и загружает его в таблицу в базе данных KQL. Эту таблицу можно запросить, чтобы просмотреть захваченные данные.

Совет. KQL предназначен для быстрого изучения меток времени, больших объемов данных. Запрос позволяет сразу проверить прием и начать анализ.

1. В строке меню слева выберите базу данных eventhouse.

2. Выберите набор запросов для базы данных.

3. В области запросов измените первый пример запроса, как показано здесь:

    taxi
    | take 100
   

   Совет.take 100 Это быстрая проверка работоспособности— подтверждение прибытия строк и проверка небольшого примера без сканирования всего.

4. Выберите код запроса и запустите его, чтобы просмотреть 100 строк данных из таблицы.

   

5. Просмотрите результаты, а затем измените запрос, чтобы отобразить количество сборов такси в течение каждого часа:

    taxi
    | summarize PickupCount = count() by bin(todatetime(tpep_pickup_datetime), 1h)
   

6. Выделите измененный запрос и запустите его, чтобы просмотреть результаты.

   Совет.bin(..., 1h) Группирует события в почасовые контейнеры, что упрощает определение тенденций с течением времени.

7. Подождите несколько секунд и снова запустите его, отметив, что количество операций сбора изменений при добавлении новых данных в таблицу из потока в режиме реального времени.

   Совет. Поток продолжает добавлять данные, поэтому результаты изменяются со временем. Повторное выполнение показывает, как агрегаты обновляются по мере поступления свежих событий.

Очистка ресурсов

В этом упражнении вы создали хранилище событий, прием данных в режиме реального времени с помощью потока событий, запросили прием данных в таблице базы данных KQL, создали панель мониторинга в режиме реального времени для визуализации данных в режиме реального времени и настроили оповещение с помощью активатора.

Если вы закончили изучение аналитики в режиме реального времени в Fabric, вы можете удалить рабочую область, созданную для этого упражнения.

Совет. Удаление рабочей области удаляет все элементы, созданные в лаборатории, и помогает предотвратить текущие расходы.

1. На панели слева выберите значок рабочей области.

2. На панели инструментов выберите параметры рабочей области.

3. В разделе “Общие” выберите “Удалить эту рабочую область”.