Изучение аналитики в режиме реального времени в Microsoft Fabric
Microsoft Fabric предоставляет аналитику в режиме реального времени, позволяя создавать аналитические решения для потоков данных в режиме реального времени. В этом упражнении вы будете использовать возможности аналитики в режиме реального времени в Microsoft Fabric для приема, анализа и визуализации потока данных в реальном времени от компании такси.
Эта лаборатория занимает около 30 минут.
Примечание. Для выполнения этого упражнения требуется клиент Microsoft Fabric.
Создание рабочей области
Прежде чем работать с данными в Fabric, необходимо создать рабочую область с включенной емкостью Fabric.
Совет. Рабочая область — это контейнер для всего, что вы создаете (события, дома событий, панели мониторинга). Емкость Fabric позволяет выполнять эти элементы.
-
Перейдите на домашнюю страницу
https://app.fabric.microsoft.com/home?experience=fabric
Microsoft Fabric в браузере и войдите с помощью учетных данных Fabric. -
В строке меню слева выберите Рабочие области (значок выглядит как ).
-
Создайте рабочую область с выбранным именем, выбрав режим лицензирования, включающий емкость Fabric (пробная версия, premium или Fabric).
Совет. Использование емкости, включающей Fabric, гарантирует, что рабочая область имеет механизмы, необходимые для приема в режиме реального времени и аналитики. Отдельная рабочая область обеспечивает изоляцию и простоту очистки ресурсов лабораторий.
-
Когда откроется новая рабочая область, она должна быть пустой.
Создание потока событий
Теперь вы готовы найти и принять данные в режиме реального времени из источника потоковой передачи. Для этого вы начнете работу в Центре реального времени Fabric.
Совет. Центр реального времени централизованные источники потоковой передачи и упрощает их подключение. Поток событий связывает источники в назначения и может добавлять преобразования между ними.
Совет. При первом использовании Центра реального времени могут отображаться некоторые советы по началу работы . Вы можете закрыть их.
-
В строке меню слева выберите концентратор реального времени .
Концентратор в режиме реального времени предоставляет простой способ поиска источников потоковых данных и управления ими.
-
В центре реального времени в разделе “Подключение к “ выберите источники данных.
-
Найдите источник данных “Желтый такси ” **и выберите **“Подключить”. Затем в мастере подключения** присвойте *источнику имя и
taxi
измените имя потока событий по умолчанию, чтобы изменить егоtaxi-data
на . Поток по умолчанию, связанный с данными, автоматически будет называться *taxi-data-stream:Совет. Пример желтого такси является безопасным, общедоступным потоком , без необходимых учетных данных, и он согласован для всех учащихся. Очистить имена упрощают поиск источника, потока событий и потоковой передачи позже.
-
Нажмите кнопку “Далее “ и дождитесь создания исходного и события, а затем нажмите кнопку “Открыть поток событий”. В потоке событий будет отображаться источник такси и поток данных такси на холсте конструктора:
Создание дома событий
Поток событий получает данные такси в режиме реального времени, но в настоящее время ничего не делает с ним. Создадим хранилище событий, в котором можно хранить захваченные данные в таблице.
Совет. Хранилище событий предоставляет устойчивое хранилище и базу данных KQL, чтобы вы могли сохранить поток и запросить его позже, даже после поступления новых событий. KQL (язык запросов Kusto) — это язык, доступный только для чтения, используемый для быстрого изучения, фильтрации и анализа больших наборов данных.
-
В строке меню слева нажмите кнопку “Создать”. ** На новой странице в разделе “Аналитика в режиме реального времени” выберите Eventhouse. Присвойте ему уникальное имя вашего выбора.
Примечание. Если параметр “Создать “ не закреплен на боковой панели, сначала необходимо выбрать параметр с многоточием (…).
Закройте все советы или запросы, отображаемые до тех пор, пока не увидите новое пустое хранилище событий.
-
В области слева обратите внимание, что в вашем хранилище событий содержится база данных KQL с таким же именем, как и в хранилище событий. Вы можете создавать таблицы для данных в режиме реального времени в этой базе данных или создавать дополнительные базы данных по мере необходимости.
-
Выберите базу данных и обратите внимание, что существует связанный набор запросов. Этот файл содержит некоторые примеры запросов KQL, которые можно использовать для начала запроса таблиц в базе данных.
Совет. База данных KQL содержит таблицы. Набор запросов — удобное место для записи и выполнения запросов без дополнительной настройки.
Однако в настоящее время нет таблиц для запроса. Давайте разрешим эту проблему, получив данные из потока событий в новую таблицу.
-
На главной странице базы данных KQL выберите “ Получить данные”.
-
Для источника данных выберите eventstream** > Existing eventstream.**
-
В области выбора или создания целевой таблицы создайте новую таблицу с именем
taxi
. Затем в области “Настройка источника данных” выберите рабочую область и поток событий данных такси и назовите подключениеtaxi-table
. -
Нажмите кнопку “Далее”, чтобы выполнить действия, чтобы проверить данные, а затем завершить настройку. Затем закройте окно конфигурации, чтобы просмотреть свой дом событий с таблицей такси.
Соединение между потоком и таблицей было создано. Давайте убедимся, что в потоке событий.
-
В строке меню слева выберите концентратор реального времени и просмотрите страницу “Мои потоки данных”. В меню … для потока потоковой передачи ** данных такси выберите **“Открыть поток событий”.
Теперь в потоке событий отображается назначение для потока:
Совет. Выберите место назначения на холсте конструктора и если под ним не отображается предварительный просмотр данных, нажмите кнопку “Обновить“.
Совет. Проверка в потоке событий подтверждает, что события отправляются в место назначения. Предварительная версия может кэшировать— обновление извлекает последний пример.
В этом упражнении вы создали очень простой поток событий, который записывает данные в режиме реального времени и загружает его в таблицу. В реальном решении обычно добавляются преобразования для агрегирования данных по темпоральным окнам (например, для отслеживания средней цены каждой акции в течение пяти минут).
Теперь давайте рассмотрим, как можно запрашивать и анализировать захваченные данные.
Запрос захваченных данных
Поток событий записывает данные тарифа на такси в режиме реального времени и загружает его в таблицу в базе данных KQL. Эту таблицу можно запросить, чтобы просмотреть захваченные данные.
Совет. KQL предназначен для быстрого изучения меток времени, больших объемов данных. Запрос позволяет сразу проверить прием и начать анализ.
-
В строке меню слева выберите базу данных eventhouse.
-
Выберите набор запросов для базы данных.
-
В области запросов измените первый пример запроса, как показано здесь:
taxi | take 100
Совет.
take 100
Это быстрая проверка работоспособности— подтверждение прибытия строк и проверка небольшого примера без сканирования всего. -
Выберите код запроса и запустите его, чтобы просмотреть 100 строк данных из таблицы.
-
Просмотрите результаты, а затем измените запрос, чтобы отобразить количество сборов такси в течение каждого часа:
taxi | summarize PickupCount = count() by bin(todatetime(tpep_pickup_datetime), 1h)
-
Выделите измененный запрос и запустите его, чтобы просмотреть результаты.
Совет.
bin(..., 1h)
Группирует события в почасовые контейнеры, что упрощает определение тенденций с течением времени. -
Подождите несколько секунд и снова запустите его, отметив, что количество операций сбора изменений при добавлении новых данных в таблицу из потока в режиме реального времени.
Совет. Поток продолжает добавлять данные, поэтому результаты изменяются со временем. Повторное выполнение показывает, как агрегаты обновляются по мере поступления свежих событий.
Очистка ресурсов
В этом упражнении вы создали хранилище событий, прием данных в режиме реального времени с помощью потока событий, запросили прием данных в таблице базы данных KQL, создали панель мониторинга в режиме реального времени для визуализации данных в режиме реального времени и настроили оповещение с помощью активатора.
Если вы закончили изучение аналитики в режиме реального времени в Fabric, вы можете удалить рабочую область, созданную для этого упражнения.
Совет. Удаление рабочей области удаляет все элементы, созданные в лаборатории, и помогает предотвратить текущие расходы.
-
На панели слева выберите значок рабочей области.
-
На панели инструментов выберите параметры рабочей области.
-
В разделе “Общие” выберите “Удалить эту рабочую область”.