Изучение аналитики в режиме реального времени в Microsoft Fabric

Microsoft Fabric предоставляет аналитику в режиме реального времени, позволяя создавать аналитические решения для потоков данных в режиме реального времени. В этом упражнении вы будете использовать возможности аналитики в режиме реального времени в Microsoft Fabric для приема, анализа и визуализации потока данных в реальном времени от компании такси.

Эта лаборатория занимает около 30 минут.

Примечание. Для выполнения этого упражнения требуется клиент Microsoft Fabric.

Создание рабочей области

Прежде чем работать с данными в Fabric, необходимо создать рабочую область с включенной емкостью Fabric.

Совет. Рабочая область — это контейнер для всего, что вы создаете (события, дома событий, панели мониторинга). Емкость Fabric позволяет выполнять эти элементы.

  1. Перейдите на домашнюю страницу https://app.fabric.microsoft.com/home?experience=fabric Microsoft Fabric в браузере и войдите с помощью учетных данных Fabric.

  2. В строке меню слева выберите Рабочие области (значок выглядит как ).

  3. Создайте рабочую область с выбранным именем, выбрав режим лицензирования, включающий емкость Fabric (пробная версия, premium или Fabric).

    Совет. Использование емкости, включающей Fabric, гарантирует, что рабочая область имеет механизмы, необходимые для приема в режиме реального времени и аналитики. Отдельная рабочая область обеспечивает изоляцию и простоту очистки ресурсов лабораторий.

  4. Когда откроется новая рабочая область, она должна быть пустой.

    Снимок экрана: пустая рабочая область в Fabric.

Создание потока событий

Теперь вы готовы найти и принять данные в режиме реального времени из источника потоковой передачи. Для этого вы начнете работу в Центре реального времени Fabric.

Совет. Центр реального времени централизованные источники потоковой передачи и упрощает их подключение. Поток событий связывает источники в назначения и может добавлять преобразования между ними.

Совет. При первом использовании Центра реального времени могут отображаться некоторые советы по началу работы . Вы можете закрыть их.

  1. В строке меню слева выберите концентратор реального времени .

    Концентратор в режиме реального времени предоставляет простой способ поиска источников потоковых данных и управления ими.

    Снимок экрана: концентратор в режиме реального времени в Fabric.

  2. В центре реального времени в разделе “Подключение к “ выберите источники данных.

  3. Найдите источник данных “Желтый такси ” **и выберите **“Подключить”. Затем в мастере подключения** присвойте *источнику имя и taxi измените имя потока событий по умолчанию, чтобы изменить его taxi-dataна . Поток по умолчанию, связанный с данными, автоматически будет называться *taxi-data-stream:

    Совет. Пример желтого такси является безопасным, общедоступным потоком , без необходимых учетных данных, и он согласован для всех учащихся. Очистить имена упрощают поиск источника, потока событий и потоковой передачи позже.

    Снимок экрана: новый поток событий.

  4. Нажмите кнопку “Далее “ и дождитесь создания исходного и события, а затем нажмите кнопку “Открыть поток событий”. В потоке событий будет отображаться источник такси и поток данных такси на холсте конструктора:

    Снимок экрана: холст потока событий.

Создание дома событий

Поток событий получает данные такси в режиме реального времени, но в настоящее время ничего не делает с ним. Создадим хранилище событий, в котором можно хранить захваченные данные в таблице.

Совет. Хранилище событий предоставляет устойчивое хранилище и базу данных KQL, чтобы вы могли сохранить поток и запросить его позже, даже после поступления новых событий. KQL (язык запросов Kusto) — это язык, доступный только для чтения, используемый для быстрого изучения, фильтрации и анализа больших наборов данных.

  1. В строке меню слева нажмите кнопку “Создать”. ** На новой странице в разделе “Аналитика в режиме реального времени” выберите Eventhouse. Присвойте ему уникальное имя вашего выбора.

    Примечание. Если параметр “Создать “ не закреплен на боковой панели, сначала необходимо выбрать параметр с многоточием ().

    Снимок экрана: параметр создания на боковой панели

    Закройте все советы или запросы, отображаемые до тех пор, пока не увидите новое пустое хранилище событий.

    Снимок экрана: новое хранилище событий

  2. В области слева обратите внимание, что в вашем хранилище событий содержится база данных KQL с таким же именем, как и в хранилище событий. Вы можете создавать таблицы для данных в режиме реального времени в этой базе данных или создавать дополнительные базы данных по мере необходимости.

  3. Выберите базу данных и обратите внимание, что существует связанный набор запросов. Этот файл содержит некоторые примеры запросов KQL, которые можно использовать для начала запроса таблиц в базе данных.

    Совет. База данных KQL содержит таблицы. Набор запросов — удобное место для записи и выполнения запросов без дополнительной настройки.

    Однако в настоящее время нет таблиц для запроса. Давайте разрешим эту проблему, получив данные из потока событий в новую таблицу.

  4. На главной странице базы данных KQL выберите “ Получить данные”.

    Снимок экрана: пустой дом событий

  5. Для источника данных выберите eventstream** > Existing eventstream.**

  6. В области выбора или создания целевой таблицы создайте новую таблицу с именемtaxi. Затем в области “Настройка источника данных” выберите рабочую область и поток событий данных такси и назовите подключение taxi-table.

    Снимок экрана: конфигурация для загрузки таблицы из потока событий.

  7. Нажмите кнопку “Далее”, чтобы выполнить действия, чтобы проверить данные, а затем завершить настройку. Затем закройте окно конфигурации, чтобы просмотреть свой дом событий с таблицей такси.

    Снимок экрана: хранилище событий с таблицей.

    Соединение между потоком и таблицей было создано. Давайте убедимся, что в потоке событий.

  8. В строке меню слева выберите концентратор реального времени и просмотрите страницу “Мои потоки данных”. В меню … для потока потоковой передачи ** данных такси выберите **“Открыть поток событий”.

    Теперь в потоке событий отображается назначение для потока:

    Снимок экрана: поток событий с назначением.

    Совет. Выберите место назначения на холсте конструктора и если под ним не отображается предварительный просмотр данных, нажмите кнопку “Обновить“.

    Совет. Проверка в потоке событий подтверждает, что события отправляются в место назначения. Предварительная версия может кэшировать— обновление извлекает последний пример.

    В этом упражнении вы создали очень простой поток событий, который записывает данные в режиме реального времени и загружает его в таблицу. В реальном решении обычно добавляются преобразования для агрегирования данных по темпоральным окнам (например, для отслеживания средней цены каждой акции в течение пяти минут).

    Теперь давайте рассмотрим, как можно запрашивать и анализировать захваченные данные.

Запрос захваченных данных

Поток событий записывает данные тарифа на такси в режиме реального времени и загружает его в таблицу в базе данных KQL. Эту таблицу можно запросить, чтобы просмотреть захваченные данные.

Совет. KQL предназначен для быстрого изучения меток времени, больших объемов данных. Запрос позволяет сразу проверить прием и начать анализ.

  1. В строке меню слева выберите базу данных eventhouse.

  2. Выберите набор запросов для базы данных.

  3. В области запросов измените первый пример запроса, как показано здесь:

     taxi
     | take 100
    

    Совет.take 100 Это быстрая проверка работоспособности— подтверждение прибытия строк и проверка небольшого примера без сканирования всего.

  4. Выберите код запроса и запустите его, чтобы просмотреть 100 строк данных из таблицы.

    Снимок экрана: запрос KQL.

  5. Просмотрите результаты, а затем измените запрос, чтобы отобразить количество сборов такси в течение каждого часа:

     taxi
     | summarize PickupCount = count() by bin(todatetime(tpep_pickup_datetime), 1h)
    
  6. Выделите измененный запрос и запустите его, чтобы просмотреть результаты.

    Совет.bin(..., 1h) Группирует события в почасовые контейнеры, что упрощает определение тенденций с течением времени.

  7. Подождите несколько секунд и снова запустите его, отметив, что количество операций сбора изменений при добавлении новых данных в таблицу из потока в режиме реального времени.

    Совет. Поток продолжает добавлять данные, поэтому результаты изменяются со временем. Повторное выполнение показывает, как агрегаты обновляются по мере поступления свежих событий.

Очистка ресурсов

В этом упражнении вы создали хранилище событий, прием данных в режиме реального времени с помощью потока событий, запросили прием данных в таблице базы данных KQL, создали панель мониторинга в режиме реального времени для визуализации данных в режиме реального времени и настроили оповещение с помощью активатора.

Если вы закончили изучение аналитики в режиме реального времени в Fabric, вы можете удалить рабочую область, созданную для этого упражнения.

Совет. Удаление рабочей области удаляет все элементы, созданные в лаборатории, и помогает предотвратить текущие расходы.

  1. На панели слева выберите значок рабочей области.

  2. На панели инструментов выберите параметры рабочей области.

  3. В разделе “Общие” выберите “Удалить эту рабочую область”.