探索 Microsoft Fabric 中的实时分析
Microsoft Fabric 提供实时智能,可以为实时数据流创建分析解决方案。 在本练习中,你将使用 Microsoft Fabric 中的实时智能功能,来引入、分析和可视化出租车公司的实时数据流。
完成本实验室大约需要 30 分钟。
备注:你需要 Microsoft Fabric 租户才能完成本练习。
创建工作区
在 Fabric 中处理数据之前,需要创建一个已启用 Fabric 容量的工作区。
**** 提示:工作区是你创建的所有内容(事件流、事件屋、仪表板)的容器。Fabric 容量使这些项能够运行。
-
在浏览器中,导航到 Microsoft Fabric 主页 (
https://app.fabric.microsoft.com/home?experience=fabric
),使用 Fabric 凭据登录。 -
在左侧菜单栏中,选择“工作区”(图标类似于 🗇)。
-
使用所选名称创建一个新工作区,并选择包含 Fabric 容量的授权模式(试用、高级或 Fabric) 。
**** 提示:使用包含 Fabric 的容量可确保工作区具有进行实时引入和分析所需的引擎。单独的工作区使实验室资源保持独立且易于清理。
-
打开新工作区时,它应为空。
创建事件流
现在,你已准备好从流式处理源查找和引入实时数据。 为此,你将从 Fabric 实时中心开始。
**** 提示:实时中心将流式处理源集中起来,并使其易于连接。事件流将源拼结到目标,并且可以在两者之间添加转换。
提示:首次使用实时中心时,可能会显示一些入门提示。 你可以关闭这些。
-
在左侧菜单栏中,选择“实时”中心。
实时中心提供了一种查找和管理流式处理数据源的简单方法。
-
在实时中心,在连接到部分中,选择“数据源”。
-
查找“黄色出租车”样本数据源并选择“连接”。 然后在“连接”向导中,命名源
taxi
并编辑默认事件流名称以将其更改为taxi-data
。 与此数据关联的默认数据流将自动命名为 taxi-data-stream:**** 提示:黄色出租车示例是一个安全的公共流(无需凭据),对所有学习者都是一致的。明确的名称使得以后可以更容易找到你的源、事件流和流。
-
选择“下一步”,等待创建源和事件流,然后选择“打开事件流”。 EventStream 将在设计画布上显示出租车来源和 taxi-data-stream:
创建 Eventhouse
事件流引入实时出租车数据,但当前不对它执行任何操作。 让我们创建一个事件库,在其中我们可以将捕获的数据存储在表中。
**** 提示:事件屋提供持久存储和 KQL 数据库,这样你就可以持久保留流并在以后查询它(即使在新的事件到达时也是如此)。KQL(Kusto 查询语言)是一种只读的类似 SQL 的语言,用于快速探索、筛选和分析大型数据集
-
在左侧菜单上,选择“创建”。 在“新建”页的“实时智能”部分下,选择“Eventhouse”****。 为其指定唯一的名称。
备注:如果未将“创建”选项固定到边栏,则需要首先选择省略号 (…) 选项。
关闭显示的所有建议或提示,直到看到新的空事件屋。
-
在左侧窗格中,请注意事件屋包含一个与事件屋同名的 KQL 数据库。 可以在此数据库中为实时数据创建表,或根据需要创建其他数据库。
-
选择数据库,注意有一个相关的查询集。 此文件包含一些可用于开始查询数据库中表的示例 KQL 查询。
**** 提示:KQL 数据库保存表。查询集是编写和运行查询的便捷位置,无需额外的设置。
但是,目前没有要查询的表。 让我们通过将数据从事件流导入到新表来解决该问题。
-
在 KQL 数据库的主页中,选择“获取数据”。
-
对于数据源,请选择“事件流” > “新建事件流”。
-
在“选择或创建目标表”窗格中,创建一个名为
taxi
的新表。 然后在“配置数据源”窗格中,选择工作区和taxi-data eventstream 并命名该连接taxi-table
。 -
使用“下一步”按钮完成检查数据的步骤,然后完成配置****。 然后关闭配置窗口,查看包含出租车表的事件屋。
已创建流与表之间的连接。 我们在事件流中验证一下。
-
在左侧菜单栏中,选择“实时”中心,然后查看“我的数据流”页。 在 taxi-data-stream 流的 … 菜单中,选择“打开 Eventstream”。
事件流现在显示流的目标:
** 提示:选择设计画布上的目标,如果未在设计画布下显示任何数据预览,请选择“刷新”**。
**** 提示:在事件流中进行验证可确认事件是否流向目标。预览可能会缓存 — 刷新可拉取最新的示例。
在本练习中,你创建了一个非常简单的事件流,可以捕获实时数据并将其加载到表中。 在实际解决方案中,通常会添加转换以在时间窗口内聚合数据(例如,捕获每只股票在五分钟内的平均价格)。
现在,让我们探讨如何查询和分析捕获的数据。
查询捕获的数据
Eventstream 捕获实时出租车费数据,并将其加载到 KQL 数据库的表中。 可以查询此表以查看捕获的数据。
**** 提示:KQL 旨在快速探索带时间戳的大容量数据。通过查询,可以验证引入并立即开始分析。
-
在左侧菜单栏中,选择事件屋数据库。
-
选择数据库的查询集。
-
在查询窗格中,修改第一个示例查询,如下所示:
taxi | take 100
提示:
take 100
是一个快速的运行状况检查 - 确认行到达并检查一个小示例,而无需扫描所有内容。**** -
选择查询代码并运行,以查看表中的 100 行数据。
-
查看结果,然后修改查询,以显示每小时的出租车接送数:
taxi | summarize PickupCount = count() by bin(todatetime(tpep_pickup_datetime), 1h)
-
突出显示修改后的查询并运行,以查看结果。
提示:
bin(..., 1h)
将事件分组到按小时计的桶中,使得可以轻松发现随时间推移的趋势。**** -
等待几秒钟后再次运行,注意随着新数据从实时数据流添加到表中,接送数会发生变化。
**** 提示:流会不断添加数据,因此结果会随时间而变化。重新运行显示了聚合在新事件到达时如何更新。
清理资源
在本练习中,你创建了事件屋、使用事件流引入了实时数据、查询了 KQL 数据库表中的引入数据、创建了实时仪表板来可视化实时数据,并使用 Activator 配置了警报。
如果你已完成 Fabric 中的实时智能探索,可以删除为此练习创建的工作区。
**** 提示:删除工作区会移除实验中创建的所有项目,避免持续收费。
-
在左侧栏中,选择你的工作区的图标。
-
在工具栏上中,选择“工作区设置”。
-
在“常规”部分中,选择“删除此工作区”。****