使用视频索引器分析视频

当今创建和使用的数据大都是视频格式数据。 Azure AI 视频索引器是一项 AI 助力的服务，可用于索引视频并从中提取见解。

注意：从 2022 年 6 月 21 日开始，返回个人身份信息的 Azure AI 服务的功能仅限于被授予有限访问权限的客户。 在未获得有限访问权限批准的情况下，本实验室无法使用视频索引器识别人物和名人。 有关 Microsoft 所做的更改的更多详细信息，以及原因 - 请参阅负责任 AI 投资和面部识别防护措施。

克隆本课程的存储库

如果您最近已将mslearn-ai-vision代码存储库克隆到了要完成本实验室的环境，请在 Visual Studio Code 中将其打开；否则，请按照以下步骤立即将其克隆。

  1. 启动 Visual Studio Code。
  2. 打开面板 (SHIFT+CTRL+P) 并运行“Git：克隆”命令，以将 https://github.com/MicrosoftLearning/mslearn-ai-vision 存储库克隆到本地文件夹（任意文件夹均可）。
  3. 克隆存储库后，在 Visual Studio Code 中打开文件夹。

  4. 等待其他文件安装完毕，以支持存储库中的 C# 代码项目。

    注意：如果系统提示你添加生成和调试所需的资产，请选择以后再说。

将视频上传到视频索引器

首先，你需要登录到视频索引器门户并上传视频。

提示：如果在托管实验室环境中“视频索引器”页面加载速度缓慢，请使用本地安装的浏览器。 可以切换回托管的 VM，以便执行后续任务。

  1. 在浏览器中，打开网址为 https://www.videoindexer.ai 的视频索引器门户。
  2. 如果你有现有的视频索引器帐户，请登录。 否则，请注册一个免费帐户并使用 Microsoft 帐户（或任何其他有效帐户类型）登录。 如果登录过程中遇到问题，请尝试打开专用浏览器会话。
  3. 在新的选项卡中，通过访问 https://aka.ms/responsible-ai-video 下载负责任 AI 视频。 保存文件。
  4. 在视频索引器中，选择“上传”** 选项。 然后，选择“浏览文件”的选项，选择下载的视频并单击“添加”**。 将默认名称更改为负责任的 AI，查看默认设置，选中复选框以验证 Microsoft 面部识别策略的合规性，并上传文件。
  5. 文件上传后，等待几分钟，视频索引器随后会自动索引。

注意：在本练习中，我们将使用此视频来探索视频索引器的功能。但在完成练习后，你应该花点时间完整地观看此视频，因为其中包含用于负责任地开发支持 AI 的应用程序的有用信息和指导。

查看视频见解

索引过程从视频中提取见解，你可以在门户中查看这些见解。

  1. 在视频索引器门户中，索引视频后，选择该视频进行观看。 你将在窗格旁边看到视频播放器，该窗格显示从视频中提取的见解。

    注意：由于保护个人标识的访问策略有限，因此在为视频编制索引时可能不会看到名称。

带有视频播放器和“见解”窗格的视频索引器

  1. 播放视频时，选择时间线选项卡以查看视频音频的字幕。

带有视频播放器和显示视频字幕的“时间线”窗格的视频索引器。

  1. 在门户的右上角，选择查看符号（外观类似于 🗇），在见解列表中，除了字幕之外，还要选择OCR和说话人。

视频索引器视图菜单，其中“字幕”、“OCR”和“说话人”处于选中状态

  1. 请注意，时间线窗格现在包括：
    • 音频旁白字幕。
    • 在视频中可见的文本。
    • 视频中出现的说话人指示。 有些知名人士会自动通过名字识别，其他人则用数字表示（例如说话人 #1）。
  2. 切换回见解窗格并查看此处显示的见解。 它们包括：
    • 视频中出现的个人。
    • 视频中讨论的主题。
    • 视频中出现的物体的标签。
    • 视频中出现的命名实体，例如人员和品牌。
    • 关键场景。

  3. 在见解窗格可见的情况下，再次选择查看符号，并在见解列表中，将关键字和情绪添加到该窗格中。

    发现的见解可以帮助你确定视频中的主要主题。 例如，此视频的主题表明，它显然与技术、社会责任和道德规范有关。

搜索见解

你可以使用视频索引器在视频中搜索见解。

  1. 在见解窗格中的搜索框中，输入蜜蜂。 建议在见解窗格中向下滚动以查看所有见解类型的结果。
  2. 注意，找到一个匹配的标签，位于下面视频中指示的位置。
  3. 选择指示有蜜蜂存在的部分的开头，然后在该位置观看视频（建议暂停视频并仔细选择，蜜蜂只会短暂出现。）
  4. 清除搜索框以显示视频中的所有见解。

视频索引器对蜜蜂的搜索结果

使用视频索引器小组件

视频索引器门户是用于管理视频索引项目的有用界面。 但是，有时你可能想要将视频及其见解提供给无法访问视频索引器帐户的人员。 为此，视频索引器提供了可嵌入到网页中的小组件。

  1. 在 Visual Studio Code 中的 06-video-indexer 文件夹中，打开 analyst-video.html。 这是一个基本的 HTML 页面，用于添加视频索引器播放器和见解小组件**。 请注意标题中对 vb.widgets.mediator.js 脚本的引用，此脚本使页面上的多个视频索引器小组件能够相互交互**。
  2. 在视频索引器门户中，返回到“媒体文件”页面并打开“负责任的 AI”视频****。
  3. 在视频播放器下，选择</> 嵌入以查看 HTML Iframe 代码，以便能够嵌入小组件。
  4. 在共享和嵌入对话框中，选择播放器小组件，将视频大小设置为 560 x 315，然后将嵌入代码复制到剪贴板。
  5. 在 Visual Studio Code 中的 analyze-video.html 文件中，将复制的代码粘贴到注释<– 此处是播放器小组件 – >下。
  6. 返回到共享和嵌入对话框，选择见解小组件，然后将嵌入代码复制到剪贴板。 然后关闭共享和嵌入对话框，切换回 Visual Studio Code，并将复制的代码粘贴到注释<– 此处是见解小组件 – > 下。
  7. 保存文件。 然后在资源管理器窗格中，右键单击analyze-video.html，并选择在文件资源管理器中显示。
  8. 在文件资源管理器中，通过浏览器打开 analyze-video.html 以查看网页。
  9. 对这些小组件进行试验，使用见解小组件来搜索见解，并在视频中跳转至这些见解。

网页中的视频索引器小组件

使用视频索引器 REST API

视频索引器提供了一个 REST API，你可以使用该 API 上传和管理帐户中的视频。

获取 API 详细信息

要使用视频索引器 API，你需要一些信息以对请求进行验证：

  1. 在视频索引器门户中，展开左窗格，然后选择“帐户设置”** 页。
  2. 请记下此页面上的帐户 ID，稍后你将用到它。
  3. 打开新的浏览器选项卡，转到位于 https://api-portal.videoindexer.ai 的视频索引器开发人员门户，使用视频索引器帐户的凭据登录。
  4. 在个人资料页面上，查看与个人资料关联的订阅。
  5. 在订阅页面上，注意已为每个订阅分配了两个密钥（主密钥和辅助密钥）。 然后选择显示以查看任一密钥。 稍后你需要用到该密钥。

使用 REST API

现在，你已经有了帐户 ID 和 API 密钥，接下来便可使用 REST API 来处理帐户中的视频。 在此过程中，你将使用 PowerShell 脚本进行 REST 调用，但是相同的原理适用于 HTTP 实用程序（例如 cURL 或 Postman），或任何能够通过 HTTP 发送和接收 JSON 的编程语言。

与视频索引器 REST API 的所有交互都遵循相同的模式：

  • 使用标头中的 API 密钥对 AccessToken 方法的初始请求用于获取访问令牌。
  • 在调用 REST 方法以处理视频时，后续请求使用访问令牌进行验证。
  1. 在 Visual Studio Code 的 06-video-indexer 文件夹中，打开 get-videos.ps1。
  2. 在 PowerShell 脚本中，将 YOUR_ACCOUNT_ID 和 YOUR_API_KEY 占位符分别替换为之前标识的帐户 ID 和 API 密钥值。
  3. 请注意，免费帐户的位置为试用。 如果创建了不受限制的视频索引器帐户（具有关联的 Azure 资源），则可以将此位置更改为预配置 Azure 资源的位置（例如“美国东部”）。
  4. 查看脚本中的代码，请注意该脚本调用了两种 REST 方法：一种方法用于获取访问令牌，而另一种用于列出帐户中的视频。
  5. 保存所做的更改，然后在脚本窗格的右上角使用 ▷ 按钮运行脚本。
  6. 查看来自 REST 服务的 JSON 响应，其中应包含之前索引的负责任的 AI视频的详细信息。

详细信息

平民和名人的识别仍然可用，但根据负责任 AI 标准，这些功能受限于有限访问策略。 这些功能包括面部识别和名人识别。 若要了解详细信息并申请访问权限，请参阅Azure AI 服务的有限访问。

有关视频索引器** 的详细信息，请参阅视频索引器文档。