構成された Document Intelligence モデルを作成する

この演習では、異なる納税申告フォームを分析する 2 つのカスタム モデルを作成してトレーニングします。 次に、これらのカスタム モデルを両方とも含む作成済みモデルを作成します。 申告書を送信してモデルをテストし、ドキュメントの種類とラベル付けされたフィールドが正しく認識されていることを確認します。

リソースのセットアップ

スクリプトを使用して、Azure AI Document Intelligence リソース、サンプル フォームを含むストレージ アカウント、リソース グループを作成します。

  1. Visual Studio Code を起動します。
  2. パレットを開き (SHIFT+CTRL+P)、Git:Clone コマンドを実行して、https://github.com/MicrosoftLearning/mslearn-ai-document-intelligence リポジトリをローカル フォルダーに複製します (どのフォルダーでも問題ありません)。

  3. リポジトリを複製したら、Visual Studio Code でフォルダーを開きます。

    注:Visual Studio Code に、開いているコードを信頼するかどうかを求めるポップアップ メッセージが表示された場合は、ポップアップの [はい、作成者を信頼します] オプションをクリックします。

    注: ビルドとデバッグに必要なアセットを追加するように求めるプロンプトが表示された場合は、[今はしない] を選択します。 Visual Studio Code から他のポップアップがある場合は、それらを閉じても構いません。

  4. 左側のウィンドウで Labfiles フォルダーを展開し、03-composed-model ディレクトリを右クリックします。 統合ターミナルで開くオプションを選択し、次のスクリプトを実行します。

     az login --output none

    注:アクティブなサブスクリプションがなく、MFA が有効になっていることを示すエラーが発生した場合は、最初に https://portal.azure.com で Azure portal にログインしてから、az login を再実行する必要がある場合があります。

  5. メッセージ表示されたら、Azure サブスクリプションにサインインします。 その後、Visual Studio Code に戻り、サインイン プロセスが完了するまで待ちます。

  6. 統合ターミナルで、次のコマンドを実行してリソースを設定します。

    ./setup.ps1

    重要:スクリプトによって作成された最後のリソースは、Azure AI ドキュメント インテリジェンス サービスです。 そのコマンドが、F0 レベルのリソースが既に存在することが原因で失敗した場合は、そのリソースをこのラボ用に使用するか、Azure portal で S0 レベルを使用して手動で作成します。

1040 Forms カスタム モデルを作成する

作成済みモデルを作成するには、最初に 2 つ以上のカスタム モデルを作成する必要があります。 最初のカスタム モデルを作成するには、次の操作を行います。

  1. 新しいブラウザー タブで、https://documentintelligence.ai.azure.com/studio で Azure AI Document Intelligence Studio を起動します
  2. 下にスクロールし、[カスタム モデル] で [Custom extraction model](カスタム抽出モデル) を選択します。
  3. アカウントへのサインインを求められた場合は、Azure 資格情報を使用します。
  4. どの Azure AI Document Intelligence リソースを使用するかを確認されたら、Azure AI Document Intelligence リソースを作成した時に使用したサブスクリプションとリソース名を選択します。
  5. [マイ プロジェクト] で、 + Create a project を選択します。
  6. [プロジェクト名] テキストボックスに「1040 Forms」と入力し、[続行] を選択します。
  7. [サービス リソースの構成] ページの [サブスクリプション] ドロップダウン リストで、Azure サブスクリプションを選択します。
  8. [リソース グループ] ドロップダウン リストで、作成された [DocumentIntelligenceResources<xxxx>] を選択します。
  9. [Document Intelligence または Cognitive Service リソース] ドロップダウン リストで、[DocumentIntelligence<xxxx>] を選択します。
  10. [API バージョン] ドロップダウン リストで、[2024-07-31 (プレビュー)] が選択されていることを確認し、[続行] を選択します。
  11. [Connect training data source](トレーニング データ ソースの接続) ページの [サブスクリプション] ドロップダウン リストで、Azure サブスクリプションを選択します。
  12. [リソース グループ] ドロップダウン リストで、[DocumentIntelligenceResources<xxxx>] を選択します。
  13. [ストレージ アカウント] ドロップダウン リストで、一覧表示されているストレージ アカウントのみを選択します。 サブスクリプションに複数のストレージ アカウントがある場合は、docintelstorage で始まるストレージ アカウントを選択します
  14. [BLOB コンテナー] ドロップダウン リストで [1040examples] を選択し、[続行] を選択します。
  15. [確認と作成] ページで、[プロジェクトの作成] を選択します。
  16. [ラベル付けを今すぐ開始] ポップアップの [レイアウトの実行] で [今すぐ実行] を選択し、分析が完了するまで待ちます。

1040 Forms カスタム モデルにラベルを付ける

次に、フォーム例のフィールドにラベルを付けましょう。

  1. [Label data](データのラベル付け) ページで、ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  2. 「FirstName」と入力し、Enter キーを押します。
  3. 左側の一覧で f1040_1.pdf という名前のドキュメントを選択し、John を選択し、FirstName を選択します。
  4. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  5. 「LastName」と入力し、Enter キーを押します。
  6. ドキュメントで [Doe] を選択し、[LastName] を選択します。
  7. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  8. 「City」と入力し、Enter キーを押します。
  9. ドキュメントで [Los Angeles] を選択し、[City] を選択します。
  10. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  11. 「State」と入力し、Enter キーを押します。
  12. ドキュメントで [CA] を選択し、[State] を選択します。
  13. 作成したラベルを使用して、左側の一覧にある残りのフォームについてラベル付けのプロセスを繰り返します。 同じ 4 つのフィールドにラベル (FirstName、LastName、City、State) を付けます。 いずれかのドキュメントに市または州のデータが含まれていないことに注意してください。

重要 この演習では目的上、5 つのフォームの例のみを使用し、4 つのフィールドのみにラベルを付けます。 実際のモデルでは、できるだけ多くのサンプルを使用して、予測の精度と信頼度を最大化する必要があります。 また、4 つのフィールドだけでなく、フォームで使用可能なすべてのフィールドにラベルを付ける必要もあります。

1040 Forms カスタム モデルをトレーニングする

サンプル フォームにラベルを付けたので、最初のモデルをトレーニングできます。

  1. 画面右上の Azure AI Document Intelligence Studio で、[トレーニング] を選択します。
  2. [新しいモデルのトレーニング] ダイアログの [モデル ID] テキストボックスに「1040FormsModel」と入力します。
  3. [ビルド モード] ドロップダウン リストで [テンプレート] を選択し、[トレーニング] を選択します。
  4. [トレーニングの進行中] ダイアログで、[モデルに移動] を選択します。

1099 Forms カスタム モデルを作成する

次に、例 1099 の納税申告フォームでトレーニングを行う 2 つ目のモデルを作成する必要があります。

  1. Azure AI Document Intelligence Studio で、[Custom extraction model](カスタム抽出モデル) を選択します。
  2. [マイ プロジェクト] で、 + Create a project を選択します。
  3. [プロジェクト名] テキストボックスに「1099 Forms」と入力し、[続行] を選択します。
  4. [サービス リソースの構成] ページの [サブスクリプション] ドロップダウン リストで、Azure サブスクリプションを選択します。
  5. [リソース グループ] ドロップダウン リストで、[DocumentIntelligenceResources<xxxx>] を選択します。
  6. [Document Intelligence または Cognitive Service リソース] ドロップダウン リストで、[DocumentIntelligence<xxxx>] を選択します。
  7. [API バージョン] ドロップダウン リストで、[2024-07-31 (プレビュー)] が選択されていることを確認し、[続行] を選択します。
  8. [Connect training data source](トレーニング データ ソースの接続) ページの [サブスクリプション] ドロップダウン リストで、Azure サブスクリプションを選択します。
  9. [リソース グループ] ドロップダウン リストで、[DocumentIntelligenceResources<xxxx>] を選択します。
  10. [ストレージ アカウント] ドロップダウン リストで、一覧表示されているストレージ アカウントのみを選択します。
  11. [BLOB コンテナー] ドロップダウン リストで [1099examples] を選択し、[続行] を選択します。
  12. [確認と作成] ページで、[プロジェクトの作成] を選択します。
  13. [レイアウトの実行] のドロップダウン ボタンを選択し、[未分析のドキュメント] を選択します。
  14. 分析が完了するまで待ちます。

1099 Forms カスタム モデルにラベルを付ける

次に、いくつかのフィールドを含むフォーム例にラベルを付けます。

  1. [Label data](データのラベル付け) ページで、ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  2. 「FirstName」と入力し、Enter キーを押します。
  3. 左側の一覧で f1099msc_payer.pdf という名前のドキュメントを選択し、John を選択し、FirstName を選択します。
  4. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  5. 「LastName」と入力し、Enter キーを押します。
  6. ドキュメントで [Doe] を選択し、[LastName] を選択します。
  7. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  8. 「City」と入力し、Enter キーを押します。
  9. ドキュメントで [New Haven] を選択し、[City] を選択します。
  10. ページの右上にある [+ フィールドの追加] を選択し、[フィールド] を選択します。
  11. 「State」と入力し、Enter キーを押します。
  12. ドキュメントで [CT] を選択し、[State] を選択します。
  13. 左側の一覧にある残りのフォームについてラベル付けのプロセスを繰り返します。 同じ 4 つのフィールドにラベル (FirstName、LastName、City、State) を付けます。 2 つのドキュメントに、ラベル付けする名前データがないことに注意してください。

1099 Forms カスタム モデルをトレーニングする

2 つ目のカスタム モデルをトレーニングできるようになりました。

  1. Azure AI Document Intelligence Studio で、[トレーニング] を選択します。
  2. [新しいモデルのトレーニング] ダイアログの [モデル ID] テキストボックスに「1099FormsModel」と入力します。
  3. [ビルド モード] ドロップダウン リストで [テンプレート] を選択し、[トレーニング] を選択します。
  4. [トレーニングの進行中] ダイアログで、[モデルに移動] を選択します。
  5. トレーニング プロセスには数分かかることがあります。 両方のモデルで [成功] 状態が表示されるまで、ブラウザーをときどき更新します。

モデルを使用する

モデルが完成したので、フォーム例を使用してモデルをテストしましょう。

  1. Azure AI Document Intelligence Studio で、[モデル] ページを選択し、[1040FormsModel] を選択します。
  2. [Test] を選択します。
  3. [ファイルの参照] を選択し、リポジトリを複製した場所を参照します。
  4. 03-composed-model/trainingdata/TestDoc/f1040_7.pdf を選択し、[開く] を選択します。
  5. Run analysis を選択します。 Azure AI Document Intelligence により、作成済みモデルを使用してフォームが分析されます。
  6. 分析されたドキュメントは、1040 納税申告フォーム例です。 [DocType] プロパティをチェックして、適切なカスタム モデルが使用されたかどうかを確認します。 また、モデルによって識別された [FirstName]、[LastName]、[City]、[State] の値も確認します。

リソースをクリーンアップする

作成済みモデルの動作を確認したので、Azure サブスクリプションで作成したリソースを削除しましょう。

  1. https://portal.azure.com/ の Azure potal で、[Resource group](リソース グループ) を選択します。
  2. [Resource group](リソース グループ) の一覧で、作成した [DocumentIntelligenceResources<xxxx>] を選択し、[Delete resource groupリ](ソース グループの削除) を選択します。
  3. [TYPE THE RESOURCE GROUP NAME] (リソース グループ名の入力) テキストボックスにリソース グループの名前を入力し、[削除] を選択して Document Intelligence リソースとストレージ アカウントを削除します。

詳細情報