Microsoft Fabric レイクハウスを作成する

大規模なデータ分析ソリューションは、従来、’‘データウェアハウス’’ を中心に構築されてきました。データはリレーショナルテーブルに格納され、SQL を使用してクエリが実行されます。** 低コストのストレージとクラウド規模の分散コンピューティングテクノロジの可用性と共に、”ビッグデータ” (新しいデータ資産が大量にあり、種類が豊富で高速であることが特徴) が増加したことで、分析データストレージの代替アプローチであるデータレイクが登場しました。** ** ** ** データレイクでは、データは、ストレージ用の固定スキーマを適用せずにファイルとして格納されます。データエンジニアとアナリストは、’‘データレイクハウス’’ でそれらを組み合わせることによって、これらの両方のアプローチの最高の機能の利点を得ようとしています。データはデータレイク内のファイルに格納され、リレーショナルスキーマがメタデータレイヤーとして適用されるため、従来の SQL セマンティクスを使用してクエリを実行できます。**

Microsoft Fabric では、レイクハウスによって OneLake ストア (Azure Data Lake Store Gen2 上に構築) に、オープンソースの Delta Lake テーブル形式に基づくテーブルやビューなどのリレーショナルオブジェクトのメタストアを備えた、拡張性の高いファイルストレージが提供されます。 Delta Lake では、SQL を使用してクエリを実行できるテーブルのスキーマをレイクハウスで定義できます。

このラボの所要時間は約 30 分です。

注:この演習を完了するには、Microsoft Fabric 試用版が必要です。

ワークスペースの作成

Fabric でデータを操作する前に、Fabric 試用版を有効にしてワークスペースを作成してください。

Microsoft Fabric ホームページ (https://app.fabric.microsoft.com/home?experience=fabric) で、[Synapse Data Engineering] を選択します。
左側のメニューバーで、 [ワークスペース] を選択します (アイコンは 🗇 に似ています)。
新しいワークスペースを任意の名前で作成し、 [詳細] セクションで、Fabric 容量を含むライセンスモード (“試用版“、Premium、または Fabric) を選択します。
開いた新しいワークスペースは空のはずです。

レイクハウスを作成する

ワークスペースが作成されたので、次にデータファイル用のデータレイクハウスを作成します。

Synapse Data Engineering ホームページで、任意の名前で新しい Lakehouse を作成します。

1 分ほどすると、新しいレイクハウスが作成されます。
新しいレイクハウスを表示します。左側の [レイクハウスエクスプローラー] ペインを使用すると、レイクハウス内のテーブルとファイルを参照できることに注意してください。
- Tables フォルダーには、SQL セマンティクスを使用してクエリを実行できるテーブルが含まれています。 Microsoft Fabric レイクハウスのテーブルは、Apache Spark でよく使われるオープンソースの Delta Lake ファイル形式に基づいています。
- Files フォルダーには、マネージドデルタテーブルに関連付けられていないレイクハウスの OneLake ストレージ内のデータファイルが含まれています。このフォルダーに ‘‘ショートカット’’ を作成して、外部に格納されているデータを参照することもできます。**
現在、レイクハウスにはテーブルやファイルはありません。

ファイルをアップロードする

Fabric には、Power Query に基づいてビジュアルツールを使用して定義できるデータを外部ソースとデータフロー (Gen 2) からコピーするパイプラインの組み込みサポートなど、レイクハウスにデータを読み込むための複数の方法が用意されています。しかし、少量のデータを取り込む最も簡単な方法の 1 つは、ローカルコンピューター (または該当する場合はラボ VM) からファイルまたはフォルダーをアップロードすることです。

https://raw.githubusercontent.com/MicrosoftLearning/dp-data/main/sales.csv から sales.csv ファイルをダウンロードし、ローカルコンピューター (または該当する場合はラボ VM) に sales.csv として保存します。

注: ファイルをダウンロードするには、ブラウザーで新しいタブを開き、URL を貼り付けます。データを含むページ上の任意の場所を右クリックし、 [名前を付けて保存] を選択して、ページを CSV ファイルとして保存します。
レイクハウスを含む Web ブラウザータブに戻り、 [レイクハウスエクスプローラー] ペインの Files フォルダーの […] メニューで、 [新しいサブフォルダー] を選択し、data という名前のサブフォルダーを作成します。
新しい data フォルダーの […] メニューで、[アップロード] と [ファイルのアップロード] を選択し、ローカルコンピューター (または該当する場合はラボ VM) から sales.csv ファイルをアップロードします。
ファイルがアップロードされた後、Files の data フォルダーを選択し、以下に示すように sales.csv ファイルがアップロードされたことを確認します。
sales.csv ファイルを選択すると、その内容のプレビューが表示されます。

ショートカットを調べる

多くのシナリオでは、レイクハウスで操作する必要があるデータが他の場所に格納される場合があります。レイクハウスの OneLake ストレージにデータを取り込む方法は多数ありますが、代わりに ‘‘ショートカット’’ を作成することもできます。** ショートカットを使用すると、外部ソースデータを分析ソリューションに含めることができ、そのコピーに関連するデータの不整合のオーバーヘッドやリスクはありません。

Files フォルダーの […] メニューで、 [新しいショートカット] を選択します。
ショートカットに使用できるデータソースの種類を表示します。その後、ショートカットを作成せずに [新しいショートカット] ダイアログボックスを閉じます。

ファイルデータをテーブルに読み込む

アップロードした売上データはファイル内にあり、データアナリストやエンジニアは Apache Spark コードを使用して直接操作できます。しかし、多くのシナリオでは、SQL を使用してクエリを実行できるように、ファイルからテーブルにデータを読み込むことができます。

[ホーム] ページで、Files の data フォルダーを選択して、それに含まれる sales.csv ファイルを表示できるようにします。
sales.csv ファイルの […] メニューで、 [テーブルに読み込む] を選択します。
[テーブルに読み込む] ダイアログボックスで、テーブル名を sales に設定し、読み込み操作を確認します。その後、テーブルが作成されて読み込まれるのを待ちます。

ヒント: sales テーブルが自動的に表示されない場合は、Tables フォルダーの […] メニューで [最新の情報に更新] を選択します。
[レイクハウスエクスプローラー] ペインで、作成された sales テーブルを選択してデータを表示します。
sales テーブルの […] メニューで、 [ファイルの表示] を選択して、このテーブルの基になるファイルを表示します

デルタテーブルのファイルは Parquet 形式で格納され、テーブルに適用されたトランザクションの詳細がログに記録される _delta_log という名前のサブフォルダーが含まれます。

SQL を使用してテーブルのクエリを実行する

レイクハウスを作成してテーブルを定義すると、SQL エンドポイントが自動的に作成され、SQL SELECT ステートメントを使用してテーブルのクエリを実行できます。

[レイクハウス] ページの右上で、[レイクハウス] から [SQL 分析エンドポイント] に切り替えます。次に、レイクハウスの SQL 分析エンドポイントがビジュアルインターフェイスで開き、テーブルのクエリを実行できるようになるまでしばらく待ちます。
[新しい SQL クエリ] ボタンを使用して新しいクエリエディターを開き、次の SQL クエリを入力します。
```
SELECT Item, SUM(Quantity * UnitPrice) AS Revenue
FROM sales
GROUP BY Item
ORDER BY Revenue DESC;
```
注:ラボ VM を使っていて SQL クエリの入力に問題がある場合は、https://github.com/MicrosoftLearning/mslearn-fabric/raw/main/Allfiles/Labs/01/Assets/01-Snippets.txt から 01-Snippets.txt ファイルをダウンロードして VM に保存できます。その後、テキストファイルからクエリをコピーできます。
[▷] (実行) ボタンを使用してクエリを実行し、結果を表示します。これには、各製品の総収益が表示されるはずです。

ビジュアルクエリを作成する

多くのデータプロフェッショナルは SQL を使い慣れていますが、Power BI の経験があるデータアナリストは、Power Query スキルを生かしてビジュアルクエリを作成することができます。

ツールバーで、 [新しいビジュアルクエリ] を選択します。
次に示すように、sales テーブルを開いた新しいビジュアルクエリエディターペインにドラッグして、Power Query を作成します。
[列の管理] メニューの [列の選択] を選びます。その後、SalesOrderNumber と SalesOrderLineNumber 列だけを選択します。
[変換] メニューの [グループ化] を選択します。その後、次の [基本] 設定を使用してデータをグループ化します。
- グループ化: SalesOrderNumber
- 新しい列名: LineItems
- 操作: 個別の値をカウントする
- 列: SalesOrderLineNumber
完了すると、ビジュアルクエリの下の結果ペインに、各販売注文の品目数が表示されます。

レポートを作成する

レイクハウス内のテーブルは、Power BI を使ってレポートするための既定のセマンティックモデルに自動的に追加されます。

[SQL エンドポイント] ページの下部にある [モデル] タブを選びます。セマンティックモデルのデータモデルスキーマが表示されます。

注 1: この演習では、セマンティックモデルは 1 つのテーブルで構成されます。実際のシナリオでは、レイクハウスに複数のテーブルを作成し、それぞれがモデルに含まれる可能性があります。その後、モデル内のこれらのテーブル間のリレーションシップを定義できます。

注 2: ビュー frequently_run_queries、long_running_queries、exec_sessions_history、exec_requests_history は、ファブリックによって自動的に作成される queryinsights スキーマの一部です。これは、SQL 分析エンドポイントでの履歴クエリアクティビティの総合的なビューを提供する機能です。この機能はこの演習の範囲外であるため、現時点ではこれらのビューは無視してください。
メニューリボンで、 [レポート] タブを選択します。次に、 [新しいレポート] を選択します。現在のページがレポートデザイナービューに変更されます。
右側の [データ] ペインで、sales テーブルを展開します。その後、次のフィールドを選択します。
- Item
- Quantity
テーブルの視覚化がレポートに追加されます。
[データ] と [フィルター] ペインを非表示にして、領域を広くします。その後、テーブルの視覚化が選択されていることを確かめ、 [視覚化] ペインで、視覚化を [集合横棒グラフ] に変更し、次に示すようにサイズを変更します。
[ファイル] メニューの [保存] をクリックします。次に、前に作成したワークスペースにレポートを Item Sales Report として保存します。
ここで、左側のハブメニューバーでワークスペースを選択し、次の項目が含まれていることを確認します。
- レイクハウス。
- レイクハウスの SQL 分析エンドポイント。
- レイクハウス内にあるテーブルの既定のセマンティックモデル。
- Item Sales Report レポート。

リソースをクリーンアップする

この演習では、レイクハウスを作成し、それにデータをインポートしました。レイクハウスが OneLake データストアに格納されているファイルとテーブルで構成されるしくみを確認しました。マネージドテーブルは SQL を使用してクエリを実行でき、データの視覚化をサポートする既定のセマンティックモデルに含まれています。

レイクハウスの探索が完了したら、この演習用に作成したワークスペースを削除できます。

左側のバーで、ワークスペースのアイコンを選択して、それに含まれるすべての項目を表示します。
ツールバーの […] メニューで、 [ワークスペースの設定] を選択してください。
[全般] セクションで、[このワークスペースの削除] を選択します。