Menjelajahi Azure Synapse Data Explorer

Catatan: Karena perubahan produk, ada beberapa masalah yang diketahui dengan bagian Membuat database dan menyerap data di lab ini. Kami berupaya mengatasi masalah ini.

Dalam latihan ini, Anda akan menggunakan Azure Synapse Data Explorer untuk menganalisis data deret waktu.

Membutuhkan waktu sekitar 25 menit untuk menyelesaikan lab ini.

Sebelum memulai

Anda memerlukan langganan Azure dengan akses tingkat administratif.

Memprovisikn ruang kerja Azure Synapse Analytics

Tips: Jika sudah memiliki Ruang Kerja Azure Synapse dari latihan sebelumnya, lewati bagian ini dan langsung buka Buat kumpulan Data Explorer.

Buka portal Microsoft Azure di https://portal.azure/com, dan masuk menggunakan info masuk yang terkait dengan langganan Azure Anda.

Catatan: Pastikan untuk menggunakan direktori yang berisi langganan Anda - terletak di kanan atas di bawah ID pengguna. Jika tidak, pilih ikon pengguna dan ubah direktori.
Di portal Microsoft Azure, di halaman Beranda, gunakan ＋ Buat ikon sumber daya untuk membuat sumber daya baru.
Cari Azure Synapse Analytics, dan buat sumber daya Azure Synapse Analytics yang baru dengan pengaturan berikut:
- Langganan: Langganan Azure Anda
  - Grup sumber daya: Buat grup sumber daya baru dengan nama yang sesuai, seperti “synapse-rg”
  - Kelompok sumber daya terkelola: Masukkan nama yang sesuai, misalnya “synapse-managed-rg”.
- Nama ruang kerja: *Masukkan nama ruang kerja yang unik, misalnya “synapse-ws-*.
- Wilayah: Pilih wilayah yang tersedia.
- Pilih Data Lake Storage Gen 2: Dari langganan
  - Nama akun: *Buat akun baru dengan nama unik, misalnya “datalake"*.
  - Nama sistem file: *Buat sistem file baru dengan nama yang unik, misalnya “fs"*.
Catatan: Ruang kerja Synapse Analytics memerlukan dua grup sumber daya dalam langganan Azure; satu untuk sumber daya yang dibuat secara eksplisit, dan satu lagi untuk sumber daya terkelola yang digunakan oleh layanan. Hal ini juga memerlukan akun penyimpanan Data Lake untuk menyimpan data, skrip, dan artefak lainnya.
Saat Anda memasukkan detail ini, pilih Tinjau + buat, lalu pilih Buat untuk membuat ruang kerja.
Tunggu hingga ruang kerja selesai dibuat - mungkin memerlukan waktu lima menit atau lebih.
Saat penyebaran selesai, buka grup sumber daya yang dibuat dan perhatikan bahwa grup tersebut berisi ruang kerja Synapse Analytics Anda dan akun penyimpanan Data Lake.
Pilih ruang kerja Synapse Anda, dan di halaman Gambaran umum, di kartu Buka Synapse Studio, pilih Buka untuk membuka Synapse Studio di tab browser baru. Synapse Studio adalah antarmuka berbasis web yang dapat digunakan untuk bekerja dengan ruang kerja Synapse Analytics Anda.
Di sisi kiri Synapse Studio, gunakan ikon ›› untuk meluaskan menu - tindakan ini akan menampilkan berbagai halaman dalam Synapse Studio yang akan digunakan untuk mengelola sumber daya dan melakukan tugas analitik data

Membuat kumpulan Data Explorer

Di Synapse Studio, pilih halaman Kelola.
Pilih tab kumpulan Data Explorer, lalu gunakan tab ＋ Ikon baru untuk membuat kumpulan baru dengan pengaturan berikut:
- Nama kumpulan Data Explorer: dxpool
- Beban kerja: Dioptimalkan untuk komputasi
- Ukuran: Ekstra Kecil (2 inti)
Pilih Berikutnya: Pengaturan Tambahan > dan aktifkan pengaturan Penyerapan streaming - pengaturan ini memungkinkan Data Explorer menyerap data baru dari sumber streaming, seperti Azure Event Hubs.
Pilih Tinjau dan buat untuk membuat kumpulan Data Explorer, lalu tunggu hingga kumpulan tersebut disebarkan (yang mungkin memerlukan waktu 15 menit atau lebih lama - statusnya akan berubah dari Membuat menjadi Online).

Membuat database dan menyerap data

Di Synapse Studio, pilih halaman Data.
Pastikan tab Ruang Kerja dipilih, dan jika perlu, pilih ↻ di kiri atas halaman untuk merefresh tampilan sehingga **database Data Explorer ** terdaftar.
Perluas Database Data Explorer dan verifikasi bahwa dxpool dicantumkan.
Di panel Data, gunakan ＋ untuk membuat database Data Explorer baru di kumpulan dxpool dengan nama iot-data.
Sambil menunggu database dibuat, unduh devices.csv dari https://github.com/MicrosoftLearning/DP-900T00A-Azure-Data-Fundamentals/raw/master/streaming/data/devices.csv, simpan di folder mana pun di komputer lokal Anda.
Di Synapse Studio, tunggu database dibuat jika perlu, lalu di menu … untuk database iot-data baru, pilih Buka di Azure Data Explorer.
Di tab browser baru yang berisi Azure Data Explorer, pada tab Data, pilih Serap data baru.
Di halaman Tujuan, pilih pengaturan berikut:
- Kluster: Kumpulan Data Explorer dxpool di ruang kerja Azure Synapse Anda
- Database: iot-data
- Tabel: Buat tabel baru bernama perangkat
Pilih Berikutnya: Sumber dan pada halaman Sumber, pilih opsi berikut:
- Jenis sumber: File
- File: Unggah file devices.csv dari komputer lokal Anda.
Pilih Berikutnya: Skema dan pada halaman Skema, pastikan pengaturan berikut sudah benar:
- Jenis pemadatan: Tidak dipadatkan
- Format data: CSV
- Abaikan catatan pertama: dipilih
- Pemetaan: devices_mapping
Pastikan tipe data kolom telah diidentifikasi dengan benar sebagai Waktu (waktu (tanggalwaktu), Perangkat (string), dan Nilai (panjang)). Kemudian pilih Berikutnya: Mulai Penyerapan.
Saat penyerapan selesai, pilih Tutup.
Di Azure Data Explorer, pada tab Kueri, pastikan database iot-data dipilih, lalu di panel kueri, masukkan kueri berikut.
```
 devices
```

Pada bilah alat, pilih ▷ Jalankan untuk menjalankan kueri, dan tinjau hasilnya, yang akan terlihat seperti ini:

Waktu	Perangkat	Value
2022-01-01T00:00:00Z	Dev1	7
2022-01-01T00:00:01Z	Dev2	4
…	…	…

Jika hasil cocok dengan ini, Anda telah berhasil membuat tabel perangkat dari data dalam file.

Tips: Dalam contoh ini, Anda mengimpor sejumlah kecil data batch dari satu file, yang dapat dilakukan untuk tujuan latihan ini. Pada kenyataannya, Anda dapat menggunakan Data Explorer untuk menganalisis volume data yang jauh lebih besar; dan karena Anda mengaktifkan penyerapan streaming, Anda juga dapat mengonfigurasi Data Explorer untuk menyerap data ke dalam tabel dari sumber streaming seperti Azure Event Hubs.

Gunakan bahasa kueri Kusto untuk membuat kueri tabel di Synapse Studio

Tutup tab browser Azure Data Explorer dan kembali ke tab yang berisi Synapse Studio.
Pada halaman Data, luaskan database iot-data dan folder Tabel-nya. Kemudian di menu … untuk tabel perangkat, pilih Skrip KQL Baru > Ambil 1000 baris.
Tinjau kueri yang dihasilkan dan hasilnya. Kueri harus berisi kode berikut:
```
 devices
 | take 1000
```
Hasil kueri berisi 1000 baris data pertama.
Ubah kueri sebagai berikut:
```
 devices
 | where Device == 'Dev1'
```
Pilih ▷ Jalankan untuk menjalankan kueri. Kemudian tinjau hasilnya, yang seharusnya hanya berisi baris untuk perangkat Dev1.

Ubah kueri sebagai berikut:

 devices
 | where Device == 'Dev1'
 | where Time > datetime(2022-01-07)

Jalankan kueri dan tinjau hasilnya, yang seharusnya hanya berisi baris untuk perangkat Dev1 setelah tanggal 7 Januari 2022.

Ubah kueri sebagai berikut:

 devices
 | where Time between (datetime(2022-01-01 00:00:00) .. datetime(2022-07-01 23:59:59))
 | summarize AvgVal = avg(Value) by Device
 | sort by Device asc

Jalankan kueri dan tinjau hasilnya, yang seharusnya berisi nilai perangkat rata-rata yang tercatat antara tanggal 1 Januari dan 7 Januari 2022 dalam urutan nama perangkat yang menaik.
Tutup tab kueri KQL, buang perubahan Anda.

Menghapus sumber daya Azure

Setelah selesai menjelajahi Azure Synapse Analytics, Anda harus menghapus sumber daya yang dibuat untuk menghindari biaya Azure yang tidak perlu.

Tutup tab browser Synapse Studio, tanpa menyimpan perubahan apa pun, dan kembali ke portal Microsoft Azure.
Di portal Microsoft Azure, pada halaman Beranda, pilih Grup sumber daya.
Pilih grup sumber daya untuk ruang kerja Synapse Analytics Anda (bukan grup sumber daya terkelola), dan verifikasi bahwa grup tersebut berisi ruang kerja Synapse, akun penyimpanan, dan kumpulan Data Explorer untuk ruang kerja Anda (jika Anda menyelesaikan latihan sebelumnya, grup tersebut juga akan berisi kumpulan Spark).
Di bagian atas halaman Gambaran Umum untuk grup sumber daya, pilih Hapus grup sumber daya.
Masukkan nama grup sumber daya untuk mengonfirmasi bahwa Anda ingin menghapusnya, dan pilih Hapus.

Setelah beberapa menit, ruang kerja Azure Synapse Anda dan ruang kerja terkelola yang terkait dengannya akan dihapus.