Zona Pada Data Lake

[Meilina Eka Ayuningtyas]

Data-data yang digunakan dalam big data saat ini memiliki berbagai macam bentuk, mulai dari terstruktur, semi terstruktur, dan juga tidak terstruktur dengan format yang masih mentah (raw). Untuk mengatasi berbagai macam bentuk tersebut, maka hadir sebuah solusi yang bernama data lake. Data Lake merupakan komponen penting dalam Data Sience.  Dengan data lake, data-data yang masih mentah tadi disimpan di sini terlebih dahulu. Data lake sendiri hadir untuk mengatasi kelemahan data warehouse tradisional.

Sekarang perhatikan gambar yang saya attach di atas. Pada data lake terdapat beberapa zona sebelum akhirnya data tersebut dilakukan proses analitik. Zona-zona tersebut antara lain 

1. Transient zone
2. Raw zone
3. Trusted zone, dan
4. Refined zone.

Transient Zone
Zona ini berfungsi sebagai pendaratan awal untuk data mentah yang baru diterima dari berbagai sumber. Contoh : Data log sensor IoT

Raw Zone

Pada zona ini data akan dipindahkan dalam format aslinya, tanpa transformasi atau pengikatan pada aturan bisnis apa pun. Pada Zona ini terdapat berbagai tahapan pengolahan data mencakup pengembang ETL, pengelola data, pemilahan data dan analis data, untuk memperoleh insight dari banyaknya data. Contoh : File JSON yang berisi pembacaan sensor berwaktu, stream data biner dari perangkat

Trusted Zone

Dalam zona ini data telah melewati proses validasi dan verifikasi kualitas. Data di zona ini dianggap bersih, akurat, dan dapat diandalkan untuk analisa. Contoh :  Data log pada sensor IoT pada periode tertentu, Data sensor yang telah divalidasi rentangnya (misalnya, suhu dalam batas wajar)

Refined Zone

Dalam zona ini data dari semua zona ini dapat diubah untuk penggunaan pribadi. Setelah informasi diperiksa, informasi tersebut dipromosikan untuk penggunaan yang lebih luas di zona ini. Dalam zona ini terjadi proses modifikasi lebih lanjut untuk memenuhi kebutuhan analisa spesifik. Contoh : data sensor yang dianalisis untuk tren dan anomali, data sensor yang dianalisis untuk deteksi dini kegagalan peralatan.