Data warehouse yang dalam bahasa Indonesia diterjemahkan menjadi gudang data adalah sebuah sistem yang mengambil serta mengkonsolidasikan data secara berkala dari sumber data kedalam sebuah bentuk dimensional dan bentuk yang telah dinormalisasi. Dalam data warehouse umumnya menyimpan historis tanggal dan bagian lain yang nantinya dapat digunakan untuk keperluan business intelligence atau aktivitas analisis yang lain. Pembaharuan pada data warehouse biasanya dilakukan secara berkala dan tidak dilakukan secara langsung pada saat transaksi pada sumber data.
Pada sistem sumber adalah OLTP (Online Transaction Processing) yang berisi data yang ingin diambil pada data warehouse. OLTP (Online Transaction Processing) adalah sebuah sistem yang tujuan utamanya adalah untuk mengambil dan menyimpan data transaksi bisnis. Sumber data tersebut diperiksa menggunakan sebuah data profiler untuk mengetahui karakteristik data. Sebuah data profiler adalah sebuah perangkat mempunyai kemampuan untuk menganalisa data, seperti mengetahui jumlah baris (row) pada sebuah tabel, mengetahui berapa jumlah baris yang bernilai NULL dan lain sebagainya.
Extract, Transformation and Load (ETL)
Extract, Transformation and Load (ETL) adalah sebuah tahapan proses yang harus dilakukan pada data warehouse. Pada proses extract (ekstraksi) ini adalah proses pengambilan data dari berbagai jenis sumber sistem operasional. Terdapat beberapa fungsi ekstraksi data yaitu:
- Ekstraksi secara otomatis
- Penyaringan data atau seleksi dari data sumber
- Pengiriman data dari berbagai platform ke sumber data
- Perubahan format layout data dari bentuk aslinya
- Penyimpanan dalam file sementara yang nantinya akan digunakan pada proses penggabungan data
Transform (transformasi) adalah proses dimana raw data dari hasil proses extract disaring, disesuaikan dan dirubah sesuai dengan yang inginkan. Pada proses transformasi ini yang dilakukan adalah sebagai berikut:
- Melakukan pemetaan dari data input dari bentuk skema asli kedalam bentuk skema yang sesuai pada data warehouse
- Melakukan proses konversi tipe data atau format data
- Melakukan cleansing data meliputi duplikasi data dan kesalahan data
- Perhitungan nilai derivate dan agregat
- Pemeriksaan integritas referensi data
- Mengisikan nilai default pada data yang kosong
- Melakukan penggabungan data
Proses berikutnya adalah proses Load yaitu proses pemuatan data yang telah didapatkan dari hasil proses transformasi sebelumnya. Pada proses ETL ini mengubah data kedalam bentuk Dimensional Data Store (DDS) dengan tujuan agar bentuk format data cocok untuk diterapkan pada proses analisis dan telah terintegrasi dari beberapa sumber.
No comments:
Post a Comment