Proses Data Warehouse

Data warehousing adalah sebuah proses evolusi mencakup pencarian sumber, penyimpanan dan penyediaan data untuk mendukung pengambil keputusan. Sebuah data warehouse (= sistemkomputer) adalah satu komponen dari keseluruhan proses data warehouse

Operational Data

Sumber data untuk data warehouse disuplay dari :

• Data operasional mainframe berada di Database mainframe jaringan dan hirarki generasi pertama.

• Data departemen berada di sistem penyimpanan file departemental (misal : VSAM, RMS) dan DBMS relasional (misal : Informix, Oracle).

• Data pribadi berada di workstation pribadi dan server.

• Sistem eksternal seperti Internet, merupakan penyedia database komersial. Atau database yang terkait dengan perusahaan supplier dan pelanggan.

Operational Datastore

• Operational datastore (ODS) merupakan tempat penyimpanan data operasional terkini dan terintegrasi yang digunakan untuk analisis.
• Biasanya terstruktur dan disupplay dengan data dengan cara yang sama seperti data warehouse, tetapi pada kenyataannya dapat berlaku seperti area peralihan untuk data dipindahkan ke warehouse.
• ODS dibuat ketika penurunan sistem operasional ditemukan tidak mampu memenuhi syarat-syarat laporan.
• Membuat ODS sangat membantu dalam pembangunan warehouse karena ODS dapat mensupplay data yang sudah di –extract dari sistem sumber dan dibersihkan.
• Ini berarti pekerjaan meng-integrasi dan merestruktur data untuk data warehouse telah disederhanakan

Load Manager

• Disebut juga komponen frontend, menampilkan seluruh operasi yang berhubungan dengan penambahan dan pengambilan data ke warehouse.
• Data dapat diambil secara langsung dari sumber data atau biasanya ODS.
• Operasi yang ditampilkan meliputi perubahan data untuk persiapan data sebagai entry ke warehouse.
• Ukuran dan kerumitan untuk komponen ini bervariasi antar data warehouse dan dapat dibangun dengan menggunakan kombinasi dari vendor data loading toolsdan custom builts program.

Warehouse Manager

Menampilkan seluruh operasi yang berkaitan dengan pengaturan data dalam warehouse. Operasi yang dilaksanakan meliputi :

• Analisis data untuk menetapkan konsistensi.
• Pemindahan dan penggabungan data sumber dari penyimpanan sementara kedalam tabel data warehouse.
• Pembuatan indeks dan view pada tabel dasar.
• Pembuatan denormali-zations (jika dibutuhkan).
• Pembuatan penggabungan (Jika dibutuhkan).
• Backing-up dan pengarsipan data.

Query Manager

Menampilkan seluruh operasi yang berkaitan dengan pengaturan query user. Operasi yang ditampilkan oleh komponen ini meliputi query langsung ke tabel yang tepat dan menjadwalkan eksekusi dari query-query.

Detailed Data

Menyimpan seluruh detailed data dalam skema database. Pada reguler basis, detailed data ditambahkan di warehouse untuk tambahan data yang digabungkan.

Lightly and Highly Summarized Data

Menyimpan seluruh definisi awal dari data gabungan yang dibangun oleh warehouse manager. Rangkuman data di-update secara terus menerus sebagai data baru di simpan ke warehouse.

Archive / Backup Data

Menyimpan data detail dan rangkuman untuk kepentingan arsip dan back-up.

Meta-data

Area ini pada warehouse, menyimpan seluruh definisi meta-data (data about data) yang digunakan oleh seluruh proses dalam warehouse. Meta-data digunakan untuk kepentingan yang bervariasi, diantaranya :

• Proses Extraction dan loading – meta-data digunakan untuk memetakan data sumber menjadi view biasa beisi informasi dalam warehouse.
• Proses pengaturan Warehouse – meta-data digunakan untuk otomasi produksi table rangkuman.
• Proses pengaturan Query – meta-data digunakan untuk mengarahkan query ke data sumber yang tepat.
• End-user access tools menggunakan meta-data untuk mengerti bagaimana membuat query.

End-User Access Tools

Kegunaan yang prinsipil dari data warehousing adalah menyediakan informasi untuk user bisnis dalam pengambilan keputusan strategis. Para user ini berinteraksi dengan warehouse menggunakan tool akses end-user. Ada 5 kelompok utama dari tools akses :

-          Tool Query dan Laporan Data

Termasuk tools pembuat laporan dan penulisan laporan. Tools ini digunakan untuk membangun laporan operasional reguler atau mendukung pekerjaan tambahan seperti customer order/invoices, staff pay cheque.

-          Tool Application development

-          Tool Executive information system (EIS)

Mendukung pengambilan keputusan strategis pada tingkat atas. Biasanya terhubung dengan mainframes yang memungkinkan user membuat perubahan, aplikasi pemdukung keputusan secara grafikal untuk menyediakan gambaran data organisasi dan akses ke sumber data eksternal.

-          Tool Online analytical processing (OLAP)

Berbasis pada konsep database multi dimensi dan memungkinkan user-user berpengalaman untuk menganalisa data dengan view yang multidimensi dan rumit

-          Tool Data mining

Merupakan proses dari pencarian korelasi, pola dan trend baru yang berarti dengan penggunaan data dalam jumlah besar dengan teknik statistik, matematika dan intelegensia buatan (AI).