Dataware and Data Mining

Data Warehouse
Data warehouse adalah kumpulan data yang diproduksi untuk pembuatan pendukung sebuah keputusan. Data warehouse juga merupakan tempat penyimpanan data sekarang maupun yang dulu yang mempunyai potensi menarik bagi manajer dalam mengelola organisasinya.
Sebuah data biasanya terstruktur dan tersedia dalam form siap untuk aktivitas pemrosesan analisis (contoh: Online analytical processing (OLAP), data mining, querying, reporting, dan aplikasi pendukung keputusan lainnya)
Karakteristik data warehouse
 Subject oriented
Data warehouse didesain untuk menganalisa data berdasarkan subyek-subyek tertentu, bukan pada proses atau fungsi aplikasi tertentu.
 Integrated
Data warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah ke dalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya.
 Time variant
Data warehouse menyimpan data yang bersifat historis.
 Non-volatile
Data pada Data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler.
Data mart adalah kombinasi database dengan seluruh elemen perusahaan, datamart biasanya kecil dan focus pada subjek atau departemen tertentu. Data mart merupakan bagian dari data warehouse, secara khas terdiri dari single subject area (contoh : marketing, operations). Data mart dibagi menjadi dua jenis yaitu dependent datamart dan independent data mart. Dependent data mart adalah bagian yang dibuat secara langsung dari sebuah data warehouse. Independent data mart merupakan sebuah warehouse yang kecil didesign untuk strategi bisnis unit (SBU) atau sebuah departemen, tetapi sourcenya bukan Entreprise Data Warehouses (EDW)
Operational Data Store (ODS) merupakan sebuah tipe dari customer-information-file database yang biasanya digunakan untuk area memamerkan data warehouse. Entreprise Data Warehouses (EDW) adalah data warehouse yang berukuran besar yang digunakan untuk perusahaan dalam mendukung sebuah keputusan yang diambilnya.
Metadata adalah data dari sebuah data. Meta data mendeskripsikan struktur dan inti dari sebuah data, yang bisa berkontribusi untuk penggunaan efektifa dan inefektif. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll.
Delapan komponen dalam pemrosesan data warehouse
- Data sources
- Data extraction
- Data loading
- Comprehensive database
- Meta data
- Middleware tools
Data integration membagi menjadi 3 proses besar yaitu data access, data federation, dan change capture. Ketika tiga proses ini diimplementasikan dengan benar, data dapat diakses dan dibuat untuk menjadi susunan seperti ETL (Extraction, Transformation, and Load), dapat untuk menganalisis peralatan dan lingkungan data warehouse.
Teknologi ETL (Extraction, Transformation, and Load) menarik data dari berbagai sumber, menyaringnya, dan memuatnya di dalam data warehouse.
Real time atau data aktif dari data warehouse mensuplement dan mengembangkan data tradisional warehousing, bergerak ke bidang operasional dan taktis pembuat keputusan dengan memuat data pada real time dan menyiapkan data untuk user sebagai pembuat keputusan yang final. Keamanan dan privasi pada data dan informasi menjadi isu critical yang penting untuk data warehouse professional.
Data Mining
Data mining merupakan proses untuk menggali(mining) pengetahuan dan informasi baru dari data yang berjumlah banyak pada data warehouse, dengan menggunakan kecerdasan buatan (Artificial Intelegence), statistik dan matematika. Data mining merupakan teknologi yang diharapkan dapat menjembatani komunikasi antara data dan pemakainya.
Aplikasi data mining dapat ditemukan dalam kehidupan sehari-hari pada bisnis dan pemerintahan, termasuk pelayanan kesehatan, keuangan, pemasaran, dan keamanan.
Tiga kategori dalam data mining yaitu prediction (classification atau regression), clustering dan assosiation.
Project data mining harus mengikuti proses manajemen project yang sistematis untuk menjadi project yang sukses. Beberapa ususlan proses data mining aadalah CRIPS-DM, SEMMA, KDD dsb. CRIPS-DM menyiapkan sistematis dan berurutan jalan untuk bisa mengkondisikan project data mining.
Langkah awal dalam proses project data mining adalah melahap banyak waktu total project (lebih dari 80% dari total waktu)
Data preprosessing teradapt emapt tahap yaitu data consolidation, data cleaning, data transformation, dan data reduction. Metode classification mempelajari dari contoh yang lalu berisi tentang inputs dan hasil class label dan melatih secara benar dalam mengklasifikasikan dengan benar ke depannya.
Pola bagian dari clusstering memuat natural segment atau clusters. Beberapa anggota segment berkumpul dengan karakter yang sama.
Beberapa solusi yang diberikan data mining antara lain :
1. Menebak target pasar
Data mining dapat mengelompokkan (clustering) model-model pembeli dan melakukan klasifikasi terhadap setiap pembeli dan melakukan klasifikasi terhadap setiap pemebeli sesuai dengan karakteristik yang diinginkan.
2. Melihat pola beli dari waktu ke waktu
Data mining dapat digunakan untuk melihat pola beli dari waktu ke waktu.
3. cross-market analysis
Data mining dapat dimanfaatkan untuk melihat hubungan antara satu produk dengan produk lainnya.
4. Profil pelanggan
Data mining bisa membantu pengguna untuk melihat profil pembeli sehingga dapat diketahui kelompok pembeli tertentu cenderung kepada suatu produk apa saja.
5. Informasi summary
Data mining dapat membuat laporan summary yang bersifat multi dimensi dan dilengkapi dengan informasi statistik lainnya.

Referensi :
- Turban, Sharda, Delen. Decision Support and Business Intelligence systems. Pearson
- myhut.org/public/datawarehouse.doc
- en.wikipedia.org/wiki/Data_warehouse
- en.wikipedia.org/wiki/Data_mining

Posted in: