Class - XII: SEMESTER – IV: Unit – 2: Data Warehousing and Data Mining: Section 1: Introduction
Introduction to Data Warehouse & Data Mining
১. What is Data Warehouse?
Data Warehouse হলো একটি centralized database যেখানে বিভিন্ন source থেকে data collect করে রাখা হয় যাতে analysis এবং decision-making সহজ হয়।
- Multiple data source থেকে data আসে
- Historical data store করে
- Decision support system হিসেবে কাজ করে
Company sales data → yearly analysis → future planning
২. Data Warehouse Modelling
Data Warehouse modelling-এর মাধ্যমে data কে organized করা হয় যাতে analysis সহজ হয়।
- Star schema
- Snowflake schema
- Fact table এবং dimension table ব্যবহার করা হয়
৩. Data Cube and OLAP
৩.১ Data Cube
Data cube হলো multidimensional data structure যেখানে data বিভিন্ন dimension-এর মাধ্যমে বিশ্লেষণ করা হয়।
Sales data → Product + Time + Location
৩.২ OLAP
OLAP (Online Analytical Processing) হলো এমন একটি technology যা large data analyze করতে সাহায্য করে।
- Multidimensional analysis
- Fast query execution
- Business decision support
৪. Data Warehouse Implementation
Data warehouse তৈরি করার process কে implementation বলা হয়।
ETL Process
- Extract: বিভিন্ন source থেকে data নেওয়া
- Transform: data clean ও convert করা
- Load: data warehouse-এ store করা
৫. Data Mining
Data Mining হলো large data থেকে useful pattern বা knowledge বের করার process।
- Large dataset analyze করে
- Hidden pattern বের করে
- Prediction ও decision support দেয়
Customer purchase pattern → product recommendation
৬. What Kind of Data Can Be Mined?
- Relational database data
- Transaction data
- Data warehouse data
- Web data (social media)
- Image ও video data
৭. What Kind of Patterns Can Be Mined?
- Association: items একসাথে কেনা হয়
- Classification: data category করা
- Clustering: similar data grouping
- Prediction: future value estimate করা
Milk কিনলে bread কেনার সম্ভাবনা → association pattern
৮. Data Cleaning
Data cleaning হলো raw data থেকে error, missing value এবং noise remove করা।
- Incomplete data ঠিক করা
- Duplicate remove করা
- Wrong data correct করা
৯. Data Transformation
Data transformation হলো data-কে analysis-এর জন্য suitable format-এ convert করা।
Strategies
- Normalization: value scale করা
- Aggregation: summary তৈরি করা
- Smoothing: noise remove করা
- Discretization: continuous → discrete data করা
Daily sales → Monthly sales (aggregation)
১০. Overview
Data warehouse data store করে এবং OLAP analysis সহজ করে। Data mining সেই stored data থেকে useful pattern বের করে।
-------------------------------------------------------১১. Comparison Table
| Concept | Purpose |
|---|---|
| Data Warehouse | Data storage & analysis |
| OLAP | Data analysis |
| Data Mining | Pattern discovery |
১২. Chapter Summary
Data Warehouse হলো data store করার system, OLAP data analyze করে, আর Data Mining data থেকে knowledge বের করে।
Data cleaning ও transformation data preparation-এর গুরুত্বপূর্ণ অংশ। Proper data preparation করলে accurate result পাওয়া যায়।
-------------------------------------------------------১৩. Short Questions
- Data warehouse কী?
- Data cube কী?
- OLAP কী?
- Data mining কী?
- Data cleaning কী?
- Data transformation কী?