مراحل فنی پیاده سازی سیستم هوش تجاری استاندارد
همانطور که در شکل مشاهده می کنید یک سیستم هوش تجاری استاندارد شامل پنج مرحله می باشد.
Data Sourcel : مرحله اول تعیین منابع اطلاعاتی هست که باید ازشون دیتای مورد نیاز گزارشها رو بخونیم .
منبع اطلاعاتی میتونی هر نوع ساختار اطلاعاتی باشه مثل مثل فایل اکسل , یک فایل متنی , دیتابیس , فایل اکسس, وب سرویس , وب سایت
ETL : در مرحله دوم که ETL نام داره باید اطلاعات از منابع مختلف خوانده و بعد از تغییرات و اصلاحات مختلف در انبارداده DWH ذخیره بشه. ETL مخفف کلمات Extract Transform and Load هست و بهتره حفظش کنید چون گاهی تو مصاحبه های شغلی میپرسن.
Extract یعنی خواندن دیتا از منابع اطلاعاتی ، Transform یعنی دستکاری (تبدیل,تمیز,تغییر) اطلاعات و Load یعنی بارگذاری دیتاهای پالایش شده در انبار داده یا همون Data warehouse – DWH
میشه گفت سخت ترین و پیچیده ترین مرحله ETL هست که خیلی زمانبر و اعصاب خورد کنه !! 🙂 چرا ؟
چون وقتی دیتا رو از منابع مختلف میخونی میبینی خیلی وقتها اطلاعات ایراد داره یا ناقص هستند .
مثلا تاریخ تولدها درست ثبت نشده یا در یک منبع اطلاعاتی تاریخ رو شمسی ذخیره کردند و در منبع دیگه بصورت میلادی , یا مثلا در یک منبع اطلاعاتی وزن کالا بصورت گرم ذخیره شده و در منبع دیگه برحسب مثقال.
حالا وقتی شما میخوایین همه اینا رو یکجا بیارید باید تا حد امکان ایرادات رو برطرف و معیارها رو یکسان کنید .
مثلا همه تاریخ ها رو تبدیل و بصورت شمسی ذخیره کنید یا برای همه رکوردها, معیار وزن رو تبدیل به گرم کنید و بعد در انبارداده ذخیره کنید.
در نرم افزار Power BI برای این مرحله از ابزار Power Query استفاده میشه.
اما در پروژه های بزرگ با نرم افزار SSDT ماکروسافت میتونید پکیج های ETL رو طراحی کنید تا به کمک سرویس SSIS اجرا بشن.
SSIS مخفف Sql Server Integration Services هست.
بعد از قرارگیری اطلاعات در انبار داده سه روش را می توان پیاده سازی کرد:
- اطلاعات را از انبار داده به مدل Tabular ببرید. Tabular یک مدل داده ای می باشد که اطلاعات را به روشی ذخیره می کند که برای برخی از تحلیل ها مناسب می باشد. این مدل برای برخی از Query های پیچیده بسیار مناسب است و سرعت پاسخگویی سریعتری دارد.
- اگر شاخص ها ساده بودند می توانید اطلاعات را مستقیما از انبار داده خوانده و با ابزارهای نمایشی مثل کلیک ویو، تبلو یا پاور بی آی گزارش ها را تهیه کنید.
- اطلاعات را از انبار داده به مدل Multi Dimensional یا Cube ببرید. اطلاعات داخل مکعب های مختلف قرار میگیرند. این مدل برای حجم بالای اطلاعات و گزارش های پیچیده تر مورد استفاده قرار میگیرد.
در پلتفرم مایکروسافت نرم افزار SSAS کار این دو مدل را انجام می دهد. (Sql Server Analysis Services)
مرحله آخر استفاده از ابزارهای نمایشی و گزارش ساز مانند پاور بی آی، کلیک ویو و تبلو می باشد.
نرم افزار Power BI زمانی که اطلاعات را از منابع مختلف توسط Power Query خواند، این اطلاعات را وارد انبار داده نمی کند بلکه مستقیما داده را وارد مدل Tabular خودش می کند. Power BI ذاتاً اطلاعات را بصورت Tabular در خود ذخیره می کند.
