‫تفاوت چیست؟ ‪ OLAP:‬نسبت به ‪OLTP‬‬

‫•‬ ‫شناخته می شود از برنامه های تراکنش گرا در یک ‪ OLTP‬چیست؟ پردازش معامله آنالین که به زودی به عنوان ‪OLTP‬‬
‫‪.‬هر روزه یک سازمان را مدیریت می کند ‪. OLTP‬معماری ‪ 3‬بعدی پشتیبانی می کند‬

‫•‬ ‫هدف اصلی پردازش داده ها و تجزیه و تحلیل داده ها نیست‬

‫•‬ ‫چیست؟ پردازش تحلیلی آنالین‪ ،‬یک دسته از ابزارهای نرم افزاری است که تجزیه و تحلیل داده ها را برای تصمیم ‪OLAP‬‬
‫به کاربران اجازه می دهد تا در یک زمان اطالعات پایگاه داده را از سیستم ‪ OLAP‬گیری های تجاری ارائه می کنند‪ .‬سیستم های‬
‫‪.‬های مختلف پایگاه داده تجزیه و تحلیل کنند‬

‫•‬ ‫‪ .‬هدف اصلی تجزیه و تحلیل داده ها و پردازش داده ها نیست‬

‫‪ OLTP‬مثال سیستم‬

‫•‬ ‫است‪ .‬فرض کنید که یک زن و شوهر دارای حساب مشترک با یک بانک است‪ ATM .‬مرکز ‪ OLTP‬یک مثال از سیستم‬
‫مختلف می رسند و می خواهند کل مبلغ موجود در حساب بانکی ‪ ATM‬یک روز هر دو به طور همزمان در همان زمان به مراکز‬
‫‪.‬خود را برداشت کنند‬

‫•‬ ‫اطمینان ‪ OLTP‬با این حال‪ ،‬فردی که اولین فرآیند تأیید را تکمیل می کند قادر به دریافت پول است‪ .‬در این حالت‪ ،‬سیستم‬
‫برای ‪ OLTP‬حاصل می کند که مقدار خروج هرگز بیشتر از مقدار موجود در بانک نخواهد بود‪ .‬کلید توجه این است که سیستم های‬
‫‪ .‬برتری تراکنشی به جای تجزیه و تحلیل داده ها بهینه شده اند‬

‫•‬ ‫‪:‬عبارتند از ‪ OLTP‬مثالهای دیگر سیستم‬

‫•‬ ‫بانکداری آنالین‬

‫•‬ ‫رزرو بلیط آنالین بلیط هواپیما‬

‫•‬ ‫ارسال یک پیام متنی‬

‫•‬ ‫ورودی سفارش‬

‫•‬ ‫یک کتاب را به سبد خرید اضافه کنید‬

‫‪ OLAP‬و ‪ OLTP‬مزایای مقایسه‬

‫•‬ ‫‪ OLAP‬مزایای استفاده از خدمات‬

‫•‬ ‫یک پلت فرم واحد برای همه نوع نیازهای تحلیلی کسب و کار ایجاد می کند که شامل برنامه ریزی‪ ،‬بودجه بندی‪OLAP ،‬‬
‫‪.‬پیش بینی و تجزیه و تحلیل است‬

‫•‬ ‫‪.‬هماهنگی اطالعات و محاسبات است ‪ OLAP‬مزیت اصلی‬

‫•‬ ‫‪.‬به راحتی محدودیتهای امنیتی را برای کاربران و اشیاء مطابق با مقررات و محافظت از اطالعات حساس اعمال کنید‬

‫•‬ ‫‪ OLTP‬مزایای روش‬

‫•‬ ‫‪.‬این معامالت روزانه یک سازمان را مدیریت می کند‬

‫•‬ ‫‪.‬از طریق ساده سازی فرآیندهای فردی پایه مشتری سازمان را گسترش می دهد ‪OLTP‬‬

‫‪ OLAP‬و ‪ OLTP‬مقایسه ناتوانی‬

‫•‬ ‫‪ OLAP‬معایب خدمات‬

‫•‬ ‫‪.‬سنتی نیازمند یک روش مدل سازی پیچیده است ‪ OLAP‬دارد‪ ،‬زیرا ابزار ‪ IT‬پیاده سازی و نگهداری بستگی به حرفه ای‬

‫•‬ ‫‪.‬نیازمند همکاری بین افراد گروه های مختلف برای موثر بودن است که ممکن است همیشه امکان پذیر نباشد ‪ OLAP‬ابزار‬

‫•‬ ‫‪ OLTP‬معایب روش‬

‫•‬ ‫‪.‬با خرابی های سخت افزاری مواجه شود‪ ،‬معامالت آنالین به شدت تحت تاثیر قرار می گیرد ‪ OLTP‬اگر سیستم‬

‫•‬ ‫اجازه می دهد چندین کاربر برای دسترسی و تغییر داده های مشابه در همان زمان که چندین بار ‪ OLTP‬سیستم های‬
‫‪.‬موقعیت بی سابقه ای را ایجاد کرد‬

‫‪ OLAP‬و ‪ OLTP‬تفاوت‬

‫مولفه های‬ ‫‪OLTP‬‬ ‫‪OLAP‬‬

‫یک فرآیند بازیابی و ‪. OLAP‬این یک سیستم معامالتی آنالین است‪ .‬این مدیریت تغییرات پایگاه داده را مدیریت می کند روند‬
‫‪.‬تجزیه و تحلیل آنالین است‬

‫‪.‬با حجم زیادی از داده ها مشخص می شود با تعداد زیادی از معامالت آنالین کوتاه مشخص شده است‪ .‬مشخصه‬

‫‪.‬سیستم اصالح پایگاه داده آنالین است ‪ OLTP‬عملکرد‬ ‫‪.‬یک سیستم مدیریت پرس و جو پایگاه داده آنالین است ‪OLAP‬‬

‫روش‬ ‫‪.‬های سنتی استفاده می کند ‪ DBMS‬از ‪OLTP‬‬ ‫‪.‬از انبار داده استفاده می کند ‪OLAP‬‬

‫پرس و جو‬ ‫درج‪ ،‬به روز رسانی و حذف اطالعات از پایگاه داده‪.‬‬ ‫عمدتا عملیات را انتخاب کنید‬
‫‪ ...‬ادامه ‪ OLAP‬و ‪ OLTP‬تفاوت‬

‫جدول‬ ‫عادی می شوند‪ OLTP .‬جداول در پایگاه داده‬ ‫‪ .‬نرمال نیستند ‪ OLAP‬جداول در پایگاه داده‬

‫منبع‬ ‫‪.‬می شوند ‪ OLAP‬مختلف منبع داده برای ‪ OLTP‬پایگاه های و معامالت آن منابع داده هستند‪OLTP .‬‬

‫اغلب اصالح نمی شود‪ .‬از این ‪ OLAP‬پایگاه داده باید محدودیت یکپارچگی داده را حفظ کند‪ OLTP .‬پایگاه داده یکپارچگی داده‬
‫‪.‬رو‪ ،‬یکپارچگی اطالعات یک مسئله نیست‬

‫زمان پاسخ‬ ‫زمان پاسخ در میلی ثانیه است‪.‬‬ ‫‪.‬زمان پاسخ در ثانیه تا دقیقه‬

‫کیفیت داده‬ ‫همیشه دقیق و سازمان یافته است‪ OLTP .‬داده ها در پایگاه داده‬ ‫ممکن ‪ OLAP‬داده ها در روند پردازش‬
‫‪.‬است سازماندهی نشوند‬

‫مفید بودن‬ ‫این کمک می کند تا کنترل و اجرای وظایف کسب و کار اساسی را انجام دهد‪.‬‬ ‫این برنامه با برنامه ریزی‪،‬‬
‫‪.‬حل مسئله و پشتیبانی تصمیمات کمک می کند‬

‫‪ ...‬ادامه ‪ OLAP‬و ‪ OLTP‬تفاوت‬

‫عمل‬ ‫اجازه خواندن ‪ /‬نوشتن عملیات‪.‬‬ ‫فقط بخوانید و به ندرت بنویسید‬

‫حضار‬ ‫‪.‬این فرایند مشتری محور است این روند فرایند بازار است‪.‬‬

‫نوع پرس و جو‬ ‫‪.‬پرسش های پیچیده شامل جمع پرس و جو در این فرایند استاندارد و ساده است‪.‬‬

‫پشتیبان گیری‬ ‫‪.‬پشتیبان کامل از داده ها همراه با پشتیبان گیری افزایشی‬ ‫نیاز به یک پشتیبان از زمان به زمان ‪OLAP‬‬
‫مهم نیست ‪ OLTP‬است‪ .‬پشتیبان گیری در مقایسه با‬

‫نرم افزار گرا است‪ .‬مثال‪ :‬تغییرات طراحی پایگاه داده با صنایع مانند خرده فروشی‪ ،‬خطوط هوایی‪ ،‬بانکداری ‪ DB‬طراحی طرح‬
‫موضوع موضوع گرا است‪ .‬مثال‪ :‬تغییرات طراحی پایگاه داده با موضوعاتی نظیر فروش‪ ،‬بازاریابی‪ ،‬خرید ‪ DB‬طراحی و غیره‬
‫و غیره‬
‫نوع کاربر‬ ‫و متخصص پایگاه داده استفاده می شود‪DBA .‬این توسط کاربران داده های حیاتی مانند کارمند‪،‬‬ ‫استفاده‬
‫‪.‬شده توسط کاربران اطالعات دانش مانند کارگران‪ ،‬مدیران و مدیر عامل‬

‫هدف‬ ‫طراحی شده برای عملیات تجاری در زمان واقعی‪.‬‬ ‫طراحی شده برای تجزیه و تحلیل اقدامات کسب و کار بر‬
‫‪.‬اساس طبقه بندی و ویژگی‬

‫‪ ...‬ادامه ‪ OLAP‬و ‪ OLTP‬تفاوت‬

‫تعداد کاربران‬ ‫این نوع از کاربران پایگاه داده اجازه می دهد تا هزاران نفر از کاربران‪.‬‬ ‫این نوع پایگاه داده اجازه می‬
‫‪.‬دهد تا تنها صدها نفر از کاربران‬
 ‫بهره وری‬ ‫این کمک می کند تا به افزایش خدمات خود و بهره وری کاربر‬ ‫کمک به افزایش بهره وری از‬
‫‪.‬تحلیلگران کسب و کار‬

‫انبار داده ها به لحاظ تاریخی یک پروژه توسعه بوده است که ممکن است برای ساخت آن هزینه داشته باشد‪ .‬چالش‬ ‫یک‬
‫‪.‬برای دانش فنی و تجربه ضروری است ‪ OLAP‬است‪ .‬بنابراین‪ ،‬مدیریت دانش ‪ open‬سرور ‪ SQL‬یک انبار داده ‪ OLAP‬مکعب‬

‫روند‬ ‫این نتایج سریع برای داده های روزانه استفاده می شود‪.‬‬ ‫‪.‬این تضمین می کند که پاسخ به پرس و جو سریعتر است‬

‫‪.‬این به کاربر اجازه می دهد یک نمایه را با کمک یک صفحه گسترده ایجاد کند ایجاد و نگهداری آسان است‪ .‬مشخصه‬

‫سبک‬ ‫طراحی شده است تا زمان پاسخ سریع‪ ،‬کمبود داده کم و نرمال شود‪OLTP .‬‬ ‫انبار داده ای منحصر به فرد ایجاد شده‬
‫است تا بتواند منابع داده های مختلف را برای ساخت یک پایگاه داده متشابه تلفیق کند‬

‫خالصه‬

‫•‬ ‫پردازش تحلیلی آنالین یک دسته از ابزارهای نرم افزاری است که تجزیه و تحلیل داده ها ذخیره شده در یک پایگاه داده‬
‫‪.‬است‬

‫•‬ ‫شناخته می شود از برنامه های تراکنش گرا در یک معماری ‪ 3‬بعدی ‪ OLTP‬پردازش معامله آنالین که به زودی به عنوان‬
‫پشتیبانی می کند‬

‫•‬ ‫یک پلت فرم واحد برای همه نوع نیازهای تجزیه و تحلیل کسب و کار ایجاد می کند که شامل برنامه ریزی‪ ،‬بودجه ‪OLAP‬‬
‫‪.‬بندی‪ ،‬پیش بینی و تجزیه و تحلیل است‬

‫•‬ ‫‪.‬برای مدیریت معامالت روزانه یک سازمان مفید است ‪OLTP‬‬

‫•‬ ‫‪.‬با حجم زیادی از داده ها مشخص می شود ‪OLAP‬‬

‫•‬ ‫‪.‬با تعداد زیادی از معامالت آنالین کوتاه مشخص می شود ‪OLTP‬‬

‫•‬ ‫انبار داده ای منحصر به فرد ایجاد شده است تا بتواند منابع داده های مختلف را برای ساخت یک پایگاه داده متشابه تلفیق‬
‫‪.‬کند‬

‫•‬ ‫‪.‬مکعب یک صفحه گسترده و سه بعدی بدون تجربیات تجزیه و تحلیل را می گیرد ‪OLAP‬‬

‫چیست؟ ‪ETL‬‬

‫•‬ ‫استخراج می کند‪ ،‬سپس داده ها را ‪ RDBMS‬به عنوان یک فرآیند است که داده ها را از سیستم های منبع مختلف ‪ETL‬‬
‫تغییر می دهد (مانند استفاده از محاسبات‪ ،‬تلفات و غیره) و در نهایت داده ها را به سیستم انبار داده ها بارگیری می کند‪ .‬فرم کامل‬
‫‪.‬است ‪ Load‬و ‪ETL Extract ،Transform‬‬
‫•‬ ‫وسوسه انگیز است فکر کردن ایجاد یک انبار داده به سادگی استخراج داده ها از منابع مختلف و بارگیری در پایگاه داده‬
‫نیاز به ورودی های فعال از ذینفعان ‪ ETL‬دارد‪ .‬فرایند ‪ ETL‬یک انبار داده است‪ .‬این دور از حقیقت است و نیاز به یک پروسه پیچیده‬
‫‪.‬مختلف از جمله توسعه دهندگان‪ ،‬تحلیلگران‪ ،‬آزمایشکنندگان‪ ،‬مدیران ارشد و از لحاظ فنی به چالش کشیدن‬

‫•‬ ‫‪.‬برای حفظ ارزش آن به عنوان یک ابزار برای تصمیم گیرندگان‪ ،‬سیستم انبار داده ها باید با تغییرات کسب و کار تغییر کند‬
‫یک فعالیت تکراری (روزانه‪ ،‬هفتگی‪ ،‬ماهانه) یک سیستم انبار داده است و نیاز به سرعت بخشیدن‪ ،‬خودکار و مستند سازی ‪ETL‬‬
‫‪.‬دارد‬

‫دارید؟ ‪ ETL‬چرا شما نیاز به‬

‫•‬ ‫‪:‬در سازمان وجود دارد ‪ ETL‬دالیل زیادی برای پذیرش‬

‫‪o‬‬ ‫این کمک می کند تا شرکت ها برای تجزیه و تحلیل داده های کسب و کار خود را برای تصمیم گیری های مهم کسب و‬
‫‪.‬کار‬

‫‪o‬‬ ‫‪.‬پاسخ داده می شود ‪ ETL‬پایگاه های داده عملیاتی نمی توانند به سواالت تجاری پیچیده پاسخ دهند که توسط‬

‫‪o‬‬ ‫یک انبار داده یک مخزن داده مشترک فراهم می کند‬

‫‪o‬‬ ‫‪.‬یک روش انتقال داده ها را از منابع مختلف به یک انبار داده فراهم می کند ‪ETL‬‬

‫‪o‬‬ ‫‪.‬به عنوان منابع داده تغییر‪ ،‬انبار داده به طور خودکار به روز رسانی خواهد شد‬

‫‪o‬‬ ‫‪.‬به خوبی طراحی شده و مستند شده برای موفقیت یک پروژه انبار داده تقریبا ضروری است ‪ ETL‬سیستم‬

‫‪o‬‬ ‫‪.‬اجازه تأیید قوانین انتقال‪ ،‬محاسبه و محاسبه داده ها‬

‫‪o‬‬ ‫‪.‬اجازه می دهد که مقایسه داده های نمونه بین منبع و سیستم هدف انجام شود ‪ ETL‬فرایند‬

‫‪o‬‬ ‫‪.‬می تواند تحوالت پیچیده ای را انجام دهد و برای ذخیره داده ها نیاز به منطقه اضافی دارد ‪ ETL‬فرایند‬

‫‪o‬‬ ‫به مهاجرت داده ها به یک انبار داده کمک می کند‪ .‬تبدیل به فرمت های مختلف و انواع برای پیوستن به یک سیستم ‪ETL‬‬
‫‪.‬سازگار است‬

‫‪o‬‬ ‫‪.‬یک فرآیند از پیش تعریف شده برای دسترسی و دستکاری داده های منبع در پایگاه داده هدف است ‪ETL‬‬

‫‪o‬‬ ‫‪.‬زمینه عمیق تاریخی برای کسب و کار ارائه می دهد ‪ETL‬‬

‫‪o‬‬ ‫‪.‬این به بهبود بهره وری کمک می کند؛ زیرا آن را بدون نیاز به مهارت های فنی مورد استفاده قرار می دهد‬

‫در انبارهای داده ‪ ETL‬پروتکل‬

‫•‬ ‫‪:‬یک فرایند ‪ 3‬مرحله ای است ‪ETL‬‬

‫مرحله ‪ )1‬استخراج‬
‫•‬ ‫در این مرحله‪ ،‬داده ها از سیستم منبع به منطقه استقرار استخراج می شوند‪ .‬تغییرات در هر صورت انجام می شود در‬
‫زمینه مکان به طوری که عملکرد سیستم منبع در نه تخریب شده است‪ .‬همچنین‪ ،‬اگر اطالعات خراب شده به طور مستقیم از منبع به‬
‫پایگاه داده انبار داده شده کپی شود‪ ،‬باز گرداندن یک چالش خواهد بود‪ .‬منطقه تحریر‪ ،‬فرصتی را برای اعتبار داده های استخراج شده‬
‫‪.‬قبل از انتقال به انبار داده فراهم می کند‬

‫•‬ ‫منطقه مورد نیاز برای زمانی که میخواهید داده ها را از منابع مختلف چندگانه با هم جمع کنید یا اگر می خواهید با دو یا‬
‫با پیوستن دو جداول از دو پایگاه ‪ SQL‬چند سیستم پیوست شوید‪ ،‬مورد نیاز است‪ .‬به عنوان مثال‪ ،‬شما قادر به انجام یک پرس و جو‬
‫‪.‬داده های متفاوت از لحاظ فیزیکی نخواهید بود‬

‫•‬ ‫مختلف‪ ،‬سخت افزار‪ ،‬سیستم عامل ها و پروتکل های ارتباطی دارد‪ DBMS .‬انبار داده ها نیاز به ادغام سیستم هایی با‬
‫منابع می توانند شامل برنامه های قدیمی مانند فریم های اصلی‪ ،‬برنامه های سفارشی‪ ،‬مکان هایی از دستگاه های ارتباطی مانند‬
‫‪ ،.‬داده ها از فروشندگان‪ ،‬شرکا در میان دیگران باشند‪ ،ERP‬سوئیچ تماس‪ ،‬فایل های متنی‪ ،‬صفحات گسترده‪ATM ،‬‬

‫•‬ ‫از این رو‪ ،‬قبل از اینکه داده ها به صورت فیزیکی استخراج و بارگذاری شوند‪ ،‬نیاز به یک نقشه داده منطقی است‪ .‬این‬
‫‪.‬نقشه داده ارتباط بین منابع و داده های هدف را توصیف می کند‬

‫سه روش استخراج داده‬

‫•‬ ‫استخراج کامل‬

‫•‬ ‫استخراج جزئی ‪ -‬بدون اطالع رسانی به روز رسانی‬

‫•‬ ‫استخراج جزئی ‪ -‬با اطالع رسانی به روز رسانی‬

‫•‬ ‫صرف نظر از روش مورد استفاده‪ ،‬استخراج نباید بر عملکرد و زمان پاسخ سیستم های منبع تأثیر بگذارد‪ .‬این سیستم های‬
‫‪.‬منبع پایگاه داده های تولید زنده هستند‪ .‬هر گونه کاهش یا قفل شدن می تواند خط پایین شرکت را تحت تاثیر قرار دهد‬

‫•‬ ‫‪:‬برخی از اعتبار سنجی ها در طول استخراج انجام می شود‬

‫‪o‬‬ ‫سوابق را با داده های منبع منطبق کنید‬

‫‪o‬‬ ‫اطمینان حاصل کنید که بدون هرزنامه ‪ /‬اطالعات ناخواسته بارگیری شده است‬

‫‪o‬‬ ‫چک کردن نوع داده‬

‫‪o‬‬ ‫تمام انواع داده های تکراری ‪ /‬تکه تکه را حذف کنید‬

‫‪o‬‬ ‫بررسی کنید که کلیدها در محل قرار گرفته اند یا خیر‬

‫مرحله ‪ )2‬تبدیل‬
‫•‬ ‫داده های استخراج شده از سرور منبع خام است و در فرم اصلی آن قابل استفاده نیست‪ .‬بنابراین باید تمیز‪ ،‬نقشه برداری و‬
‫ارزش آن را اضافه می کند و داده ها را تغییر می دهد تا گزارش ‪ ETL‬تبدیل شود‪ .‬در حقیقت‪ ،‬این یک گام کلیدی است که پروتکل‬
‫‪.‬های هوش مصنوعی تولید شود‬

‫•‬ ‫در این مرحله‪ ،‬مجموعه ای از توابع در داده های استخراج شده اعمال می شود‪ .‬داده هایی که نیازی به تغییری ندارند‪ ،‬به‬
‫‪.‬عنوان حرکت مستقیم یا عبور از داده ها نامیده می شود‬

‫•‬ ‫در مرحله تحول‪ ،‬می توانید عملیات سفارشی را روی داده انجام دهید‪ .‬به عنوان مثال‪ ،‬اگر کاربر بخواهد درآمد کل درآمد‬
‫که در پایگاه داده نیست‪ .‬یا اگر نام و نام خانوادگی در یک جدول در ستون های مختلف باشد‪ .‬ممکن است آنها را قبل از بارگذاری‬
‫‪.‬پیوند دهیم‬

‫اعتبار سنجی در این مرحله انجام می شود‬

‫•‬ ‫فیلتر کردن ‪ -‬فقط ستون های خاصی را برای بارگذاری انتخاب کنید‬

‫•‬ ‫استفاده از قوانین و جداول جستجو برای استاندارد سازی داده ها‬

‫•‬ ‫تبدیل کاراکتر و دستکاری کدبندی‬

‫•‬ ‫تبدیل واحدهای اندازه گیری مانند تبدیل تاریخ به زمان‪ ،‬تبدیل ارز‪ ،‬تبدیل عددی و غیره‬

‫•‬ ‫‪.‬بررسی اعتبار آستانه داده برای مثال‪ ،‬سن نمی تواند بیش از دو رقم باشد‬

‫•‬ ‫‪.‬اعتبار سنجی جریان داده ها از منطقه پیمایش به جداول میانی‬

‫•‬ ‫‪.‬فیلدهای مورد نیاز نباید خالی باشند‬

‫•‬ ‫)و غیره "‪ "F‬و زن به "‪ "M‬به ‪ Gender Male‬به ‪ 0‬یا ‪ NULL‬برای مثال‪ ،‬نقشه برداری( تمیز کردن‬

‫•‬ ‫‪.‬تقسیم یک ستون به چندتایی و ادغام ستون های چندگانه را به یک ستون تک‬

‫•‬ ‫انتقال ردیف ها و ستون ها‬

‫•‬ ‫برای ادغام داده ها از جستجو استفاده کنید‬

‫•‬ ‫با استفاده از هر گونه اعتبار سنجی پیچیده (به عنوان مثال‪ ،‬اگر دو ستون اول در یک ردیف خالی باشند‪ ،‬آنگاه به طور‬
‫خودکار ردیف از پردازش را رد می کند)‬

‫گام ‪ )3‬بارگیری‬
‫•‬ ‫است‪ .‬در یک انبار داده معمولی‪ ،‬حجم زیادی از ‪ ETL‬بارگیری داده ها در پایگاه داده انبار هدف‪ ،‬آخرین مرحله پروسه‬
‫‪.‬داده ها باید در یک دوره نسبتا کوتاه (شبانه) بارگیری شوند‪ .‬از این رو‪ ،‬فرآیند بار باید برای عملکرد بهینه سازی شود‬

‫•‬ ‫در صورت شکست بار‪ ،‬مکانیسم های بازیابی باید پیکربندی شوند تا از نقطه خرابی بدون از دست دادن یکپارچگی‬
‫‪.‬اطالعات مجددا راه اندازی شوند‪ .‬مدیران داده انبار نیاز به نظارت‪ ،‬رزومه‪ ،‬لغو بارها به عنوان عملکرد سرور غالب‬

‫•‬ ‫‪:‬انواع بارگیری‬

‫‪o‬‬ ‫بار اولیه ‪ -‬پرتاب تمام جداول انبار داده‬

‫‪o‬‬ ‫‪.‬تغییرات جاری را زمانی که مورد نیاز است به صورت دوره ای انجام دهید ‪Load increment -‬‬

‫‪o‬‬ ‫‪.‬تازه سازی کامل ‪ -‬محتویات یک یا چند جدول و بارگیری مجدد با داده های تازه‬

‫تایید بار‬
‫‪o‬‬ ‫‪.‬اطمینان حاصل کنید که داده های فیلد کلیدی نه از دست رفته و نه خالی است‬

‫‪o‬‬ ‫‪.‬نمایش های مدل سازی تست بر اساس جداول هدف‬

‫‪o‬‬ ‫‪.‬مقادیر ترکیب شده و اندازه گیری های محاسبه را بررسی کنید‬

‫‪o‬‬ ‫‪.‬چک کردن داده ها در جدول ابعاد و همچنین جدول تاریخچه‬

‫‪o‬‬ ‫‪.‬را بر روی جدول واقعی و متغیر بارگذاری کنید ‪ BI‬گزارش های‬

‫‪ ETL‬ابزار‬

‫•‬ ‫بسیاری از ابزارهای انبارداری داده ها در بازار موجود هستند‪ .‬در اینجا‪ ،‬برخی از برجسته ترین ها هستند‬

‫یک راه حل انبارداری است که یکپارچه سازی داده ها را آسان تر و سریع تر از آرایه ای از ویژگی ‪1. MarkLogic: MarkLogic‬‬
‫‪.‬های سازمانی می کند‪ .‬این می تواند انواع مختلفی از اطالعات مانند اسناد‪ ،‬روابط و فراداده را پرس و جو کند‬

‫اوراکل‪ :‬اوراکل پایگاه داده های پیشرو در صنعت است‪ .‬این مجموعه طیف گسترده ای از راه حل های انبار داده را برای هر دو ‪2.‬‬
‫‪.‬در محل و در ابر ارائه می دهد‪ .‬با افزایش بهره وری عملیاتی‪ ،‬بهینه سازی تجارب مشتری کمک می کند‬

‫است‪ .‬این یک ابزار ساده و مقرون به صرفه برای تجزیه و ‪ Datawarehouse‬آمازون ابزار ‪ RedShift: Redshift‬آمازون ‪3.‬‬
‫است‪ .‬همچنین اجازه می دهد تا پرس و جو های پیچیده ‪ BI‬و ابزارهای موجود ‪ SQL‬تحلیل تمام انواع داده ها با استفاده از استاندارد‬
‫‪.‬داده های ساخت یافته را اجرا کنید ‪ petabytes‬در برابر‬

‫‪ ETL‬بهترین شیوه پروسه‬

‫•‬ ‫هرگز سعی نکنید همه داده ها را پاک کنید‪ :‬هر سازمان می خواهد همه داده ها را پاک کند‪ ،‬اما اکثر آنها آماده پرداختن‬
‫برای صبر کردن نیستند یا آماده نیست منتظر بمانند‪ .‬برای تمیز کردن این همه به سادگی طول می کشد‪ ،‬بنابراین بهتر است سعی‬
‫‪.‬نکنید تمام داده ها را پاک کنید‬

‫•‬ ‫هرگز چیزی را تمیز نکنید‪ :‬همیشه چیزهایی را تمیز کنید زیرا بزرگترین دلیل برای ساختن انبار داده ها‪ ،‬ارائه اطالعات‬
‫‪.‬پاک تر و قابل اطمینان است‬

‫•‬ ‫هزینه پاکسازی داده ها را تعیین کنید‪ :‬قبل از پاکسازی تمام داده های کثیف‪ ،‬برای تعیین هزینه پاک کردن برای هر عنصر‬
‫‪.‬داده کثیف مهم است‬

‫•‬ ‫برای سرعت بخشیدن به پردازش پرس و جو‪ ،‬مشاهده و شاخص های کمکی‪ :‬برای کاهش هزینه های ذخیره سازی‪،‬‬
‫اطالعات خالصه شده را به نوار دیسک ذخیره کنید‪ .‬همچنین‪ ،‬بین حجم داده ذخیره شده و استفاده دقیق آن الزم است‪ .‬کاهش میزان‬
‫اطالعات موجود برای کاهش هزینه های ذخیره سازی‬

‫‪ ETL‬چالش های‬

‫•‬ ‫می توانند پیچیدگی های قابل توجهی را شامل شوند و مشکالت سیستم عامل با استفاده از سیستم های ‪ ETL‬فرآیندهای‬
‫‪.‬رخ می دهد ‪ ETL‬نامناسب‬

‫•‬ ‫طیف وسیعی از مقادیر داده ها یا کیفیت داده ها در یک سیستم عملیاتی ممکن است انتظارات طراحان را در زمان‬
‫اعتبارسنجی و قوانین تبدیل مشخص کند‪ .‬پروفیل داده ها از یک منبع در حین تجزیه و تحلیل داده ها می تواند شرایط داده ای را که‬
‫باید توسط قوانین قوانین تبدیل شود‪ ،‬شناسایی می کند و منجر به اصالح قوانین اعتبار سنجی به صراحت و به طور ضمنی در فرایند‬
‫‪.‬اجرا می شود ‪ETL‬‬

‫•‬ ‫یک ‪ETL‬انبار داده ها معموال از منابع مختلفی با فرمت های مختلف و اهداف مختلف جمع می شوند‪ .‬به همین ترتیب‪،‬‬
‫‪.‬فرایند کلیدی است که تمام داده ها را در یک محیط استاندارد و همگن قرار داده است‬

‫•‬ ‫را در طول عمر استفاده از آن تعیین کند‪ ،‬از جمله درک حجم ‪ ETL‬تجزیه و تحلیل طراحی باید مقیاس پذیری یک سیستم‬
‫داده هایی که باید در توافقات سطح خدمات پردازش شوند‪ .‬زمان در دسترس برای استخراج از سیستم های منبع ممکن است تغییر‬
‫باید ‪ ETL‬کند‪ ،‬که ممکن است به این معنی باشد که داده های مشابه ممکن است در زمان کمتری پردازش شوند‪ .‬بعضی از سیستم های‬
‫به منظور پردازش ترابایت داده ها برای به روز رسانی انبار داده ها با ده ها ترابایت داده پردازش شوند‪ .‬افزایش حجم داده ها ممکن‬
‫است نیاز به طرح هایی داشته باشد که می توانند از دسته های روزانه تا چندگانه چندگانه به یکپارچگی با صف پیام یا تغییر در زمان‬
‫‪.‬واقعی برای تبدیل و به روز رسانی مستمر بپردازند‬

‫‪ETL vs ELT‬‬

‫•‬ ‫است که در آن داده های استخراج شده در ابتدا به سیستم هدف منتقل می ‪ ETL‬نوعی از )‪ (ELT‬استخراج‪ ،‬بارگذاری‪ ،‬تبدیل‬
‫شود‪ .‬معماری خط لوله تجزیه و تحلیل نیز باید در جایی که برای تمیز کردن و غنی سازی داده ها و همچنین نحوه مطابقت با ابعاد آن‬
‫‪.‬را در نظر بگیریم‬
‫•‬ ‫قادر به ‪ Computing Snowflake‬و ‪Google BigQuery‬آمازون‪ Redshift ،‬انبارهای اطالعاتی مبتنی بر ابر مانند‬
‫ارائه محاسبات بسیار محسوسی هستند‪ .‬این اجازه می دهد تا کسب و کارها از تحویل پیش بارگیری و تکرار داده های خام در‬
‫‪.‬آنها را تغییر دهند ‪ SQL‬انبارهای داده خود‪ ،‬که در آن آنها می توانند با استفاده از‬

‫•‬ ‫‪ mart.‬ممکن است پردازش بیشتر و ذخیره شده در یک داده ‪ ELT‬پس از استفاده از داده های‬

‫•‬ ‫در پایگاه ‪ ، ELT‬در حالی که‪ ETL‬جوانب مثبت و منفی برای هر رویکرد وجود دارد‪ .‬بیشترین ابزار ادغام داده ها نسبت به‬
‫‪.‬داده و لوازم انبار داده محبوب است‬

‫چیست؟ ‪ETL‬‬

‫•‬ ‫داده ها را از سیستم های منبع مختلف ‪ ETL‬است‪ .‬در این فرایند یک ابزار ‪ Load‬و ‪ Extract ،Transform‬مخفف ‪ETL‬‬
‫استخراج می کند و سپس اطالعات را مانند استفاده از محاسبات‪ ،‬تلفیق و غیره و سپس داده ها را در سیستم انبار داده ‪RDBMS‬‬
‫‪.‬بارگذاری می کند‬

‫•‬ ‫‪.‬فرایند پردازش از هر گونه تغییرات داده مراقبت می کند ‪ ETL‬از منبع به مقصد جریان دارد‪ .‬در موتور ‪ ETL‬داده های‬

‫چیست؟ ‪ELT‬‬

‫•‬ ‫به ‪ELT‬روش متفاوتی به دنبال رویکرد ابزار به حرکت داده است‪ .‬به جای تبدیل داده ها قبل از آن نوشته شده است‪ELT ،‬‬
‫‪.‬سیستم هدف اجازه می دهد که این تغییر را انجام دهد‪ .‬داده ها ابتدا به هدف کپی شده و سپس در جای خود تغییر یافتند‬

‫•‬ ‫‪ ،‬دستگاه داده یا نصب ابری استفاده می شود‪ Hadoop‬مانند خوشه ‪ SQL‬معموال با پایگاه های داده بدون ‪ELT‬‬

‫خالصه‬

‫•‬ ‫‪.‬است ‪ Load‬و ‪ Extract ،Transform‬مخفف ‪ETL‬‬

‫•‬ ‫‪.‬یک روش انتقال داده ها را از منابع مختلف به یک انبار داده فراهم می کند ‪ETL‬‬

‫•‬ ‫‪.‬در اولین گام استخراج‪ ،‬داده ها از سیستم منبع به منطقه تولیدی استخراج می شوند‬

‫•‬ ‫‪.‬در مرحله تحول‪ ،‬داده های استخراج شده از منبع پاکسازی و تبدیل می شوند‬

‫•‬ ‫‪.‬است ‪ ETL‬هدف‪ ،‬آخرین مرحله از پروسه ‪ datawarehouse‬بارگیری داده ها در‬