ذخیره‌سازی و عملیات بر روی داده
مبانی عملیات پایگاه داده
عملیات پایگاه داده شامل توسعه، نگهداری و پشتیبانی از داده‌ها برای به حداکثر رساندن ارزش داده‌ها در سراسر سازمان است.
ذخیره‌سازی و عملیات بر روی داده‌ها (Data Storage and Operation on Data) شامل دو دسته اقدامات به شرح زیر است:
۱. پشتیبانی پایگاه داده: این اقدامات بر کلیه عملیات‌های مرتبط با چرخه حیات داده در پایگاه داده متمرکز است که از طریق تهیه نسخه پشتیبان و پاک‌سازی داده‌ها انجام می‌شود. همچنین اطمینان از عملکرد بهینه پایگاه داده را نیز شامل می‌شود. نظارت و کنترل پشتیبانی پایگاه داده از اهمیت بسیاری برخوردار است.
۲. پشتیبانی فناوری پایگاه داده: این اقدامات شامل انتخاب الزامات فنی است که نیازهای سازمان را برآورده می‌کند و تعریف معماری فنی، نصب و مدیریت فناوری و حل مسائل مربوط به فناوری داده را بر عهده دارد.
ذخیره‌سازی و عملیات بر روی داده‌ها، اصلی‌ترین نقش مدیر پایگاه داده (DBA) است.
در ذخیره‌سازی و عملیات بر روی داده‌ها، اصلی‌ترین نقش در اختیار مدیر پایگاه داده (DBA) است که به‌عنوان مهم‌ترین وظیفه، پشتیبانی از پایگاه داده را بر عهده دارد که مسئولیت آن کنترل کل فرایند، از ابتدای جمع‌آوری داده تا تصفیه داده می‌باشد که شاید از بعد فنی و فرایندی جزء سخت‌ترین کارها در حوزه IT باشد. فعالیت‌های متخصصانی که به‌عنوان مدیر پایگاه داده (DBA) شناخته می‌شوند، اغلب برای ثبات محیط مدیریت داده‌های یک شرکت بسیار مهم است.
مدیران پایگاه داده (DBA) در هر دو جنبه ذخیره‌سازی داده‌ها و عملیات داده نقش اساسی دارند.
مدیران پایگاه داده (DBA) در هر دو جنبه ذخیره‌سازی داده‌ها و عملیات داده نقش اساسی دارند. نقش DBA برجسته‌ترین و به طور گسترده‌ای پذیرفته‌شده‌ترین نقش حرفه‌ای در حوزه داده است. DBAها همچنین در عملیات داده‌ها و امنیت داده‌ها نقش مؤثر و کلیدی دارند.
مدیر پایگاه داده (DBA) می‌تواند دو نقش متفاوت تولید و یا توسعه پایگاه داده را بر عهده داشته باشد.
طبق استاندارد مدیریت داده، در سازمان‌ها مدیر پایگاه داده (DBA) می‌تواند دو نقش متفاوت تولید و یا توسعه پایگاه داده را انجام دهد. این فعالیت‌ها در قالب توسعه بر روی پایگاه‌های داده متمرکز انجام می‌شود اما در بعضی سازمان‌ها می‌توانند در تیم‌های توسعه نرم‌افزار نیز ادغام شوند. در اغلب سازمان‌ها نقش مدیران پایگاه‌های داده تفکیک نشده و آن را در ساختار سازمانی واحدهای فناوری اطلاعات انجام می‌دهند.
مدیران پایگاه‌های داده باید درک درستی از فعالیت‌های عملیات پایگاه داده، تفاوت بین مدیریت پایگاه داده و معماری داده‌ها داشته باشند و همچنین از چگونگی سازماندهی یک برنامه مدیریت داده قدرتمند آگاهی داشته باشند تا امکان مدیریت پایگاه داده برای پشتیبانی از نیازهای شرکت به داده‌های ساختاریافته فراهم شود. این داده‌ها برای انجام معاملات و تصمیم‌گیری‌های مهم و تولید تجزیه‌وتحلیل استفاده می‌شوند.
معمار داده در مقابل مدیر پایگاه داده
معمار داده مدل‌های مفهومی و منطقی داده‌ها و جریان داده‌ها را طراحی می‌کند.
یک معمار داده مدل‌های مفهومی و منطقی داده‌ها و جریان داده‌ها را که بر اساس نیازهای کسب‌وکار به دست می‌آید، طراحی می‌کند. با استفاده از این اطلاعات، معمار داده بدون توجه به نیازهای فیزیکی / فنی، مدل‌هایی از داده را ایجاد می‌کند. در لایه فیزیکی معمار داده مدلی ایجاد می‌کند که شامل الزامات و محدودیت‌های فنی خواهد بود. پس از طراحی معماری پایگاه داده، یک معمار داده با سایر متخصصان فناوری اطلاعات مانند برنامه‌نویسان، مدیران سیستم، تحلیل گران، مهندسان نرم‌افزار و مدیران پایگاه داده کار می‌کند تا پایگاه داده را پیاده‌سازی کند.
در پیاده‌سازی پایگاه داده، یک معمار داده با سایر متخصصان فناوری اطلاعات مانند برنامه‌نویسان، مدیران سیستم، تحلیل گران، مهندسان نرم‌افزار و مدیران پایگاه داده همکاری دارد.
فرایندها و روش‌ها
اهداف ذخیره‌سازی و عملیات بر روی داده شامل موارد زیر است:
- مدیریت در دسترس بودن داده در کل چرخه حیات داده.
- اطمینان از یکپارچگی مجموعه داده‌ها.
- مدیریت عملکرد تراکنش‌های داده‌ای.
ذخیره‌سازی و عملیات داده‌ها کاملاً دارای جنبه فنی مدیریت داده است و DBAها و سایر افرادی که در این کار مشارکت دارند می‌توانند کارهای خود را با به‌کارگیری اصول زیر بهتر انجام دهند.
تکنیک‌ها و به‌روش‌ها در حوزه ذخیره‌سازی و عملیات بر روی داده
۱. تست در محیط‌های پایین‌تر
برای ارتقا و پچ سیستم‌عامل، نرم‌افزار پایگاه داده، تغییرات پایگاه داده و تغییرات کد، ابتدا در پایین‌ترین سطح محیط معمولاً در حال توسعه، نصب و آزمایش می‌شود. پس از آزمایش در پایین‌ترین سطح، در سطوح بالاتر تست انجام می‌گیرد و آخرین بار در محیط تولید نصب می‌شود. این تضمین می‌کند که نصب کننده‌ها تجربه ارتقا یا پچ را دارند و می‌تواند اختلال در محیط‌های تولید را به حداقل برساند.
۲. استانداردهای نام‌گذاری فیزیکی
ثبات در نام‌گذاری سرعت درک را افزایش می‌دهد. معماران داده، توسعه دهندگان پایگاه داده و DBAها می‌توانند از استانداردهای نام‌گذاری برای تعریف فراداده یا ایجاد قوانینی برای تبادل اسناد بین سازمان‌ها استفاده کنند. از طریق این توصیفات است که درک دقیق معناشناسی و تصویر مفیدی از داده‌ها پیدا می‌شود.
۳. استفاده از اسکریپت برای همه تغییرات
تغییر مستقیم داده‌ها در یک پایگاه داده بسیار خطرناک است. با این حال، ممکن است این نیاز وجود داشته باشد، مانند تغییر سالانه در ساختار نمودار حساب‌ها، یا موارد اضطراری که در آن این موارد باید «یکباره» انجام شود. قبل از اقدام، تغییراتی را که باید با اسکریپت به‌روزرسانی ایجاد شود در محیط‌های غیر تولیدی کاملاً آزمایش می‌شود.
دستورالعمل‌های اجرا
ارزیابی آمادگی / ارزیابی ریسک
ارزیابی ریسک و آمادگی، حول دو ایده اصلی می‌چرخد:
- خطر از دست رفتن داده‌ها
داده‌ها می‌توانند از طریق خطاهای فنی یا رویه‌ای، و یا از طریق سو قصد از بین بروند. سازمان‌ها برای کاهش این خطرات باید استراتژی‌هایی را در نظر بگیرند. توافقنامههای سطح خدمات اغلب الزامات کلی حفاظت را مشخص می‌کنند. SLA ها باید توسط رویه‌های کاملاً مستند پشتیبانی شوند. برای اطمینان از وجود پاسخ‌های قوی فنی برای جلوگیری از نابودی داده‌ها از طریق سوء قصد، ارزیابی مداوم مورد نیاز است، زیرا تهدیدهای سایبری همیشه در حال پیشرفت هستند.
- خطرات مربوط به آمادگی فناوری
آمادگی برای فناوری: فناوری‌های جدید مانند NoSQL ، Big Data ، triple stores و FDMS به مهارت و تجربه آمادگی در IT نیاز دارند. بسیاری از سازمان‌ها مجموعه مهارت‌های لازم برای استفاده از این فناوری‌های جدید را ندارند. DBAها، مهندسان سیستم و توسعه دهندگان برنامه‌ها و کاربران تجاری باید آمادگی لازم را برای استفاده از این فناوری‌ها و تکنولوژی‌ها داشته باشند.
سازمان و تغییر فرهنگی
DBAها باید از نگرانی‌های دارندگان داده و مصرف کنندگان داده مطلع باشند.
DBAها باید نگرانی‌های دارندگان داده و مصرف کنندگان داده را تشخیص دهند، نیازهای داده‌های کوتاه‌مدت و بلند‌مدت را متعادل کنند، به دیگران در سازمان در مورد اهمیت روش‌های خوب مدیریت داده‌ها آموزش دهند و روش‌های توسعه داده را بهینه کنند تا حداکثر سود را برای سازمان و حداقل نارضایتی مصرف کنندگان داده را کسب کنند.
سازمان‌ها عموماً فناوری اطلاعات را از نظر کاربردهای خاص و نه داده‌ای مورد توجه قرار می‌دهند و معمولاً داده‌ها را از دیدگاه برنامه محور می‌بینند. ارزش داده‌های امن، قابل استفاده مجدد و با کیفیت بالا به‌آسانی برای سازمان قابل تشخیص و ارزیابی نیست.
مدیران پایگاه داده (DBAها) باید ذی‌نفعان داده و نیازهای آنان را بشناسند.
به طور خلاصه، مدیران پایگاه داده باید ذی‌نفعان و نیازهای آنها را بشناسند. استانداردهای شفاف، مختصر، عملی و متمرکز بر کسب‌وکار را برای انجام بهترین کار ممکن به بهترین شکل ممکن تدوین کنند. علاوه بر این، این استانداردها را به روشی آموزش دهند و اجرا کنند که حداکثر ارزش را برای ذی‌نفعان فراهم کند.
حاکمیت ذخیره‌سازی و عملیات بر روی داده
اندازه‌گیری
شاخص‌های ذخیره‌سازی و عملیات بر روی داده‌ها می‌تواند شامل موارد زیر باشد:
۱. تعداد پایگاه داده‌ها بر اساس نوع
۲. آمار پرس‌وجوها
۳. معیارهای ظرفیت، مانند
-
- مقدار فضای ذخیره‌سازی استفاده شده
- تعداد سرورها و اجزای ذخیره‌سازی
- تعداد اشیا داده
- داده در صف
۴. نرخ استفاده از خدمات ذخیره‌سازی
۵. نیازمندی‌های مرتبط با ذخیره‌سازی
۶. شاخص‌های مرتبط با بهبود عملکرد
برای اندازه‌گیری می‌توان از معیارهای عملکردی استفاده کرد:
۱. حجم و تعداد تراکنش‌ها
۲. عملکرد پرس‌وجو
۳. عملکرد سرویس‌های API (رابط برنامه‌نویسی برنامه)
معیارهای عملیاتی ممکن است شامل موارد زیر باشد:
۱. آمار تجمیع شده در مورد زمان بازیابی اطلاعات
۲. اندازه پشتیبان‌گیری
۳. اندازه‌گیری کیفیت داده‌ها
۴. در دسترس بودن
معیارهای خدمات ممکن است شامل موارد زیر باشد:
۱. تعداد موضوعات و مشکلات، زمان بررسی، زمان برطرف سازی و…
۲. زمان حل مسئله
ردیابی دارایی اطلاعات
رعایت نکردن توافقنامههای مربوط به داده، می‌تواند خطرات جدی مالی و حقوقی برای یک سازمان به همراه داشته باشد.
بخشی از حاکمیت ذخیره اطلاعات شامل اطمینان از انطباق سازمان با کلیه موافقت‌نامه‌ها و الزامات نظارتی است و بخش دیگر انجام دقیق حسابرسی‌های سالانه، مجوز نرم‌افزار و هزینه‌های پشتیبانی سالانه و همچنین موافقت‌نامه‌های اجاره سرور و سایر هزینه‌های ثابت می‌باشد. رعایت نکردن توافق‌نامه‌ها، ممکن است خطرات جدی مالی و حقوقی برای یک سازمان به همراه داشته باشد.
داده‌های حسابرسی می‌تواند به تعیین کل هزینه مالکیت (TCO) برای هر نوع فناوری و محصول فناوری کمک کند. به طور مرتب فناوری‌ها و محصولاتی را که از رده خارج، پشتیبانی نشده، کم کاربرد یا بسیار گران شده‌اند باید مورد ارزیابی قرار گیرند.
حسابرسی داده‌ها و اعتبارسنجی داده‌ها
حسابرسی داده‌ها، ارزیابی مجموعه داده‌ها بر اساس معیارهای تعریف شده است.
حسابرسی داده‌ها ارزیابی مجموعه داده‌ها بر اساس معیارهای تعریف شده است. به طور معمول، یک ممیزی برای بررسی نگرانی‌های خاص در مورد یک مجموعه داده انجام می‌شود و برای تعیین اینکه آیا داده‌ها مطابق با الزامات قرارداد و روش‌های تعیین شده ذخیره شده‌اند، طراحی شده است. رویکرد ممیزی داده‌ها ممکن است شامل چک لیست ویژه پروژه، موارد قابل ارائه و معیارهای کنترل کیفیت باشد.
اعتبارسنجی داده‌ها، فرایند ارزیابی داده‌های ذخیره شده بر اساس معیارهای پذیرش تعیین شده برای کیفیت و قابلیت مورد استفاده بودن آنها است. رویه‌های اعتبارسنجی داده توسط تیم کیفیت داده (در صورت وجود) یا سایر نیازهای مصرف‌کننده آن مشخص می‌گردد.
اعتبارسنجی داده‌ها، فرایند ارزیابی داده‌های ذخیره شده بر اساس معیارهای پذیرش شده برای کیفیت و قابلیت مورد استفاده بودن آنها است.
بخشی از ممیزی داده‌ها و اعتبارسنجی توسط DBAها:
۱. کمک به توسعه و بررسی رویکرد
۲. انجام غربالگری و بررسی مقدماتی داده‌ها
۳. توسعه روش‌های نظارت بر داده‌ها
۴. استفاده از تکنیک‌های آماری برای بهینه‌سازی تجزیه و تحلیل داده‌ها
۵. پشتیبانی از نمونه‌گیری و تجزیه و تحلیل
۶. بررسی داده‌ها
۷. ارائه پشتیبانی برای کشف داده‌ها
نقش‌ها
مدیریت پایگاه داده (DBA)
مسئولیت‌های مدیر پایگاه داده را می‌توان در دو بخش دسته‌بندی نمود:
۱. مدیریت عملیات پایگاه داده
تمرکز مدیریت عملیات پایگاه داده بر انجام روش‌ها و عملیات مشخص در راستای کنترل و در دسترس بودن داده‌ها در طول چرخه حیات داده در سازمان است.
۲. مدیریت فناوری داده
تمرکز مدیریت فناوری داده بر انتخاب راهکارهای فنی و آماده‌سازی فناوری‌ها و تنظیم و پیاده‌سازی آنها است.
می‌توان این دو حوزه مسئولیت را در قالب دو نقش متفاوت نیز در نظر گرفت.
در ادامه این مسئولیت‌ها بیشتر شرح داده خواهند شد؛
مدیریت عملیات پایگاه داده
DBAها مسئولیت اصلی مدیریت عملیات پایگاه داده را بر عهده دارند، از جمله:
۱. (Performance Tuning) تنظیم عملکرد مناسب برای پاسخگویی به واحدهای عملیات داده.
۲. (Database Monitoring) بررسی لحظه‌ای از وضعیت عملکرد و خطاهای پایگاه‌های داده.
۳. (Backup and Recovery) اجرای مکانیسم‌های پشتیبان‌گیری و بازیابی مناسب برای تضمین قابلیت بازیابی داده‌ها در هر شرایطی.
۴. (Disaster Recovery Plan) در صورت نیاز به در دسترس بودن مستمر داده‌ها، مکانیسم‌هایی برای کنترل خرابی پایگاه داده پیاده‌سازی می‌شود.
۵. (Archiving Data) مکانیسم‌های پیاده‌سازی برای بایگانی داده‌های با ارزش کاربردی کمتر در مدیریت عملیات داده‌ها.
مدیر پایگاه داده در اکثر سازمان‌ها مسئول ایجاد مدل‌های داده‌ای است.
مدیر پایگاه داده در اکثر سازمان‌ها مسئول ایجاد مدل‌های داده‌ای است که قبل از توسعه پایگاه داده ایجاد می‌شود. که البته این یک رویکرد توصیه شده نیست. شرکت‌هایی که برنامه‌های مدیریت داده پیشرفته‌ای دارند، این روش را اتخاذ نمی‌کنند. سازمان‌های با عملکرد بالا از استانداردها و دستورالعمل‌هایی پیروی می‌کنند که توصیه می‌کنند قبل از توسعه مدل‌های داده‌های فیزیکی، الزامات کسب‌وکاری را با مدل‌های داده‌ای مفهومی و منطقی کشف و مدلسازی کنند. سپس مدیر پایگاه داده مدل‌های ایجاد شده را به‌صورت فیزیکی پیاده‌سازی نماید. در غیر این صورت، مدل‌های ایجاد شده و نیازهای کسب‌وکار به شکل مناسب همسو نمی‌گردند.
مدیریت فناوری داده
مدیر پایگاه داده مسئول ارزیابی و انتخاب انواع مختلف فناوری برای پشتیبانی از پایگاه داده است.
علاوه بر مدیریت عملیات پایگاه داده، مدیر پایگاه داده مسئول ارزیابی و انتخاب انواع مختلف فناوری برای پشتیبانی از پایگاه داده است. متخصصان مدیریت پایگاه داده، از جمله مدیران پایگاه داده، باید در ارزیابی، انتخاب، نصب و اداره فناوری‌هایی (سخت‌افزار و نرم‌افزار) که از دارایی‌های داده و اطلاعات یک سازمان پشتیبانی می‌کنند، مشارکت داشته باشند. برخی از سؤالاتی که باید در ارزیابی فناوری پایگاه داده پرسیده شود، می‌تواند شامل موارد زیر باشد:
۱. مسئله اساسی که باید برطرف گردد چیست؟
۲. نیازمندی‌های دقیق نرم‌افزاری، سخت‌افزاری، شبکه، سیستم‌عامل و… چیست؟
۳. چالش‌های امنیتی موجود چیست؟
۴. مهارت‌های مورد نیاز فناوری‌های جدید چیست؟
مسئولیت‌های مرتبط با مدیریت عملیات پایگاه داده از مهم‌ترین مسئولیت‌هایی است که در زمینه مدیریت داده در سازمان‌ها وجود دارد. در نظر گرفتن نقش مدیر عملیات پایگاه داده در حوزه مدیریت داده می‌تواند برای کل سازمان مفید باشد، زیرا ارزش داده‌ها و اطلاعات را در تمام مراحل چرخه حیات مشخص می‌سازد و همچنین در مراحل اولیه توسعه مدیریت داده‌ها دید گسترده‌تری به DBA می‌دهد.
فناوری
ابزار
علاوه بر خود سیستم‌های مدیریت پایگاه داده، DBAها از چندین ابزار دیگر برای مدیریت پایگاه داده استفاده می‌کنند. به‌عنوان‌مثال، ابزارهای مدلسازی، ابزارهای توسعه برنامه، رابط‌هایی که به کاربران امکان نوشتن و نمایش داده‌ها را می‌دهد، از جمله می‌توان ابزارهای ارزیابی و اصلاح داده‌ها و ابزارهای نظارت بر عملکرد را نیز نام برد.
ابزار مدلسازی داده‌ها
ابزارهای مدلسازی داده بسیاری از وظایفی را که مدل‌ساز داده انجام می‌دهد خودکار می‌کنند. برخی از ابزارهای مدلسازی داده‌ها امکان ایجاد زبان تعریف داده پایگاه داده (DDL) را فراهم می‌کنند، استانداردهای نام‌گذاری و نگارش را بررسی می‌کنند، فراداده‌ها را مانند تعاریف و نسب ذخیره می‌کنند و حتی انتشار در وب را امکان‌پذیر می‌کنند.
ابزار نظارت بر پایگاه داده
ابزارهای نظارت بر پایگاه داده، نظارت بر معیارهای کلیدی مانند ظرفیت، در دسترس بودن، عملکرد حافظه، آمار کاربر و غیره را خودکار می‌کنند و به DBA مشکلات پایگاه داده را هشدار می‌دهند. اکثر این ابزارها می‌توانند به طور هم‌زمان انواع مختلف پایگاه داده را کنترل کنند.
ابزارهای مدیریت پایگاه داده
سیستم‌های پایگاه داده اغلب شامل ابزارهای مدیریتی هستند. علاوه بر این نرم‌افزارهای دیگری نیز به DBAها امکان مدیریت چندین پایگاه داده را می‌دهد. این برنامه‌ها شامل توابع برای پیکربندی، نصب وصله‌ها و به‌روزرسانی‌ها، پشتیبان‌گیری و بازیابی، شبیه‌سازی پایگاه داده، مدیریت تست و برنامه‌های تمیز کردن داده‌ها است.
مدیریت پایگاه داده از طریق رابط‌های مختلفی قابل پیگیری است.
ابزارهای پشتیبانی توسعه‌دهنده
ابزارهای پشتیبانی توسعه‌دهنده شامل یک رابط بصری برای اتصال و اجرای دستورات موجود در یک پایگاه داده هستند. برخی از آنها همراه با نرم‌افزار مدیریت پایگاه داده نصب می‌شوند.