مدیریت دادههای مرجع و اصلی
در هر سازمان در زمینه کسب و کار، فرایندها و فعالیتها و سیستمهای مختلفی وجود دارد که از دادههای متنوع و گوناگون استفاده میکنند. داده یکی از حیاتیترین عناصر یک سازمان است که در این میان برخی دادهها به دلیل داشتن جایگاه مهمتر در کسب و کار یک سازمان، حائز اهمیت هستند. زیرا این نوع دادهها بین واحدهای مختلف کسب و کار، فرایندها و سیستمها مشترک میباشند، بنابراین بهتر است در سازمانها شرایطی فراهم شود تا در آن همه واحدهای کسب و کار بتوانند به دادههای مشابه دسترسی داشته باشند. این دادهها میتواند شامل دادههای مشتری یا محصولات، لیست واحدهای سازمانی، کدهای مالیاتی، گزینههای تحویل، محصولات و تقسیمات جغرافیایی باشند. در نتیجه، میتوان یک دید یکسان از موجودیتها بین بخشهای متخلف کسب و کار، فرایندها، فعالیتها و سیستمها ایجاد کرد.
یک اصل مهم در مدیریت دادههای مرجع این است که در سازمانها باید شرایطی فراهم شود تا همه واحدهای کسب و کار بتوانند به دادههای یکسان دسترسی داشته باشند.
در اکثر سازمانها، سیستم و دادهها بیشتر از آنچه که تصور شود، رشد میکنند. در سازمانهای بزرگ، پروژههای مختلف و سایر فعالیتهای کسب و کار منجر به اجرای چندین سیستم میشود که اساساً همان عملکردها را جدا از یکدیگر دارند. این شرایط به ناچار منجر به ناسازگاری در ساختار دادهها و مقادیر دادهها بین سیستمها میشود. این تنوع باعث افزایش هزینهها و خطرات میشود. به کمک مدیریت دادههای اصلی و مرجع میتوان این نوع دادهها را شناسایی و مدیریت کرد.
در اجرای مدیریت دادههای اصلی و مرجع، اهداف زیر دنبال میگردد:
- تامین نیاز دادههای سازمانی: واحدهای مختلف یک سازمان به مجموعه دادههای مشابهی که کامل و قابل اطمینان، سازگار و بهروز باشند، نیاز دارند. دادههای اصلی، اساس این مجموعه داده را تشکیل میدهد.
- مدیریت کیفیت دادهها: ناسازگاری دادهها، مشکلات کیفیت و شکافها، منجر به تصمیمگیری نادرست یا فرصتهای از دست رفته میشود. مدیریت دادههای اصلی، این خطرات را کاهش میدهد.
- مدیریت هزینههای یکپارچهسازی دادهها: هزینه یکپارچهسازی منابع داده جدید در یک محیط پیچیده در غیاب داده اصلی بیشتر است. مدیریت دادههای اصلی باعث کاهش تنوع در نحوه تعریف و شناسایی موجودیتهای حیاتی میشود.
- کاهش ریسک: مدیریت داده اصلی میتواند با سادهسازی معماری اشتراکگذاری داده، کاهش هزینهها و ریسک مرتبط با یک محیط پیچیده امکانپذیر شود.
طرحهای سازمانهای مبتنی بر داده روی دادههای تراکنشی مانند افزایش فروش یا سهم بازار و کاهش هزینه تأکید دارند. توانایی استفاده از دادههای تراکنشی هم نیز به میزان دستیابی و کیفیت دادههای مرجع و اصلی وابسته است. همچنین بهبود قابلیت دستیابی و کیفیت دادههای مرجع و اصلی تأثیر چشمگیری بر کیفیت دادهها خواهد داشت که در نهایت منجر به اعتماد کسب و کار به دادهها میشود.
دادههای مرجع:
دادههای مرجع هر دادهای است که برای توصیف یا طبقهبندی دادههای دیگر یا ارتباط دادهها با اطلاعات خارج از سازمان مورد استفاده قرار میگیرد.
ابتداییترین داده مرجع شامل کدها و توضیحات است، اما برخی از دادههای مرجع میتوانند پیچیدهتر باشند و نگاشتها و سلسله مراتب را دربرگیرند. دادههای مرجع میتواند شامل طبقهبندی و دستهبندیهای زیر باشند:
- وضعیتها: مانند انواع وضعیت از جمله سفارش جدید، در حال انجام، بسته، لغو شده
- اطلاعات خارجی: شامل اطلاعات جغرافیایی یا استاندارد. به عنوان مثال، کد کشور: DE، US، TR.
دادههای مرجع زمینه را برای دادههای اصلی فراهم میکنند. مدیریت داده مرجع (RDM) مستلزم کنترل مقادیر دامنه تعریف شده و تعاریف آنها است. هدف RDM اطمینان از دسترسی سازمان به مجموعه کاملی از مقادیر دقیق و فعلی برای هر مفهوم ارائه شده است.
بسته به جزئیات و پیچیدگی آنچه که دادههای مرجع نشان میدهد، داده مرجع ممکن است به صورت یک لیست ساده، یک مرجع متقابل یا یک طبقهبندی ساخته شود.
دادههای اصلی:
دادههای اصلی دادههایی در مورد موجودیتهای کسب و کار است. به عنوان مثال، کارمندان، مشتریان، محصولات، ساختارهای مالی، داراییها و مکانها که زمینه را برای تراکنش و تجزیه و تحلیلهای کسب و کار فراهم میکند. این موجودیتها یک شی از دنیای حقیقی هستند. دادههای اصلی باید بیانگر دقیقترین و معتبرترین دادههای موجود در مورد موجودیتهای اصلی کسب و کار باشد که اگر به خوبی گزینش و مدیریت شوند، قابل اعتماد خواهند بود.
قوانین کسب و کار؛ دامنه و فرمت دادههای اصلی را تعیین میکنند. دادههای اصلی سازمانی مشترک شامل موارد زیر است:
- گروهها: متشکل از افراد، سازمانها و نقشهای آنها، مانند مشتریان، شهروندان، بیماران، تأمینکنندگان و …
- محصولات و سرویسها: چه داخلی و چه خارجی
- ساختار مالی: مانند قراردادها و حسابهای دفتر کل
- مکانها: مانند آدرس و مختصات GPS
استانداردسازی فرمت دادههای اصلی برای یکپارچهسازی سیستمها بسیار حیاتی است. وظیفه مدیریت داده اصلی (MDM) کنترل مقادیر و شناسههای داده اصلی است که امکان استفاده مداوم و دقیق و به موقع از دادههای مربوط به واحدهای ضروری کسب و کار را در سراسر سیستم فراهم میکند. اهداف MDM شامل اطمینان از در دسترس بودن مقادیر دقیق و فعلی در عین کاهش خطر شناسههای مبهم است.
فرایندها و روشها
دادههای اصلی و دادههای مرجع دارای ویژگیهای خاصی هستند. این دادهها منابع مشترکی هستند که مفهوم و زمینه سایر دادهها را فراهم میکنند و باید در سطح سازمانی مدیریت شوند، روشهای پیادهسازی این دو داده در جزئیات، از هم متمایز است.
فرایندهای مدیریت دادههای اصلی و مرجع در ادامه آورده شده است.
فرایندهای مدیریت دادههای اصلی:
فرایند پیادهسازی مدیریت دادههای اصلی دربرگیرنده شش مرحله زیر است:
- تعریف الزامات مدیریت داده اصلی: هر سازمان دارای مشکلات مختلف مدیریت داده اصلی است که تحت تأثیر تعداد و نوع سیستمها، مدت زمان استفاده از آنها، فرایندهای کسب و کار مورد پشتیبانی آنها و نحوه استفاده از دادهها برای تراکنشها و تجزیه و تحلیلها قرار دارد. مشکلات میتواند شامل تفاوت در معنای دادهها و ساختار بین سیستمها باشد. تعریف الزامات و استانداردها برای رفع تفاوت در داده اصلی میتواند در داخل برنامه و یا خارج از آن باشد.
- تشخیص و ارزیابی منابع داده: اساس فعالیت مدیریت داده اصلی، دادهها در برنامههای موجود است. درک ساختار و محتوای این دادهها و فرایندهایی که از طریق آنها جمعآوری یا ایجاد میشوند بسیار مهم است.
- تعریف رویکرد معماری: رویکرد معماری MDM، به استراتژی کسب و کار، پلتفرم منابع دادهای موجود و داده، به ویژه تاریخچه و نوسانات آن بستگی دارد. در معماری باید میزان استفاده از داده و مدل اشتراک را در نظر داشت. ابزارها برای نگهداری هم به الزامات کسب و کار و هم گزینههای معماری، نیاز دارند.
- مدل داده اصلی: مدیریت دادههای اصلی یک فرایند یکپارچگی داده است. برای دستیابی به نتایج سازگار و مدیریت یکپارچگی منابع جدید با گسترش سازمان، الگوسازی دادهها در حوزه موضوع مورد نظر، ضروری است.
- تعریف فرایند مدیریت و نظارت و نگهداری: راهحلهای فنی میتواند فعالیتهایی مانند مطابقت، ادغام و مدیریت شناسهها را برای رکوردهای اصلی به طور قابل توجهی انجام دهد. با این حال این عملیات، روی رکوردهای خارج شده از فرایند و اصلاح و بهبود فرایندهایی که در ابتدا باعث از بین رفتن رکوردها میگردد، نیاز به نظارت دارد.
- ایجاد سیاستهای حاکمیتی برای استفاده از داده اصلی: راهاندازی اولیه داده اصلی بسیار چالش برانگیز است. نتیجهی مطلوب (بهرهوری عملیاتی، کیفیت بالا و خدمات بهتر به مشتری) زمانی حاصل میگردد که سیستم از داده اصلی استفاده کند.
فرایند مدیریت دادههای مرجع:
فرایند پیادهسازی مدیریت دادههای مرجع دربرگیرنده شش مرحله زیر است:
- تعریف الزامات مدیریت داده مرجع: دلایل اصلی مدیریت دادههای مرجع بهرهوری عملیاتی و کیفیت بالاتر دادهها هستند. مدیریت دادههای مرجع به طور متمرکز، مقرون به صرفهتر از این است که چندین واحد کسب و کار، مجموعه دادههای خود را حفظ کنند. همچنین خطر ناسازگاری بین سیستمها را کاهش میدهد.
- تشخیص و ارزیابی منابع داده: بیشتر مجموعه داده مرجع استاندارد صنعتی را میتوان از سازمانهایی که این نوع داده را ایجاد و نگهداری میکنند، تهیه کرد.
- تعریف رویکرد معماری: جهت تعریف معماری برای مدیریت داده مرجع، نیاز و چالشها مانند نوسانات داده، دفعات بهروزرسانی داده، نگهداری تاریخ تغییر دادهها و… باید بررسی گردد.
- مدل داده مرجع: برای ایجاد امکان استفاده طولانی مدت و ایجاد فراداده دقیق و همچنین فرایند تعمیر و نگهداری، ایجاد مدلهای داده از مجموعه دادههای مرجع بسیار ارزشمند است. مدلها به مصرف کنندگان داده کمک میکنند تا روابط موجود در مجموعه دادههای مرجع را درک کنند و همچنین میتوان از آنها برای ایجاد قوانین کیفیت داده استفاده کرد.
- تعریف فرایند مدیریت و نظارت و نگهداری: برای اطمینان از کامل و به روز بودن مقادیر و قابل فهم بودن تعاریف، دادههای مرجع به نگهداری و نظارت نیاز دارند.
- ایجاد سیاستهای حاکمیتی برای استفاده از داده مرجع: یک سازمان در صورتی از مخزن دادههای مرجع مقدار میگیرد که افراد واقعاً از دادههای این مخزن استفاده کنند. وجود سیاستهای حاکم بر کیفیت و استفاده از دادههای مرجع از این مخزن، مهم است.
نقشها
مدیریت دادههای مرجع اصلی بیشتر در قالب سایر فعالیتها مانند یکپارچهسازی داده انجام میگردد و به عنوان نقش مستقل کمتر مطرح میگردد. در عین حال نقش زیر را به شکل منحصر به فرد میتوان در حوزه مدیریت دادههای اصلی در نظر گرفت.
کارشناس مدیریت دادههای اصلی
این نقش مسئولیت کنترل و اجرای فرایند مدیریت دادههای اصلی را عهدهدار است.
فناوری
مدیریت داده اصلی، نیاز به ابزاری دارد که به طور خاص برای فعال کردن مدیریت موجودیت، طراحی شده است. مدیریت دادههای اصلی را میتوان از طریق ابزارهای یکپارچهسازی داده، ذخیره دادههای عملیاتی، هابهای اشتراک داده یا برنامههای تخصصی مدیریت داده اصلی پیادهسازی کرد. برخی سازمانها راهحلهایی برای چندین موضوع داده اصلی ارائه میدهند.
به طور کلی ابزارهای مدیریت این نوع دادهها شامل موارد زیر است:
- ابزارهای مدلسازی داده
- مخزنهای فراداده
- ابزارهای نمایهسازی و کیفیت داده
- ابزارهای یکپارچهسازی داده
- پلتفرم برنامههای مدیریت دادههای اصلی
- معماری به اشتراکگذاری / یکپارچهسازی داده