در سال‌های 1989 و 2000، گروه‌های ویژه تغییرات جزئی دررهنمود و ملاحظات اخلاقی در عملیات‌ کانون ارزیابی  ایجاد کردند تا متخصصان و مشاوران منابع انسانی درک درستی از روندها، تعاریف و مفاهیم اساسی در فرآیند کانون ارزیابی داشته باشند. از دلایل ضمنی بهبود و بازنشر پیوسته‌ی رهنمودهای کانون ارزیابی می‌توان به ترس در برابر بدفهمی، پیاده‌سازی نادرست و استفاده‌ی ناصحیح از فرآیند گزینش و ارزیابی مهم و ضرر سازمان‌ها و ذی‌نفعان اشاره کرد. بنا به گفته‌ی جانسن و استوپ، نتیجه‌ی اصلی مدیریت ضعیف فرایند کانون ارزیابی در بخش عمومی، اثرپذیری معیار از عوامل نامربوط و خطا در گزینش و ارتقاء داوطلبان است. همچنین احتمال کاهش اعتبار پیش‌بینی نیز وجود دارد.

اگرچه مطالعات دانشگاهی فرایند کانون ارزیابی نشان می‌دهد که اعتبار پیش‌بینی در طول زمان پایدار می‌ماند، این دست از مطالعات معمولا در سازمان‌هایی انجام می‌شود که ذاتا بزرگ و حرفه‌ای هستند و به احتمال زیاد کارمندان آن به خوبی آموزش دیده‌اند و از رهنمودها و استانداردهای سنجش کانون ارزیابی آگاه هستند. در نتیجه، فرایند بررسی اعتبار و قابلیت پیش‎‌بینی مراکز ارزیابی در سازمان‌های کوچکتر که ممکن است به لحاظ فنی و حرفه‌ای پیشرفته نباشند، نماینده‌ی کمتری دارد و کانون­‌های ارزیابی در آن سازمان‌ها ممکن است کمبودهای فنی داشته باشند که اعتبار پیش‌بینی را تضعیف کند. حتی ممکن است سازمان‌های بزرگتری که نیروی انسانی باتجربه‌تری دارند نیز نتوانند با پیشرفت‌های کانون­‌های ارزیابی همگام شوند. علاوه‌براین، سازمان‌ها ممکن است مشاورانی داشته باشند و یا آژانس‌های دولتی، آزمون کانون­های ارزیابی را انجام ‌دهند. در این موارد، کسانی که کانون­‌های ارزیابی را اداره می‌کنند ممکن است واجد شرایط یا آگاه نباشند.

نویسندگان این مقاله ضمن تایید اینکه متخصصان بخش عمومی منابع انسانی شغلی چالش‌برانگیز با مطالبات چندگانه دارند، خلاصه‌ای از 10 خطای شناخته شده در گزینش و ارتقاء مربوط به کانون‌ ­های ارزیابی ارائه داده‌اند. ما این خلاصه را پیشنهاد کرده‌ایم تا به متخصصان بخش عمومی منابع انسانی در ارزیابی میزان انطباق عملکرد حوزه‌ی تصمیم‌گیری کانون­‌های ارزیابی با ” به­گزینی” کمک کنیم. با اینکه کاهش یا حذف این مشکلات تضمینی برای یک کانون ارزیابی بی‌نقض نیست، اما به‌طور قابل توجهی این فرآیند را بهبود می‌بخشد. روشن است این 10 خطای شناخته شده نباید تمام معیارهای استفاده شده برای بررسی مشاور کانون ارزیابی یا فرایند گزینش یا ارتقاء باشد. هرچند، اجتناب از این مشکلات، اثربخشی فرایند ارزیابی را افزایش خواهد داد.

روایی کانون ارزیابی

ارزش کیفی هر فرآیند ارزیابی و گزینش، تابع توانایی آن در پیش‌بینی دقیق عملکرد آینده‌ی آن فرآیند است. انحراف از معیار محاسبه شده برای گزینش کارمندان اغلب بسیار پایین است. بر اساس گزارش هولین، هنری و نون، اعتبار پیش‌بینی بسیاری از ابزارهای گزینش در طول زمان کاهش پیدا کرده است. تزینر و همکارانش دلیل بخشی از این کاهش اعتبار را تغییراتی می‌دانند که در رابطه با الزامات عملکرد در سازمان‌ها به عنوان یک مجری موفق رخ داده است. دیگر متخصصان اظهار می­کنند که اعتبار پیش‌بینی  مدیریت در طول زمان، تابع اثربخشی بین‌فردی، اقناع و دستیابی است و نه عوامل فنی. نگرانی‌های اولیه درباره‌ی روایی مبتنی بر گزینش، توانایی کانون ارزیابی در سنجش دقیق و پیش‌بینی صحیح عملکرد داوطلبان، ارتقاء شغلی در آینده‌ی است. اخیرا تاکید بر تعداد زیادی از وظایف مدیران مراکز ارزیابی اهمیت پیدا کرده است، ایشان به تعداد زیادی از ذینفعان که تحت تاثیر فرایند گزینش این مراکز قرار می‌گیرند متعهد هستند و این امر به عنوان اولویت مهم دولت محلی برای متخصصان منابع انسانی شناخته شده است.

نگرانی‌ها بابت افزایش روش‌های ارزیابی فراتر از محدوده‌ی روندهای پذیرفته شده و استفاده‌ی نادرست از فرآیند ارزیابی در قلب مشکلات روایی قرار دارد.

مشکلات اساسی به رسمیت شناختن رهنمودها و ملاحظات اخلاقی عبارتند از: تلاش‌هایی جهت ساده‌سازی و کوتاه‌سازی روندها برای کاهش قیمت آن‌ها، درک نادرست از نحوه‌ی کارکرد فرآیند کانون ارزیابی و عدم شفاف‌سازی رهنمودها در فرایند کانون ارزیابی. تلاش‌های بعدی در سال 1989 ضمن اصلاح رهنمودها صورت گرفت تا بر نقش تحلیل شغلی در اطمینان از تطبیق صحیح مشاغل، شفاف‌سازی ماهیت جنبه‌ها و ابعاد مشمول در فرایند ارزیابی، شناخت فرایند صحیح جمع‌آوری و پردازش اطلاعات و تنظیم استانداردهایی برای آموزش صحیح ارزیاب‌ها تاکید کند. در سال 2000، اصلاحات بیشتری در رهنمودها صورت گرفت تا توضیح دقیقی از تعاریف کلیدی ارائه شود، تفصیل در مورد آنچه کانون ارزیابی هست و نیست، تبیین الزامات برای آموزش و مشارکت آگاهانه، شناخت رسمی حقوق شرکت‌کنندگان و شفاف‌سازی انتظارات فرآیند ا روایی ارائه شود.

در تعیین اهمیت اعتبار مرکز ارزیابی و فرآیند لازم برای تنظیم روایی فرآیند ارزیابی، در رهنمودهای 2000 چنین آمده است:

” اطمینان از اعتبار برنامه‌ی کانون ارزیابی فرآیندی فنی و پیچیده است، همچنین پژوهش روایی بایستی مطابق با استانداردهای حقوقی و حرفه‌ای باشد. پژوهش بایستی به دست افرادی آگاه به مسائل حقوقی و فنی مربوط به روند روایی صورت گیرد. در سنجش اعتبار برنامه‌های کانون ارزیابی، مستندسازی ابعاد و هرآنچه ارزیابی می‌شود، بسیار مهم است. بعلاوه، ارتباط میان فعالیت‌های ارزیابی و ابعاد، جنبه‌ها یا قابلیت‌های مورد ارزیابی نیز بایستی مستندسازی گردد.”

متاسفانه، تعداد رو به افزایشی از افراد که برای روش‌های روایی آموزش چندانی دریافت نکرده‌اند، باور دارند می‌توانند در فرآیند کانون ارزیابی و توسعه‌ی فعالیت‌هایی مبتنی بر نمونه‌هایی که در دیگر مراکز مشاهده کرده‌اند، خودآموزی کنند. این فرض اشتباه به واسطه‌ی تعداد زیادی از کتاب‌ها و مقالاتی که به لحاظ فنی ناقص هستند رواج پیدا کرده است. این کتاب‌ها و مقالات بدون توضیح کافی در مورد پایه‌ی تحلیل شغلی و روایی آزمون، نمونه‌هایی از تمریناتی را ارائه می‌کنند که در فرآیند گزینش برخی از مراکز ارزیابی انجام می‌شود. حتی انجمن‌های دولتی مدیران ارشد پلیس و آتش‌نشان نیز آزمون مرکز ارزیابی‌ای را به شهرداری‌ها پیشنهاد می‌کنند که از استانداردهای گزینش و ارزیابی صحیح دور افتاده است. عجیب نیست که مشاوران مدیریت تبلیغ شخصی ادعا می‌کنند در توسعه‌ی کانون ارزیابی “متخصص” هستند، با این وجود آن‌ها در زمینه‌ی اساس روایی آزمون یا محتوای رهنمودهای مبتنی بر مفادی که به شهرداری‌ها ارائه می‌دهند، دانش کافی ندارند.

در تلاشی به منظور تسهیل تمایز میان تجربه‌ی خوب و جایگزین‌های غیراستاندارد برای متخصصان منابع حرفه‌ای و دیگر ذینفعان علاقه‌مند، فهرستی از “ده نمونه از خطاهای شناخته‌شده‌ی کانون ارزیابی” ارائه کرده‌ایم.

1) برنامه‌ریزی ضعیف

بسیاری از کانون‌­های ارزیابی به دلیل برنامه‌ریزی ضعیف، پیش از شروع با شکست مواجه می‌شوند. تورنتون ذکر می‌کند که دلایل بسیار مختلفی برای برنامه‌ریزی ضعیف کانون­‌های ارزیابی وجود دارد:

1. در مباحثات اولیه، افراد مناسبی حضور ندارند.
2. به جلب حمایت مدیریت ارشد توجه کافی نمی‌شود.
3. نوبت‌کاری پرسنل، پشتیبانی و هماهنگی را کمرنگ می‌کند.
4. گزینه‌ی استفاده از کانون ارزیابی اساس محکمی ندارد.
5. کار لازم برای اداره‌یکانون ارزیابی کوچک شمرده می‌شود.
6. فرایند به منابعی بیشتر از آنچه تعهد داده شده نیاز دارد.
7. ارزیاب‌ها به دلیل زمان لازم برای کار، مایل به مشارکت نیستند.

این هفت دلیل، عدم درک میزان دقیق و جزئی کارهای بعدی لازم برای اداره‌ی فرایند کانون ارزیابی را نشان می‌دهد. کانون­‌های ارزیابی که به خوبی مدیریت می‌شوند به درک کاملی از فلسفه، فناوری، و گام‌های مدیریتی لازم جهت آمادگی صحیح برای انجام فرآیند آزمون نیاز دارند.  همان­طور که رهنمودها نشان می‌دهند، یک ارزیابی مناسب شامل تحلیل شغلی کامل، توسعه و روایی عناصر آزمون، جهت‌دهی به داوطلبان، گزینش و آموزش ارزیاب‌ها، برنامه‌ریزی و مدیریت آزمون واقعی، پیش‌بینی فرایند رده‌بندی رسمی هر داوطلب، آماده‌سازی گزارش خلاصه و پیگیری جهت آگاه‌سازی ذی‌نفعان است. این گام‌ها تا قبل از اینکه شرکت‌کنندگان اصلی سازمان، در تصمیم‌گیری مربوط به اداره‌ی یک کانون ارزیابی مشارکت نکنند، اتفاق نخواهد افتاد. پیش از اداره‌ی کانون ارزیابی، متخصص منابع انسانی بایستی مشخص کند آیا باور دارد فرآیند ارزیابی به بهترین شکل نیازهای سازمان را برآورده می‌کند یا خیر. همچنین او بایستی رهبران سازمان و بخش را در بحث و گفتگو پیرامون گزینه‌ها مشارکت دهد، در صورت امکان با گروه‌های کارمندان و اعضای هیئت خدمات مدنی کار کند و تعهد منابع سازمانی را برای مدیریت فرآیند به دست آورد. کانون­های ارزیابی که به خوبی برنامه‌ریزی نشده‌اند، به طور اجتناب‌ناپذیری فرایندهای نامطلوبی برای شرکت‌کنندگان و ذینفعان ارائه خواهند کرد.

بخشی از برنامه‌ریزی شامل تصمیم‌گیری در مورد نحوه‌ی استفاده از نتایج کانون ارزیابی همراه با داده‌های مربوط به داوطلبان است (برای مثال، سوابق کاری مهم، میزان رضایت از عملکرد، داده‌های مصاحبه‌ی پیش‌زمینه و امتیاز آزمون دانش شغلی)، البته اگر داده‌ها مستقیما بخشی از فرایند کانون ارزیابی نباشد. عدم موفقیت در پیش‌بینی این مسئله و تنظیم سیاست‌ها پیش از راه‌اندازی کانون ارزیابی، باعث می‌شود شهرداری در لحظه‌ی آخر داده‌های کانون ارزیابی را رد کند، چراکه اختلاف نظر میان اعضای سازمان در مورد نقش کانون ارزیابی پیش‌تر حل نشده است.

2) تحلیل شغلی ناکافی

اگر پیش از طراحی و مدیریت کانون ارزیابی، تحلیل شغلی موثری انجام نشود، مشکلات زیادی پیش می‌آید. اخیرا یکی از شهرداری‌های واشینگتون با استفاده از یک توصیف شغلی سه ساله که تنها شامل هشت وظیفه‌ی اصلی بود، برای نیروی پلیس‌ آزمون ارتقاء شغلی برگزار کرد. فرایند اجرا شده‌ی کانون ارزیابی، مورد انتقاد شدید شرکت‌کنندگان قرار گرفت. معاون اتحادیه‌ی پلیس محلی به طور خصوصی اعلام کرد داوطلبان احساس می‌کردند ارزیابی بیشتر برای هماهنگ‌کننده‌ی روابط عمومی مناسب بود تا گروهبان پلیس.

علی‌رغم اینکه تحلیل شغلی به عنوان عنصر ضروری در فرایند ارزیابی به شمار می‌رود، لوری گزارش می‌دهد تحلیل شغلی مناسب در بخش عمومی کانون­های ارزیابی به ندرت اتفاق می‌افتد. مطالعه‌ی سَکت بر کانون­های ارزیابی نشان می‌دهد تحلیل شغلی که به خوبی آماده‌سازی شده باشد یکی از ارکان اساسی فرایند ارزیابی با محتوای معتبر است. اوربانک تایید می‌کند فرایند تحلیل شغلی موثر یکی از عناصر مهم در توسعه‌ی روندهای گزینش و آزمون است. زمانی­که فرایند ارزیابی شدیدا مبتنی بر روایی محتوا باشد، فرآیند تحلیل شغلی، عنصر اصلی روایی و توسعه‌ی موثر آزمون است. سونو در تاکید بر اهمیت مطابقت تحلیل شغلی با الزامات اجباری می‌گوید:

” اگر سازمانی بخواهد سیستم منابع انسانی اثربخش و قابل دفاع به لحاظ حقوقی داشته باشد، هیچ جایگزینی برای تحلیل شغلی منظم وجود ندارد. بااینکه تحلیل شغلی امری زمان‌بر است، مزایای چندگانه‌ی آن برای توجیه سرمایه‌گذاری زیاد است. از طرف دیگر با توصیفات شغلی که به طور ذاتی تکراری و چندگانه هستند، شما چیزی را به دست می‌آورید که برای آن هزینه صرف کرده‌اید، اطلاعات غلط با تفسیر اشتباه. در شرایط پیگرد پذیر امروز، این موضوع ریسکی نیست که سازمان‌ها بتوانند  بپذرند.”

علیرغم ریسک‌های حقوقی و کیفی، متاسفانه بسیاری از سازمان‌ها در اجرای تحلیل شغلی زمان‌بر و خوب به عنوان بخشی از فرایند ارزیابی با شکست مواجه می‌شوند.

3) ابعادی که به خوبی تعریف نشده‌اند

رهنمودها به صراحت تاکید می‌کنند که ابعاد مورد آزمایش در کانون­های ارزیابی بایستی به روشنی تعریف شده باشند و با یافته‌های تحلیل شغلی ارتباط نزدیکی داشته باشند. ابعاد، مجموعه‌ای از رفتارها هستند که می‌توان آن را به صورت پایدار تعریف و مشاهده کرد. بُعدی که به خوبی تعریف شده باشد شامل توضیحی درباره‌ی رفتارهایی است که آن بُعد را می‌سازند، شرایطی که در آن رفتارها نشان داده می‌شوند و میزان تاثیرگذاری روی آن بُعد که از فرد شاغل در شغل هدف انتظار می‌رود.

اسپیچتاسکی و همکارانش طی نظرسنجی جامعی دریافتند بسیاری از سازمان‌ها تعداد زیادی از ابعاد را ارزیابی می‌کنند، 15% از سازمان‌ها نیز در یک ارزیابی 18 بُعد را می‌سنجند. سژی و مگنزی براساس مطالعه‌ای پیچیده در زمینه‌ی کانون ارزیابی می‌گویند انواع بُعد به دو دسته‌ی اصلی تقسیم می‌شوند: مهارت‌های عملکردی و مهارت‌های بین‌فردی. مطالعه‌ای مقایسه‌ای در زمینه‌ی تاثیر تعداد ابعاد ارزیابی شده توسط گوگلر و تورنتون نشان می‌دهد، افرادی که تعداد کمی از ابعاد را ارزیابی کرده، نسبت به کسانی که تعداد بیشتری از ابعاد را ارزیابی کرده بودند، رفتارها را دقیق‌تر دسته‌بندی کرده و رده‌بندی دقیق‌تری ارائه دادند.

لاکمن، لاکمن و باترفیلد می‌گویند محدودیت ذاتی انسان در پردازش اطلاعات، تعدادی مواردی را که در ذهن انسان به‌طورموثری پردازش می‌شوند، محدود می‌کند. پژوهش گوگلر و تورنتون نیز ارزش ابعاد تمرین یا ابعادی را که در چندین تمرین ارزیابی قابل اجرا هستند، تایید می‌کند. کانون­های ارزیابی که به خوبی توسعه پیدا کرده‌اند به بُعدهای مطابق با اطلاعات توسعه یافته در تحلیل شغلی، توجه ویژه‌ای دارند. در مقابل، ما نمونه‌ای از شرکت مشاوره مدیریت را نام می‌بریم که بُعدهای مورد استفاده در بخش عمومی آزمون ارتقاء واحد را حتی پیش از تحلیل شغلی برای آن فرآیند، اعلام می‌کند.

4) تمرینات ضعیف

توسعه‌ی تمرینات ارزیابی موثر و مربوط به شغل به مهارت دقیقی نیاز دارد. قرض گرفتن تمرینات دیگر حوزه‌ها یا توسعه‌ی بانکی از تمرینات عمومی، الزام ارتباط شغلی را برآورده نمی‌کند؛ برای دستیابی به اعتبار پیش‌بینی  که فرآیند ارزیابی ارائه‌ می‌کند، ارتباط شغلی ضروری است. با اینکه انواع مختلفی از تمرینات ارزیابی وجود دارد که معمولا مورد استفاده قرار می‌گیرند، انتخاب مجموعه‌ای از تمرینات که ابعاد موردنیاز در یک بخش خاص را به دقت بسنجد، یک هنر محسوب می‌شود. همان­طور که افسر پلیس یک شهرداری به درستی از فرایند کانون ارزیابی شهر خود انتقاد کرد، “چگونه تمرین کانون ارزیابی که برای شهر بزرگتری توسعه یافته را می‌توان برای موقعیت گروهبانی در جامعه‌ی ما اجرا کرد، جایی که گروهبانان ما نقش‌های گسترده‌تری ایفا می‌کنند؟”

اهمیت ویژه‌ی توسعه‌ی تمریناتی که وظایف شغلی را به دقت بسنجد و شرایط کاری واقعی را شبیه‌سازی کند به خوبی مستندسازی شده است. اولشفیسکی و کانینگهام گزارشی از اهمیت رویکردهای پیشرفته به لحاظ کیفی و کمی برای ارزیابی طراحی تمرین ارائه کرده‌اند. در طراحی تمرینات کانون ارزیابی بایستی به این موضوع توجه کرد که داوطلبان چه کسانی هستند، همچنین امکان ایجاد برتری غیرمنصفانه برای یک داوطلب یا بیشتر نیز باید به دقت بررسی شود.

توسعه‌ی تمرینات کانون ارزیابی مبتنی بر وظایف واقعی، به‌طورکلی مناسب است. هرچند ممکن است شبیه‌سازی دقیق مشاغل گاهی به اشتباه به نفع افرادی باشد که آن وظیفه را قبلا کارآموزی کرده‌اند. تدوین تمریناتی که طی آن اعضای واحد بایستی مغایر با شرایط و شخصیت معمول خود نقش بازی کنند، ممکن است با ایجاد سردرگمی در تمرینات، مشکلاتی جدی در زمینه‌ی برابری حقوق ایشان ایجاد کند. برای مثال، یک شهرداری از رئیس پلیس و دادستان شهر خواست تا در فرایند کانون ارزیابی نقشی را بازی کنند که کاملا بر خلاف وظایف معمول آن‌ها بود. این “نقش‌ بازی کردن‌ها” که با سبک واقعی مدیریت و عملکرد پیشین در تعارض است، پاسخ‌های موقعیتی افرادی که به تعامل با افراد حاضر در تمارین عادت دارند، را به درستی نمی‌سنجد. از چنین موقعیت‌هایی بایستی اجتناب کرد.

مدیریت تمرینات کانون ارزیابی بایستی به دقت استانداردسازی شوند. در بخشی از توسعه‌ی تمرین، بایستی دستورالعمل‌هایی را برای مدیریت تمرینات به روشنی مشخص کرد. بعضی از برنامه‌ها با ضبط فیلم از تمامی دستورالعمل‌ها به این نیاز توجه می‌کنند، بنابراین تمرینات به طور ثابت هر بار ارائه می‌شوند. بعضی از تمرینات شامل استفاده از بازیگرانی است که نقش کارمندانی مشکل‌دار را بازی می‌کنند، مثلا شهروندی خشمگین یا گزارشگر خبر. بنابراین، بخشی از توسعه‌ی تمرین به تعیین دقیق مکالمه‌ی بازیگران در شرایط مختلف نیاز دارد. نتایج یکی از ارزیابی‌ها که توسط یکی از نویسندگان مورد مشاهده قرار گرفت، به دلیل عدم استانداردسازی رفتار یکی از بازیگران رد شد.

5) عدم ارزیابی پیش‌آزمون

خطای رایجی که در تمام فرایندهای گزینش یا ارزیابی اتفاق می‌افتد این است که فرایند پیش آزمون ارزیابی تمرینات به اندازه‌ی کافی مورد توجه قرار نمی‌گیرد. طراحی تمرینات بایستی هم به لحاظ محتوایی و هم ساختاری معتبر باشد. روایی محتوایی یعنی ابزارهای سنجش ارزیابی به درستی با حوزه‌ی کاری موقعیت شغلی مورد آزمون مطابقت داده شود و مورد تایید تحلیل شغلی نیز قرار گیرد. روایی ساختاری یعنی ابزار ارزیابی، دانش اختصاصی، مهارت، نگرش و مجموعه‌ رفتار مورد نیاز برای انجام وظایف کاری را به دقت بسنجد.

رهنمودهای 2000 می‌گوید کسانی که در توسعه‌ی تمرینات مشارکت می‌کنند بایستی به لحاظ فنی واجد شرایط باشند، که این عبارتی بدیهی است. نویسندگان بارها دیده‌اند افرادی تمریناتکانون ارزیابی را توسعه می‌دهند که درک روشنی از ساختار یا نحوه‌ی روایی آن ندارند. برای مثال، یکی از مدیران کانون ارزیابی در ایالت واشینگتون که اخیرا فرایند ارزیابی نیروی پلیس را توسعه داده و به اجرا درآورده، به طور مشخص دانش و مهارت‌هایی را می‌سنجد که کاملا با آنچه ارزیاب‌ها بایستی رده‌بندی می‌کردند متفاوت است. یکی از نویسندگان از این حقیقت باخبر شد، همچنین علیرغم اینکه یک متخصص بیرونی نیز روایی خارجی را انجام داد و از عدم درک مدیر کانون ارزیابی اظهار نگرانی کرد، مدیر آن کانون ارزیابی متوجه اهمیت این نظر نشد.

نکته‌ی مهم این است که تمرینات ارزیابی نه ‌تنها باید از پیش مورد آزمون قرار گیرند، بلکه افرادی که پیش‌آزمون‌ها را ارزیابی می‌کنند نیز بایستی در زمینه‌ی آنچه مشاهده می‌کنند از دانش کافی برخوردار باشند. روان‌سنجی امری پیچیده است و کمتر مورد استقبال قرار نمی‌گیرد. برای طراحی صحیح آزمون و انجام پیش‌ آزمون، دانش طراح و مجری بایستی عمیق و گسترده باشد. برای آگاهی از نحوه‌ی اجرای پیش آزمونی صحیح و آنچه در فرایند پیش آزمون مورد سنجش قرار می‌گیرد، بایستی با اصول آزمون‌سازی، تحلیل شغلی، روایی شغلی، آمار و فاکتورهای فنی همراه با شغل مورد ارزیابی آشنا بود. مدت زمانی که فرد پیش از ارتقاء به عنوان افسر فرماندهی امنیت عمومی خدمت می‌کند و میزان تجربه‌ی او‌ به عنوان ارزیاب، با مجموعه مهارت‌های لازم مطابقت نکرده و برای مدیریت موثرکانون ارزیابی کافی نیست، همچنین جایگزینی برای صلاحیت حرفه‌ای و پیش‌آزمون خوب طراحی­شده­ تمرینات نمی‌باشد.

بنا بر مشاهده‌ی یکی از نویسندگان، مرکز مشاوره‌ی اورگون که ادعا می‌کند در ارزیابی واحد آتش نشانی متخصص است، صلاحیت مدیران مرکز ارزیابی خود را ابتدا بر مبنای تجربه‌ی آن‌ها به عنوان ارزیاب در کانون­های ارزیابی بخش آتش‌نشانی و به عنوان افسران فرماندهی تعیین می‌کند. این شرکت طرح پیشنهادی خود برای برگزاری آزمون‌های ارزیابی گزینش و ارتقاء را به دولت محلی ارائه کرده‌ و در آن هیچ تعهدی برای پیش آزمون تمرینات ذکر نکرده است، بلکه مجموعه‌ای از تمرینات از پیش ساخته شده را منتشر کرده که مشاوران ادعا می‌کنند به لحاظ شغلی معتبر است. ضمن اینکه طرح پیشنهادی این شرکت مبتنی بر هیچ یک از اصول رهنمودهای تدوین شده نیست.

فرایند پیش‌آزمون بایستی شامل ارزیابی پایایی بین مشاهده کنندگان و جلسه‌ی رفع اشکال ارزیاب‌ها، بازیگران تمرینات و شرکت کنندگان باشد. مدیران کانون­های ارزیابی با دانستن سوالاتی که بایستی پرسیده شود و آنچه باید مورد بررسی قرار گیرد می‌توانند تعیین کنند آیا تمرینات واقعا آنچه باید را می‌سنجد یا خیر. شرکت‌کنندگان بایستی ترغیب شوند تا با توجه به فرضیات و تصمیمات در مورد نحوه‌ی پاسخگویی به هر یک از تمرینات بازخوردی ارائه دهند. این اطلاعات بایستی با معیارهای محتوایی و ساختاری مطابقت داشته باشند.

6) ارزیاب‌های فاقدصلاحیت

تعیین ارزیاب در فرایند کانون ارزیابی به طور قابل توجهی بر روایی و پایایی فرایند تاثیر می‌گذارد. مطالعه‌ی اشمیت، اشنایدر و کوهن نشان می‌دهد ارزیاب‌هایی که داوطلبان را نمی‌شناسند، در مقایسه با ارزیاب‌هایی که داوطلبان فرایند ارزیابی را می‌شناسند، واقع‌گرایانه‌تر عمل می‌کنند. پژوهش لیونز نیز نشان می‌دهد مدیرانی که برای تکنیک‌های صحیح ارزیابی آموزش دیده‌اند نسبت به دانشجویان فلسفه‌ی سازمانی و صنعتی، در ارزیابی داوطلبان عملکرد بهتری ارائه می‌دهند.

ارزیاب‌ها بر اساس امتیاز مدیریتی و دانش و تخصص فنی‌شان در حوزه‌ی مورد ارزیابی انتخاب می‌شوند. عملکرد ناظران و مدیرانی که دو مرتبه بالاتر از موقعیت مورد ارزیابی هستند به اندازه‌ی عملکرد ارزیاب‌هایی که شخصا با وظایف شغلی داوطلبان آشنا هستند، تاثیرگذار نیست. تصمیم‌گیری برای انتخاب ارزیاب‌هایی که در خروجی کانون ارزیابی از حقوق مسلمی برخوردارند، مثلا ساکنان جامعه، اقدام حساسی است. این شرکت‌کنندگان، مانند دیگر ارزیاب‌ها، بایستی بتوانند میان صلاحیت‌های شغلی داوطلبان تمایز قائل شوند. اگر افرادی که برای سمَت ارزیابی داوطلب شده‌اند، مهارت‌های لازم برای انجام وظایف کانون ارزیابی را نیاموخته‌ باشند، نباید به عنوان ارزیاب در فرایند ارزیابی حضور پیدا کنند. آن‌ها بایستی به عنوان “بازیگر” فرصتی برای شرکت در فرایند ارزیابی داشته باشند، اما حضور آن‌ها به عنوان ارزیاب بدون کسب مجموعه مهارت‌های لازم، اعتبار پیش‌بینی و هدف کانون ارزیابی را تضعیف می‌کند.

7) آموزش ناکافی ارزیاب‌ها

ارزیاب‌های فرآیند کانون ارزیابی معمولا از میان متخصصان حوزه‌ی موردنظر، نمایندگان جامعه با نگاهی به ارزش‌های محلی یا افرادی با مهارت‌های منحصربفرد در ارزیابی رفتاری انتخاب می‌شوند. رهنمودهای کانون ارزیابی توصیه می‌کنند ارزیاب‌ها در مورد فرایند مشاهده و دسته‌بندی ابعاد و رفتارها آموزش فشرده دریافت کنند و برای رده‌بندی صحیح داوطلبان از مهارت لازم برخوردار باشند.

رهنمودها اهداف زیر را به عنوان ارکان اصلی آموزش ارزیاب‌ها معرفی می‌کنند:

الف) آگاهی کامل از سازمان و شغل/خانواده‌ی شغلی یا گروه‌های هنجاری مورد ارزیابی جهت ارائه‌ی بستری موثر برای قضاوت‌های ارزیاب.

ب) آگاهی و درک کامل ابعاد ارزیابی، تعاریف ابعاد، ارتباط با عملکرد شغلی و نمونه‌هایی از عملکرد موثر و غیرموثر.

ج) آگاهی و درک کامل تکنیک‌های ارزیابی، ابعاد مربوط برای مشاهده در هر قسمت از کانون ارزیابی، رفتار مورد انتظار یا معمول، نمونه‌ها یا مثال‌هایی از رفتارهای واقعی و غیره.

د) توانایی ثابت شده در مشاهده، ثبت و دسته‌بندی رفتار در ابعادی شامل آگاهی از فرم‌هایی که در مرکز مورد استفاده قرار می‌گیرند.

ز) آگاهی و درک کامل روندهای ارزیابی و رده‌بندی، شامل نحوه‌ی یکپارچه‌سازی داده‌ها.

هـ) آگاهی و درک کامل سیاست‌ها و تمرینات ارزیابی سازمان، شامل محدودیت‌هایی در نحوه‌ی استفاده از داده‌های ارزیابی  وقتی که الزامی برای ارزیاب‌ها باشد.

و) آگاهی و درک کامل روندهای بازخورد در هر کجا که لازم باشد.

ی) توانایی ثابت شده در ارائه‌ی بازخورد دقیق به صورت شفاهی و کتبی زمانی­که بازخورد توسط ارزیاب داده شود.

گاهی ارزیاب‌ها علاوه‌بر ارزیابی تمرینات، برای شرکت در سناریوهای بازیگری یا تمرینات تعاملی نیز آموزش می‌بینند. اگرچه ممکن است نوع و مدت زمان آموزش ارزیاب‌ها بر اساس تجربه و پیچیدگی فرایند ارزیابی متفاوت باشد، اما زمان استاندارد آموزش برای هر روز از فرایند، دو روز است. لوری ضمن مطالعه‌ی آموزش ارزیاب در کانون­های ارزیابی بخش عمومی، می‌گوید آموزش کافی ارزیاب‌ها بارها چالش به حساب آمده و روایی کانون ارزیابی را تحت تاثیر قرار داده است. برخی از کانون­های ارزیابی که تحت حمایت مالی نیروی پلیس حرفه‌ای ایالت یا سازمان‌های آتش‌نشانی هستند، بر مبنایی تکراری و بدون آموزش و با توجه به جوانب منحصربفرد ابعاد یا تمرینات کانون ارزیابی، از ارزیاب‌ها دعوت به همکاری می‌کنند. عدم آموزش کافی ارزیاب‌ها نگرانی اصلی گروه‌های ویژه‌ای است که موظف به توسعه و بهبودرهنمودها هستند و از مشاهدات ما چنین معلوم است که نگرانی‌های آن‌ها به خوبی  موجه است.

8) آمادگی ناکافی داوطلبان

رهنمودها به روشنی بیان می‌کنند که داوطلبان بایستی پیش از شروع فرایند آزمون کاملا از فرایند کانون ارزیابی آگاه باشند. علیرغم این موضوع، با اینکه فرصت‌های ارتقاء برای بسیاری از کارمندان امنیت عمومی شهری از اولویت بالایی برخوردار است، اما بسیاری از سازمان‌ها به درستی داوطلبان را برای فرایند ارزیابی آماده نمی‌کنند. هرچند، بعضی از شهرداری‌ها به این وظیفه پایبند بوده و به بهترین شکل داوطلبان را آگاه می‌سازند. یکی از انجمن­های یوتا خلاصه‌ای جامع و کتبی از فرایند کانون ارزیابی را در اختیار هر یک از داوطلبان آزمون ارتقاء نیروی پلیس قرار داده و در آن فرآیند را با جزئیات توضیح داده است. همچنین به داوطلبان یک کپی به‌روز‌رسانی شده از توصیف شغلی ارائه داده، که برای تعیین معیارهای شغلی مورد استفاده قرار می‌گیرد؛ علاوه‌براین، ابعاد مورد سنجش در فرایند ارزیابی پیش‌ِ رو را نیز با جزئیات شرح داده ‌است. داوطلبان فرصت داشتند تا به طور رسمی سوالاتی درباره‌ی فرآیند بپرسند و به صورت گروهی اطلاعات کتبی منتشر شده را مرور کنند.

رهنمودهای 2000 اطلاعات پایه‌ای زیر را برای تمامی داوطلبان به روشنی تعریف کرده است:

1. اهداف. اهداف برنامه و هدف کانون ارزیابی. سازمان می‌تواند پیش از ارزیابی، ابعاد سنجیده شده و ماهیت کلی تمرینات را منتشر کند.
2. گزینش. نحوه‌ی انتخاب افراد برای شرکت در مرکز.
3. انتخاب‌(ها). هر گزینه‌ای که در مورد اختیار مشارکت در کانون ارزیابی با عنوان شرایط استخدام، پیشرفت، توسعه و غیره در اختیار افراد قرار می‌گیرد.
4. کارمندان. اطلاعات کلی درباره‌ی کارمندان ارزیاب، شامل ترکیب تیم ارزیاب‌ها و آموزش آن‌ها.
5. مفاد. سازمان چه مفاد ارزیابی (کامل شده توسط افراد) را جمع‌آوری و نگهداری می‌کند.
6. نتایج. نتایج مرکز ارزیابی چگونه استفاده می‌شوند و نتایج ارزیابی باید چه مدت در قالب فایل حفظ شود.
7. بازخورد. چه زمانی و چه نوع بازخوردی به شرکت‌کنندگان ارائه می‌شود.
8. ارزیابی مجدد. روند ارزیابی مجدد (در صورت لزوم).
9. دسترسی. چه کسی و تحت چه شرایطی به گزارش‌های کانون ارزیابی دسترسی دارد.
10. تماس. چه کسی مسئول برقراری تماس و ثبت است و نتایج کجا ذخیره و بایگانی می‌شوند.

علیرغم این رهنمودهای مشخص، گاهی کانون­های ارزیابی بدون گرایش به هیچ یک از انواع الزامات اداره می‌شوند و اطلاعات کافی در زمینه‌ی فرایند کانون ارزیابی در اختیار داوطلبان قرار نمی‌گیرد.

9) مستندسازی و امتیازدهی نامنظم رفتار

فرآیند رسمی مشاهده و دسته‌بندی رفتارهای داوطلبان، مهارتی اساسی در کانون ارزیابی به حساب می‌آید. انتظار می‌رود ارزیاب‌ها مهارت‌های لازم برای مستندسازی دقیق از رفتارهای داوطلبان را بدون ذره‌ای توصیف شخصی توسعه دهند. گوگلر و تورنتون باوردارند میان دقت امتیازدهی ارزیاب با تعداد ابعاد مورد ارزیابی ارتباطی وجود دارد و می‌گویند زمانی­که تعداد ابعاد نسبتا کم باشد، دقت ارزیاب به طور محسوسی افزایش پیدا می‌کند. فرایند مستندسازی رفتار بسیار مهم است، زیرا دقت در توصیف، اساس ارزیابی اجماعی رفتار است.

اگرچه آموزش ارزیاب‌ها ضروری است، اما نقش مدیر کانون ارزیابی در رفع اشکال و تسهیل توصیفات ارزیاب‌ها در مورد داوطلبان بسیار مهم است. مدیران وظیفه‌شناسی که به خوبی آموزش دیده‌اند به ارزیاب‌ها اجازه نمی‌دهند در گزارش رفتارهای داوطلبان از توصیفات شخصی استفاده کنند. حتی مدیرانی که کانون­های ارزیابی زیادی را اداره کرده­اند ممکن است به دام بیفتند و ارزیاب‌ها در توصیف شخصی اقدامات داوطلبان سهل انگاری کنند. در یکی از کانون­های ارزیابی واشینگتون برای آزمون ارتقاء واحد نیروی پلیس شهری، ارزیاب‌ها اجازه داشتند در مورد عملکرد داوطلبان قضاوت شخصی کنند. فرایند بازخورد صحیح مستلزم آن است که ارزیاب‌ها توصیفاتی مشخص و واقع‌گرایانه ارائه دهند. زمانی­که این استاندارد زیر پا گذاشته شود، اعتبار پیش‌بینی  فرآیند ارزیابی قدرت خود را از دست می‌دهد.

فرآیند مورد استفاده برای امتیازدهی دقیق به داوطلبان در تمرینات ارزیابی بسیار مهم است و شامل شناخت و توصیف رفتارهای داوطلب و امتیازدهی برای هر بُعد در بازه‌ی امتیازات تعیین شده است. زمانی­که ارزیاب‌ها نظرات مخالفی در خصوص داوطلبان داشته باشند، فرصتی برای بحث و گفتگو کلی درباره‌ی عملکرد هر داوطلب در طول فرآیند وجود دارد. فرصتی که برای به اشتراک گذاری کامل و واقع‌گرایانه‌ی اطلاعات و ارائه‌ی ارزیابی نهایی به صورت گروهی و بر اساس بازخورد و اطلاعات هر یک از ارزیاب‌ها داده می‌شود، نقش کلیدی و تعیین کننده‌‌ای در ارزیابی داوطلبان دارد. پژوهش سکت و ویلسون نشان می‌دهد آموزش موثر ارزیاب‌ها و تسهیل مدیریت کانون ارزیابی به شناخت مشکلات همراه با اختلاف نظر ارزیاب‌ها کمک کرده و تاثیرگذاری فردی و بی‌جهت ارزیاب‌ها را بر نتایج جمعی کاهش می‌دهد.

روایی کانون ارزیابی به این علت حاصل می‌شود که نقاط قوت و مشاهدات طرح‌محور، یا چارچوب محرک‌های مرجع که دانش را به صورت جهانی ارزیابی می‌کنند را با مشاهدات رفتارمحوری که جزئیات خاص رویدادها را ردیابی می‌نماید، ترکیب می‌کند. ترکیب دو رویکرد مزایای هر دو دیدگاه را در فرآیند ارزیابی به دنبال دارد. زمانی­که ارزیاب‌ها هر دو مشاهده‌ی طرح‌محور و رفتارمحور را آموزش ببینند، توانایی‌شان برای مشاهده و ارزیابی دقیق عملکرد داوطلبان افزایش پیدا می‌کند. امتیازدهی بُعد و روایی افتراقی زمانی تضعیف می‌شود که داوطلبان و مدیر کانون ارزیابی این مفاهیم کلیدی برای آگاهی ارزیاب را به درستی درک نکنند.

10) استفاده‌ی نادرست از نتایج

فرایند کانون ارزیابی منبعی سودمند برای سازمان‌های بخش عمومی جهت ارزیابی ابعاد رفتاری مربوط به مشاغل داوطلبان است. هرچند، مانند دیگر فرایندهای گزینشی، کانون ارزیابی نیز نمی‌تواند بدون هیچ نقصی موفقیت شغلی تمامی داوطلبان را پیش‌بینی کند. بر این اساس، بایستی به فرایند کانون ارزیابی به عنوان ابزاری برای سازمان‌ها نگاه کرد و نه آخرین ابزار جهت ارزیابی داوطلبان. اگر پیش از فرآیند به شناخت درستی از نحوه‌ی استفاده از نتایج کانون ارزیابی دست پیدا نکنیم، ممکن است این نتایج به نادرستی مورد استفاده قرار گیرند.

مانند هر ابزار گزینشی دیگری، می‌توان برای فرایند کانون ارزیابی نیز از قبل آماده شد و داوطلبان می‌توانند با نشان دادن رفتاری مغایر با عملکرد واقعی شغل خود در این فرایند با شکست مواجه شوند. معمولا برای پرسنل امنیت عمومی کلاس‌های آموزشی دایر است، این کلاس‌ها یا به طور مستقیم به داوطلبان برای آمادگی در آزمون کانون ارزیابی کمک می‌کند و یا تحت عناوینی در برنامه‌ی آموزشی‌شان گنجانده می‌شود. علاوه‌براین، کتاب‌های‌ زیادی در توصیف فرایند کانون ارزیابی برای پرسنل امنیت عمومی نوشته شده‌اند. داوطلبانی که با این فرایند آشنا هستند یا تمرینات مشابهی را انجام داده‌اند می‌توانند امتیاز بالاتری در کانون ارزیابی کسب کنند.

رهبران امنیت عمومی که کاملا بر اساس فرایند کانون ارزیابی در مورد گزینش و ارتقاء تصمیم‌گیری می‌کنند، یا کسانی که به نتایج کانون ارزیابی بی‌توجه‌اند به خود و واحد تصمیم‌گیری خود صدمه می‌زنند. مدیران و متخصصان منابع انسانی هوشمند می‌دانند فرایند کانون ارزیابی تنها یکی از منابع سودمند برای اطلاعات گزینشی و ارتقایی است و بایستی با توجه به موضوع، مورد استفاده قرار گیرند. کارمندان و مدیران می‌دانند فرایندهای گزینشی در ارزیابی داوطلبان محدودیت‌هایی دارند. برای تصمیم‌گیری بایستی پیش‌تر در مورد گزینش، استانداردهایی تعریف شوند، عمومی‌سازی این استانداردها گامی است که می‌تواند هنگام اعلام عمومی نتایج ارتقاء، پاسخ مثبتی برای سازمان امنیت عمومی و رهبران آن در پی داشته باشد.

یکی از نویسندگان شاهد دو موقعیت بود که در آن نتایج ارزیابی برای اهدافی متفاوت با آنچه ابتدا اعلام و منتشر شده بود، استفاده شد. در یک سازمان که فرایند کانون ارزیابی ظاهرا برای اهداف توسعه‌ای برگزار شد، نتایج ارزیابی در واقع برای تصمیم‌گیری درباره‌ی ارتقا رتبه کارمندان مورد استفاده قرار گرفت. در موردی دیگر، ناظران از نتایج برنامه‌ی ارتقایی برای توجیه رده‌بندی ارزیابی عملکرد در سنجش عملکرد شغلی استفاده کردند.

  توصیه‌­هاتصمیم به استفاده از فرایند مرکز ارزیابی با اهداف ارتقایی، برای مدیران منابع انسانی شهری، مدیران امنیت عمومی و اعضای هیئت خدمات مدنی تصمیمی هوشمندانه است. هرچند، همان­طور که ده خطای شناخته‌شده در کانون ارزیابی که در این مقاله آمده نشان می‌دهد، فرآیند کانون ارزیابی با انواع مشکلات احتمالی که نتایج را تحریف کرده و اعتبار پیش‌بینی شده را از بین می‌برند نیز تضعیف می‌شود. ما در تلاشی برای کمک به تصمیم‌گیرندگان مسائل شهری با استفاده از کانون­های ارزیابی، این ده خطای شناخته‌شده را شناسایی کرده‌ایم. همچنین در زیر چند توصیه ویژه ارائه می‌دهیم:

1. دانش خود را از فرایند افزایش دهید. تعدادی کتاب‌ خوب در زمینه‌ی فرایند کانون ارزیابی وجود دارد. همچنین مقالات زیادی درباره‌ی این فرایند نوشته شده که واقعا آسیب‌زا و خطرناک هستند. افراد بایستی مطالعه‌ی گسترده‌ای داشته باشند تا در دام رویکردهای “کتاب‌های آشپزی” نیفتند.
2. رهنمودها را بشناسید. افرادی که به طور جدی به اداره‌ی کانون ارزیابی فکر می‌کنند باید رهنمودها و ملاحظات اخلاقی در عملیات‌ کانون ارزیابی را به دقت خوانده و به طور کامل مورد بحث قرار دهند. رهنمودها برای اطمینان از درک صحیح استانداردهای کانون ارزیابی و پیروی از آن نوشته شده‌اند. متاسفانه، بسیاری از متخصصان خودخوانده کانون ارزیابی کاملا با رهنمودها ناآشنا بوده و یا از آن تبعیت نمی‌کنند.
3. از رهنمودها پیروی کنید. معیارهای داخلی تعریف شده برای اداره‌ی کانون­های ارزیابی، یا معیارهای مشخص شده برای ارزیابی مشاوران یا آژانس‌های دولتی خارجی که خدمات ارزیابی ارائه می‌دهند، به رهنمودها ضمیمه شده است. با اینکه رهنمودها موفقیت فرایند کانون ارزیابی شما را تضمین نمی‌کنند، فرایندی که از رهنمودها پیروی نمی‌کند معتبر نبوده و شانس موفقیت بالایی ندارد.

این سه توصیه احتمال اینکه سازمان‌ها برای جذب نیرو و شناخت و گزینش داوطلبان مناسب، به دنبال اجرای ارزیابی‌های ارتقایی باشند را افزایش می‌دهد.

با اینکه فرایند ارزیابی در گزینش داوطلبان برای موقعیت‌های شغلی حاشیه‌ای و مدیریتی، ارزش پیش‌بینی شده‌اش را اثبات کرده است، اما تجربه‌ی بسیاری از سازمان‌ها نشان می‌دهد این فرایند زمانی موفق‌تر عمل می‌کند که کانون­های ارزیابی استانداردها و رهنمودهای تاییدشده را دنبال کنند. در توصیف ده خطای شناخته‌شده در کانون­های ارزیابی، ما نگاهی به نحوه‌ی تضعیف یا تشویق ذینفعان برای آگاهی بیشتر در مورد دلایل شکست کانون ارزیابی داشته‌ایم. با اینکه متخصصان ارزیابی فاقد شرایط و خودخوانده زیادی وجود دارند، ما از تعداد زیادی از سازمان‌هایی که با موفقیت از رهنمودهای کانون ارزیابی پیروی کرده‌اند و نتایج فوق‌العاده‌ای برای جوامع و کارمندان خود به همراه داشته‌اند نیز آگاهیم.