مثال ،یک حلقه تو در تو باید امتیاز باالتری اسکرچ جونیور نسبت به حلقه تکرار کسب کند .عالوه بر این ،برای اطمینان از اینکه روبریک طیف وسیعی از قابلیتها را به خود اختصاص میدهد ،امتیازدهی روبریک از امتیاز 3-1به 4-1تغییر یافت. امتیازدهی امتیاز هر زیرگروه با توجه به سطح تسلط مفهومی می تواند از 1تا 4امتیاز متغیر باشد .پروژه باید چالش برانگیزترین مفهوم را برای کسب باالترین امتیاز در هر زیررده نشان دهد (به پیوست 1مراجعه کنید) .شش دسته برای مفاهیم کدگذاری وجود دارد ،بنابراین حداکثر امتیاز برای این معیار 24امتیاز است .عالوه بر این ،هفت دسته برای طراحی پروژه وجود دارد ،اما حداکثر امتیاز تنها به 16امتیاز محدود شده است .هدف این بود که وزن بیشتری ( )٪60به مفاهیم کدگذاری نسبت به عناصر طراحی زیبایی شناختی ( )٪40بدهیم .بنابراین 40 ،امتیاز حداکثر امتیازی است که هر پروژه ScratchJrمی تواند به آن برسد .نسبت وزنی -60 40در روبریک پروژه ScratchJrبا توجه به امتیازدهی روبریک پروژه KIBOاستفاده شد .روبریک پروژه KIBOبرای ارزیابی پروژه های رباتیک دوران کودکی توسعه یافته و آزمایش شده است .روبریک همچنین اعتبار و پایایی را نشان می دهد (& Govind .)Bers, 2021 مرحله تکرار :خالصه اسکرچ جونیور تغییرات روبریک به دلیل تنوع پروژه های ، ScratchJrدورهای متعددی از بازنگری روبریک وجود داشت و چندین ارزیاب در این فرآیند شرکت داشتند .یکی از چالش برانگیزترین جنبهها در فرآیند بازنگری ،طراحی روبریک به اندازهای گسترده بود که بتواند طیف گستردهای از پروژهها را پوشش دهد ،اما به اندازهای خاص باشد که در بین رتبهدهندگان مختلف قابلیت اطمینان داشته باشد .به عنوان مثال، یک کاراکتر ممکن است هیچ کد ،کدهای غیر کاربردی ،یک کد عملکردی یا چندین کد عملکردی نداشته باشد .پروژههای ScratchJrمیتوانند بسیار انتزاعی باشند ،مخصوصا ً زمانی که هیچ کلمه یا روایتی وجود نداشته باشد که بگوید بچهها قصد دارند چه چیزی خلق کنند .این مشاهدات با یافته های مطالعه رایت همسو بود ( )2010که داستان سرایی کودکان خردسال می تواند برای بینندگان خارجی پایان باز و مبهم باشد. پس از اینکه دیدیم که عملکردهای بلوکها اغلب توسط کودکان مورد سوء استفاده قرار میگیرد ،معیارهای امتیازدهی بسیاری از زیرمجموعهها را بازبینی کردیم تا خلق هدفمند را به تصویر بکشیم .نمونه ای از دو دنباله که فرمان یکسانی دارند ،حرکت به سمتO راست و سپس حرکت به سمت باال ،در شکل نشان داده شده است . 4 .با این حال ،دنباله باال دارای چهار بلوک است که هیچ تغییری در برنامه ایجاد نکرده است و ما این اسکرچ جونیور بلوک ها را به عنوان سوء استفاده شناسایی می کنیم .به طور خاص ،بلوک دوم در دنباله باالیی یک بلوک ظاهر است که تغییری در کاراکتر ایجاد نمی کند ،زیرا این کاراکتر همیشه قابل مشاهده بوده است. عالوه بر این ،بلوک سوم و بلوک پنجم بلوک های سرعت منظم و اندازه منظم هستند. یک فایل خارجی که دارای یک تصویر ،تصویر و غیره است.نام شی Fig4_HTML.jpg_10873_2021_10639استشکل. 4مقایسه بین دو دنباله مختلف با اعمال یکسان برای ثبت خالقیتهای هدفمند ،ارزیابها فقط بلوکهایی را ارزیابی کردند که اقداماتی را انجام میدهند که میتوان دید یا شنید. بنابراین ،تحت مفهوم "توالی" ،ارزیاب ها هر دو دنباله را در شکل 1می شمارند 4 .برای داشتن تعداد بلوک یکسان (به استثنای بلوک های استفاده نشده) و امتیاز یکسان .عالوه بر این ،روبریک یک کاراکتر را به عنوان دارای حداقل یک بلوک کدگذاری تعریف میکند ،در حالی که کاراکترهای بدون بلوک کدگذاری به عنوان بخشی از پسزمینه در نظر گرفته میشوند ،زیرا اغلب دیدهایم که به عنوان تزئین پسزمینه استفاده میشوند اسکرچ جونیور .به عنوان مثال ،یک میز در اتاق خواب ،یک خورشید و ستاره در آسمان ،و دوستان ایستا در کالس درس. مراحل تکرار و نهایی کردن :قابلیت اطمینان بین ارزیاب در مرحله تکرار ،نویسنده اول این مقاله و سه ارزیاب هر کدام 245پروژه 176 ،پروژه امتیازدهی تمرینی و 69پروژه امتیازدهی نهایی (با یک موضوع نهایی) را ارزیابی کردند .همه معیارهای پروژههای امتیازدهی نهایی دارای امتیاز پایایی بین ارزیاب کافی بودند (آف کریپندورف> ،)0.80میانگین امتیاز پایایی بین ارزیابها 0.89بود که از 0.82تا 1.00متغیر بود. در مرحله نهاییسازی ،دو ارزیاب جدید با نویسنده اول این مقاله ،تست قابلیت اطمینان بین ارزیابها را انجام دادند .اگرچه ایدههای اصلی روبریک نهایی دستنخورده باقی ماندند ،اما اسکرچ جونیور برای شفافتر شدن ،عبارت روبریک اصالح شد .سپس رتبهبندیهای جدید تقریبا ً 30ساعت را صرف کردند و هر کدام 100پروژه تمرینی را به عنوان بخشی از آموزش خود درجهبندی کردند .امتیازدهندگان بسته به پیچیدگی و طول هر پروژه تا دو دقیقه طول میکشند تا امتیاز دهند .در 42پروژه جدید که در مرحله