مشخصاتی که میتواند «نه» بگوید
مشخصات نوشتهشده یک قول است. ارزیابی (eval) قولی است که میتواند خودش را بسنجد.
در بیشتر سالهای کاریام، مشخصات سند بودند. بعضی بلند و رسمی، بعضی چند خط در یک تیکت، بعضی فقط در ذهن کسی. همه یک ضعف مشترک داشتند: نمیتوانستند بگویند کِی نقض شدهاند. مشخصاتی میتوانست بگوید «خروجی گرفتن باید سریع و مطمئن باشد» و محصول بیصدا کُند و شکننده شود، و آن مشخصات بیتغییر و بیخیال در پوشهای که کسی بازش نمیکرد بماند.
در چارسوک عادت کردهام ارزیابی را پیش از ویژگی بنویسم. نه بعدش، نه «هر وقت فرصت شد»، بلکه اول. شبیه توسعهٔ آزمونمحور است و خویشاوندش هم هست، اما یک تفاوت مهم دارد: بیشتر چیزهایی که میسازیم مبهماند. برای «یک منحنی حرکت برای این تیتر پیشنهاد بده» یا «این تدوین را مرتب کن» یک جواب درست وجود ندارد. جوابهای بهتر و بدتر وجود دارد، و فرقشان اغلب مسئلهٔ داوری است.
آزمونهای واحد بخشهای دقیق را پوشش میدهند. ارزیابیها بقیه را. و در محصولی بومیِ هوشواره (AI)، «بقیه» بیشترِ چیزی است که کاربران واقعاً به آن اهمیت میدهند.
چرا ضروری شد
وقتی نرمافزار کاملاً به دست انسان نوشته میشد، رفتارش فقط وقتی تغییر میکرد که کسی کد را تغییر میداد. میتوانستی تغییر را بازبینی کنی، بفهمیاش و دربارهٔ اثرهایش استدلال کنی. کیفیت آهسته منحرف میشد و معمولاً کسی متوجه میشد.
محصولات هوشواره (AI) از دو جهت فرق دارند.
اول، رفتارشان به چیزهایی بستگی دارد که به معنای سنتی کد نیستند: پرامپتها، نسخهٔ مدل، تنظیمات بازیابی، نمونهها، دما، و دادههای آموزشی مدلی که تو نساختهای. هر کدام از اینها میتواند تغییر کند، گاهی بیآنکه تو تصمیم به تغییرش گرفته باشی. ارائهدهندهٔ مدل نسخهای را بهروز میکند و رفتاری که با دقت تنظیم کرده بودی جابهجا میشود. هیچکس خطی کد ننوشته، اما محصول دیگر همان نیست.
دوم، تغییرهای بیشتر و بیشتری را عاملهای هوشواره (AI) انجام میدهند. در چارسوک، عاملها پرامپتها را تغییر میدهند، پایپلاینها را بازسازی میکنند و رویکردهای تازه پیشنهاد میدهند. سریعاند و اغلب زیرک. اما عاملی که پرامپتی را تغییر میدهد هیچ شهودی ندارد که محصول بهتر شد یا فقط متفاوت. راستش، من هم ندارم، مگر راهی برای سنجیدنش داشته باشم.
پس ارزیابیها همان چیزی شدند که محصول را ثابت نگه میدارند وقتی همهچیزِ اطرافش در حرکت است. حافظهٔ تصمیم ما دربارهٔ معنای «خوب»اند.
ارزیابی واقعاً چیست
گاهی آدمها ارزیابی را دستگاه پژوهشیِ پیچیدهای تصور میکنند. میتواند باشد، اما هستهاش ساده است. برای ما ارزیابی سه چیز است: مجموعهای از ورودیها که نمایندهٔ استفادهٔ واقعیاند، روشی برای نمره دادن به خروجیها، و آستانهای که توافق کردهایم برای انتشار کافی است.
همین. پیچیدگی از صادقانه انجام دادنِ هر یک از این سه کار میآید.
ورودیها از همه مهمترند
اوایل اشتباه رایج را کردم و از نمونههای تمیز و ساختگی استفاده کردم. بیست نمونهٔ مرتب نوشتم، از آنهایی که در دمو میگذاری: پروژهای منظم، درخواستی روشن، نسبت تصویر استاندارد. همهچیز نمرهٔ عالی گرفت. حس خیلی خوبی دربارهٔ کیفیتمان داشتم.
بعد کاربران واقعی آمدند. فایلهای شلوغ با نامگذاری ناهماهنگ داشتند. پروژههای نیمهکاره که هفتهها رها شده بودند. درخواستهایی به ترکیب فارسی و انگلیسی، گاهی در یک جمله. پروژههایی با سیصد کلیپ وقتی ما سیتا تصور کرده بودیم. فونتهایی که اسمشان را هم نشنیده بودیم. انتظاراتی که هرگز تصورش را نکرده بودیم.
نمرهها بیمعنا بودند، چون جهانی را میسنجیدند که وجود نداشت.
حالا نمونههای واقعی را، با اجازه، جمع میکنیم و نمونههای عجیب را نگه میداریم. بهویژه عجیبها را. مجموعهٔ ارزیابی خوب نمونهٔ نمایندهٔ استفادهٔ میانگین نیست. مجموعهای گزیده از موقعیتهایی است که محصولات در آنها میشکنند: لبهها، غافلگیریها، جاهایی که کاربر کار معقولی کرده که ما پیشبینیاش نکرده بودیم.
کمکم مجموعهٔ ارزیابیمان را نوعی حافظهٔ سازمانی دیدهام. هر بار چیزی در محیط واقعی خراب میشود، آن نمونه به مجموعه اضافه میشود. به مرور، مجموعه به سابقهای از همهٔ درسهایی بدل میشود که محصول به سختی آموخته. وقتی عضو تازهای از تیم یا عامل تازهای به سامانه دست میزند، مجموعهٔ ارزیابی در واقع به او میگوید: «این همهٔ چیزهایی است که تا امروز خراب شده؛ نگذار دوباره اتفاق بیفتد.»
نمره دادن به چیزی که نمرهپذیر نیست
بعضی چیزها راحت نمره میگیرند. خروجی گرفته شد؟ JSON معتبر است؟ زمانبندی با صدا جور است؟ اینها بررسیهای دوحالتهاند و همانطور مینویسیمشان که هر آزمون دیگری را.
بعضی چیزها داوری میخواهند. این انیمیشن روان است یا ارزان به نظر میرسد؟ این چیدمان روی صفحهٔ گوشی خواناست؟ این برش پیشنهادی به ریتم موسیقی احترام میگذارد؟ این توضیح برای یک تازهکار معنا دارد؟
برای داوری ترکیبی از رویکردها به کار میبریم، و یاد گرفتهام هر کدام نقاط قوت و خطرهای خودش را دارد.
داورهای مبتنی بر مدل سریع و ارزاناند. به مدلی معیار و خروجی میدهی و نمره میگیری. خطرش این است که معیار مبهم نمرهٔ مبهم میدهد. «کیفیت را از ۱ تا ۱۰ نمره بده» تقریباً بیفایده است. «آیا دکمهٔ اصلی بیشتر از هر عنصر دیگری به چشم میآید؟ بله یا نه بگو و به شاهد اشاره کن» خیلی بهتر است. هرچه پرسش مشخصتر باشد، پاسخ قابل اعتمادتر است.
مقایسهٔ دوتایی، در تجربهٔ من، قابل اعتمادترین روش برای کیفیت مبهم است. به جای «این چقدر خوب است؟» میپرسی «کدامیک از این دو بهتر است؟» انسانها و مدلها هر دو در مقایسه خیلی بهترند تا در داوری مطلق. خودتان میتوانید حسش کنید: سخت است بگویید چایی هفت میارزد یا هشت، اما آسان است بگویید از کدامیک از دو استکان بیشتر خوشتان میآید. وقتی نسخهٔ تازهٔ یک ویژگی را با نسخهٔ قبلی مقایسه میکنیم، داوریهای دوتایی روی صد نمونه تصویری بسیار روشنتر از هر نمرهٔ میانگینی میدهند.
بازبینی انسانی لنگرگاه است. هر داوری، چه مبتنی بر مدل چه مبتنی بر قاعده، منحرف میشود یا نقطههای کور دارد. بازبینی انسانیِ منظم، حتی روی نمونهای کوچک، داورهای خودکار را صادق نگه میدارد.
به داوری که با او مخالفت نکردهای اعتماد نکن
قانونی که برای خودم دارم: به داوری که هیچوقت با او مخالفت نکردهام اعتماد نکن.
اگر هیچوقت به نمرههای یک داور نگاه نکردهام و نگفتهام «نه، این غلط است»، یعنی به اندازهٔ کافی دقیق نگاه نکردهام. هر داوری شیوههای شکست خودش را دارد. داورهای مدلی اغلب خروجیهای بلندتر، زبان مطمئنتر یا خروجیهایی شبیه سبک خودشان را ترجیح میدهند. داورهای قاعدهمحور به هر چیزی که قاعده میسنجد پاداش میدهند و بقیه را نادیده میگیرند.
پس بخشی از ساختن یک ارزیابی، ارزیابیِ ارزیاب است. نمونهای از موارد را برمیداریم، با دست نمره میدهیم و با داور مقایسه میکنیم. هر جا اختلاف دارند، دقیق نگاه میکنیم. گاهی داور اشتباه میکند و معیار را اصلاح میکنیم. گاهی، که جالب است، داور درست میگوید و من اشتباه کردهام، و چیزی دربارهٔ نقطههای کور خودم یاد میگیرم.
این کاری کُند و دقیق است، و دقیقاً از آن نوع کارهایی است که راحت میشود از رویش پرید. اما همین کار تعیین میکند ارزیابیهایت ابزاری واقعیاند یا توهمی آرامشبخش.
ارزیابیها گفتوگو را عوض میکنند
بهترین اثر جانبی ارزیابیهای جدی، فرهنگی است.
بحثهای کیفیت قبلاً بحث سلیقه بود. کسی میگفت «به نظرم نسخهٔ جدید حس بهتری دارد»، دیگری مخالفت میکرد، و تصمیم به کسی میرسید که ارشدتر یا یکدندهتر بود. این بحثها فرساینده بودند و بهندرت به جایی میرسیدند.
حالا بحث نمونههاست. «این پرامپت جدید بهتر است» تبدیل میشود به «این پرامپت در بیشتر نمونهها میبرد، در این چند نمونه میبازد، و این نمونههای بازنده این ویژگی مشترک را دارند». این بخش آخر از همه ارزشمندتر است. نمونههای بازنده دقیقاً نشان میدهند رویکرد تازه کجا ضعیف است، که اغلب مستقیم به بهبود بعدی اشاره میکند.
شیوهٔ حرف زدنمان دربارهٔ بدهبستانها را هم عوض میکند. تقریباً هر تغییری بعضی نمونهها را بهتر و بعضی را بدتر میکند. بدون ارزیابی، فقط بهبودهایی را میبینی که امیدشان را داشتی. با ارزیابی، تصویر کامل را میبینی و میتوانی صادقانه تصمیم بگیری که آیا این معامله میارزد.
ارزیابیها و عاملهای هوشواره
وقتی عاملهای هوشواره (AI) بخشی از فرایند مهندسیات باشند، ارزیابیها حتی مهمتر میشوند.
وقتی عاملی پرامپت، مدل یا پایپلاین را تغییر میدهد، مجموعهٔ ارزیابی میگوید اوضاع بهتر شده یا فقط متفاوت. بدون آن، هر تغییری قمار است. با آن، عاملها میتوانند آزادانهتر کاوش کنند، چون توری ایمنی هست که پسرفتها را میگیرد.
نکتهای ظریف اینجاست. عاملها در بهینهسازی برای هر چیزی که میسنجی بسیار خوباند. اگر ارزیابیات فقط بررسی کند خروجی JSON معتبر است، عامل با خوشحالی JSON معتبر و بیفایده تولید میکند. اگر ارزیابیات فقط به کوتاهی پاداش دهد، خروجیهای موجزی تولید میکند که اصل مطلب را از دست میدهند. ارزیابیها فقط کیفیت را نمیسنجند؛ تعریفش میکنند، و عاملها آن تعریف را به معنای واقعی کلمه میگیرند.
برای همین میگویم ارزیابیها مشخصات تازهاند. در جهانی که عاملها بخش زیادی از ساختن را انجام میدهند، ارزیابی دقیقترین بیانِ چیزی است که واقعاً میخواهی. اگر ناقص باشد، محصول دقیقاً در همان جاها ناقص خواهد بود.
ارزیابی خوب چه ویژگیهایی دارد
به مرور چند اصل برای ارزیابیهایی که واقعاً کمک میکنند پیدا کردهام.
از دادهٔ واقعی استفاده کن. نمونههای ساختگی جای خودشان را دارند، بهویژه برای پوشش موارد نادر، اما هستهٔ مجموعه باید از استفادهٔ واقعی بیاید.
شکستها را نگه دار. هر مشکلِ محیط واقعی یک نمونه میشود. مجموعه باید با زخمهای محصول بزرگ شود.
پرسشهای مشخص را ترجیح بده. از داورها پرسشهای باریک و پاسخپذیر بپرس، نه نمرههای کلی.
مقایسه کن، نمره نده. برای هر چیز سلیقهای، داوری دوتایی از نمرهٔ مطلق بهتر است.
بررسیکننده را بررسی کن. نمرههای خودکار را مرتب با داوری انسانی مقایسه کن.
سریعش کن. اگر اجرای ارزیابیها ساعتها طول بکشد، آدمها دیگر اجرایشان نمیکنند. ما مجموعهای هستهای داریم که در چند دقیقه اجرا میشود و مجموعهای بزرگتر برای انتشارهای مهم.
خروجیها را بخوان. عددها خلاصهاند. هر چند روز یک بار خروجیهای خام اجرای ارزیابی را میخوانم، نه فقط نمرهها را. الگوهایی که عددها پنهان میکنند، وقتی پنجاه نمونه را پشت سر هم ببینی آشکار میشوند.
ارزیابی بهعنوان یک فلسفه
فراتر از فایدههای عملی، کمکم ارزیابیها را نوعی صداقت فکری دیدهام.
نوشتن ارزیابی مجبورت میکند پیش از شروع ساختن به این پرسش جواب دهی: «چه چیزی قانعم میکند که اشتباه کردهام؟» پرسش سختی است و بیشتر فرایندهای توسعهٔ محصول از آن طفره میروند. عاشق ایدهها میشویم و بعد دنبال شواهدی میگردیم که نشان دهد دارند جواب میدهند.
ارزیابیای که اول نوشته شود، تعهدی است که پیش از دل بستن داده شده. میگوید: موفقیت این شکلی است، و نتیجه را میپذیرم حتی اگر ناامیدم کند. از این نظر، چندان با شیوهٔ کار علم خوب فرق ندارد. فرضیه و آزمون را پیش از اجرای آزمایش بیان میکنی، نه بعد از آن.
سالهای مربیگری ریاضی و علوم کامپیوتر احترامی عمیق به این نوع انضباط در من گذاشت. اثبات اهمیتی نمیدهد چقدر دلت میخواهد قضیه درست باشد. ارزیابی اهمیتی نمیدهد چقدر عاشق آن ویژگی هستی. همین بیاعتنایی است که آنها را ارزشمند میکند.
کوچکتر از آنچه فکر میکنید شروع کنید
اگر با مدلها محصول میسازید و هیچ ارزیابیای ندارید، چارچوب نسازید. یک هفته صرف سنجیدن ابزارها نکنید. داشبورد طراحی نکنید.
بیست نمونهٔ واقعی را در یک فایل بنویسید. برای هر کدام به زبان ساده بنویسید «خوب» یعنی چه. پیش از هر تغییر اجرایشان کنید و خروجیها را خودتان بخوانید.
همین. بیست نمونهٔ اول بیشتر از یک ماه جلسهٔ نقشهٔ راه دربارهٔ محصولتان یادتان میدهد. نشانتان میدهد فرضهایتان کجا اشتباه بوده، کاربران کجا غافلگیرتان میکنند، و محصولتان کجا ضعیفتر از چیزی است که فکر میکردید.
به من که یاد داد. و از آن به بعد هر هفته مجموعه بزرگتر شده، و فهم ما از چیزی که میسازیم هم همراهش.