وقتی یک دستیار را برای یک مجموعه می‌سازیم، بخش اول کار سریع پیش می‌رود. دستیار به مستندات وصل می‌شود، سؤال‌های نمونه را خوب جواب می‌دهد و همه راضی‌اند. بخش دوم — که معمولاً دو برابر طول می‌کشد — تعریف مرزهاست.
خطای مطمئن، بدترین حالت است
یک دستیار که می‌گوید «مطمئن نیستم، بگذارید به همکارم وصل کنم» قابل مدیریت است. دستیاری که با اعتمادبه‌نفس یک قیمت اشتباه می‌دهد، به مشتری آسیب می‌زند و اعتماد به کل سیستم را از بین می‌برد.
به همین دلیل در ارزیابی‌هایمان، پاسخ اشتباهِ مطمئن را جدی‌تر از «نمی‌دانم» وزن می‌دهیم.
مرزها را از کجا بیاوریم
مرز را نباید حدس زد. از دادهٔ واقعی می‌آید: پیام‌های گذشته را دسته‌بندی می‌کنیم و با تیم تصمیم می‌گیریم کدام دسته اصلاً نباید به دستیار سپرده شود.
- هر چیزی که پیامد حقوقی، مالی یا سلامتی دارد.
- مواردی که پاسخ درست به قضاوت انسانی نیاز دارد، نه به اطلاعات.
- موضوعاتی که مستندات معتبر و به‌روزی برایشان وجود ندارد.
- شکایت‌ها و موقعیت‌های احساسی.
ارزیابی، قبل از اعتماد
قبل از اینکه دستیار وارد مسیر اصلی شود، یک مجموعهٔ ارزیابی از سؤال‌های واقعی می‌سازیم — شامل سؤال‌هایی که جواب درستشان «نمی‌دانم» است. تا وقتی نتیجه پایدار نشده، دستیار در حالت پیشنهاد به انسان می‌ماند، نه پاسخ مستقیم.
مجموعهٔ ارزیابی — سه دسته
۱. پاسخ‌پذیر → باید درست و با ارجاع به منبع پاسخ بدهد
۲. مرزی → باید به انسان ارجاع بدهد
۳. خارج از دامنه → باید صریح بگوید نمیدانددستیاری که نیمی از سؤال‌ها را جواب می‌دهد و نیم دیگر را درست ارجاع می‌دهد، از دستیاری که همه را جواب می‌دهد و ده درصد را اشتباه می‌گوید، بسیار ارزشمندتر است.