فرض کنید چت‌بات مستندات شما صفحه درست را پیدا میکند، اما آن را پایین‌تر از چند صفحه کم‌ارتباط قرار می‌دهد. بزرگ‌ترکردن مدل پاسخگو ممکن است این مشکل را حل نکند؛ مسئله قبل از تولید پاسخ و در انتخاب زمینه رخ داده است. Reranking یا بازرتبهبندی، نام مرحله‌ای است که نامزدهای جست‌وجو را دوباره با پرسش کاربر مقایسه میکند. این مقاله جای آن را در RAG توضیح می‌دهد و سپس Rerank 5 شرکت Cohere را به‌عنوان یک گزینه تازه بررسی میکند.
اطلاعات نسخه‌ای در ۲۲ اکتبر ۲۰۲۶ بررسی شده است. خانواده Rerank 5 در یادداشت رسمی ۲۱ اکتبر معرفی شده؛ این راهنما بنچمارک مستقل فارسی یا تأیید موجودبودن این مدل در پاستا نیست. API مستقیم Cohere، کلید و صورتحساب خودش را دارد. نقش پاستا در معماری پیشنهادی، تأمین Embedding و مدل پاسخگو از کاتالوگ فعلی و میزبانی برنامه است، نه یک endpoint فرضی برای Rerank. این تفکیک از همان ابتدا جلوی تنظیمات اشتباه و انتظار نادرست را میگیرد.
Rerank چه مشکلی را حل میکند و چه مشکلی را نه؟
جستوجوی اولیه معمولاً برای پیدا‌کردن سریع مجموعه‌ای از نامزدها طراحی می‌شود. تطبیق واژه، بردار معنایی یا ترکیب آن‌ها هرکدام بخشی از مسئله را پوشش می‌دهند. بازرتبهبندی روی همان مجموعه محدود کار میکند تا ترتیب مناسب‌تری بسازد. اگر صفحه درست اصلاً وارد مجموعه نشده باشد، مرتب‌سازی دوباره آن را از هیچ ایجاد نمیکند. به همین دلیل، ابتدا باید کیفیت بازیابی اولیه را بسنجید و سپس سراغ بهینه‌سازی ترتیب بروید.
یک نمونه آموزشی را در نظر بگیرید: کاربر می‌پرسد «بعد از لغو سرویس، نسخه پشتیبان تا چه زمانی قابل دریافت است؟» نتیجه‌ای که فقط چند بار کلمه نسخه پشتیبان دارد ممکن است از سیاست نگهداری کم‌اهمیت‌تر باشد. معیار مناسب، شباهت ظاهری جمله‌ها نیست؛ سند باید پاسخ همین پرسش را پوشش دهد. در راهنمای جستوجوی ترکیبی در RAG، بخش بازیابی توضیح داده شده است. این مقاله مرحله بعد از آن را تکمیل میکند، نه اینکه جای آن را بگیرد.
Embedding، Rerank و مدل پاسخگو سه کار متفاوت دارند
Embedding نمایش عددی متن را برای جست‌وجو می‌سازد؛ Rerank نامزدها را نسبت به یک پرسش مرتب میکند؛ مدل مولد، پاسخ قابل خواندن می‌نویسد. استفاده از یکی، نیاز به کنترل دو بخش دیگر را حذف نمیکند. اگر متن سند قدیمی باشد، حتی رتبه اول هم منبع صحیحی نیست. اگر مدل نهایی اجازه داشته باشد خارج از سند حدس بزند، زمینه خوب نیز مانع همه پاسخ‌های نادرست نمی‌شود. برای هر مرحله، ورودی، خروجی و آزمون جدا تعریف کنید.
| مرحله | خروجی مورد انتظار | آزمون اصلی |
|---|---|---|
| بازیابی | نامزدهای دارای مجوز | وجود سند مرجع در مجموعه |
| بازرتبهبندی | ترتیب مرتبط‌تر نامزدها | جایگاه پاسخ مرجع |
| تولید پاسخ | پاسخ مستند با ارجاع | صحت ادعا و وفاداری به منبع |
برای شروع، راهنمای Embedding چیست و آموزش ساخت RAG با Embedding و pgvector پیش‌نیاز مناسبی‌اند. در سیستم موجود، لازم نیست فقط به دلیل تعویض بازرتبه‌بند همه بردارها را دوباره بسازید. بااین‌حال، اگر مدل Embedding یا شیوه قطعه‌بندی عوض شود، موضوع سازگاری و بازسازی نمایه همچنان مستقل باقی می‌ماند. این دو نوع تغییر را در یک آزمایش مخلوط نکنید.
در Rerank 5 چه چیزی تازه است؟
طبق اعلام رسمی Cohere، دو شناسه rerank-v5.0-pro و rerank-v5.0-fast معرفی شده‌اند. خانواده جدید، Context Focus و امتیاز ارتباط را ارائه میکند. انتخاب Pro یا Fast را فقط از روی نام انجام ندهید؛ کیفیت رتبه‌بندی، تأخیر و هزینه باید روی مجموعه پرسش خودتان مقایسه شوند. امتیاز بالاتر در معرفی سازنده، شاهد مستقلی درباره قراردادهای فارسی، اسناد دارای OCR یا پرسشهای کوتاه محاوره‌ای شما نیست.
در مستند فعلی مدل، Context Focus به‌صورت پیش‌فرض خاموش است و میتواند بازه‌های مرتبط متن را برگرداند. برای پرسش کلی مثل خلاصهسازی کل قرارداد، حذف بخش‌های ظاهراً کم‌ارتباط ممکن است زمینه لازم را از بین ببرد. بنابراین پیش از کوتاه‌کردن زمینه، نوع کار را مشخص کنید: یافتن پاسخ موضعی با خلاصهسازی سند یا استخراج همه تعهدات یکسان نیست. این تصمیم معماری را به یک آستانه عمومی و ثابت واگذار نکنید.
معماری پیشنهادی با Embedding و API پاستا
یک مسیر قابل پیاده‌سازی این است: اسناد مجاز را قطعه‌بندی کنید، بردارها را با مدل موجود در API هوش مصنوعی پاستا بسازید و کنار متن و شناسه منبع نگه دارید. هنگام پرسش، ابتدا محدوده کاربر و اسناد مجاز را تعیین کنید. سپس جستوجوی اولیه نامزد می‌دهد، سرویس بازرتبهبندی اختیاری ترتیب را تغییر می‌دهد و چند قطعه منتخب به مدل پاسخگو می‌رسند. تعداد نامزدها و قطعه نهایی در هر پروژه باید با آزمون تعیین شود.
برای نمونه می‌توانید از پنجاه نامزد به پنج قطعه برسید، اما این اعداد نقطه شروع فرضی‌اند و نتیجه اندازه‌گیری نیستند. در پاسخ‌های چندبخشی، پنج قطعه مشابه ممکن است از سه قطعه متنوع بدتر باشند. عنوان، تاریخ اعتبار، شناسه نسخه و نشانی مرجع را همراه متن نگه دارید تا پاسخ نهایی قابل پیگیری بماند. پاستا در این مسیر میتواند بخش بردارسازی و تولید متن را پوشش دهد؛ دسترسی Rerank 5 باید جدا از ارائه‌دهنده‌ای که واقعاً آن را عرضه میکند بررسی شود.