هزینه یک AI Agent فقط قیمت یک پاسخ مدل نیست. Agent ممکن است چند بار مدل را صدا بزند، ابزار اجرا کند، Retry داشته باشد و Context قبلی را دوباره بفرستد. اگر فقط هزینه هر یک میلیون توکن را مقایسه کنید، پرهزینهترین حلقهها و شکستهای بینتیجه دیده نمیشوند.
چه چیزهایی را برای هر اجرا ثبت کنیم؟
شناسه اجرا، مدل، تعداد گام، توکن ورودی و خروجی، زمان، ابزارهای فراخوانیشده، خطا، نتیجه نهایی و هزینه را کنار هم ذخیره کنید. Secret و متن حساس مشتری نباید وارد Trace خام شود.
برای هر Agent یک کلید و سقف جدا بسازید.
مدلها و قیمت را مقایسه و مصرف واقعی هر کلید را در پاستا دنبال کنید.
بودجه را پیش از شروع محدود کنید
برای هر Task سقف هزینه، تعداد گام و زمان پایان بگذارید. در API هوش مصنوعی پاستا کلید جدا برای Agent بسازید و مدل و سقف مصرفش را محدود کنید. کنترل داخل Agent را هم نگه دارید؛ سقف کلید آخرین مرز است، نه جایگزین توقف حلقه.
if (run.cost > budget || run.steps >= maxSteps) stop("budget_exceeded")Eval کوچک اما تکرارپذیر بسازید
از ۲۰ تا ۵۰ نمونه واقعی و بیخطر شروع کنید. برای هر نمونه نتیجه قابل قبول، خطاهای جدی و نیاز به تأیید انسان را تعریف کنید. نرخ موفقیت، هزینه میانه و صدک بالای زمان را با هم ببینید. کاهش هزینهای که کیفیت را خراب کند بهینهسازی نیست.
Trace را چطور بخوانیم؟
Trace باید نشان دهد Agent چرا ابزار را انتخاب کرد، ابزار چه نتیجهای داد و حلقه کجا تکرار شد. ورودی بزرگ، Retry مشابه، Tool call بیاثر و بازگشت مکرر به همان State چهار نشانه رایج اتلافاند.
مدل ارزانتر را کجا به کار ببریم؟
مسیریابی، دستهبندی و خلاصه ابزار را با مدل کوچکتر آزمایش کنید و کار دشوار را به مدل قویتر بدهید. اگر تصمیم محدود و ساختاریافته است، Jev 1.13 میتواند گزینه آزمایشی باشد. نتیجه را با Eval خودتان بسنجید.
چکلیست production
- کلید جدا و قابل لغو؛
- سقف هزینه، گام و زمان؛
- تأیید انسان برای عمل برگشتناپذیر؛
- Trace پاکسازیشده؛
- Eval ثابت در هر تغییر Prompt، مدل یا ابزار؛
- هشدار افزایش هزینه یا افت کیفیت.
جمعبندی
اول یک خط پایه بسازید، بعد فقط یک متغیر را عوض کنید. بودجه جلوی فرار هزینه را میگیرد، Eval نشان میدهد نتیجه هنوز خوب است و Trace علت شکست را پیدا میکند.