آموزش ساخت RAG فارسی با Embedding API پاستا و pgvector

RAG یا تولید تقویت‌شده با بازیابی، قبل از پاسخ مدل چند بخش مرتبط را از میان سندهای شما پیدا می‌کند و همان‌ها را داخل Context می‌گذارد. نتیجه می‌تواند به اطلاعات خصوصی یا تازه تکیه کند، بدون اینکه برای هر تغییر سند مدل را Fine-tune کنید.

در این آموزش یک مسیر کوچک و قابل فهم می‌سازیم: متن را به Chunk تقسیم می‌کنیم، با Embedding API پاستا به بردار تبدیل می‌کنیم، بردارها را در PostgreSQL و افزونه pgvector نگه می‌داریم و هنگام سؤال، نزدیک‌ترین بخش‌ها را به مدل گفتگو می‌دهیم. کد عمداً بدون LangChain نوشته شده تا قرارداد هر مرحله روشن باشد.

RAG چگونه کار می‌کند؟

1. Ingest: سند خوانده، پاک‌سازی و به بخش‌های کوچک تقسیم می‌شود.
2. Embed: هر Chunk به یک بردار عددی تبدیل می‌شود.
3. Store: متن، منبع و بردار کنار هم ذخیره می‌شوند.
4. Retrieve: سؤال با همان مدل Embedding بردارسازی و نزدیک‌ترین Chunkها بازیابی می‌شوند.
5. Generate: مدل گفتگو فقط با Context بازیابی‌شده پاسخ می‌دهد و منبع را نمایش می‌دهد.

Embedding پاسخ تولید نمی‌کند. این بردار فقط شباهت معنایی را برای جست‌وجو قابل محاسبه می‌کند. مدل گفتگو مرحله جداگانه‌ای است.

پیش‌نیازها

• Node.js ۲۰ یا جدیدتر؛
• PostgreSQL دارای افزونه vector؛
• یک کلید API پاستا با دسترسی به مدل Embedding و مدل گفتگو؛
• شناسه مدل Embedding فعال از GET /embeddings/models.

قبل از انتخاب سرویس PostgreSQL، امکان اجرای CREATE EXTENSION vector را بررسی کنید. وجود PostgreSQL به‌تنهایی تضمین نمی‌کند pgvector نصب یا قابل فعال‌سازی باشد.

ساخت جدول بردارها

عدد ابعاد باید دقیقاً با خروجی مدل انتخابی یکسان باشد. نمونه زیر برای بردار ۱۵۳۶ بعدی است؛ اگر مدل یا پارامتر dimensions مقدار دیگری دارد، Schema را همان ابتدا هماهنگ کنید.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE document_chunks (
  id bigserial PRIMARY KEY,
  document_id text NOT NULL,
  source_url text,
  content text NOT NULL,
  embedding vector(1536) NOT NULL,
  created_at timestamptz NOT NULL DEFAULT now()
);

CREATE INDEX document_chunks_embedding_hnsw
ON document_chunks USING hnsw (embedding vector_cosine_ops);

برای دیتاست خیلی کوچک، ابتدا بدون Index صحت بازیابی را بسنجید. HNSW سرعت را بالا می‌برد اما حافظه و زمان ساخت بیشتری مصرف می‌کند.