什么是 Self-RAG？它如何通过自我反思提升回答质量？

package com.quanxiaoha.rag.selfrag;

import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.EmbeddingMatch;
import dev.langchain4j.store.embedding.EmbeddingSearchRequest;

import java.util.List;
import java.util.stream.Collectors;

/**
 * Self-RAG 工程化近似实现
 * 通过 Prompt + 工作流编排，模拟论文中的四类反思标记：
 * 1. Retrieve   - 是否需要检索
 * 2. IS_RELEVANT - 段落相关性打分
 * 3. IS_SUPPORTED - 生成内容事实性打分
 * 4. IS_USEFUL  - 答案整体质量打分
 */
public class SelfRagService {

    private final ChatLanguageModel chatModel;
    private final EmbeddingStore<TextSegment> embeddingStore;

    public SelfRagService(ChatLanguageModel chatModel,
                          EmbeddingStore<TextSegment> embeddingStore) {
        this.chatModel = chatModel;
        this.embeddingStore = embeddingStore;
    }

    /**
     * 完整的 Self-RAG 流程
     */
    public String answer(String question) {
        // ===== 步骤 1：Retrieve 反思 - 判断是否需要检索 =====
        if (!needRetrieval(question)) {
            // 不需要检索，直接让模型回答（类似 No Retrieval 模式）
            return chatModel.chat(question);
        }

        // ===== 步骤 2：检索 Top-K 段落 =====
        List<TextSegment> candidates = retrieve(question, 5);

        // ===== 步骤 3：IS_RELEVANT 反思 - 过滤不相关段落 =====
        List<TextSegment> relevant = candidates.stream()
                .filter(seg -> isRelevant(question, seg.text()))
                .collect(Collectors.toList());

        // 如果全部被过滤掉，说明检索失败，退回直接生成
        if (relevant.isEmpty()) {
            return "抱歉，知识库中没有找到与您问题相关的信息。";
        }

        // ===== 步骤 4：基于相关证据生成答案 =====
        String context = relevant.stream()
                .map(TextSegment::text)
                .collect(Collectors.joining("\n\n"));
        String draftAnswer = generate(question, context);

        // ===== 步骤 5：IS_SUPPORTED 反思 - 事实性校验 =====
        if (!isSupported(draftAnswer, context)) {
            // 答案缺乏证据支持，重新生成或拒绝回答
            return regenerateOrFallback(question, context);
        }

        // ===== 步骤 6：IS_USEFUL 反思 - 最终质量评估 =====
        // 实际项目可生成多个候选，选最优
        return draftAnswer;
    }

    /**
     * Retrieve 反思：判断当前问题是否需要检索外部知识
     * 对应论文中的 Retrieve token
     */
    private boolean needRetrieval(String question) {
        String prompt = """
            判断回答以下问题是否需要查询外部知识库。
            - 闲聊、寒暄、常识问题（如 1+1）→ 回答 "NO"
            - 事实性问题、专业领域问题、需要最新信息 → 回答 "YES"

            问题：%s
            只回答 YES 或 NO：
            """.formatted(question);
        String result = chatModel.chat(prompt).trim().toUpperCase();
        return result.startsWith("YES");
    }

    /**
     * IS_RELEVANT 反思：判断检索到的段落是否与问题相关
     */
    private boolean isRelevant(String question, String passage) {
        String prompt = """
            判断以下段落是否与问题相关，能帮助回答问题。

            问题：%s
            段落：%s

            只回答 RELEVANT 或 IRRELEVANT：
            """.formatted(question, passage);
        return chatModel.chat(prompt).trim().toUpperCase().startsWith("RELEVANT");
    }

    /**
     * IS_SUPPORTED 反思：判断生成答案是否被证据完全支持
     * 这是 Self-RAG 抑制幻觉的关键
     */
    private boolean isSupported(String answer, String evidence) {
        String prompt = """
            判断以下答案的每一句是否被给定的证据完全支持。

            证据：%s
            答案：%s

            评估维度：
            - FULLY SUPPORTED：完全被证据支持
            - PARTIALLY SUPPORTED：部分被支持
            - NO SUPPORT：缺乏证据支持

            只回答评估结果：
            """.formatted(evidence, answer);
        String result = chatModel.chat(prompt).trim().toUpperCase();
        return result.startsWith("FULLY");
    }

    /**
     * 基于 RAG 上下文生成答案
     */
    private String generate(String question, String context) {
        String prompt = """
            基于以下参考资料回答问题。如果资料中没有答案，请直接说明。

            参考资料：
            %s

            问题：%s
            """.formatted(context, question);
        return chatModel.chat(prompt);
    }

    // 省略 retrieve / regenerateOrFallback 等辅助方法...
}