Improve your prompts by hill-climbing with Evaluations

Highlight

优化 AI 功能需要先用 Cohen’s kappa 系数校准模型裁判与人类专家的一致性，确保评估尺子准确后再迭代改进业务提示词。

核心内容

在 App 中集成 AI 功能时，一个常见难题是：模型生成的结果看起来还行，但总觉得哪里不对劲，又说不出具体问题。

Apple 的 Book Tracker 应用就面临这个问题。这个应用允许读者记录书评，自动为书籍生成标签，方便后续检索和浏览。但生成的标签经常出现两类问题：要么把读者的个人感受（如”poignant”）当成了书的标签，要么直接从书评中提取短语（如”quiet-steadiness”）作为标签，这些标签对检索毫无帮助。

开发者可能第一反应是直接修改生成标签的提示词。这种做法存在两个问题：首先，修改提示词后如何客观判断效果是否变好？其次，即使改进了生成标签的提示词，评估这些标签的”模型裁判”本身可能就是一把歪尺子——它的评分标准和人类专家不一致。

Apple 提出的解决方案是爬山法（Hill-climbing）：建立评估管道，每次只改一个变量，通过评估结果指导下一步改进。但有效爬山的前提是评估工具本身必须可靠。

这就引入了”裁判对齐”问题。当数据集规模较小时，人类专家和模型裁判的评分偏差可能不明显。但随着数据集增长，这种漂移（Drift）会越来越大，最终评估结果失去参考价值。

更棘手的是，传统使用的准确率（Accuracy）指标在这里会失效。如果数据集中 80% 的样本都是高质量输出，人类专家和模型裁判都倾向于打高分，哪怕模型在瞎猜，准确率看起来也会很高。这掩盖了两者评分标准不一致的事实。

Apple 引入了 Cohen’s kappa 系数解决这个问题。这个统计指标从准确率中减去了”随机碰巧一致”的概率，能更真实地反映两个评分者的一致性。只有当 kappa 值达到 0.6 以上，才能认为模型裁判与人类专家有意义的对齐。

校准裁判的过程本身也是爬山法：修改裁判的提示词、加入评分维度的详细描述、提供少样本示例，每次改动一个变量，通过 kappa 值判断效果。一旦裁判校准完成，就可以用它来评估业务功能的改进，比如尝试添加工具调用让模型获取更多上下文信息。

这套方法论让 AI 功能的优化从”凭感觉炼丹”变成了可量化的科学实验。

详细内容

评估框架基础组件

03:54

Evaluations 框架的核心是 Evaluation 协议，一个完整的评估由四个组件构成：

数据集（Dataset）：提供测试样本，每个样本包含输入和期望输出。

主题（Subject）：通过 subject(from:) 方法调用待评估的功能，获取模型输出。

评估器（Evaluators）：定义如何评判输出质量，包括启发式评估器和模型裁判评估器。

聚合（Aggregation）：通过 aggregateMetrics 方法统计各项指标的均值、标准差等。

struct BookTaggingEvaluation: Evaluation {
    func subject(from sample: ModelSample<BookTags>) async throws -> ModelSubject<BookTags> {
        let result = try await BookTaggingService.generateTags(for: sample.promptDescription)
        return ModelSubject(value: result)
    }

    var dataset = ArrayLoader(samples:
        Book.sampleBooks.map { book in
            ModelSample(prompt: book.review, expected: BookTags(tags: book.tags))
        }
    )

    var evaluators: Evaluators {
        // 启发式评估器
        Evaluator { _, subject in
            let count = subject.value.tags.count
            if (count >= 3 && count <= 8) {
                return tagCount.passing(rationale: "\(count) tags")
            }
            return tagCount.failing(rationale: "Got \(count) tags, expected 3–8")
        }
        // ... 更多评估器
    }

    func aggregateMetrics(using aggregator: inout MetricsAggregator) {
        aggregator.group("Heuristics") { group in
            group.computeMean(of: tagCount)
        }
    }
}

关键点：