AI 评测
从 benchmark 到真实业务，构建可复现的 eval set、评分器与回归基线。
AI-QA 研究笔记与实验，持续更新。
让 AI 的质量 可被验证。
Probe 意味着主动探测：不只问模型答得对不对，也问我们如何知道、 如何复现、如何回归。这里记录 AI 评测、测试生成、Agent 可靠性与质量可观测性。
进入研究笔记关于
一个关于 AI-QA 的长期实验。
AIQA Probe 是一个专注 AI 质量工程的研究项目。Probe 意味着主动探测： 不只问模型答得对不对，也问我们如何知道、如何复现、如何回归。这里记录 评测、测试生成、Agent 可靠性与质量可观测性。
此刻 · UTC
正在读取时间
研究
评测、生成、观测，三条互相咬合的线。
测试生成
让模型参与用例生成、变异测试与缺陷定位，但不把正确性判断交回给模型自己。
Agent 可靠性
多步任务里的工具调用、轨迹回放、失败分类与线上可观测性。
笔记
把方法、失败和判断写下来。
AI 评测不是刷榜
榜单给方向，业务给答案。好的 eval 不只要算出一个分数，还要能解释模型 为什么失败、下次怎样确认它没有复发。
把幻觉当缺陷分类
幻觉不是一种单一错误。它可能是检索缺失、推理跳步、工具误用，或者评价 标准本身不清。先分类，再谈修复。
有值得一起拆解的
质量问题，欢迎来信。