IT之家11月21日消息,Contra Labs于当地时间11月18日发布AI设计能力评测榜单Frontier(FNUC) Design Benchmark(BHE)。
其中,一款代号为Gestalt、目前处于隐身开发状态(Stealth)的匿名AI模型成为最大黑马,在专业设计师盲测中以明显优势登顶,超过Anthropic(ANT)的Claude Fable5.2、OpenAI的GPT-6.1Sol等主流模型,甚至在设计师偏好评分中超过了人类设计师的参考作品。
根据Contra Labs官方公布的评测结果,Gestalt的Elo评分达到1931分,胜率为90%,位居榜单第一。
排名第二的是人类设计师参考作品Human golden,Elo评分为1739分,胜率为74%;Claude Fable5.2以1713分排名第三,GPT-6.1Sol则以1668分排名第五。
这项评测由Contra Labs与BenchFlow合作推出,主要针对真实商业设计任务,而非简单的提示词生成测试。评测任务共33项,其中27项改编自Contra平台上的真实设计委托,另外6项来自创业公司合作项目。评测邀请了35名专业设计师参与,通过5轮盲测累计收集4311张投票。
评测采用三项指标:专业设计师双盲偏好投票、设计质量评价体系(Design Critique Rubric),以及AI痕迹检测器(Slop Detector)。其中,Elo评分根据设计师对不同作品的两两比较结果计算,涵盖色彩、字体、布局、可用性以及对任务要求的遵循程度。
在 Gestalt与人类设计师参考作品的直接对决中,设计师在28次比较中有20次选择了Gestalt。不过,这并不意味着Gestalt在所有设计质量指标上都全面超越人类作品。
在设计质量评价体系中,Gestalt得分为83分,Claude Fable5.2和Claude Opus5.5均达到84分,而人类设计师参考作品为74分。Contra Labs指出,设计师的审美偏好与具体执行质量并不完全相同,人类参考作品虽然存在部分可以明确指出的执行问题,但在盲测中仍获得了较高的偏好票数。
AI痕迹检测方面,Gestalt的作品也表现突出,其生成结果的AI痕迹评分接近人类参考作品。该检测器通过分类模型判断设计作品呈现出多少AI生成作品的典型特征,评分越低意味着作品看起来越不像AI生成。
目前Contra Labs尚未公开Gestalt的开发团队、模型架构及具体身份,仅将其标记为Stealth。该模型的实际来源和背后团队仍有待进一步确认。
