桥水基金最新研究:前沿 AI 模型金融判断准确率未达 80% 可信门槛,GPT 和 Claude 仅有 50~70%中性

2026-07-03 21:53:06
来源:IT之家
分享
文章提及标的

IT之家7月3日消息,桥水基金旗下AIA Labs联合OpenAI前CTO MIRA Murati创立的Thinking Machines Lab对包括GPT、Claude和Gemini在内的前沿大语言模型在基础金融信息筛选任务进行了测试,但结果表现不佳,而基于开源模型微调的自研模型在准确率和成本上均具有显著优势。

研究团队从投资分析师的日常工作中提取了六项典型任务,包括判断一篇财经文章对高管层是否具有参考价值、判断央行文件是否预示未来利率变化方向等。

报告指出,这些任务对专业投资者而言非常基础,但他们往往难以用语言清晰描述自己的判断逻辑。在前沿模型测试中,Gemini、Claude和GPT各版本在使用基础提示词时平均准确率仅约50%。

即使经过专家撰写的详细提示词和三级分类体系(“相关且有趣”“相关但无趣”“不相关”)优化后,准确率提升至70%左右,仍未达到研究人员设定的80%可信部署门槛。

报告还指出,模型迭代并未在该任务上带来显著进步,例如GPT-5.4比GPT-5.2价格高出43%,但准确率仅略有提升。

研究团队随后采用微调方案,以阿里开源模型Qwen3-235B为基座,通过Thinking Machines Lab的Tinker平台进行训练。训练数据集构建过程中,团队最初采购了非专业标注服务,但发现大量标签存在错误。由于专家标注成本高昂,团队设计了一套验证机制:先用有缺陷的标签训练模型,再让模型重新评估同一批数据,将模型判断与原始标签不一致的争议样本交由专家校正,以此在保证质量的同时控制成本。

经过多轮训练优化——包括交错批次训练、CISPO损失函数与非对称裁剪、以及基于最佳验证准确率检查点的同策略蒸馏——最终微调模型在测试中达到84.7%的准确率,优于测试中最佳前沿模型的78.2%,错误率降低了29.8%。同时,由于模型规模更小,推理成本仅为前沿模型的约十四分之一。

报告指出,这一结果再次证明前沿模型并未囊括所有可用数据,大量专有企业数据和未编码的人类专业知识仍存在于大模型的知识盲区中,尤其是那些企业有意保持私密的数据。通过工具链微调开源模型,企业可以保留模型权重、数据乃至算力基础设施的控制权,避免将专有数据交给前沿实验室后成为其产品竞争的基础。桥水方面表示,该模型已投入日常使用,并认为这种针对特定组织需求定制的“差异化智能”将是未来方向。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME