OpenAI 推出 MedChemBench 基准,评估 AI 辅助药物研发能力

2026-11-21 08:17:16
来源:IT之家
分享
AIME

问财摘要

1、11月20日,OpenAI发布MedChemBench基准,用于评估AI模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测其性质等。该基准包含99道题目,取自117篇论文与专利,涉及761个不同分子结构。官方将评测分为四个部分:分子结构、科学解释、排序与选择、性质预测。 2、据官方公布信息,在xhigh推理档下,GPT-6.2Astra获得84.5%的可用分数,GPT-6Astra为83.3%,GPT-6.1Sol为82.0%,GPT-5.6Sol为58.2%。分项表现上,Astra在分子结构部分拿到95.4%的可用分数,而在化合物选择与数值性质预测两项上仅获约一半分数。

IT之家11月21日消息,当地时间11月20日,OpenAI发布MedChemBench基准,用于评估AI模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测其性质等。OpenAI表示,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测方面仍有明显提升空间。

IT之家从官方介绍获悉,该基准包含99道题目,取自117篇论文与专利,涉及761个不同分子结构。多数题目向模型提供研究进行到某一节点时的上下文,包括生物靶点、研究人员的目标、此前研究过的化合物与部分实验结果。

官方将评测分为四个部分,IT之家附具体内容如下:

  • 分子结构:依据题目给出的结构图与化学基团组装分子,考察原子连接与立体化学是否正确;

  • 科学解释:解释需由给定证据支撑,例如为何在若干化合物中选择某一个;

  • 排序与选择:化合物排序与最终选择是否符合题目要求;

  • 性质预测:与原始材料给出的数值、类别是否一致,涵盖实测与计算得到的分子性质。

据官方公布信息,在xhigh推理档下,GPT-6.2Astra获得84.5%的可用分数,GPT-6Astra为83.3%,GPT-6.1Sol为82.0%,GPT-5.6Sol为58.2%。官方称,提高推理档位可带来分数提升,但模型之间的差距依然明显。

分项表现上,Astra在xhigh档的分子结构部分拿到95.4%的可用分数,而在化合物选择与数值性质预测两项上仅获约一半分数。

官方举例称,一道题目要求模型以给定中心结构与两个侧基组装分子,并保留一个18原子环。

在 11个模型共用的xhigh档下,GPT-6Astra的十次回答全部正确;GPT-5.6Sol与GPT-5.6Luna十次全部出错,前者组装出的环只有15个原子,后者把分子拆成两个互不相连的片段。

另一道题取材于PRMT5抑制剂研究,PRMT5是肿瘤药物研发中受到关注的蛋白。模型需要预测三种相关化合物在细胞内阻断PRMT5的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。

官方在题目中隐去的后续实验显示存在取舍:化合物23在更低浓度下即可在细胞内阻断PRMT5,化合物24更易穿过细胞屏障,在肝酶检测中的降解速度也更慢。

官方表示,这些结果并不能确定模型是否能够发现新药或改善实验室决策。不能排除之前接触过已发表资料的可能性,每一次回应都是一次没有工具、没有反馈或新实验的尝试。虽然基准测试基于历史证据而非真实药物发现,其结果有助于识别模型在哪些方面进展,哪些仍面临挑战。团队相信MedChemBench将支持持续的进步,并期待随着模型的进步与应用领域分享最新进展。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME