OpenAI 将 Habitat 从 Python 迁移至 Rust:CPU 效率提升 6 倍,服务 10 亿 ChatGPT 用户利好

2026-09-12 08:46:05
来源:IT之家
分享
AIME

问财摘要

1、OpenAI介绍了其在线存储平台Habitat如何应对快速增长的工程实践,Habitat从Python迁移至Rust,CPU效率提升6倍。
免责声明 内容由AI生成
文章提及标的

IT之家9月12日消息,OpenAI今日发文,主要介绍了其在线存储平台Habitat如何应对产品规模的快速增长,以及从Python迁移至Rust的工程实践。

OpenAI称该平台目前每秒处理超过7000万次请求,每周服务超10亿用户,管理的数据规模超过500PB。据介绍,Habitat已从2024年的Python客户端库,发展为支撑旗下产品的分布式存储系统。

据介绍,Habitat最初是一个与ChatGPT主服务器交互的Python库,底层连接Azure Cosmos DB。其目标是让产品工程师无需直接管理数据库,即可完成数据存取。系统负责数据类型识别、路由、授权、加密、序列化及连接池管理等工作。

随着OpenAI产品数量和数据需求增长,Habitat在2025年年中逐渐暴露出客户端架构的局限。每次修改共享库都需要协调数十个服务进行部署,增加了发布复杂度和故障风险。因此,OpenAI决定将Habitat改造为独立服务,集中管理部署、监控和平台功能。

独立服务还为数据安全(885942)提供了统一控制点。OpenAI可以在Habitat中集中执行访问控制、审计日志及底层存储资源权限管理,降低外部、内部及代理程序未经授权访问用户数据的风险。

OpenAI最初选择用Python开发高吞吐服务,以优先解决平台稳定性和产品开发效率问题。然而,Python服务在高并发场景下仍面临CPU开销、内存开销和网络延迟等挑战,尤其需要控制请求尾延迟。

Habitat通过限制并发请求数量、增加Python工作进程,以及优化异步任务调度来改善性能。OpenAI还调整了功能开关配置的刷新策略,减少大规模JSON解析对请求处理的影响。

在连接池方面,OpenAI发现Python的aiohttp默认采用LIFO连接复用策略,可能导致流量持续集中到响应较慢的服务进程。团队改用FIFO连接复用,降低了负载不均衡问题(IT之家注:LIFO指后进先出,FIFO指先进先出,两者是常见的队列处理策略)。

Habitat采用受限的NoSQL API,避免客户端执行不可控的SQL查询、复杂联表或大范围数据扫描。对于需要复杂查询的场景,OpenAI通过变更数据捕获(CDC)将数据实时或近实时同步至Rockset,提供离线分析和搜索能力。

在 2026年第二季度,OpenAI调用2名工程师,再加上Codex和GPT-5.5,将Habitat服务整体用Rust重写。官方数据显示,新的Rust服务目前已处理95%的生产请求,CPU效率提升6倍,内存效率提升15倍,平均延迟和尾延迟也有所降低。

OpenAI计划在未来几周内完全弃用Habitat的Python实现。该公司还表示,后续文章将介绍Habitat如何扩展Azure Cosmos DB存储层,以及在超过500PB数据和每秒7000万次请求规模下的多租户可靠性与读性能优化。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME