ChatGPT软件技术栈解密

b1gc8v

ChatGPT 点燃了通用AI浪潮，继农业革命、工业革命、计算机技术革命后，亦将可能掀起 AI 技术革命。

业界对 ChatGPT 的 AI 算法关注得比较多，然则 OpenAI 已然演变为服务数亿用户的平台服务。近3个月 ChatGPT 的 SLA 大约99%，亦便是说平均每日大大概15分钟不可用，整体技术架构和靠谱性亦备受关注。

OpenAI 网站近90天状态图(绿色暗示可用，其它暗示反常)

ChatGPT 无对外正式分享她们的技术架构，因此很难100%准确晓得架构大图，本文尝试从以下几个方面：

互联网公开信息（twitter、linkedIn等）

OpenAI 最新招聘岗位需求

OpenAI 几次故障报告

Github 代码

绘制了 ChatGPT 的重点软件技术栈大图。

1、云服务

OpenAI 是云时代的 AI 创业机构，所有业务都是架设在公有云上，在创业初期得到 AWS 的支持，下面这个对话是 OpenAI 截止2021年公开信息的回答：

上面这段话来自 OpenAI 的官网初期文案介绍，能够看到曾运用了海量 AWS 服务。

近两年又得到微软巨额投资，并且知道了要由 Azure 供给服务。能够肯定 ChatGPT 是在转向以 Azure 为主的多云方法，AWS 服务会逐步减少。

另一运用了 Terraform 多云管理服务来做云资源的管理。

2、数据库

首要问 ChatGPT 自己，基本上都无明确的答案。不外从官网职位和故障报告能够得到比较准确的信息：

ChatGPT 的核心业务数据保留在关系型数据库 PostgreSQL 中，这个在官方网站有介绍，数亿用户的账号、AK和对话等信息都保留在这儿。

2023.2.20号的故障报告亦说明了主数据库 PostgreSQL 出现问题。并且说到运用了PgBouncer的连接池服务。

同期运用了 Redis 集群做为缓存服务，在2023.3.20 ChatGPT 爆出了安全漏洞，部分用户能够看到其他人的聊天记录，便是由于踩了 Redis-py 在连接取消状态下会话错乱的 bug，CEO Sam Altman 亦在 twitter 出来道歉。

另一还在招聘中期盼懂 CosmosDB，这个日前还不确认用在什么场景，CosmosDB 是 Azure 推出的多模数据库，支持 MongoDB、Cassandra、PostgreSQL、Gremlin 等兼容性接口，是微软在 NoSQL 行业的旗舰制品。

之前 Patrick-McFadin (Cassandra Committer)在 LinkedIn 上说到 OpenAI 运用了 Cassandra，但最后讨论下来是 ChatGPT 自己胡说的，还不可确认是不是真的运用了 Cassandra 或是在 CosmosDB 中运用了 Cassandra 的 API。

另一CosmosDB亦经过收购过来的Citus供给的分布式PostgreSQL的接口。不确认是不是运用了Citus来完成份布式数据库架构。

ChatGPT 运用了 Snowflake 这个新一代的云原生数据仓库，并且运用了 Tableau 来做数据分析。支持多云安排的 Snowflake 针对业务从 AWS 到 Azure的跨云迁移是非常有利的。

3、前端

在Web前端方面，比较知道的是运用了 TypeScript 语言和 React 框架。

移动端日前 ChatGPT 还无正式的 APP 发布，不外已然在招聘 iOS 和 Android 工程师，应该快了。

4、应用与服务编程语言

做为以 AI 为基本的科技机构，OpenAI 选取 Python 为核心语言，不管是 AI 岗位还是平台软件工程师岗位，都是需要精通 Python 语言。

平台服务选取 Python，运用了 Python 里比较流行的 Flask 框架，并运用了 OpenAPI 等组件。

5、AI 技术框架

AI 技术框架核心是 Pytorch，可能亦运用了 Tensorflow。

OpenAI 自己开发了面向 GPU 的算法框架 Triton，并且在 github 上开源了(https://github.com/openai/triton)，用于代替 NVIDIA 的 CUDA，目的是能更有效的研发设备学习算法。Triton 的编程语言运用了 c++和 python。

关于更细节的 AI 训练和安排服务架构还待挖掘。下图是来自网上陈巍博士分享的一张大模型典型架构图，供参考：

https://zhuanlan.zhihu.com/p/611464068

6、应用安排与监控运维

容器服务

：Kubernetes

监控与运维：Prometheues（招聘运维研发工程师说到需要懂PromQL）

日志服务：Splunk

编程语言：Golang、Python

7、参考文档

▋1. ChatGPT软件工程师岗位描述：

https://openai.com/careers/software-engineer-chatgpt

▋2. OpenAI 2023.2.20 故障分析报告：

https://status.openai.com/incidents/mq5jgswy45fr

▋3. OpenAI开源Triton的Github位置：

https://github.com/openai/triton

▋4. atrick McFadin在Linkin上讨论ChatGPT是不是运用了Cassandra:

https://www.linkedin.com/posts/patrick-mcfadin-53a8046_this-isnt-your-regular-chatgpt-post-so-activity-7031372446536515584-P8fg/?utm_source=share&utm_medium=member_desktop