奇客 ChatGPT 是如何構建的

當 OpenAI 在 2022 年 11 月發布 ChatGPT 時它并沒有預料到這個 AI 聊天機器人會取得難以想象的成功。OpenAI 內部將之視為研究預覽，旨在收集公眾的反饋消除部分缺陷。參與開發 ChatGPT 的科學家 Liam Fedus 說，我們不想將其夸大為一次巨大的基礎性突破。MIT 科技評論采訪了 OpenAI 的科學家以及聯合創始人 John Schulman，揭示 ChatGPT 的開發過程和技術細節，介紹 ChatGPT 是如何構建的。自去年 11 月以來，OpenAI 已經多次更新了 ChatGPT，主要是通過對抗性訓練阻止用戶誘騙聊天機器人繞過限制——這種做法被稱為越獄。 對于 ChatGPT 的巨大成功，OpenAI 團隊也有幾分感到不解，因為 ChatGPT 使用的技術都不是新的，ChatGPT 使用了微調版的 GPT-3.5，而 GPT-3.5 是 2020 年發布的 GPT-3 的更新版，OpenAI 在 2022 年 1 月發布了微調版 GPT-3.5 的預覽。相關 API 也早就發布了，不過這些都不是面向公眾的。

https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/