奇客 ChatGPT 是如何構(gòu)建的

當(dāng) OpenAI 在 2022 年 11 月發(fā)布 ChatGPT 時它并沒有預(yù)料到這個 AI 聊天機器人會取得難以想象的成功。OpenAI 內(nèi)部將之視為研究預(yù)覽，旨在收集公眾的反饋消除部分缺陷。參與開發(fā) ChatGPT 的科學(xué)家 Liam Fedus 說，我們不想將其夸大為一次巨大的基礎(chǔ)性突破。MIT 科技評論采訪了 OpenAI 的科學(xué)家以及聯(lián)合創(chuàng)始人 John Schulman，揭示 ChatGPT 的開發(fā)過程和技術(shù)細(xì)節(jié)，介紹 ChatGPT 是如何構(gòu)建的。自去年 11 月以來，OpenAI 已經(jīng)多次更新了 ChatGPT，主要是通過對抗性訓(xùn)練阻止用戶誘騙聊天機器人繞過限制——這種做法被稱為越獄。 對于 ChatGPT 的巨大成功，OpenAI 團隊也有幾分感到不解，因為 ChatGPT 使用的技術(shù)都不是新的，ChatGPT 使用了微調(diào)版的 GPT-3.5，而 GPT-3.5 是 2020 年發(fā)布的 GPT-3 的更新版，OpenAI 在 2022 年 1 月發(fā)布了微調(diào)版 GPT-3.5 的預(yù)覽。相關(guān) API 也早就發(fā)布了，不過這些都不是面向公眾的。

https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/