ChatGPT 2022 — 연구 미리보기에서 대화형 AI로

연구 미리보기로 열린 대화창

2022년 11월 30일 OpenAI는 대화 방식으로 상호작용하는 모델 ChatGPT를 웹 인터페이스로 공개했다. 당시 공지는 이를 완성된 제품의 정식 출시가 아니라, 사용자 피드백을 받아 강점과 약점을 배우기 위한 연구 미리보기(research preview) 로 불렀다. 미리보기 기간에는 무료로 사용할 수 있다고도 적었다.

OpenAI는 ChatGPT를 InstructGPT의 형제 모델로 소개했다. 둘 다 사람의 시범과 선호를 학습에 넣었지만 같은 모델이라고 하지는 않았다. ChatGPT는 2022년 초 학습을 마친 GPT-3.5 계열 모델에서 미세조정됐으며, 후속 질문을 받고, 잘못을 인정하고, 잘못 놓인 전제에 이의를 제기하고, 부적절한 요청을 거절하는 대화를 시험하는 것이 공지가 설명한 목적이었다.

AI 역사 연재 — 1. 신경망에서 LLM·VLM까지 · 2. 다트머스 워크숍 1956 · 3. ImageNet과 AlexNet 2012 · 4. 트랜스포머 2017 · 5. ChatGPT 2022

규모만으로 의도를 따르지는 않는다

ChatGPT 공개보다 아홉 달 앞선 2022년 3월 4일, InstructGPT 논문은 언어 모델을 더 크게 만드는 것만으로 사용자의 의도를 더 잘 따르게 되지는 않는다고 문제를 세웠다. 연구자들은 사람이 바라는 행동의 시범을 모아 GPT-3를 지도 미세조정하고, 여러 모델 출력에 대한 사람의 순위 자료로 다시 강화학습했다.

저자들의 프롬프트 분포에 대한 사람 평가에서는 파라미터 13억 개짜리 InstructGPT 출력이 1,750억 개짜리 GPT-3 출력보다 선호되었다. 논문은 진실성이 나아지고 독성 출력이 줄었다고 보고하면서도 단순한 실수가 남는다고 적었다. 이 수치는 InstructGPT와 GPT-3의 비교다. ChatGPT의 파라미터 수를 뜻하거나 ChatGPT와 GPT-3를 직접 비교한 결과가 아니다.

ChatGPT 공지는 두 모델이 사람의 시범과 선호를 사용한다는 계보를 말하지만, InstructGPT 논문의 평가 조건과 측정값을 ChatGPT에 옮겨 적을 근거는 제공하지 않는다.

대화 시범에서 보상 모델까지

출시 공지에 따르면 첫 단계에서는 사람 AI 훈련자가 사용자와 AI 조수 양쪽 역할을 맡아 대화를 만들었다. 훈련자에게는 답을 쓰는 데 참고할 모델 생성 제안도 제공됐고, 이 대화 자료로 초기 모델을 지도 미세조정했다.

다음 단계에서는 훈련자와 챗봇의 대화에서 모델 메시지 하나를 골라 여러 대안 답변을 생성하고, 사람 훈련자가 그 품질에 순위를 매겼다. 비교 자료로 보상 모델을 만든 뒤 PPO(Proximal Policy Optimization)를 사용해 여러 차례 모델을 미세조정했다. OpenAI는 이것이 InstructGPT와 같은 사람 피드백 강화학습(RLHF) 방법이지만 자료 수집 설정에는 작은 차이가 있는 절차라고 설명했다.

ChatGPT가 미세조정된 GPT-3.5 계열의 기반 모델은 2022년 초 학습을 마쳤다. 공지는 ChatGPT와 GPT-3.5가 Azure AI 슈퍼컴퓨팅 인프라에서 학습됐다고만 적는다. GPU 기종, 파라미터 수, 학습 데이터의 구성과 크기, 연산량과 비용은 밝히지 않았다.

접근 방식의 변화와 남은 공백

출시 당일 확인할 수 있는 결과는 접근 방식의 변화다. 사용자는 별도 학습이나 API 호출 코드 없이 웹의 대화창에서 후속 질문을 할 수 있었고, 모델의 문제 출력을 인터페이스로 신고할 수 있었다. OpenAI는 실제 환경의 비적대적 입력에서 생기는 유해 출력과 외부 콘텐츠 필터의 오탐·미탐에 특히 관심이 있다고 적었다.

그러나 출시 공지는 이용자 수나 확산 속도를 제시하지 않는다. 이 두 출처는 2022년 11월 30일의 연구 미리보기가 이후 교육·업무·검색·소프트웨어 개발에 어느 정도 영향을 주었는지 수치로 쓰지 않는다. 그 주장을 뒷받침할 1차 또는 학술 출처를 이번 조사에서 확보하지 못했다. 확인 필요.

기술 계보에서 ChatGPT는 트랜스포머 하나의 결과가 아니다. 트랜스포머 구조, 대규모 사전학습, 지시 미세조정, 사람의 선호를 이용한 강화학습, 대화형 인터페이스가 차례로 겹친 사건이다. 다만 이 계보의 각 층이 사회적 영향에 얼마만큼 기여했는지는 이 출처들만으로 나눌 수 없다.

숫자와 숫자가 아닌 것을 분리하기

공개일은 OpenAI 공지의 발행 시각과 본문 날짜가 가리키는 2022년 11월 30일이다. 공지는 ChatGPT의 기반이 된 GPT-3.5 계열 모델이 2022년 초 학습을 마쳤다고 적는다.

13억 파라미터 InstructGPT 대 1,750억 파라미터 GPT-3의 사람 선호 비교는 Ouyang 외(2022)가 보고한 결과다. 그 수치는 평가 프롬프트 분포와 두 비교 모델의 조건에 묶여 있으며, ChatGPT의 크기를 뜻하지 않는다.

ChatGPT의 파라미터 수·학습 토큰 수·학습 데이터 구성과 크기·연산량·비용·출시 직후 이용자 수는 공지에 없다. 공개된 값이 없는 자리에 다른 모델이나 다른 시점의 숫자를 대신 넣지 않는다. 특히 공지는 Azure AI 슈퍼컴퓨팅 인프라를 언급할 뿐 GPU 기종이나 학습 비용을 제시하지 않았다.

공지가 함께 적어 둔 다섯 한계

OpenAI는 장점을 소개한 같은 공지에서 한계를 다섯 갈래로 열거했다. 첫째, 모델은 사실과 다르거나 무의미한 내용을 그럴듯하게 쓸 수 있다. 강화학습 중에는 진실의 정답지가 없고, 지나치게 조심하게 만들면 맞힐 질문도 거절하는 문제가 있다고 설명했다.

둘째, 같은 질문도 문구를 조금 바꾸거나 다시 시도하면 모른다고 했다가 답하는 등 표현 변화에 민감할 수 있다. 셋째, 답이 길수록 포괄적으로 보인다는 훈련 자료의 선호와 보상 최적화 때문에 특정 문구를 반복하고 필요 이상으로 길게 답하는 장황함이 나타날 수 있다.

넷째, 모호한 질문에서는 의도를 되물어야 하지만 당시 모델은 대체로 사용자의 뜻을 추측했다. 다섯째, 부적절한 요청을 거절하도록 만들었어도 유해한 지시에 답하거나 편향된 행동을 보일 수 있고, 콘텐츠 필터에도 오탐과 미탐이 남는다. 이 목록은 2022년 연구 미리보기 공지가 설명한 한계이지, 이후 모델의 성능을 판정하는 최신 평가가 아니다.

연구 공개, 형제 모델, 그리고 출처의 한계

제품 출시인가 연구 공개인가. 2022년 공지가 스스로 쓴 표현은 연구 미리보기와 연구 공개다. 웹에서 사용자가 시험할 수 있게 한 것은 맞지만, 미리보기 기간의 무료 접근을 장기 가격 정책이나 완성된 상용 제품의 출시와 같은 것으로 읽지 않는다.

ChatGPT는 InstructGPT인가. OpenAI는 둘을 형제 모델이라 불렀고, 같은 RLHF 방법을 쓰되 자료 수집 설정에 작은 차이가 있다고 설명했다. InstructGPT 논문의 평가 수치와 파라미터 수를 ChatGPT의 수치로 옮기면 두 모델의 구분이 사라진다. 규모의 승리인가 사람 피드백의 승리인가. InstructGPT 논문은 더 작은 모델의 출력이 더 큰 GPT-3보다 선호된 결과를 냈지만, ChatGPT 공지는 기반 GPT-3.5의 크기와 학습량을 밝히지 않았다.

사회적 전환점인가. ChatGPT 이후의 확산을 큰 역사적 전환으로 보는 평가는 가능하지만, 이 사건의 2022년 공지는 이용자 규모와 장기 영향을 측정하지 않는다. 원 OpenAI 주소는 2026년 9월 19일 자동 조회에서 Cloudflare 403이었으므로, 이 글은 Wayback Machine의 2022년 12월 2일 캡처로 공지 본문을 확인했다. 아카이브된 출처라는 제한을 보존하며, 최신 페이지나 후대의 수치로 당시 공지의 빈칸을 메우지 않는다.

AI 역사 연재 — 1. 신경망에서 LLM·VLM까지 · 2. 다트머스 워크숍 1956 · 3. ImageNet과 AlexNet 2012 · 4. 트랜스포머 2017 · 5. ChatGPT 2022