2. ChatGPT의 역사

구글이 2017년 트랜스포머를 발표했고, 바로 이듬해 OpenAI는 트랜스포머를 활용한 GPT 논문을 발표했습니다. GPT는 트랜스포머를 12층 쌓아올린 모델입니다.

분야	SOTA 대비 GPT의 성능
상식추론	8.9% 더 뛰어남
질문에 답하기	5.7% 더 뛰어남
텍스트 함의	1.5% 더 뛰어남

 

GPT는 당시의 기술들 대비 뛰어난 성능을 보이며 순식간에 세 개 분야에서 세계 최고수준을 차지했습니다. 트랜스포머의 위대함을 재발견하며 새로운 활용방법을 제시했고, 프리트레이닝 기법의 실용적인 사용 방법을 제안했다는 점이 GPT의 가장 큰 성취입니다.

이듬해인 2018년, OpenAI는 GPT-2 모델을 발표합니다. GPT에는 1.2억 개 가량의 파라미터가 있었는데요, GPT-2는 최대 15.4억 개 가량의 파라미터를 포함합니다. 모델의 부피 자체가 13배 이상 증가했습니다. 인공지능의 뇌가 더욱 커졌으므로, 성능 또한 더욱 증가했으리라 추측할 수 있겠지요? 학습 가능한 어휘의 개수도 5만 개로 대폭 증가했습니다.

 

하지만 GPT-2의 가장 큰 기여는 부피가 아니라 제로 샷(zero shot) 학습을 가능케 했다는 점입니다. GPT를 대화형 모델로 활용하려면 프리트레이닝 된 AI를 새롭게 학습시켜야 했습니다. GPT-2는 이 과정을 생략하는 방법을 제안했습니다. 물론 성능의 한계는 있었지만요.

 

한 번 학습된 인공지능을 여러 가지 용도로 활용할 수 있는 기술적 배경을 제안했다는 점에서 GPT-2는 무척이나 높게 평가받고 있습니다.

 

일반적으로 한 가지 작업을 학습한 인공지능은 다른 작업을 수행할 수 없습니다. 만약 새로운 작업을 학습하더라도, 기존에 학습했던 내용들은 모두 잊어버리는 것이 일반적이고요. AI가 여러 작업을 연속해서 학습할 수 없다는 의미에서 이 문제를 컨티뉴얼 러닝 문제라고 부릅니다. GPT-2는 이를 해결할 수 있는 실마리를 제안했기에 대단한 것입니다.

또다시 1년이 흘렀고, OpenAI는 2019년 드디어 GPT-3을 공개합니다. 논문의 제목인 <Language models are few-shot learners>에서부터 알 수 있듯이 GPT-3은 퓨샷(few-shot) 러닝을 수행합니다. 프리트레이닝 이후 몇 개 정도의 대화 예시만 보여줘도 충분하지, 따로 학습을 진행하지는 않는 것입니다!

 

아울러 성능을 높이기 위해 <self-attention>을 엄청나게 많이 삽입했습니다. 이로 인해 파라미터개수가 1,750억 개로 증가했지만, 장문의 텍스트를 입력해도 문맥을 엄청나게 잘 이해할 수 있는 괴물같은 인공지능이 만들어진 것입니다.

 

GPT-3은 번역이나 질의응답, 단어 순서 맞추기, 문장 패러프레이징 등의 작업에서 말도 안 되는 성능을 보였습니다. 인간이 쓴 것과 구분하기 힘들 정도로 완벽한 수준의 작문 솜씨도 보였고요.

 

단, 이 무렵부터 중소기업이나 개인은 전혀 연구를 따라잡을 수 없게 되었다는 비판도 존재합니다. 1,750억개나 되는 파라미터를 학습시키려면 장비 비용은커녕 전깃세조차 감당할 수 없을 테니 말입니다. 비용에 대해서는 잠시 뒤에 상세히 소개하겠습니다.

 

2022년 4분기, GPT-4가 공개될 것이라는 루머가 전 세계의 연구자들을 술렁이게 만들었습니다. 이번에 공개되는 인공지능은 튜링 테스트를 압도적인 스코어로 통과했다더라, 이번에는 얼마나 큰 모델을 사용했을까, 일론 머스크의 후원을 받는 OpenAI의 재력이 부럽다. 그 와중에 OpenAI의 CEO는 트위터에서 설레발을 치며 개발자들의 마음을 더더욱 싱숭생숭하게 만들었습니다.

 

매우 실망, 심기 불편

 

그런데, 이럴 수가. OpenAI가 이번에 준비한 것은 GPT-4가 아니라 이미 3년 전 기술인 GPT-3으로 제작된 채팅 서비스였습니다! 처음에는 실망했던 개발자들도 이 서비스를 사용하며 압도적인 성능에 깜짝 놀라게 되었습니다. 네, ChatGPT의 등장입니다.

ChatGPT를 처음 접한 사람들은 깜짝 놀라 사용 후기를 여기저기 퍼뜨리기 시작했습니다. 그 소식을 뒤늦게 접한 누리꾼들은 “드디어 특이점이 찾아왔다고?”를 외치며 ChatGPT에 가입하고, 채팅을 나누고, 깜짝 놀라 또다시 후기를 퍼뜨렸고요. 트렌드에 무척이나 민감한 언론사들도 기회를 놓치지 않고 빠르게 소식을 보도했습니다. 결과적으로 ChatGPT는 인류 역사상 가장 빠른 속도로 100만 명의 사용자를 확보한 서비스가 되었습니다.

 

서비스 명	100만 명의 유저를 확보하는 데 걸린 시간
ChatGPT	5일
Instagram	75일
Spotify	150일
FaceBook	300일
Netflix	1,300일

 

일반인들은 놀라운 기술의 발전을 목도하기 위해, 그리고 재미있어 보이는 서비스를 체험하기 위해 ChatGPT에 접속했습니다. 나름의 만족감도 느꼈을 것이고요.

 

여기까지가 ChatGPT의 역사입니다. 요약하자면 구글이 낳고, OpenAI가 정성껏 잘 길러낸 인공지능이지요.