신경망에서 LLM·VLM까지 — 인공지능 역사의 한 계보

지능을 어떻게 문제로 만들었는가

이 계보의 질문은 기계가 언제 똑똑해졌는가가 아니다. 1955년에는 지능의 모든 측면을 정밀하게 기술할 수 있다고, 1986년에는 오차를 줄이도록 가중치를 조정할 수 있다고, 2020년에는 모델·데이터·연산량의 규모가 성능을 좌우한다고 보았다. 기술뿐 아니라 무엇을 풀면 지능을 푼 것으로 볼 것인가라는 과제 정의가 바뀌었다.

AI 역사 연재 — 1. 신경망에서 LLM·VLM까지 · 2. 다트머스 워크숍 1956 · 3. ImageNet과 AlexNet 2012 · 4. 트랜스포머 2017 · 5. ChatGPT 2022

여기서 다루는 것은 1943년 신경 활동의 논리 모형에서 2024년 EU 인공지능법과 노벨 물리학상까지, 신경망에서 컴퓨터 비전·트랜스포머·LLM·VLM으로 이어지는 한 경로다. 기호주의 AI, 통계적 기계학습, 강화학습, 음성 인식, 이미지 생성, 로봇공학, 연구비의 역사는 이 글의 범위가 아니다. 이 주제들에 관한 1차 또는 학술 출처를 이 글은 충분히 확보하지 못했다. 확인 필요.

따라서 널리 퍼진 ‘AI 겨울이 두 번 있었다’는 시대 구분도 여기서는 일반화하지 않는다. 아래는 확보한 출처가 뒷받침하는 대목과, 출처가 없어 남겨 둔 빈칸을 함께 읽는 계보다.

논리, 시험, 연구 의제

매컬러와 피츠의 1943년 논문은 신경 활동을 논리 계산으로 다루는 제목을 내걸었다. 이 글은 그 논문 본문을 읽지 못했고 서지만 교차 확인했다. 확인 필요. 다만 1955년 다트머스 제안서가 ‘뉴런 망’의 선행 연구자로 두 사람을 이름으로 든 것은 확인된다.

튜링은 1950년 ‘기계가 생각할 수 있는가’를 정의 논쟁 대신 모방 게임으로 바꾸었다. 그는 약 50년 뒤 저장 용량 약 10⁹인 컴퓨터가 평균 질문자가 5분 뒤 올바르게 식별할 확률을 70% 이하로 만들 수 있으리라고 전망했다. 이는 예측의 적중 여부보다, 지능을 시험 가능한 성과로 바꾼 형식이 중요하다.

1955년 8월 31일 매카시·민스키·로체스터·섀넌의 제안서는 1956년 여름 다트머스에서 두 달간 열 명이 수행할 연구를 ‘인공지능’이라 불렀다. 제안서는 학습의 모든 측면이나 지능의 다른 특징을 아주 정밀하게 기술해 기계가 흉내 내도록 만들 수 있다고 추측했다. 언어를 프로그램하는 법과 뉴런 망은 일곱 과제 가운데 각각 2번과 3번으로 함께 있었다. 1958년 로젠블랫의 퍼셉트론 논문도 본문은 읽지 못했다. 확인 필요.

비워 둔 15년과 영국의 보고서

1956~1972년은 이 글이 크게 비워 둔 구간이다. 기호 처리 프로그램의 초기 성과, 기계번역의 기대와 실망, 민스키·패퍼트의 1969년 『퍼셉트론』과 그 파장에 관해 검증된 출처를 확보하지 못했다. 책의 쪽수를 직접 확인하지 못했으므로 출처로 쓰지 않는다. 확인 필요.

확인 가능한 기록은 영국 과학연구위원회가 의뢰한 제임스 라이트힐의 보고서다. 본문은 1972년 7월 날짜이고, 보존 아카이브는 1973년 초 출간을 적는다. 라이트힐은 A(고도 자동화), C(컴퓨터 기반 중추신경계 연구), B(둘을 잇는 다리 활동·‘로봇 만들기’)로 나눠, 당시까지의 발견이 약속된 큰 영향을 낳지 못했다고 평가했다. 특히 B의 진전과 조합적 폭발을 문제로 들었다.

아카이브 편집자는 이 보고서가 영국 학계와 연구비 기관의 대규모 신뢰 상실을 낳았고 그것이 거의 10년 이어졌다고 쓴다. 이것은 영국의 사례이며, 같은 시기 미국 연구비나 전 세계의 ‘겨울’로 일반화할 근거는 이 글에 없다.

눈·은닉 표상·시간

후쿠시마의 1980년 네오코그니트론은 S 세포층과 C 세포층을 반복해 시각 패턴을 다뤘다. 초록은 교사 없는 학습 뒤 허블과 비셀의 시각계 위계 모형과 비슷한 구조를 갖고, 마지막 C 세포가 패턴 위치와 작은 모양·크기 변화에 영향을 받지 않았다고 보고한다. 이 구조는 뒤의 합성곱망과 닮았지만 역전파로 학습하지는 않았다.

홉필드는 1982년 계산을 단순한 등가 성분들의 집단적 성질로 보고 내용 주소 기억 모형을 제시했다. 1986년 러멜하트·힌턴·윌리엄스의 역전파 논문은 실제 출력과 원하는 출력의 차이를 줄이도록 연결 가중치를 반복 조정하고, 은닉 단위가 과제의 중요한 특징을 표상한다고 설명했다. 1989년 르쿤 등의 손글씨 우편번호 논문은 서지만 확인했다. 확인 필요.

1997년 호흐라이터와 슈미트후버의 LSTM은 순환 역전파에서 긴 지연을 학습하기 어려운 원인을 불충분하고 감쇠하는 오차 역류로 진단했다. 곱셈 게이트와 ‘일정한 오차 회전목마’를 둔 결과, 초록은 1,000 이산 시간 단계를 넘는 최소 시간 지연을 배울 수 있었다고 적는다. LSTM이 이후 기계번역에서 중심이 되었다가 트랜스포머로 대체되는 연결은 다음 절에서 이어진다.

빈칸 다음의 비교 가능한 전환

1998~2008년도 이 글이 비워 둔 구간이다. 서포트 벡터 머신·커널 방법, SIFT·HOG 같은 수작업 특징, 2006년 무렵 ‘딥러닝’이 다시 쓰인 경위에 대해 이 글은 출처를 충분히 확보하지 못했다. 확인 필요. 이 빈칸 때문에 2012년이 왜 전환으로 읽혔는지도 완전히 설명할 수는 없다.

2009년 ImageNet 논문은 WordNet의 약 8만 명사 개념 대부분에 평균 500~1,000장의 이미지를 채우려 했고, 당시 판은 12개 하위 트리의 5,247개 개념·320만 장이었다. 주석은 아마존 메커니컬 터크로 모았다. 2010년부터 ILSVRC가 매년 열렸고, 분류 우승 팀의 top-5 오류율은 2010년 NEC 28.2%, 2011년 XRCE 25.8%였다.

2012년 토론토대 SuperVision의 외부 사전학습 모델 둘을 포함한 일곱 CNN 앙상블은 top-5 테스트 오류율 15.3%로 우승했고, 2위는 SIFT와 피셔 벡터를 사용한 접근으로 26.2%였다. AlexNet은 6,000만 파라미터, 65만 뉴런, 합성곱 5층과 완전연결 3층으로 구성됐고 NVIDIA GTX 580 3GB GPU 두 장으로 5~6일 학습됐다. 같은 대회에서 10%p가 넘는 격차가 보였지만, ‘딥러닝의 시작’이라는 해석은 결론이 아니라 다음의 논쟁거리다.

후속 수치는 조건과 함께 읽어야 한다. 우승 오류율은 2013년 11.7%, 2014년 6.7%였고, 2015년 ResNet 앙상블은 ImageNet 테스트 top-5 오류율 3.57%로 ILSVRC 2015 분류 과제에서 우승했다고 보고했다. 자주 인용되는 사람 오류율 5.1%는 훈련받은 주석자 한 명이 테스트 이미지 1,500장에 대해 낸 추정치이며, 다른 주석자는 12.0%였다.

번역의 보조 장치에서 규모의 법칙까지

2014년 Sutskever·Vinyals·Le의 다층 LSTM 번역 모델은 WMT’14 영어→프랑스어에서 BLEU 34.8을 보고했고, 같은 데이터의 구문 기반 통계 번역 33.3보다 높았다. 같은 달 Bahdanau·Cho·Bengio는 고정 길이 벡터를 병목으로 보고, 목표 단어마다 원문의 관련 부분을 부드럽게 찾는 장치를 제안했다. 어텐션은 번역의 보조 부품으로 나타났다.

2017년 트랜스포머는 어텐션을 구조의 중심에 두면서 순환과 합성곱을 없앤 구조를 제안했다. WMT 2014 영어→독일어에서 28.4 BLEU를 보고하며 기존 최고 성적을 2 BLEU 넘게 앞섰다고 했고, 병렬화와 학습 시간 단축을 장점으로 들었다. 영어→프랑스어 BLEU는 판본 차이가 있다. 발행 당시 프로시딩과 arXiv v1은 41.0, 현재 arXiv v7은 초록·표 2에 41.8, 6.1절 산문에 41.0을 적는다. 어느 후속 실험이 41.8인지 이 글은 확인하지 못했다.

BERT(2018)는 라벨 없는 텍스트로 양방향 표상을 사전학습하고 출력층 하나를 더해 미세조정해 11개 NLP 과제의 최고 성적을 보고했다. Kaplan 등의 2020년 논문은 손실이 모델·데이터·학습 연산량에 대해 멱법칙으로 줄며 일부 추세가 일곱 자릿수 이상 범위에 이어진다고 보고했다. GPT-3는 1,750억 파라미터, 당시 어떤 비희소 언어 모델보다 10배 크다고 소개됐고, 경사 갱신이나 미세조정 없이 텍스트 예시로 과제를 지정했다. 그러나 웹 말뭉치에서 오는 방법론적 문제와 여전히 어려운 데이터셋도 함께 적었다.

더 크게와 더 쓸모 있게, 보고 읽는 모델과 제도

InstructGPT(2022)는 언어 모델을 더 크게 만든다고 본질적으로 사용자의 의도를 더 잘 따르는 것은 아니라고 출발했다. 사람 시범으로 지도학습한 뒤 출력의 사람 순위 평가로 강화학습(RLHF)했고, 13억 파라미터 InstructGPT 출력이 1,750억 파라미터 GPT-3보다 사람 평가에서 선호됐다고 보고했다. 2022년 11월 30일 공개된 ChatGPT는 InstructGPT의 형제 모델이며 2022년 초 학습을 마친 GPT-3.5 계열을 미세조정했다고 소개됐다. 공개 뒤 이용자 수와 확산 속도에는 이 글의 1차 출처가 없다. 확인 필요.

멀티모달의 연결은 2020년 ViT에서 시작된다. ViT는 충분히 큰 데이터로 사전학습하면 CNN에 의존하지 않고 이미지 패치열에 순수 트랜스포머를 적용할 수 있다고 했다. CLIP은 인터넷의 4억 (이미지, 텍스트) 쌍을 사용하고 ImageNet의 128만 학습 예제를 쓰지 않은 제로샷 평가를 보고했다. Flamingo는 사전학습된 비전·언어 모델을 잇는 VLM 계열을, GPT-4 보고서는 이미지·텍스트를 받아 텍스트를 내는 대규모 멀티모달 모델을 소개했다. GPT-4 보고서는 파라미터 수·학습 데이터·연산량을 밝히지 않는다. LLaVA는 언어 전용 GPT-4로 멀티모달 지시 데이터를 생성해 모델 학습에 썼다.

EU AI Act는 2026년 8월 2일부터 적용되되 일부 조항은 2025년과 2027년에 단계 적용된다. 누적 학습 연산량 10²⁵ FLOP을 넘는 범용 AI 모델은 고영향 능력이 있는 것으로 추정한다. 같은 2024년 노벨 물리학상은 인공 신경망을 이용한 기계학습을 가능하게 한 기초적 발견과 발명으로 홉필드와 힌턴에게 수여됐다.

출처가 비추는 지리

이 글의 무대는 다트머스·벨 연구소·IBM, 케임브리지와 영국 과학연구위원회, 토론토·프린스턴, 그리고 구글·OpenAI·딥마인드·마이크로소프트 연구소 등으로 좁다. 그래서 지역 표기도 아메리카와 유럽에 한정된다.

후쿠시마, 조경현, ResNet·ImageNet 저자들의 이름은 등장하지만, 이 글이 읽은 초록은 저자의 연구 환경을 설명하지 않는다. 일본·한국·중국의 AI 연구사와 정책을 다룬 출처도 확보하지 못했다. 이름이 나온다는 이유만으로 동아시아의 경로를 쓰지는 않는다. 확인 필요.

1986년과 2012년 논문은 대학 소속 저자들이 중심이었지만, 2017년 이후 인용 문헌 다수는 기업 연구소의 프리프린트이며 GPT-4는 회사 이름을 저자로 먼저 둔다. 연산 비용·인력 이동·투자 규모가 이 이동을 만들었다는 설명은 이 글의 출처로는 뒷받침되지 않는다. EU의 포괄적 법률은 확인했지만 미국·중국·한국의 규제 대응은 확보하지 못했다. 확인 필요.

분야 경계와 다섯 논쟁

트랜스포머 이후 문헌이 주로 arXiv 프리프린트로 유통된 것은 정보사의 변화이기도 하다. 2012년 GPU 두 장과 5~6일 학습은 알고리즘만이 아니라 연산 장치가 중요했음을 보여 준다. 홉필드 망과 볼츠만 머신은 물리학의 통계적 도구와, 네오코그니트론은 시각 피질의 위계 모형과 만난다. CLIP의 인터넷 이미지·텍스트 쌍과 ImageNet이 저작권을 소유하지 않는다는 고지는 미술·저작권의 접점이다. 1955년 제안서의 IBM·벨 연구소 소속 제안자는 기업 연구소가 처음부터 계보 안에 있었음을 보인다.

다섯 해석을 구별해야 한다. 첫째, 1986년 논문은 역전파를 새 절차라 했지만, 슈미트후버의 2014년 개관은 Linnainmaa 1970, Werbos 1981, GMDH 1965/1971을 앞선 계보로 들고 1986년의 대중화 기여를 평가한다. 이는 LSTM 공저자가 쓴 우선권 논쟁의 한쪽 서술이며 제3자 판정 출처는 없다. 둘째, 『퍼셉트론』이 연구를 멈췄다는 서사는 직접 검증하지 못했다. 셋째, 2012년은 주최 측의 ‘전환점’이지만 다른 대회·데이터셋을 기준으로 한 반론도 있어 무엇을 분기점으로 칠지가 쟁점이다. 넷째, 1972~1973년 영국 사례를 전 세계적·두 번째까지 있는 AI 겨울로 일반화할 수 없다. 다섯째, 스케일링 법칙의 손실 감소와 사용자에게 더 쓸모 있는 결과는 같지 않으며, 2022년의 선호 학습이 그 차이를 보여 준다.

읽는 법과 남은 확인

이 글의 출처는 원 논문, 저자 사본, 공식 프로젝트 페이지, 아카이브와 법령으로 구성된다. 매컬러-피츠(1943)·로젠블랫(1958)·르쿤 외(1989)는 서지 또는 초록 수준으로만 확인했고, 그 본문을 읽지 못했다. 라이트힐의 파장은 아카이브 편집자의 서술에 의존한다. ChatGPT 공지는 원 주소가 막혀 2022년 12월 2일 Wayback Machine 캡처로 읽었다.

트랜스포머 수치도 판본을 구분해야 한다. 프로시딩과 arXiv v1의 영어→프랑스어 BLEU는 41.0인데, 현재 arXiv v7은 초록·표 2에 41.8, 6.1절 산문에는 41.0을 적는다. 41.8이 어느 후속 실험인지 확인하지 못했으므로, 이를 하나의 매끈한 숫자로 합치지 않는다.

더 넓은 통사는 Nilsson(2010), Crevier(1993), Olazaran(1996), Schmidhuber(2015), LeCun·Bengio·Hinton(2015), Mitchell(2019)처럼 서로 성격이 다른 읽을거리를 대조할 필요가 있다. 특히 퍼셉트론 논쟁과 신경망 우선권은 한쪽 개관을 최종 판정으로 읽지 말아야 한다.

AI 역사 연재 — 1. 신경망에서 LLM·VLM까지 · 2. 다트머스 워크숍 1956 · 3. ImageNet과 AlexNet 2012 · 4. 트랜스포머 2017 · 5. ChatGPT 2022