AI 학습과 추론 차이, 질문할 때마다 모델이 다시 배우는 걸까?

작성자:

AI 학습은 데이터를 이용해 모델의 내부 수치를 조정하는 과정이고, 추론은 학습된 모델을 이용해 입력에 대한 결과를 계산하는 과정입니다. 질문에 답하고 이미지를 분류하거나 문장을 생성하는 일은 보통 추론에 해당합니다.

대화 중에 AI가 앞서 알려 준 이름이나 조건을 반영했다고 해서 모델의 학습이 즉시 새로 이루어졌다는 뜻은 아닙니다. 현재 대화 내용을 입력으로 활용하는 것과 모델 내부의 수치를 바꾸는 것은 다른 작업입니다.

이 글의 목차

학습에서 바뀌는 것은 무엇일까?

신경망 모델에는 입력을 출력으로 바꾸는 계산에 쓰이는 많은 수치가 있습니다. 이를 파라미터라고 하며, 그중 연결의 영향을 정하는 수치를 흔히 가중치라고 부릅니다. 학습은 예측 결과와 목표 사이의 차이를 이용해 이런 수치를 조정하는 과정입니다.

차이를 나타내는 계산값을 손실이라고 합니다. 학습 과정은 손실을 바탕으로 어떤 수치를 어느 방향으로 바꿀지 계산합니다. 역전파는 이 계산에서 출력 쪽의 오차 정보를 앞쪽으로 전달해 조정에 필요한 값을 구하는 방법입니다.

Hugging Face의 학습 문서는 학습 데이터와 평가 데이터를 구분하고, 학습을 실행한 뒤 조정된 가중치 등을 저장하는 과정을 제시합니다. 질문 하나에 답을 출력하는 것과 별도로 학습 절차가 존재한다는 것을 보여 줍니다.

사전학습과 추가 학습은 범위가 다르다

사전학습은 큰 데이터 집합에서 폭넓은 패턴을 익히는 단계입니다. 이후 특정 작업이나 응답 방식에 맞추어 모델을 더 학습시키는 것을 미세조정 또는 파인튜닝이라고 부릅니다.

추가 학습이 항상 모든 파라미터를 바꾼다는 뜻은 아닙니다. LoRA 연구는 기존 모델의 가중치를 고정한 채 상대적으로 작은 추가 행렬을 학습시키는 방법을 제시했습니다. 행렬은 수치를 행과 열로 배열한 형태입니다.

이 구조는 큰 모델 전체를 작업마다 모두 다시 학습시키는 부담을 줄이려는 방법입니다. 원논문의 특정 실험에서 나온 절감 비율을 모든 모델의 공통 비용으로 사용할 수는 없습니다. 바꾸는 파라미터 범위와 실제 계산량·메모리 사용량은 구현과 모델에 따라 달라집니다.

추론 중에도 상당한 계산이 일어난다

텍스트를 생성하는 추론에서는 입력 내용을 처리한 뒤 다음 토큰을 반복해서 만듭니다. 토큰은 글을 처리하는 단위이며 단어 전체와 항상 일치하지 않습니다. 이미 만든 토큰도 뒤의 생성에 영향을 줍니다.

따라서 추론은 저장된 문장 하나를 단순히 찾아 내보내는 일과 다릅니다. 긴 입력을 처리하고 긴 답변을 생성하면 이에 필요한 계산과 메모리 사용이 생깁니다. 모델의 파라미터를 새로 학습하지 않아도 컴퓨터는 계속 작업합니다.

Hugging Face의 생성 문서에서 입력 처리, 생성 길이, 다음 토큰 선택 설정을 나누는 것도 이 때문입니다. 학습이 완료됐다는 사실이 사용 단계의 계산 비용까지 없어졌다는 뜻은 아닙니다.

답변 시작을 기다리는 시간과 글이 이어지는 시간

언어모델 추론에는 입력을 먼저 처리하는 프리필과, 이후 토큰을 이어서 만드는 디코딩이라는 구분이 있습니다. 긴 문서를 읽고 답하기 시작하는 과정과 답변이 한 조각씩 늘어나는 과정은 같은 추론 안에서도 다른 단계입니다.

Hugging Face의 Text Generation Inference 문서는 새 요청을 처리하려면 먼저 프리필 계산이 필요하다고 설명합니다. 여러 이용자의 요청을 묶어 실행하는 경우에는 새 요청을 합류시키는 작업과 이미 진행 중인 답변 생성을 조정합니다. 묶어서 처리하는 요청 집합을 배치라고 부릅니다.

이 문서는 대기 중인 요청을 자주 끼워 넣으면 기존 요청이 늦어질 수 있고, 너무 늦게 합류시키면 새 요청이 오래 기다릴 수 있다고 설명합니다. 같은 모델이라도 이용자가 몰린 시점의 응답 시간이 달라지는 운영상의 이유입니다. 지연이 길다는 현상만으로 모델이 새로 학습 중이라고 판단할 수는 없습니다.

입력 한도와 답변 한도는 따로 떨어진 공간일까?

같은 추론 서비스 문서는 입력 토큰과 새로 생성할 토큰을 합친 요청 단위의 예산도 설명합니다. 공식 예시에서 총한도가 1,512토큰이면 입력 1,000토큰과 출력 최대 512토큰을 배분할 수 있습니다. 이 숫자는 문서의 설정 예시이지 모든 AI 서비스의 공통 한도가 아닙니다.

입력을 길게 주면서 출력도 길게 요구하면 저장할 계산 상태가 커질 수 있습니다. 문서는 요청당 메모리가 늘어나면 여러 요청을 함께 처리하는 효율에도 영향을 줄 수 있다고 설명합니다. ‘문서를 더 많이 넣는다’는 변화가 읽을 내용뿐 아니라 서비스의 실행 자원에도 연결되는 것입니다.

추론 최적화에도 여러 방식이 있습니다. Hugging Face는 작은 보조 모델이 다음 토큰 후보를 먼저 만들고 큰 모델이 확인하는 방식을 소개합니다. 이는 생성 과정을 빠르게 처리하기 위한 구조이며, 보조 모델이 사실 확인 기관처럼 외부 근거를 검증한다는 뜻은 아닙니다. 계산상 후보 검증과 내용의 사실 검증은 다른 의미입니다.

대화 내용을 기억하는 것과 가중치를 바꾸는 것

대화형 서비스는 앞선 대화 일부를 다음 요청의 입력으로 다시 제공할 수 있습니다. 그러면 모델은 그 내용을 현재 문맥으로 활용합니다. 이 경우 달라지는 것은 입력이며, 반드시 가중치가 변경되는 것은 아닙니다.

문맥에 예시를 넣어 수행 방법을 보여 주는 방식도 있습니다. ReAct 연구는 소수의 입력 예시를 제시해 모델이 추론 과정과 외부 행동을 연결하도록 실험했습니다. 입력에 포함된 예시를 활용하는 것과 해당 예시로 새로운 학습 과정을 실행하는 것은 구분됩니다.

사용 기록 저장이나 서비스의 개인화 기능 역시 모델 학습과 같은 말이 아닙니다. 저장된 자료를 다음 입력에 넣는 방식도 가능하기 때문입니다. 실제 대화가 이후 학습에 이용되는지는 각 서비스의 데이터 처리 정책에 관한 문제이며, 추론이라는 기술 용어만으로 결정되지 않습니다.

KV 캐시는 무엇을 저장할까?

언어모델은 이전 토큰과 관련해 계산한 일부 값을 저장해 반복 계산을 줄일 수 있습니다. 이를 KV 캐시라고 합니다. K와 V는 주의 계산에 사용되는 키와 값이라는 수치 표현을 가리킵니다. 사람의 기억처럼 모든 내용을 별도 지식으로 학습한다는 뜻은 아닙니다.

Hugging Face 문서는 생성이 진행되면서 캐시가 커지는 방식, 고정 크기로 미리 확보하는 방식, 일부 값을 다른 메모리로 옮기는 방식 등을 구분합니다. 긴 문맥에서는 캐시가 상당한 메모리를 차지할 수 있습니다.

캐시를 줄이거나 다른 장치로 옮기면 메모리 사용을 낮출 수 있지만 속도와 다른 관계가 생깁니다. 캐시는 추론의 효율을 위한 계산 상태이고, 추가 학습으로 저장한 가중치와는 역할이 다릅니다.

자료를 찾아 넣는 RAG는 학습일까?

RAG는 외부 자료를 검색해 모델이 답할 때 함께 이용하도록 하는 구조입니다. 자료 저장소의 문서를 바꾸는 것과 모델의 가중치를 바꾸는 것은 독립적인 작업입니다.

2020년 RAG 원연구는 학습된 모델 내부 정보와 외부 문서 인덱스를 결합했습니다. 실제 시스템에서는 검색기나 생성 모델을 추가 학습할 수도 있지만, 질문 때 자료를 검색한다는 동작 자체가 곧 가중치 업데이트를 의미하지는 않습니다.

그래서 최신 문서를 답변에 반영하는 방법이 반드시 대규모 모델을 처음부터 다시 학습시키는 방식 하나뿐인 것은 아닙니다. 입력 문맥과 검색 자료, 추가 학습은 정보가 모델의 응답에 영향을 주는 서로 다른 경로입니다.

네 가지 변화는 구분해서 볼 수 있다

변화주로 달라지는 것가중치 변경과의 관계
새 질문 입력현재 요청의 내용일반적인 추론에서 변경하지 않음
이전 대화 포함참조할 문맥입력의 변화
외부 문서 검색참조 자료검색 자체는 가중치 변경이 아님
미세조정학습 대상 파라미터학습 과정에서 변경

자료: Hugging Face 학습 문서, LoRA 연구, RAG 연구.

AI가 이전보다 맥락에 맞는 답을 했다는 현상만으로 어떤 변화가 일어났는지 확정할 수는 없습니다. 새 정보를 입력으로 받았을 수도 있고, 검색 자료가 달라졌을 수도 있으며, 서비스가 새 모델로 교체됐을 수도 있습니다. 학습과 추론의 구분은 이러한 현상을 실제 계산 과정과 연결해 이해하기 위한 출발점입니다.

참고자료