생성형 AI란? 분류하는 기술과 문장·이미지를 만드는 기술의 차이

작성자:

생성형 AI는 학습한 데이터의 패턴을 바탕으로 문장, 이미지 등 새로운 출력을 만드는 인공지능입니다. 입력을 보고 정해진 범주를 고르는 분류와 달리, 여러 요소를 조합해 출력 자체를 생성합니다. 다만 ‘새로운 출력’이 항상 새로운 사실이나 독창적인 지식을 뜻하는 것은 아닙니다.

스팸 여부를 판별하는 일과 이메일 초안을 쓰는 일은 결과의 형태가 다릅니다. 전자는 정해진 분류 결과를 선택하는 문제이고, 후자는 문장 전체를 만들어야 하는 문제입니다. 생성형 AI라는 표현은 이런 출력 방식의 차이를 가리키며, 모든 인공지능을 대신 부르는 말은 아닙니다.

이 글의 목차

글을 만드는 AI는 문장을 통째로 꺼내 오는 걸까?

대표적인 언어모델은 앞에 주어진 입력과 이미 생성한 내용을 바탕으로 다음 토큰을 생성합니다. 토큰은 모델이 글을 처리하는 단위로, 단어 하나일 수도 있고 단어의 일부나 문자일 수도 있습니다. 사람이 세는 글자 수나 단어 수와 항상 일치하지 않습니다.

Google의 기술 교육 자료는 디코더형 언어모델이 이미 만들어진 텍스트에서 다음 토큰을 생성하는 구조를 설명합니다. 이런 과정을 반복하면 여러 문장과 긴 글이 만들어집니다. 하나의 긴 답을 완성품처럼 저장해 두었다가 그대로 꺼내는 방식만으로 작동하는 것은 아닙니다.

Hugging Face의 생성 문서에는 다음 토큰을 선택하는 방법과 생성 길이 등의 설정이 나옵니다. 확률이 높은 후보를 고르는 방식과 확률에 따라 후보를 추출하는 방식이 구분됩니다. 동일한 질문에도 답변 표현이 달라질 수 있는 기술적 배경 중 하나입니다.

문맥을 반영한다는 말의 의미

문장의 각 부분은 다른 부분과 연결됩니다. 트랜스포머의 자기 주의라는 장치는 입력 안의 다른 토큰과의 관계를 계산해 현재 토큰의 표현에 반영합니다. 여기서 주의는 인간이 관심을 갖는다는 뜻이 아니라, 정보 사이의 관계를 수학적으로 계산하는 기술 용어입니다.

2017년 논문 ‘Attention Is All You Need’는 트랜스포머 구조를 제시하고 기계번역 과제에서 평가했습니다. 이 논문은 현재의 모든 생성형 AI 기능을 한꺼번에 입증한 자료가 아니라, 이후 언어모델에 중요한 기반이 된 구조에 관한 연구입니다.

문맥을 반영하는 능력과 내용이 사실인지 확인하는 능력은 같은 기준이 아닙니다. 문장 안에서 자연스럽게 연결되는 표현을 만드는 것과 그 문장이 가리키는 사건이 실제로 있었는지를 확인하는 것은 구분됩니다.

이미지 생성도 언어모델과 같은 방식일까?

생성형 AI에는 서로 다른 모델 구조가 있습니다. 2014년 GAN 연구는 자료를 만드는 생성 모델과 그 자료가 학습 데이터에서 왔는지 생성 모델에서 왔는지를 판별하는 모델을 함께 학습시키는 구조를 제시했습니다. 생성과 판별이 학습 과정에서 연결되는 방식입니다.

확산 모델은 다른 접근입니다. 2020년 ‘Denoising Diffusion Probabilistic Models’ 논문은 데이터에 점차 잡음을 더하는 과정과 그 반대 방향을 학습하는 구조를 설명합니다. 생성 단계에서는 학습된 역방향 과정을 이용해 잡음에서 데이터 형태를 만들어 갑니다.

따라서 이미지 생성 전체를 ‘인터넷 사진을 잘라 붙이는 것’이나 ‘다음 단어를 예측하는 것’ 하나로 설명할 수는 없습니다. 자료에서 패턴을 학습해 출력을 만든다는 공통점은 있지만, 실제 모델 구조와 출력 생성 과정은 다릅니다.

같은 입력으로 만들었는데 결과가 달라지는 이유

이미지 생성에서는 처음 계산에 쓰는 잡음도 결과에 영향을 줍니다. Hugging Face의 Diffusers 문서는 무작위 값을 만드는 생성기와 시드라는 시작 설정을 구분합니다. 질문이나 그림 설명을 똑같이 적어도 계산의 출발 상태가 다르면 다른 이미지가 나올 수 있습니다.

여기에는 조금 더 세부적인 차이도 있습니다. 같은 생성기 객체를 계속 재사용하면 이전 계산에서 내부 상태가 바뀌므로 다음 결과가 달라질 수 있습니다. ‘처음에 시드를 한 번 정했다’는 것과 ‘매번 같은 시작 상태로 되돌렸다’는 것은 다릅니다.

그렇다고 시드 숫자 하나만 같으면 모든 컴퓨터에서 완전히 같은 결과가 보장되는 것도 아닙니다. 공식 문서는 CPU와 GPU의 난수 생성 방식, 계산 알고리즘 등도 재현성에 영향을 준다고 설명합니다. 같은 모델·입력·설정이라는 설명에 실제 실행 환경까지 포함되는 이유입니다.

결과를 재현하는 것과 사실을 검증하는 것은 다르다

재현성은 같은 조건에서 결과를 다시 얻을 수 있는지에 관한 성질입니다. 사실성은 그 결과의 내용이 실제 자료와 맞는지에 관한 성질입니다. 같은 잘못된 설명이 반복돼도 재현은 될 수 있지만, 반복됐다는 이유로 사실이 되지는 않습니다.

이 구분은 생성형 AI의 평가 연구에도 나타납니다. 뒤에서 소개할 FActScore는 생성 과정을 똑같이 반복했는지가 아니라, 출력에 포함된 개별 사실을 근거 자료가 뒷받침하는지를 평가합니다. 이미지의 모양을 일정하게 만드는 설정과 문장의 근거를 확인하는 평가가 서로 다른 일을 담당하는 것입니다.

기본 모델과 대화형 서비스 사이에는 추가 과정이 있다

대량의 자료로 학습한 모델이 곧바로 사용자의 지시를 잘 따르는 것은 아닙니다. 2022년 InstructGPT 연구는 사람이 작성한 바람직한 응답 예시로 모델을 추가 학습하고, 여러 응답의 선호 순위를 이용해 다시 조정하는 절차를 제시했습니다.

연구에서는 특정 평가 조건에서 사람의 선호와 진실성 등에 개선이 있었지만 간단한 오류도 남았다고 설명합니다. 사람의 피드백을 사용했다는 사실이 모든 답변을 사람이 미리 검토했다는 뜻은 아닙니다.

이 구분은 제품을 이해할 때도 중요합니다. 바탕이 되는 모델, 지시를 따르도록 조정한 과정, 검색이나 외부 도구, 사용자 화면은 서로 다른 구성 요소입니다. 대화창에서 한 번에 보이는 답변 뒤에는 여러 기능이 결합될 수 있습니다.

검색과 생성은 결과를 얻는 과정이 다르다

검색은 존재하는 자료 가운데 조건에 맞는 것을 찾는 과정입니다. 생성은 모델이 출력을 구성하는 과정입니다. 검색 기능이 연결된 생성형 AI는 먼저 찾은 자료를 입력에 넣고 이를 바탕으로 답을 만들 수 있습니다.

2020년 RAG 연구는 언어모델과 외부 문서 검색을 결합하는 구조를 제시했습니다. 모델 내부에 학습된 정보만 이용하는 방식과 외부 자료를 함께 이용하는 방식을 구분한 것입니다.

하지만 자료를 찾았다는 사실과 답변의 모든 문장이 그 자료에 의해 뒷받침된다는 사실은 별개입니다. 검색된 문서를 잘못 요약하거나 서로 다른 조건의 내용을 결합하면 결과가 어긋날 수 있습니다. 검색 결과, 생성한 설명, 근거가 뒷받침하는 범위를 구분하는 이유입니다.

유창한 답변과 검증된 답변의 차이

FActScore 연구는 긴 생성문 안에 근거가 있는 정보와 없는 정보가 섞일 수 있다는 문제를 다룹니다. 전체 글에 맞음·틀림 하나만 부여하기보다 개별 사실 단위로 나누어 믿을 만한 자료가 뒷받침하는 비중을 계산했습니다.

이 연구가 보여 주는 구분은 문장이 잘 읽히는지와 세부 사실이 맞는지가 다른 평가라는 점입니다. 인명과 날짜, 숫자와 소속 같은 요소가 한 문장에 함께 있어도 각각 확인할 대상입니다. 특정 시점의 연구 점수를 현재 모든 서비스의 정확도로 일반화할 수는 없습니다.

생성형 AI는 출력의 폭을 넓힌 기술이지만, 그 출력이 자동으로 사실 검증이나 독립적인 조사 결과가 되지는 않습니다. 분류와 생성, 학습과 검색, 문장의 자연스러움과 개별 사실의 정확성을 나누어 보면 기능의 범위가 명확해집니다.

참고자료