AI 에이전트란? 답변을 넘어 도구로 작업하는 시스템

작성자:

AI 에이전트는 목표를 받아 필요한 정보를 살피고 도구를 사용하면서 작업을 진행하는 시스템을 가리킵니다. 언어모델을 이용하는 에이전트에서는 모델이 다음 행동을 결정하고, 실제 도구가 검색·조회·수정 등의 작업을 수행합니다. 답변 문장을 만드는 기능과 외부 환경에 행동하는 기능이 결합된 구조입니다.

다만 에이전트라는 말에는 하나의 통일된 제품 규격이 없습니다. 정해진 절차를 따르는 자동화를 포함해 부르기도 하고, 모델이 절차를 동적으로 결정하는 시스템만 구별해 부르기도 합니다. 무엇을 직접 수행하는지에 따라 실제 범위가 달라집니다.

이 글의 목차

챗봇 화면과 에이전트 기능은 다른 구분이다

챗봇은 대화하는 화면이나 상호작용 방식을 가리키는 경우가 많습니다. 그 뒤에서 답변만 생성할 수도 있고, 검색 도구를 사용하거나 외부 서비스에서 작업할 수도 있습니다. 대화창이 있다는 이유만으로 에이전트가 아니라고 할 수도, 에이전트라고 할 수도 없습니다.

Anthropic은 2024년 기술 글에서 코드에 미리 정해진 경로를 따르는 워크플로와 모델이 과정·도구 사용을 동적으로 지시하는 에이전트를 구분했습니다. 이는 이 회사가 사용하는 설계상의 구분이며 업계 전체의 법적·표준 정의는 아닙니다.

고정된 순서대로 자료를 읽고 요약해 저장하는 작업과, 중간 결과에 따라 추가 검색이나 다른 도구를 선택하는 작업은 구조가 다릅니다. 둘 다 자동화할 수 있지만 다음 단계를 누가 어떤 기준으로 정하는지가 다릅니다.

모델의 행동 요청과 실제 실행

언어모델은 도구를 사용할 때 어떤 기능을 어떤 입력으로 호출할지 나타내는 요청을 만들 수 있습니다. 실제 외부 작업은 이를 받아 실행하는 프로그램과 도구가 담당합니다. 모델이 ‘처리했습니다’라고 문장을 생성한 것만으로 외부 상태가 바뀌는 것은 아닙니다.

에이전트의 일반적인 흐름은 목표와 현재 상태를 확인하고, 도구를 호출한 다음, 반환된 결과를 읽어 다음 행동을 정하는 과정입니다. 검색에 실패하거나 필요한 값이 없으면 다른 경로를 찾거나 사용자에게 정보를 요청할 수 있습니다.

Anthropic의 설명에서도 도구 실행 결과 같은 환경의 정보를 확인하고, 완료 조건이나 반복 횟수 제한 등을 두는 구조가 나옵니다. 에이전트는 한 번의 답변이 아니라 결과를 주고받는 여러 단계의 작업일 수 있습니다.

ReAct 연구는 무엇을 연결했을까?

2022년에 공개되고 2023년 학회에 발표된 ReAct 연구는 추론 과정과 행동을 번갈아 생성하는 구조를 다뤘습니다. 여기서 행동은 외부 자료나 환경에 접촉해 정보를 얻는 작업입니다.

연구의 질의응답·사실 확인 과제에서는 위키피디아 API를 사용했고, 별도의 의사결정 평가에는 ALFWorld와 WebShop 같은 실험 환경을 사용했습니다. 모델 내부에서 설명을 계속 만드는 것과 외부 결과를 받아 다음 단계를 조정하는 방식을 비교한 것입니다.

연구 성과를 현재 모든 상용 서비스의 업무 성공률로 옮길 수는 없습니다. 시험한 환경과 과제, 모델, 입력 예시가 정해져 있었기 때문입니다. 이 연구가 제공하는 핵심 정보는 실제 환경과 상호작용하는 구조를 실험했다는 점입니다.

‘완료’는 말이 아니라 결과 상태로 평가할 수 있다

τ-bench 연구는 사용자와의 대화, 업무용 API, 분야별 규칙을 함께 포함하는 평가 환경을 만들었습니다. 사용자는 언어모델로 시뮬레이션됐고, 에이전트는 정해진 도구와 정책을 이용했습니다.

이 연구의 중요한 특징은 대화가 끝난 뒤 데이터베이스 상태를 목표 상태와 비교한다는 점입니다. 에이전트가 정중하게 답했거나 완료했다고 말했는지와 실제 업무 결과가 맞는지를 나누어 평가했습니다.

반복 시험에서 일관되게 성공하는지도 별도의 지표로 다뤘습니다. 한 번 성공한 사례와 같은 조건에서 안정적으로 성공하는 능력은 다른 문제입니다. 원논문의 당시 모델 점수는 연구 조건의 결과이며, 현재 제품의 전체 신뢰도를 대신하는 수치는 아닙니다.

읽기 권한과 실행 권한이 결과를 바꾼다

도구가 제공하는 기능과 접근 권한에 따라 에이전트가 수행할 수 있는 일이 달라집니다. 자료 조회만 가능한 도구와 실제 데이터를 바꾸는 도구는 효과가 다릅니다. 언어모델의 답변 능력이 높아져도 외부 서비스가 허용하지 않은 작업을 정당하게 수행할 권한이 자동으로 생기지는 않습니다.

워드프레스 API만 보아도 개별 글의 조회, 생성, 수정, 삭제가 별도 작업이고 글 상태도 나뉩니다. 어떤 도구를 연결하고 어떤 계정으로 실행하는지가 실제 작업 범위를 결정합니다.

사용자 승인을 받는 지점도 시스템의 구성 요소입니다. 자료를 준비하는 단계까지 자동으로 수행하고 외부 공개 직전에 멈추는 방식과, 사전에 허용된 범위에서 끝까지 수행하는 방식은 서로 다릅니다. 자동화 정도와 권한 범위는 같은 말이 아닙니다.

외부 문서가 행동을 바꾸려 할 때

에이전트는 웹페이지나 이메일처럼 외부에서 온 내용을 읽을 수 있습니다. 그런데 그 자료에 사용자의 의도와 다른 행동을 시키는 문장이 들어 있을 수 있습니다. 이런 입력으로 시스템을 다른 작업에 유도하는 공격을 프롬프트 인젝션이라고 부릅니다.

AgentDojo 연구는 도구가 반환한 신뢰할 수 없는 자료를 이용해 에이전트를 다른 작업으로 유도하는 공격과 방어를 평가했습니다. 이메일 관리, 여행 예약 등과 관련된 실험 과제를 포함했습니다.

이 문제는 단순히 답변에 틀린 정보가 들어가는 것과 다릅니다. 자료를 설명할 대상으로 읽어야 하는데 실행 지시처럼 받아들이면 외부 작업까지 바뀔 수 있기 때문입니다. 다만 연구의 공격 성공 여부를 특정 회사의 실제 서비스에서 동일하게 발생한다고 단정할 수는 없습니다.

도구를 많이 연결하면 더 잘 일할까?

도구 목록의 길이와 업무 성공률은 같은 지표가 아닙니다. Anthropic의 2025년 도구 설계 글은 기능이 겹치거나 이름이 모호한 도구가 많으면 에이전트가 선택을 혼동할 수 있다고 설명합니다. 이는 해당 회사의 설계 경험이며, 모든 제품의 성능 순위를 비교한 독립 시험은 아닙니다.

이 글은 주소록 전체를 한 번에 반환하는 도구와 필요한 연락처를 검색하는 도구를 대비합니다. 전자는 많은 자료를 모델이 일일이 읽게 하고, 후자는 조건에 맞는 결과를 먼저 좁힙니다. 모델이 한 번에 처리할 수 있는 정보량에 한도가 있기 때문에, 도구가 무엇을 얼마나 돌려주는지도 작업에 영향을 줍니다.

또한 사람이 읽는 이름과 후속 실행에 쓰는 고유 식별자는 역할이 다릅니다. 도구는 설명뿐 아니라 정확한 대상을 지정할 값도 반환합니다.

오류를 받았을 때 무엇을 아는지도 중요하다

같은 실패라도 잘못된 입력 형식인지, 필요한 결과가 없는지, 반환량이 너무 많아 일부가 잘렸는지에 따라 다음 작업이 달라집니다. Anthropic은 모호한 오류 코드보다 구체적인 입력 조건을 알려주는 응답, 긴 결과를 페이지나 범위로 나누는 기능을 도구 설계 요소로 설명합니다.

따라서 에이전트의 실패를 모두 ‘AI가 생각을 잘못했다’고 설명할 수는 없습니다. 도구의 안내와 반환 정보가 부족해 잘못된 경로를 택하는 경우도 평가 대상입니다. 앞서 본 τ-bench가 대화 표현과 최종 데이터 상태를 나누어 평가하는 것처럼, 모델의 문장만이 아니라 실행에 필요한 정보와 실제 결과를 함께 구분합니다.

여러 단계일수록 확인할 대상도 늘어난다

에이전트에는 모델의 판단, 도구의 입력 형식, 서비스의 권한, 외부 자료, 실행 결과가 함께 관여합니다. 모델이 적절한 도구를 골랐어도 도구가 실패할 수 있고, 실행됐어도 목표와 다른 대상이 변경될 수 있습니다.

따라서 에이전트의 능력은 답변 품질 하나로 설명되지 않습니다. 계획이 적절했는지, 실제 실행이 이루어졌는지, 마지막 상태가 목표와 맞는지, 같은 작업을 반복해도 안정적인지가 서로 다른 평가입니다.

AI 에이전트는 사람의 모든 업무를 독립적으로 대체한다는 보증이 아니라, 모델이 도구와 결과를 연결해 작업을 진행하는 시스템 유형입니다. 무엇을 말하는지보다 어떤 도구로 무엇을 수행하고 결과를 어떻게 확인하는지가 기능의 범위를 구체적으로 보여 줍니다.

참고자료