온디바이스 AI 뜻, 휴대전화 안에서 무엇을 처리한다는 말일까?

작성자:

온디바이스 AI는 휴대전화나 PC 같은 기기 안에서 AI 계산을 수행하는 방식입니다. 입력을 외부 서버로 보내 결과를 받는 클라우드 처리와 구분됩니다. 다만 하나의 앱이 모든 기능을 기기 안에서만 수행하는지, 일부 기능만 그렇게 처리하는지는 별도로 확인할 문제입니다.

사진이나 글을 휴대전화 화면에서 입력한다는 것만으로 온디바이스 AI가 되는 것은 아닙니다. 화면이 있는 장소와 실제 모델 계산이 일어나는 장소가 같지 않을 수 있기 때문입니다.

이 글의 목차

휴대전화가 학습까지 전부 하는 걸까?

온디바이스라는 표현은 처리 장소에 관한 말입니다. 많은 서비스에서 기기는 미리 학습된 모델을 받아 추론, 즉 입력에 대한 결과를 계산하는 일을 수행합니다. 모델을 처음부터 학습하는 과정이 같은 기기에서 일어난다는 뜻은 아닙니다.

Google의 ML Kit 생성형 AI 문서는 Android의 AICore라는 시스템 서비스를 바탕으로 기기 내 모델을 실행한다고 설명합니다. 요약, 문장 교정, 다시 쓰기, 이미지 설명 등의 기능이 별도 API로 제공됩니다.

이 사례에서 모델을 여러 앱이 공유할 수 있다는 점도 중요합니다. 이미 기기에 있는 모델을 앱마다 따로 내려받는 일을 줄이는 구조입니다. 모델 저장과 실행을 시스템이 관리하는 방식이며, 각 앱이 모두 별개의 대형 모델을 내장해야 한다는 뜻은 아닙니다.

인터넷이 없어도 작동한다는 말의 범위

기기 안에 필요한 모델과 실행 기능이 준비돼 있다면 해당 추론은 외부 서버의 응답을 기다리지 않고 수행할 수 있습니다. Google은 ML Kit의 해당 생성형 API가 기기에서 실행되며 안정적인 인터넷 연결이 없어도 기능을 제공한다고 설명합니다.

하지만 처음 모델을 내려받거나 갱신하는 과정과 실제 추론은 다른 단계입니다. 앱의 다른 기능이 온라인 자료를 검색하거나 계정에 접속할 수도 있습니다. 따라서 일부 AI 계산이 로컬이라는 이유로 앱 전체가 모든 상황에서 오프라인으로 작동한다고 일반화할 수는 없습니다.

지원 기기와 기능도 구분됩니다. Google 문서에는 기능별 지원 기기와 언어 조건이 따로 있으며, 다운로드된 모델과 기기 구성에 따라 언어 지원이 달라질 수 있다고 나옵니다. ‘AI 지원 휴대전화’라는 표현만으로 모든 기능의 동일한 지원 범위가 정해지지는 않습니다.

작은 기기에서 모델을 돌리는 기술

기기에는 메모리와 전력, 계산 자원의 제약이 있습니다. 모델을 저장할 공간이 있다고 실행에 필요한 모든 메모리가 확보된 것은 아닙니다. 입력과 중간 계산 결과를 위한 공간도 필요합니다.

양자화는 모델의 수치를 더 제한된 표현으로 다루는 기술입니다. 2017년에 공개된 정수 연산 추론 연구는 정수 계산으로 신경망을 실행하면서 정확도와 기기 내 지연시간 사이의 관계를 개선하는 방법을 다뤘습니다. 평가 대상에는 이미지 분류와 객체 탐지가 포함됐습니다.

이는 모든 모델을 줄여도 품질이 똑같다는 주장이 아닙니다. 수치 표현을 바꾸면 계산과 메모리 사용이 달라지고, 결과 품질을 유지하기 위한 방법도 필요합니다. 원연구 역시 양자화 이후 정확도를 보존하기 위한 학습 절차를 함께 다뤘습니다.

지식 증류와 양자화는 같은 압축일까?

지식 증류는 다른 모델이 내는 출력 정보를 활용해 별도의 모델을 학습시키는 방법입니다. Hinton 등의 2015년 연구는 여러 모델을 함께 사용하는 앙상블의 지식을 배포하기 쉬운 단일 모델에 전달하는 방법을 제시했습니다.

양자화가 수치 표현을 바꾸는 데 초점을 둔다면, 증류는 학습시키는 모델과 학습 신호의 관계를 바꾸는 방법입니다. 서로 다른 접근이므로 함께 활용될 수도 있고 각각 사용될 수도 있습니다.

작은 모델이라는 표현도 파라미터 수, 저장 크기, 실행 메모리 가운데 무엇을 말하는지에 따라 의미가 다릅니다. 모델 파일이 작다고 모든 작업에서 빠르거나, 큰 모델과 같은 결과를 낸다고 확정할 수는 없습니다.

긴 대화에는 추가 메모리가 필요하다

언어모델의 추론에는 앞선 계산을 다시 활용하기 위한 캐시가 사용될 수 있습니다. KV 캐시는 주의 계산에서 쓰는 키와 값의 표현을 저장합니다. 가중치와 별도로 사용하는 계산 상태입니다.

Hugging Face 문서는 긴 문맥에서 이 캐시가 상당한 메모리를 차지할 수 있다고 설명합니다. 캐시를 압축하거나 다른 메모리로 옮기는 방식은 메모리와 속도 사이의 조건을 바꿉니다.

그래서 짧은 질문에 답하는 모델을 실행할 수 있다는 사실만으로 긴 문서와 긴 대화를 같은 조건에서 처리할 수 있다고 볼 수는 없습니다. 지원 문맥과 출력 길이는 실제 메모리 사용 및 실행 방식과 연결됩니다.

기기와 클라우드를 함께 쓰는 하이브리드 AI

하이브리드 AI는 기기와 클라우드에 작업을 나누는 구조입니다. Qualcomm의 2023년 설명은 모델과 질문의 복잡도 등에 따라 기기에서 처리하거나 클라우드와 나누어 처리하는 방식을 제시합니다.

이것은 실제 구조의 선택지를 설명하는 자료입니다. 회사가 제시하는 비용 절감이나 성능 향상의 전망을 모든 서비스에서 확인된 효과로 받아들일 수는 없습니다. 어떤 입력을 어느 쪽으로 보내는지와 처리 조건에 따라 결과가 달라집니다.

온디바이스와 클라우드는 항상 둘 중 하나만 선택해야 하는 관계가 아닙니다. 같은 앱에서도 기기 안의 기능과 서버가 필요한 기능을 결합할 수 있습니다. 이 경우 특정 기능의 로컬 처리와 앱 전체의 데이터 흐름을 나누어 볼 수 있습니다.

내 휴대전화에서 계산하는데도 사용 한도가 있을까?

서버를 이용하지 않는 추론도 기기의 계산 자원과 배터리를 사용합니다. Google의 ML Kit 문서는 앱별 추론 한도를 두며 짧은 시간에 요청이 몰리면 사용 중이라는 오류, 장기간 사용 한도를 넘으면 배터리 사용량 관련 한도 오류를 반환할 수 있다고 설명합니다.

앱이 실행되는 상태에도 조건이 있습니다. 해당 생성형 API의 추론은 앱이 맨 앞에서 사용 중인 경우에 허용되며, 백그라운드 실행에는 제한이 있습니다. 이는 Google의 해당 API 조건입니다. 모든 온디바이스 모델이 같은 제한을 가진다는 뜻은 아닙니다.

따라서 ‘호출마다 외부 서버 요금이 없다’와 ‘기기에서 무제한으로 계속 계산할 수 있다’는 다른 설명입니다. 계산 장소가 로컬로 바뀌어도 메모리·배터리·운영체제의 사용 조건은 남습니다.

개인정보를 보호하는 클라우드도 온디바이스일까?

Apple은 큰 모델이 필요한 작업을 처리하는 Private Cloud Compute, 즉 PCC를 별도로 설명합니다. 이 경우 요청의 데이터가 처리 서버로 전송되므로 기기 안에서만 계산하는 온디바이스 추론과는 다릅니다.

Apple의 보안 설계 설명에 따르면 PCC는 요청 수행에만 데이터를 이용하고 응답 후 보존하지 않는 구조를 목표로 합니다. 이는 업체가 공개한 설계와 보장 설명이며, 이 글에서 개별 실행을 독립적으로 검사한 결과는 아닙니다.

여기서 구분할 기준은 두 가지입니다. 하나는 계산이 기기와 서버 중 어디에서 일어나는가이고, 다른 하나는 전송된 데이터가 어떤 접근·보존 규칙으로 처리되는가입니다. 개인정보 보호를 강조하는 서비스라도 계산 장소는 클라우드일 수 있습니다.

개인정보 보호와 정확도는 다른 문제다

기기 안에서 입력을 처리하면 그 계산을 위해 원문을 외부 모델에 보내지 않는 구조를 만들 수 있습니다. 그렇다고 앱의 데이터 수집이나 동기화, 사용자가 공유하는 결과까지 자동으로 없어지는 것은 아닙니다. 로컬 추론은 데이터 처리 위치의 한 요소입니다.

또한 계산이 휴대전화 안에서 이루어진다고 모델의 출력 오류가 사라지는 것은 아닙니다. 처리 장소와 모델이 사실에 맞는 답을 생성하는 능력은 서로 다른 특성입니다.

온디바이스 AI를 이해할 때는 화면이 아니라 계산이 일어나는 위치, 미리 필요한 모델, 지원 기기와 언어, 실행 메모리, 클라우드와의 작업 분담을 구분할 수 있습니다. 이 구분이 ‘내 기기에서 AI가 돌아간다’는 표현의 실제 범위를 설명합니다.

참고자료