AI도 가성비 시대...'토큰 다이어트'에 빠진 빅테크

RSS 제공 소개문

[지디넷코리아]글로벌 빅테크의 AI 경쟁이 성능과 규모 중심에서 비용 대비 효율을 높이는 방향으로 옮겨가고 있다. 업무에 필요한 만큼만 AI 모델을 활용해 토큰 소비를 줄이는 이른바 '토큰 다이어트'가 새로운 화두로 떠올랐다. 토큰은 AI가 텍스트 등을 처리하는 기본 단위로, 생성형 AI 서비스의 주요 과금 기준이다. 기업들이 AI를 단순 검색과 문서 작성에서 복잡한 업무를 수행하는 에이전트로 확대하면서 토큰 사용량과 운영 비용도 늘어나고 있다. 이에 따라 업무 난도에 맞춰 AI 모델을 선택하고 불필요한 토큰 소비를 줄이는 기술이 주목받고 있다. AI 호출 횟수나 사용량보다 실제 업무 성과를 기준으로 요금을 부과하는 서비스도 등장했다. SK텔레콤은 AI 에이전트 도입을 넘어 조직의 일하는 방식 자체를 바꾸는 AI 전환(AX)을 추진하고 있다. AI 비용을 줄이는 대표적인 방법은 업무 특성에 따라 여러 모델을 구분해 사용하는 '모델 라우팅'이다. 간단한 요약이나 번역에는 저비용 모델을 활용… 더보기 (원문 기사, 새 탭)