컨티뉴엄 AI, OrcaRouter 인프라 업그레이드로 AI 응답 속도 최대 45% 단축

노형석 기자

작성일 2026-11-05 08:02

컨티뉴엄 AI(CONTINUUM AI)가 개발한 인공지능(AI) 라우팅 플랫폼 OrcaRouter가 전면적인 플랫폼 인프라 업그레이드를 완료했다고 2026년 11월 3일 밝혔다. 이번 업그레이드를 통해 첫 토큰 생성 시간(TTFT)이 최대 45% 단축되었으며, 대용량 프롬프트 처리 시 발생하던 타임아웃 오류가 수정되어 추론 속도와 안정성이 동시에 향상되었다.

OrcaRouter는 이번 업그레이드로 플랫폼 전반에 걸쳐 P50, P90, P99 구간의 TTFT를 최대 45% 단축했다. TTFT는 사용자 요청 후 첫 번째 토큰이 출력되기까지 걸리는 대기 시간을 의미하며, P50은 중앙값, P90과 P99는 각각 응답이 가장 느린 상위 10%와 1%의 꼬리 구간을 나타낸다. 이러한 지표들의 동시 개선은 단순한 평균 속도 향상을 넘어, 응답이 지연되던 요청들까지 안정적으로 처리할 수 있게 되었음을 시사한다.

또한, 대용량 요청 처리 시 발생하던 타임아웃 문제를 해결하고, 동일 클러스터 내에서 긴 프롬프트 입력 시 짧은 요청의 응답이 지연되던 현상과 긴 요청과 짧은 요청 간의 자원 경합을 완화했다.

이번 인프라 개편은 특정 모델이나 리전에 국한되지 않고 플랫폼 전체를 대상으로 진행되었으며, 모든 호스팅 모델에 일괄 적용된다. 이는 대화형 애플리케이션의 응답 속도를 향상시키고 자동화 파이프라인의 병목 현상을 방지하는 데 기여할 것으로 기대된다.

사용자는 기존 API 엔드포인트를 통해 속도 향상을 체감할 수 있으며, 모델별 TTFT는 각 모델 페이지의 성능 섹션에서 확인할 수 있다. 다만, 이번 발표에서 개선 수치의 상한선 표기와 세부 기술 내역은 공개되지 않았다. 제3의 독립 기관 검증 데이터 또한 아직 마련되지 않았다.

OrcaRouter는 단일 API 키와 엔드포인트로 Claude Opus 5.5, GPT-6.1 Sol, Gemini 3.8 Flash 등 200개 이상의 모델을 제공하며, 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 특징으로 한다. 자체 호스팅 버전인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.