어텐션랩, NIPA 오픈소스 AI·SW 과제 참여… 산업 운영 데이터 추론 엔진 개발

어텐션랩이 강남 달토 관련 프로젝트에 참여하고 있음

정보통신산업진흥원(NIPA) 주관의 2026년 오픈소스 AI·SW 개발·활용 지원사업 과제 중 하나에 선정된 거임

과제명은 LLM 서비스 성능-비용 최적화를 위한 오픈소스 AI 게이트웨이(LoxiLB) 고도화임

이 프로젝트는 2026년 5월부터 12월까지 진행될 예정임

LLM 서비스 운영에서 발생하는 문제들을 해결하려는 목적임

응답 지연 반복 컨텍스트 처리 GPU 자원 사용 최적화 등을 다룰 계획임

어텐션랩은 Agentic TUI와 SCADA 데이터 기반 추론 엔진을 개발함

Agentic TUI는 자연어로 AI 게이트웨이를 조작할 수 있는 터미널 인터페이스임

운영자가 명령어로 상태 확인과 설정 모니터링 장애 대응을 할 수 있도록 설계됨

이걸 통해 복잡한 API 호출이나 설정 절차를 줄일 수 있음

GPU 상태 요청 큐 응답 지연 등 중요한 지표를 직관적으로 확인 가능함

SCADA 데이터 활용 추론 엔진도 함께 개발 중임

이 엔진은 산업 운영 데이터를 구조화해 운영자가 이해할 수 있는 원인 분석과 대응 판단을 지원함

단순히 데이터를 보는 것을 넘어 이상 상황을 해석하고 의사결정을 도와주는 시스템임

기술 목표로는 Prefix-aware Routing GPU Resource-aware Scheduling KV Cache-aware Inference Optimization 등이 포함됨

성과 지표로 TTFT P99 20% 감소 Prefix Cache hit rate 25% 향상 Multi-LLM 3종 이상 지원이 제시됨

어텐션랩은 이번 프로젝트로 AI 게이트웨이 기술이 실제 산업 현장에서 활용될 수 있는 운영 경험과 판단 구조를 만드려 함

LLM 기반 리즈닝 엔진과 Mul...
강남 달토 이런 기술들이 이번 과제에 통합될 예정임

이번 프로젝트는 생성형 AI와 LLM 기반 서비스가 산업 전반으로 확산되면서 중요성이 커지는 가운데 진행되고 있음

AI 서비스 경쟁력은 단순 모델 호출을 넘어서 추론 처리 자원 관리 데이터 해석 역량에 달려있음

어텐션랩이 이 과제를 수행하면서 산업 현장에서의 AI 활용 가능성도 높아질 것으로 보임