NABI AI Agent

Solution Introduction

Neural Architecture Bridge Interface독자적인 LLM 엔진 기반 보안/영속성 멀티테넌트 관리 운영 솔루션

NABI는 AI 에이전트와 서비스 모듈을 만들고, 엮고, 운영하는 멀티에이전트 워크스페이스입니다.
웹 브라우저 하나로 개발 · 테스트 · 배포 · 모니터링이 이어지고,
나눈 대화를 기억하는 오케스트레이션 에이전트가 필요한 창을 대신 열어 줍니다.
NABI 바로가기 (새 창)
  • 99.9% 재접속당 GPU 절감
  • 41× 폭주 시 p95 지연 단축
  • 0% 타 사용자 데이터 유출

LLM Engine

사용자별 대화 맥락을
기억하는 QML 엔진

NABI는 자체 개발한 LLM 서빙 엔진 QML 위에서 동작합니다. 대화 기록과 모델 상태(KV)를 사용자 신원 단위로 영구 저장해, 엔진이 멈췄다 다시 떠도 같은 맥락에서 이어 갑니다.

  1. STEP 01 신원 확인

    모든 요청은 tenant · user · agent · role로 확인된 신원을 거칩니다. 이 신원이 모든 데이터 접근의 기준이 됩니다.

  2. STEP 02 대화

    이어지는 대화에 과거 기억(Memory)과 권한 있는 자료(Knowledge)를 더합니다. 외부 자료는 신뢰하지 않는 텍스트로 구분합니다.

  3. STEP 03 저장

    대화 기록과 모델 상태(KV)를 사용자별 세션에 함께 저장합니다. 삭제하면 키를 폐기해 다시는 복구할 수 없습니다.

  4. STEP 04 중단

    재시작 · 장애 · 서버 이동으로 엔진이 내려가도, 세션은 Session Store에 고스란히 남아 있습니다.

  5. STEP 05 복원 → 이어서 대화

    다시 연결되면 저장한 KV를 그대로 불러와, 처음부터 다시 계산하지 않고 대화를 이어 갑니다.

QML 5대 핵심 기술

AI의 일회성 추론을 신원 기반의 영속적 · 연속적 실행 상태로 바꾸고, 이를 다양한 하드웨어와 독자 엔진으로 확장합니다.

01 · Persistent AI Session AI 세션 상태를 일회성 GPU 캐시가 아닌,
지속적으로 보존 · 관리합니다

GPU 메모리 부족 · 프로세스 재시작 · 서버 재기동 뒤에도 대화와 작업 상태를 그대로 복구합니다.

  • 대화와 에이전트 작업 상태를 세션 단위로 저장
  • 대화 기록과 모델 상태(KV)를 함께 보관
  • 사용자별로 분리된 저장 공간 · export / import
핵심 흐름
  1. GPU KV Cache
  2. 영속 Session State
02 · Continuous AI Session 서버 · 엔진 · 메모리 상태가 바뀌어도
같은 세션을 이어 갑니다

세션의 논리적 상태와 추론 엔진의 실행 상태를 분리해, KV 캐시가 지워지거나 실행 엔진이 바뀌어도 작업이 끊기지 않습니다.

  • 재시작 · 서버 이동 뒤에도 그대로 이어서
  • KV 재사용으로 재계산 없이 복원
  • 긴 대화는 window 관리(TAWT) · 과거 대화 recall(RIG)
핵심 흐름
  1. Restart
  2. Eviction
  3. Engine Change
  4. Session Continuity
03 · Identity-Based State Security 사용자 · 에이전트 · 세션의 신원을
저장 상태의 소유권 경계로 씁니다

같은 내용이라도 사용자 · 세션 사이에 상태를 공유하지 않고, 신원을 기준으로 소유 · 접근 · 복구 · 삭제를 관리합니다.

  • tenant · user · agent 단위 소유와 역할별 권한
  • tenant 격리 · 변조를 감지하는 감사 기록(audit log)
  • 세션 단위 암호화, 삭제하면 키 폐기로 복구 불가
핵심 흐름
  1. Identity
  2. Ownership
  3. Isolation
  4. Access Control
  5. Deletion
04 · Scalable AI State Infrastructure 단일 모델 · GPU를 넘어
Edge · On‑Prem · Multi‑Agent로

세션 상태를 엔진과 분리된 관리 계층으로 두어, 사용자 · 에이전트 · 세션이 늘어나도 같은 방식으로 확장합니다.

  • GPU / CPU / NVMe 계층에 세션 상태 분산
  • vLLM · SGLang · llama.cpp 등 여러 엔진 조합
  • 단일 서버부터 데이터센터 · 엣지까지 같은 구조
핵심 흐름
  1. Single GPU
  2. Multi‑GPU
  3. Edge / On‑Prem
  4. Multi‑Agent
05 · QML Native Engine 영속 AI 상태를 직접 이해하고
실행하는 독립 추론 엔진

AI의 기억과 실행 상태를 사용자 신원으로 보호하면서, 재시작 · 장애 · 장비 변경에도 끊김 없이 이어 가는 독자 AI 엔진입니다.

  • Session · Token State를 엔진이 직접 관리
  • Identity‑indexed KV · KV Materialization
  • 오픈소스 엔진의 KV 구조에 종속되지 않음
Native Engine 핵심 구조
  1. Identity
  2. Persistent Session State
  3. QSF / QTF · I-SKV
  4. KV Materializer
  5. QML KV Format
  6. GPU / CPU / NPU Execution

Engine-Neutral Architecture

추론 엔진을 바꿔도
세션은 그대로 이어집니다

데이터 관리 · 게이트웨이 · 연산을 서로 다른 계층으로 나눠, 지금 쓰고 있는 추론 엔진과 장비 그대로 도입할 수 있습니다.
아래 AI 추론 엔진을 직접 바꿔 보세요.
다양한 데이터 소스

여러 환경의 데이터를 수집하고 통합합니다.

  • 파일 데이터QSF, CSV 등
  • 실시간 스트리밍RTSP, RTMP 등
  • DB / API 연동SQL, REST API 등
  • 기타 데이터IoT, 센서 등
NABI Gateway

데이터 변환 · 보안 · 연동을 통합한
AI 플랫폼의 핵심 게이트웨이입니다.

QKVF → SGLang 형식으로 캐시 변환

  • 데이터 변환
  • 보안 처리
  • 표준화
  • 연동 관리
AI 추론 엔진

다양한 AI 엔진을 통해 정확하고 빠른 분석을 수행합니다.

분석 결과 / 서비스

다양한 산업의 비즈니스에 가치를 제공합니다.

  • 대시보드
  • 리포트
  • 맞춤형 솔루션
이 구조로 가능한
핵심 기능 7가지
  1. 세션 데이터 영구 보존
  2. 사용자 ID 기반 데이터 관리
  3. 필요한 이력만 선택 검색
  4. 사용자 간 데이터 격리
  5. 엔진 간 세션 승계
  6. 권한 기반 데이터 공유
  7. 토큰 · 연산량 절감

AI Governance

에이전틱 AI 거버넌스 4대 요건을
별도 투자 없이 기본으로 충족합니다

AI 에이전트의 권한 초과 · 보안 사고는 이미 현실입니다.
NABI는 규제가 요구하는 통제 장치를 엔진과 게이트웨이에 처음부터 갖추고 있습니다.
에이전틱 AI 거버넌스 4대 요건 4/ 4 기본 충족
  1. 01신원 · 접근 권한

    요구 사항 : 에이전트마다 최소 권한의 고유 ID 부여

    NABI 대응기관 › 사용자 › 에이전트 › 세션 ID 필수, 생략 불가

  2. 02실행 중 통제

    요구 사항 : AI 엔진과 분리된 실시간 정책 적용

    NABI 대응NABI Gateway에서 정책 · 권한 적용 (엔진 외부 통제)

  3. 03위험도별 사람 승인

    요구 사항 : 되돌릴 수 없는 작업은 실행 전에 사람이 승인

    NABI 대응NABI OS 승인 흐름 (작업 관리 ‘승인 보기’)

  4. 04추적 · 감사

    요구 사항 : 모든 실행 · 판단 경로를 변경할 수 없게 기록

    NABI 대응변경 불가 대화 기록 + 세션 단위 감사 · 삭제

Workflow

개발부터 운영까지
하나의 워크스페이스에서 이어집니다

개발 스튜디오에서 만들고, 테스트 박스에서 검증한 뒤,
서비스로 구성 · 배포해 바탕화면에서 바로 운영합니다.
  1. STEP 01 · 개발환경
    개발 스튜디오

    Web IDE에서 바로 개발합니다. 무엇을 만드는지에 맞춰 초기 설정이 자동으로 들어갑니다.

    • 에이전트 도구 · 에이전트 · 서비스 모듈별 초기 설정
    • 컨테이너 이미지 · 실행 코드 · AI 설정 · 인터페이스 설정을 명세서로 작성
  2. STEP 02 · 테스트
    테스트 박스

    작성한 명세서로 실제 서비스를 띄워 보고, 실행이 제대로 되는지 검증합니다.

    • 명세서 기반 실제 테스트 Pod 생성
    • 메시지 발행 · 구독으로 입출력 확인
  3. STEP 03 · 서비스 관리
    서비스 구성 · 배포 프로젝트 협업 › 서비스 관리

    AI 에이전트와 서비스 모듈을 다이어그램으로 이어 서비스를 구성하고, 실행 · 배포합니다.

    • 데이터 라우팅 · 데이터 처리 · AI 추론 모듈 조합
    • 실행 주기 설정, 실행 · 중지, 로그 확인
  4. STEP 04 · 운영
    멀티에이전트 서비스

    만든 서비스는 바탕화면에 앱으로 추가되고, 운영 현황을 한 화면에서 확인합니다.

    • 서비스 운영 대시보드
    • 서비스 로그와 에이전트 간 전송 메시지 모니터링

Workspace Tour

NABI 워크스페이스 주요 화면

설치 없이 웹 브라우저에서 바로 쓰는 업무용 바탕화면입니다.
개발 · 운영 앱은 창으로 열리고, 오른쪽 에이전트에게 말로 시켜도 됩니다.
바탕화면과 오케스트레이션 에이전트

개발 · 운영 앱과 배포된 서비스가 바탕화면 아이콘으로 놓입니다. 오른쪽 에이전트에게 말로 요청하면 알맞은 창을 열거나 현황을 정리해 줍니다.

  • 배포한 서비스가 바탕화면 앱으로 자동 추가
  • 대화로 서비스 현황 요약 · 창 열기
  • 창마다 ‘에이전트에게 물어보기’로 맥락 공유

Service Builder

에이전트와 모듈을 이어
하나의 서비스로 구성합니다

서비스 생성 화면 왼쪽 자산 목록에서 에이전트와 서비스 모듈을 골라 놓고 단자를 이으면 서비스가 됩니다.
아래는 CCTV 영상과 설비 데이터를 함께 보고 위험을 판단하는 산업현장 안전 관제 서비스 예시입니다.
산업현장 안전 관제 서비스 구성도. 영상 경로 두 갈래와 PLC 데이터 수집이 위험/대처 판단 에이전트로 모이고, 판단 결과는 안전관련 규정검토를 거쳐 관리자 보고로, 또 이벤트기록분석을 거쳐 위험 분석으로 이어집니다.
  1. Video Router
  2. Video Decoder
  3. 상황 인식
  4. 객체 탐지
  1. Video Router
  2. Video Decoder
  3. 포즈 인식
  4. 행동 인식
  1. PLC 데이터 수집
위험/대처 판단
  1. 안전관련 규정검토
  2. 관리자 보고
  1. 이벤트기록분석
  2. 위험 분석
  1. 수집 서비스 모듈

    영상 · 설비 · 센서 데이터를 받아옵니다.

    • Video RouterRTSP 주소 입력
    • PLC 데이터 수집
    • 센서 데이터 수집
  2. 인식 서비스 모듈

    영상을 풀어 사람 · 객체 · 상황을 읽어냅니다.

    • Video Decoder
    • 객체 탐지
    • 포즈 인식
    • 행동 인식
    • 상황 인식
  3. 판단 AI 에이전트

    위험과 지표를 분석해 대응 방향을 정합니다.

    • 위험/대처 판단
    • 안전점검 검토
    • KPI 분석
    • 환율 분석
    • 원자재 가격 분석
  4. 실행 AI 에이전트

    판단 결과로 보고 · 업무 처리 · 응대까지 마무리합니다.

    • 보고서 작성
    • ERP 업무
    • 고객응대 챗봇

Mix & match — Make your own AI.

솔루션 스킬 12종

KPST의 독보적인 AI 솔루션 스킬들을 커스텀하여 내가 필요한 AI AGENT를 만들어보세요.
  • Video Masking Skill 비식별 마스킹

    영상 속 얼굴과 번호판을 실시간으로 자동 마스킹하여 개인정보를 보호합니다.

  • Safety Guard Skill 현장 안전 관제

    산업 현장의 8대 위험 요소를 24시간 실시간 감지하여 예방합니다.

  • Predictive Maintenance Skill 설비 예지보전

    장비의 이상 징후를 사전에 분석하여 최적의 부품 교체 시점을 알려줍니다.

  • Database ML Skill SQL AI 학습

    복잡한 코드 없이 SQL 쿼리만으로 데이터베이스 자체 학습을 실행합니다.

  • Low-Power Edge Skill 초경량 엣지 AI

    클라우드 연결이 끊겨도 온디바이스에서 독립적으로 고속 연산을 처리합니다.

  • Deep Learning IDE Skill 노코드 신경망 설계

    Drag & Drop 방식으로 신경망을 설계하고 학습 과정을 시각화합니다.

  • CPS 3D Simulator Skill 3D 공정 시뮬레이션

    물리 공정을 가상 세계로 복제하여 가동 성능을 사전 검증합니다.

  • Color Recipe Predictor Skill 자동 조색 예측

    도료 및 배합 데이터를 분석하여 원하는 컬러의 최적 조합 비율을 도출합니다.

  • Dental Implant Identifier Skill 임플란트 자동 식별

    치과 영상 기반으로 환자에게 시술된 임플란트 파생 모델을 식별합니다.

  • Timber Structure Analyzer Skill 전통 목구조 분석

    인공지능을 활용해 전통 목조 건축물의 구조 상태를 정밀 진단합니다.

  • Watch Food Skill 실시간 음식 분석

    모바일 카메라로 촬영한 음식을 자동 인식하여 식단을 기록하고 분석합니다.

  • Multi-Agent Orchestrator Skill 협업 에이전트 제어

    복잡한 업무 프로세스를 여러 AI 에이전트의 협업을 통해 자동화합니다.

Memory

오래된 대화도 잊지 않고
필요할 때 다시 꺼내 씁니다

AI가 대화를 기억하려면 그 내용이 메모리에 올라가 있어야 합니다. GPU는 빠른 연산을 위해 사용되기 때문에,
대화가 길어질수록 모든 내용을 GPU에 담아두기 어렵습니다. NABI는 대화의 중요도와 상태에 따라 데이터를 GPU, RAM, DISK로 유연하게 관리합니다.
  1. 1단계 · 현재 대화 · 가장 빠름GPU
    지금 필요한 대화는 빠르게 처리

    현재 대화에 필요한 정보를 GPU에 올려 빠르게 활용합니다.

  2. 2단계 · 보관RAM
    사용 빈도가 낮은 대화는 보관

    GPU 공간이 부족해지면 오래된 대화를 RAM으로 옮겨 보관합니다.

  3. 3단계 · 장기 저장 · 가장 넉넉함DISK
    오래된 대화는 저장 후 다시 불러옴

    지워버리는 대신 저장해두고, 필요할 때 이전 맥락을 다시 활용합니다.

필요한 대화는 DISK에서 다시 GPU로 불러옵니다

  • qml-router 즉시 저장

    대화를 즉시 안전하게 기록하고 어디서든 바로 이어가세요.

  • HCache 압축 보관

    대화의 핵심 의미만 압축해 보관합니다. 단 한 장의 요약본처럼 가볍고 스마트하게 기억하세요.

  • HOLA 장기 기억

    정보의 의외성과 중요도를 스스로 평가해 진짜 필요한 맥락만 선택적으로 보관합니다.

Architecture

LLM의 기억 한계를 넘는
‘인공 해마’ 아키텍처

연산과 기억을 분리해, 더 효율적인 차세대 AI 서빙을 구현합니다.
  1. STEP 01Input
    사용자 질문

    새 turn이 들어오면 질문은 원문 그대로 세션 원장에 기록되고, 이 시점에 "무엇을 기억해야 하는가"의 기준이 정해집니다.

    • 세션 스코프 단위로 turn 수신
    • 원문 그대로 Token Log에 기록
    • 세션 간 데이터는 섞이지 않음

    실행 예20,000 turn · 1,221,494 token 단일 세션 규모

  2. STEP 02단기 기억
    GPU 메모리

    지금 필요한 대화만 GPU에 올려 즉시 추론합니다. Window 상한을 넘지 않게 유지해, 대화가 길어져도 연산 비용이 함께 늘지 않습니다.

    • KV Cache 기반 즉시 추론
    • Window 상한 내 최신 turn 유지
    • 재접속 시 재계산 최소화

    실행 예H200 GPU · Context Window 32K ~ 128K token

  3. STEP 03문맥 상한 관리
    TAWT

    Window가 차면 turn 경계에서 안전하게 잘라 넘깁니다. 문장 중간을 자르지 않아 맥락이 깨지지 않고, 넘어간 내용은 하나도 버려지지 않습니다.

    • Turn Boundary에서 안전하게 절단
    • 초과분을 무손실로 Archive 이동
    • System Prefix는 항상 유지

    실행 예turn당 p50 275ms · 540회 Trim 전부 무손실

  4. STEP 04장기 기억
    Archive

    넘어온 대화는 원장 그대로 보관됩니다. 어휘 색인과 임베딩 벡터를 함께 들고 있어, 나중에 어떤 방식으로 물어도 찾아낼 수 있습니다.

    • SQLite에 Token Log 원장 보존
    • FTS5 색인으로 어휘 검색 가속
    • bge-m3 임베딩 벡터 저장

    실행 예20,000 turn / 1,221,494 token · SQLite 파일 1개

  5. STEP 05검색 · 주입 판정
    RIG

    새 질문이 오면 관련된 과거 turn만 골라 앞에 붙입니다. 7단계 게이트가 "넣을 가치가 있는가"를 먼저 판정해 필요 없는 자료는 들어오지 않습니다.

    • FTS(BM25) + 임베딩 하이브리드 검색
    • 7단계 게이트로 관련 turn 선별
    • 주입 토큰 예산 내에서 최적 선택

    실행 예Conf 0.2 기준 주입 220~228 token · 정답률 100%

  6. STEP 06Recall
    답변

    모델은 되살아난 과거 사실을 바탕으로 답합니다. 장기 기억은 그대로 보존한 채 단기 연산만 최적화되므로, 대화가 몇 달을 이어져도 답이 흔들리지 않습니다.

    • 관련 과거 사실을 바탕으로 답변
    • 불필요한 정보 주입 최소화
    • 일관성 있고 정확한 응답 생성

    실행 예무기억 대조군 대비 정답률 0% → 100%

01 / 06

Use Cases

NABI가 필요한 AI 환경

AI가 복잡해질수록, 더 오래 기억하고 더 안정적으로 처리할 수 있는 메모리가 필요합니다.
  • 엣지(Edge) 및 온프레미스 환경

    제한된 GPU 환경에서도 더 많은 사용자를 안정적으로 지원해야 하는 기업

    19.8×Jetson AGX Orin 환경에서 측정한 최대 가속

  • 보안이 중요한 규제 산업 및 기업

    세션 간 데이터가 섞이지 않고, 민감한 대화 정보를 안전하게 관리해야 하는 기업

    0%세션 격리 시험에서 타 사용자 데이터 유출

  • 자율형 AI 에이전트 서비스

    사용자와의 긴 대화 속에서도 맥락과 기억을 지속적으로 유지해야 하는 차세대 AI 서비스

    N개월끊기지 않고 이어지는 대화 맥락과 장기 기억