300종 이상의 AI 모델을
더 쉽고 빠르게
RBLN SDK로 리벨리온 NPU로 AI 모델을 간편하게 배포하세요. 컴파일러, 런타임, 모델 라이브러리, 서빙 프레임워크 등 자세한 가이드를 참조해 개발부터 운영까지 매끄럽게 진행할 수 있습니다.
업계 표준 프레임워크로 시작
Hugging Face
RBLN SDK는 Hugging Face의 Transformer 및 Diffuser 모델을 지원합니다. Optimum RBLN 라이브러리에서 Llama3-8B, SDXL 등 최신 모델을 다운로드하고, Hugging Face Hub에서 배포하세요.
💡 리벨리온 하드웨어에서 Hugging Face 모델 실행
- 리벨리온 NPU에 최적화된 Hugging Face 모델 컴파일 및 추론
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- Llama, SDXL 등 멀티 칩 구성 지원
PyTorch
RBLN SDK는 PyTorch 2.0을 완벽 지원합니다. 자연어처리(NLP), 음성, 비전 모델 등 다양한 PyTorch 기반 워크로드를 리벨리온 NPU에서 빠르게 가속할 수 있습니다.
💡 PyTorch 모델 통합
- 리벨리온 하드웨어에 최적화된 PyTorch 모델 컴파일
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- 사전 조정 없이 Torch 2.0 모델을 곧바로 서빙 파이프라인에 연결
TensorFlow
RBLN SDK는 TensorFlow를 지원하며, LLM, ImageNet, YOLO 등 다양한 모델의 추론을 최적화합니다.
💡 TensorFlow 모델 통합
- Keras Applications의 다양한 사전 학습 모델 즉시 활용
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- 사전 조정 없이 TensorFlow 모델을 곧바로 서빙 파이프라인에 연결
최신 문서와 튜토리얼
리벨리온 소프트웨어 스택
하드웨어 성능을 극대화하도록 설계된 리벨리온 소프트웨어 스택을 알아보세요.
머신러닝 프레임워크
자연어처리, 비전, 음성, 생성형 모델을 위한 핵심 개발 도구
PyTorch, TensorFlow, HuggingFace 등 업계 표준 프레임워크 와의 원활한 연동
개발자의 생산성을 극대화하고 배포까지 End-to-End 워크플로우 간소화
컴파일러
프론트엔드 컴파일러는 PyTorch와 TensorFlow로 작성된 모델을 리벨리온의 중간 표현(IR)으로 변환하여, 리벨리온 디바이스에서 실행할 수 있는 모델로 매끄럽게 전환
백엔드 컴파일러는 변환된 모델을 바탕으로 디바이스의 효율성을 극대화하는 명령어 스트림과 프로그램 바이너리 생성
정밀한 최적화 기술로 AI 추론 비용 절감, 간편한 연산 최적화와 메모리 관리 기능을 통해 운영 효율성 개선
연산 라이브러리
비전, 트랜스포머 등 다양한 AI 모델 추론에 필요한 필수 연산들 최적화
CNN (Convolutional Neural Network) 및 최신 생성형 AI 모델을 지원
확장 가능한 Neural Engine 아키텍처를 기반으로 고도화된 연산 최적화
런타임 모듈
컴파일된 모델과 하드웨어 간의 실행을 중재하는 핵심 구성 요소
데이터 이동, 명령 실행, 성능 모니터링을 담당하여 최적의 AI 추론 환경을 제공
드라이버
운영체제와 NPU 간 최적의 인터페이스를 제공하여 하드웨어 활용도를 극대화
커널 드라이버 및 유저 드라이버로 구성되어 하드웨어와 소프트웨어 간 원활한 통신을 지원
RBLN 컴파일러에서 생성된 커맨드 스트림을 ATOM™ 디바이스로 전달하여 실행을 관리
펌웨어
소프트웨어와 하드웨어 간 최하위 인터페이스
메모리 계층 간 작업 조정 및 하드웨어 상태 모니터링 기능을 제공하여 안정적인 AI 추론을 보장
대규모 AI 모델을 실행하는 환경에서도 안정적인 워크로드 분배 및 예측 가능한 성능 유지를 지원
리벨리온 백엔드 & 리벨리온 하드웨어
FP16 기준 32 TFLOPS, INT8 기준 128 TOPS의 강력한 연산 성능과 64 MB 온 칩 SRAM을 통해 최적의 메모리 대역폭과 지연 시간 단축을 실현
전력 효율성이 중요한 데이터센터, 클라우드 AI, 온프레미스 AI 워크로드에서 최상의 성능과 비용 효율성을 제공
자주 묻는 질문
찾으시는 질문이 없나요? 여기로 연락 주세요!
지속적인 업데이트를 통해 주요 AI 프레임워크와의 호환성을 강화하고 있습니다.
공식적으로 지원되는 Model Zoo 모델들은 제공되는 예제 코드를 바로 사용 가능합니다.
이외 모델도 Model Zoo 코드를 참고하여 컴파일할 수 있습니다.
지원하는 연산 목록을 미리 확인해보세요.
PyTorch
TensorFlow
rbln_tensor_parallel_size값을 적절히 설정하여 NPU 병렬성 활용- 입력 시퀀스 길이 및 배치 크기 튜닝
C/C++ 가이드를 참고해주세요.
RBLN SDK 및 컴파일러는 주요 프레임워크의 최신 버전과의 API 호환성을 유지하도록 정기적으로 업데이트됩니다. 자세한 내용은 각 릴리스 노트를 참고해주세요.
RBLN SDK는 PyTorch 기반 모델과의 높은 호환성을 제공합니다.
torch.compile()지원: PyTorch 2.0의torch.compile()기능과 호환되며, TorchDynamo 및 TorchInductor 백엔드를 기반으로 컴파일된 모델을 처리할 수 있습니다.- 광범위한 연산자 지원: RBLN 컴파일러는 PyTorch 연산자의 대부분을 지원하며, 지원 연산자 목록을 통해 상세 내용을 확인할 수 있습니다. 주요 Vision, NLP, Audio 연산자도 포함되어 있어 다양한 딥러닝 모델에 활용 가능합니다.
- PyTorch Model Zoo 호환: ResNet, YOLO, LLaMA, BERT 등 PyTorch Model Zoo의 대표적인 모델 다수가 지원됩니다.
- JIT/Scripted 모델 지원: TorchScript를 사용해 변환된 모델도 RBLN 컴파일러에서 처리할 수 있습니다.
RBLN Driver는 제공된 deb 또는 rpm 설치 파일을 통해 설치할 수 있으며, 루트 권한이 필요합니다. 설치 시 커널 버전과 드라이버 호환성 확인이 요구됩니다.
대부분의 경우 Driver가 미리 설치된 환경을 제공해 드립니다. 설치가 필요한 경우는 설치 가이드를 참고하세요.
RBLN SDK는 아래와 같이 파이썬(Python) 환경에서 간단하게 설치 할 수 있습니다.
pip3 install --extra-index-url https://pypi.rbln.ai/simple rebel-compiler==<latest-version> optimum-rbln==<latest-version> vllm-rbln==<latest-version>
최신 패키지 버전을 확인하려면 릴리스 노트를 참고해주세요. 사용자의 환경에 따라 추가적인 파이썬 패키지 의존성이 있을 수 있습니다.
기본적으로 파이썬(Python) 3.9 이상이 권장되며, numpy, torch, onnx 등 주요 패키지 의존성이 있습니다.
지원되는 OS와 파이썬 버전을 Support Matrix 페이지를 확인하세요.
요구되는 패키지는 모델에 따라 다르며, Model Zoo 코드와 함께 포함된 requirements.txt를 참고해주세요.
현재 RBLN SDK는 Linux 환경에서만 지원됩니다. Windows 지원은 추후 로드맵에 따라 검토될 예정입니다.
지원되는 OS와 파이썬(Python) 버전을 Support Matrix 페이지를 확인하세요.
멀티-NPU가 지원되는 모델 리스트를 먼저 확인해주시고, 컴파일 방법은 제공된 예시를 참고해주세요.
rbln-stat을 이용하면 소모 전력(power)이나 활용률(utilization)도 확인할 수 있습니다.
