프렌들리AI, 생성형 AI 모델 활용 돕는 서비스 출시

생성형 인공지능(AI) 추론 서빙 분야 스타트업 프렌들리AI는 생성형 AI 모델을 쉽게 활용할 수 있는 '프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)' 서비스를 출시했다고 4일 밝혔다.

프렌들리AI 서버리스 엔드포인트는 최신 생성형 AI 모델들을 쉽게 사용할 수 있도록 돕는다. 기존 생성형 AI 활용에 있어 많은 수의 인력과 시간을 투입해 진행해야 했던 복잡한 인프라 설치 및 운영 과정과 모델 서빙의 그래픽처리장치(GPU) 최적화 등의 문제를 해결했다.

이를 통해 누구나 쉽게 낮은 비용과 빠른 속도로 라마2(Llama2), 스테이블 디퓨전(Stable Diffusion), 코드 라마(CodeLlama), 미스트랄(Mistral) 등의 인기 있는 생성형 AI 모델을 자사 서비스에 통합해 텍스트 생성, 이미지 생성 등을 활용할 수 있다.

프렌들리AI 서버리스 엔드포인트는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간 내에 응답을 생성해 원활하고 빠른 생성형 AI 경험을 제공한다. 서빙 엔진 '프렌들리AI 엔진(Friendli Engine)'으로 낮은 비용과 빠른 속도를 지원한다. 해당 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다.

전병곤 프렌들리AI 대표는 "생성형 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다고 생각하며 오픈 소스 생성형 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다"고 말했다.

최유리 기자 yrchoi@asiae.co.kr