양성욱 온더라이브 대표 “실질적인 생성형 AI 서비스 나올 때” [AI 리더스 2024]

[AI 리더스 2024]는 인공지능(AI) 기업을 이끄는 리더들을 만나보는 코너입니다. 이 리더들은 다양한 분야에서 AI를 기반으로 한 기술 및 서비스를 개발하고 있습니다. 이제까지 고군분투했던 이야기, 앞으로 또 이어갈 새로운 도전을 통해 2024년 인공지능 분야별 비전도 살펴봅니다.  [편집자 주]

오픈AI에서 GPTs를 발표했을 때 온더라이브 양성욱 대표는 뒤통수를 맞는 기분이었다고 한다. 이제까지 개발에 몰두했던 모델과 형태가 비슷했던 것이다. GPTs는 누구나 GPT를 활용해 개인화 된 챗봇 서비스를 만들 수 있는 도구다. 많은 AI 스타트업들이 GPT의 API를 기반으로 차별화 된 챗봇 서비스를 개발했던 형태와 다르지 않았다.

양성욱 대표는 오히려 우리의 서비스가 명확히 무엇인지를 다시 한번 확인할 수 있는 계기였다고 당시를 회상했다. GPTs가 일반 사용자들을 대상으로 하는 서비스라면 온더라이브의 서비스는 기업을 대상으로 하는 B2B 서비스라는 점이다.

양 대표는 “기업에 제공되는 서비스는 데이터 수집과 가공에서부터 AI 시스템을 구축하는 데까지 명확하고 신뢰성이 바탕이 돼야 한다. 이는 결국 사람의 손을 거쳐야 한다는 의미이며 우리는 그 부분에서 서비스 차별성을 명확히할 수 있었다”며 기업형 AI 서비스에 대한 확신을 보였다. 양 대표는 새로운 비즈니스 모델로 AI를 선택하고 개발을 시작할 때부터 쉽지 않은 여정이었다고 말한다.

온더라이브 양성욱 대표 / 조상록 기자

RAG 기반 AI에 고유 기술 접목 

온더라이브는 비대면 화상교육 플랫폼을 제공하는 스타트업으로 2020년 창업했다. 코로나 시기에는 온라인 교육 플랫폼이 큰 인기를 얻었지만 엔데믹 시대로 접어들자 발빠르게 사업 아이템을 AI로 바꿨다.

양 대표가 선택한 AI는 음성 인식, AI 패턴 인식 등이었다. 양 대표는 “처음에는 AI 관련한 여러 아이템을 고려했으나 LLM(거대언어모델) 기반의 AI 서비스에 집중하기 시작했고 차별화 된 서비스를 만들기 위해 RAG(Retrieval Augmented Generation) 분야로 영역을 확장했다. RAG는 생성형 AI와 검색 기능을 결합한 모델이라고 생각하면 된다. 사실 당시(2022년 경) 거의 모든 스타트업들이 RAG 기반의 AI 개발을 진행했으나 기대할 만한 결과를 얻은 기업은 별로 없었다”고 말했다.

RAG의 예를 들자면, 가령 한 기업에서 자체적인 RAG 기반 AI 챗봇을 구축하는 경우 PDF, PPT, 이미지 등 다양한 형태의 기업 내부 문서를 디지털화 하게 된다. 이 과정에서 몇 가지 문제가 발생한다. 가장 큰 문제는 문서 인식의 단위가 고정됐다는 것이다. 그 뿐만 아니라 검색이 제대로 되지 않는 문제도 양 대표에게는 큰 고민거리였다.

양 대표는 “모든 문서를 한꺼번에 인식하지 못하기 때문에 이를 청크 단위로 잘라 벡터로 전환하는 임베딩을 거치게 된다. 하지만 청크로 자를 때 문장 중간이 잘리는 문제가 발생했다”고 설명했다.

온더라이브가 이를 해결한 방법은 청크 단위로 정하지 않고 유동적으로 분절하는 것이었다. 가령 하나의 문서에서 장은 5점, 절은 4점 등으로 가중치를 둬 검색했을 때 최대한 정답에 가까운 결과를 도출해내는 방식이다.

검색 문제는 텍사노미(Taxonomy)라는 방법으로 해결했다. 텍사노미는 연관된 데이터끼리 구분해놓은 형태를 말한다. 양 대표는 “실제 검색 단어를 넣으면 띄어쓰기 하나 때문에 검색이 안되는 문제가 있었다. 그래서 하나의 어휘에 대해 확장할 수 있도록 하의어, 상의어 등으로 범위를 넓혔다”고 설명했다.

가령 ‘인공지능’이라는 단어를 치면 GPT, 생성형 AI 등의 확장된 단어까지 검색된다는 개념이다. 사실 이러한 분류를 만들기 위해서는 사람이 수동으로 정리해야 되지만 온더라이브는 GPT를 활용해 자동으로 분류되도록 설계했다.

오픈AI의 GPTs와는 다르다

GPTs는 사용자가 고유의 데이터를 기반으로 생성 AI 챗봇을 직접 만들 수 있는 도구다. 이제까지 많은 AI 스타트업들이 GPT 모델을 기반으로 개발했던 서비스 형태이며, 바꿔 말하면 스타트업들의 경쟁력이 사라질 수도 있다는 의미로도 해석될 수 있다.

이에 대해 양 대표는 “GPTs는 개인용에 가깝기 때문에 사용자의 데이터 보호나 신뢰성, 정확성 측면을 보완해주지 않는다. 하지만 기업의 경우 보안과 유지보수 등이 매우 중요하기 때문에 개인용 서비스의 약점을 반대로 적용하면 충분히 경쟁력을 갖출 수 있다”고 설명했다.

이어 그는 “가령 기업은 단순히 서비스를 도입하는 것뿐만 아니라 지속적인 업데이트와 문제가 발생했을 때 곧바로 해결할 수 있는 관리 부분이 필요하다. 또 현재 해당 기업에게 어떤 AI 서비스가 필요한지 파악하기 어려울 수도 있다. 우리는 이런 부분들을 모두 대응할 수 있다”고 덧붙였다.

양 대표는 이러한 서비스를 AX(AI Transformation) 즉, ‘AI를 위한 리엔지니어링’으로 표현했다. DX(Digital Transformation)가 기존 시스템을 디지털화 하는 것이라면 AX는 디지털화 된 시스템에 AI를 적용해 효율성 향상 및 비용 절감 등의 효과를 가져다준다는 것이다.

AI 2024, 실질적인 AI 나올 때

양 대표는 올해 AI의 성과에 큰 기대를 걸었다. 그는 “2023년에는 생성형 AI가 공개되고 나서 대중성과 확장성이 확보됐다고 본다. 올해는 그냥 해보는 수준이 아니라 실질적 성과를 담보할 수 있는 무언가가 나와야 한다. 어떤 기업이 AI를 적극 도입해서 효과를 봤다고 하면 이제는 AI를 안 쓸 수 없게 될 것이다. 현재 삼성과 같은 대기업에서 AI 개발은 물론 도입에 적극적인 모습을 보이는데, 이를 예사로 보면 안되는 시기”라고 조언했다.

온더라이브는 AI 서비스 강화 및 다양한 기업 고객 사례를 구축하는 데 집중한다는 전략이다. 양 대표는 “올해 온더라이브는 AX에 더 집중할 것이고 이와 함께 교육, 방송 스트리밍 서비스도 한층 강화해 나갈 예정이다. 사실 지난 해 아쉬웠던 부분이 있었는데, 사업을 계속 꾸려나가기 위해 과제 수행에 많은 시간을 할애했다는 것이다. 이 시간 동안 서비스를 다듬고 비전을 세워나가는 작업을 제대로 못했다. 올해는 서비스 품질 고도화 및 지속성을 위한 전략 수립에 집중할 계획”이라고 포부를 밝혔다.

조상록 기자 jsrok@chosunbiz.com

출처 : IT조선(https://it.chosun.com)