🌕긴 추석 연휴의 첫날, 잘 보내고 계신가요? 연휴에도 잊지 않고 팩플 Weekly를 찾아 주셔서 감사합니다. 모쪼록 유용한 인사이트 얻으시고, 풍성한 한가위 되시길 바랄게요!

‘AI, 얼마까지 보고 오셨어요?’

용산 전자상가 시절을 떠올리게 하는 문구입니다만, 요즘 기업들 초미의 관심사가 바로 이 AI 도입 비용입니다.

우리 성실한 한국인들은 LLM이니 파인튜닝이니 할루시네이션이니 하는 어려운 관련 용어를 꾸역꾸역 익혔고, 바드니 코파일럿이니 하는 AI 모델·서비스 이름을 오리온 과자 이름마냥 익숙하게 부르고 있습니다. 이제 슬슬 궁금해지죠. 그래서 그 고귀한 AI 기술은, 언제 천상계를 떠나 내 회사로 임하실 텐가?

AI는 이제 효율성과 비용의 실전에 접어들었습니다. 이번주 팩플 오리지널은 천상의 AI 기술이 이 낮은 땅에 임하시도록 다리 놓는 AI 인프라 소프트웨어 국내 스타트업 3곳을 인터뷰하며, AI 산업을 전망해 봤습니다.

AI 산업 계층을 크게 분류하면 위와 같습니다. 챗GPT 같은 챗봇은 최종 소비자와 접하는 AI 서비스고, 그 기반은 GPT라는 AI 모델입니다. 최근 가장 핫한 엔비디아의 GPU는 AI 연산을 구동하는 하드웨어, 즉 맨 아래 층이죠. 이 둘 사이에서 AI 모델이 하드웨어 위에서 잘 구동되도록 하는게 AI 인프라 소프트웨어의 역할입니다. AI 구축을 고민하는 기업 고객이 주목해야 할 분야죠.

AI 모델 경량화·최적화 기업 노타AI의 대표 서비스는 ‘넷츠프레소’입니다. 원두를 압착해 에스프레소를 추출하듯, AI 모델의 성능을 해치지 않으면서 압축한다는 뜻이죠. GPU·NPU 같은 다양한 하드웨어(칩)에서 AI 모델이 구동되도록 최적화하는 기술도 보유했습니다. 반도체 지적재산권(IP) 보유사 ARM의 협력사이기도 합니다.

‘AI’라는 하나의 산업으로 묶이기엔, 이 생태계 안의 하드웨어(반도체)와 소프트웨어(AI 모델, AI 서비스) 사이 간극은 큽니다. 노타AI의 김태호 창업자 겸 최고기술책임자(CTO)는 “하드웨어에 대한 이해 없이 개발된 AI 모델, 어떤 소프트웨어가 구동될지 모르고 설계된 반도체 사이를 메우는 역할”이라고 노타의 업을 설명합니다. 이걸 ‘하드웨어 친화적 AI 모델링’이라고도 한다네요.

메타의 라마, 아부다비의 팔콘을 필두로 다양한 오픈소스 AI 모델의 범람이 AI 업계에 미칠 영향을 질문하니, “노타AI 같은 인프라 소프트웨어 회사에게는 좋은 기회”라며 “모델 경량화와 최적화 같은 기술은 검증 가능한 규모에서 해 보고 단계별로 올라가는 건데, 다양한 종류와 크기의 AI 모델이 있으니, 안전하게 밟고 올라갈 사다리가 된다”라고 했습니다.

모레 “AI 인프라 비용, 엔비디아 보다 50% 싸게”