Menlo Ventures는 지난 11월 20일에 "2024: The State of Generative AI in the Enterprise"라는 글을 발표했습니다. 생성형 AI에 대한 글 답게 3명의 저자는 당당하게 Claude Sonnet 3.5를 활용했다는 것을 명시하였습니다. 한국 독자분들의 편의를 위해 저도 올거나이즈의 Alli 번역앱을 활용해서 제법 긴 글을 번역해 보았습니다. 한국어로 이 글을 보시고 싶으신 분들은 번역된 pdf 파일을 여기서 다운받으시면 됩니다. 꼭 한 번 읽어보시기를 추천 드립니다.
제법 긴 글이지만, Menlo Ventures 자체적으로는 아래 3가지 사항을 가장 중요한 인사이트이자 트렌드로 보고 있었습니다.
AI 지출 급증
기업의 AI에 대한 지출이 2023년 23억 달러에서 2024년 138억 달러로 급증하였습니다. AI에 대한 기업들의 지출 증가는 시범사업(Pilot Project)에서 실제 프로덕션 구현으로 전환하는 추세를 보여주고 있습니다.
ROI(Return on Investment)를 견인하는 주요 활용 사례
AI에 대한 지출은 곧 투자인 동시에 비용 증가를 의미하기도 합니다. 기업 입장에서는 이러한 투자의 리턴을 생각하지 않을 수 없습니다. 실제로 기업들은 코드 코파일럿, 챗봇, 엔터프라이즈 검색, 회의 요약 등으로 생성형 AI를 적극적으로 활용하고 있었습니다. 이와 같은 생성형 AI 활용 사례는 워크플로우 혁신 및 기업 생산성 향상에 크게 기여하고 있습니다.
애플리케이션과 인프라의 성장
올해 애플리케이션 계층(layers)에 46억 달러가 투자되었으며, 현대의 AI 스택은 멀티모델 전략, RAG(검색 증강 생성), 에이전트 기반 아키텍처와 함께 지속적으로 발전하고 있습니다. 애플리케이션과 인프라가 동반 성장하고 있습니다.
Menlo Ventures의 3가지 트렌드도 인상적이긴 하지만, 저에게는 이것보다 다른 것들이 눈에 들어오더군요. 올거나이즈의 관심을 끈 진짜 2024년 결산은 무엇이었을까요?
1. 다중 모델 전략의 우세
Open AI는 여전히 LLM 폐쇄형 모델 중에서 선도적 위치를 차지하고 있습니다. 그러나 초기에 누려왔던 시장 우위가 점차 약화되고 있습니다. 2024년 Open AI의 기업 시장 점유율은 50%에서 34%로 하락하였습니다. 반면, Anthropic의 기업 시장 점유율은 12%에서 24%로 두 배 성장하였습니다. 많은 기업들이 GPT-4에서 Claude 3.5 Sonnet으로 전환하며 Anthropic의 입지는 강화되었습니다.
더불어, 전반적으로 LLM 모델들의 성능이 크게 개선되었습니다. 결국 하나의 지배적인 모델보다 다중 LLM 모델 전략이 더 우세한 상황으로 나아가고 있습니다.
[올거나이즈 뉴스레터] 클로드 3.5 소네트 vs. GPT-40, 스펙+성능 비교!
2. 상승하는 RAG, 줄어드는 파인튜닝, 도약하는 Agent
효율적이고 확장 가능한 AI 시스템을 구축하기 위한 표준 아키텍처인 엔터프라이즈 AI 설계 패턴은 빠르게 발전하고 있습니다.
RAG(Retrieval-Augmented Generation), 즉 검색증강생성의 경우, 도입률이 작년 31%에서 2024년 51%로 급격히 상승하며 점점 그 지배적인 위치를 강화하고 있습니다. 반면, 파인 튜닝의 경우, 주요 애플리케이션 제공업체들에 의해 종종 강조되고 있지만, 실제 사용은 놀랍도록 드뭅니다. 생성형 LLM 모델 중 파인 튜닝된 비율은 9%에 불과합니다. 에이전트 아키텍처의 경우, 2024년 혁신의 가장 큰 특징이며 급격히 늘어나는 추세입니다.
3. 수평적 차원의 혁신 : 모든 분야로 확산되고 있는 생성형 AI
생성형 AI 도입에서 눈에 띄는 점은 규모뿐만 아니라 범위입니다. 2024년 생성형 AI 도입은 모든 분야로 확산되었습니다. 또한 기업 내부에서도 다양한 부서가 생성형 AI 도입을 추진하였습니다. AI 도입 예산의 경우, 기술 부서가 가장 큰 비중을 차지하며, IT, 제품, 엔지니어링, 데이터 과학 등이 전체 투자액의 절반 가까이를 차지했습니다. 나머지 예산은 고객 중심 부서(지원, 영업, 마케팅), 백오피스 팀(HR, 재무), 그리고 디자인, 법무와 같은 소규모 부서로 배분되었습니다. 이처럼 생성형 AI의 적용 범위가 점점 넓어지고 있으며, 이는 조직 전반에 걸친 혁신의 가능성을 보여주었습니다.
4. 수직적 차원의 혁신 : 버티컬 AI 애플리케이션의 부상
초기 생성형 AI 애플리케이션은 텍스트와 이미지 생성 같은 수평적 솔루션에 초점을 맞췄습니다. 그러나 2024년에는 대규모 언어 모델(LLM)의 새로운 역량을 특정 도메인에 특화된 수직적 워크플로우에 적용하며 점점 더 많은 애플리케이션이 주목받았습니다. 헬스케어, 법률, 금융, 미디어 같은 산업들이 이러한 도입의 선두를 차지하였습니다.
지금까지 2024년 생성형 AI의 주요 트렌드를 정리해 보았습니다. 그렇다면 2025년 생성형 AI는 어떤 방향으로 흘러갈까요? 누구도 명확한 답을 줄 수는 없지만 큰 방향성은 함께 유추해볼 수 있을 것 같습니다.
1. 에이전트가 다음 혁신의 물결을 주도할 것입니다!
현재의 구현 패턴은 완전 자동화보다 인간 워크플로우를 강화하는 것을 선호한다는 것을 보여줍니다. 코드 코파일럿, 챗봇, 엔터프라이즈 검색, 회의 요약 등이 생성형 AI의 주요 활용 사례인 것을 봐도 이를 확인할 수 있습니다. 그러나 우리는 이제 더 자율적인 솔루션으로의 전환에 접근하고 있습니다. “AI Agent”의 도약은 2024년에 이어 2025년에도 지속될 전망입니다.
[올거나이즈 뉴스레터] 2025 기술 트렌드 AI 에이전트, 개념부터 사례까지
[올거나이즈 뉴스레터] 앤드류 응이 주목한 AI 에이전트
2. 만족스럽지 못한 기존 제품들, AI 스타트업에게는 여전히 기회입니다!
2024년 기존 기업들은 기존 제품에 생성형 AI 기능을 통합하는 ‘볼트온(bolt-on)’ 전략으로 기업 시장을 지배했습니다. 64%의 고객은 여전히 신뢰성과 즉시 사용 가능성을 이유로 기존 벤더를 선호합니다.
그러나 기존 기업의 지배력이 점차 약화되고 있다는 신호가 나타나고 있습니다. 600명의 기업 IT 의사결정자들 중 18%는 기존 벤더의 제공 서비스에 실망을 나타냈고, 40%는 현재 솔루션이 실제로 자사의 요구를 충족하는지 의문을 제기하고 있습니다. 이는 혁신적인 스타트업에게 시장에 진입하고 입지를 다질 기회를 시사합니다. 생성형 AI는 더 이상 미래 기술이 아니며, 이제는 기본적인 비즈니스 도구입니다. 기존 방식을 뛰어넘는 제품을, 더 빠르고 더 고객 지향적으로 만들어 낼 수 있는 AI 스타트업은 급격한 성장기회를 잡을 수 있을 것입니다.
3. AI에 대한 투자는 지속 증가할 것입니다!
2024년 기업들이 생성형 AI 애플리케이션을 선택할 때, 기업들은 명확한 우선순위를 가지고 있었습니다. 가장 중요한 선택 기준은 투자 대비 수익(ROI), 두 번째 선택 기준은 산업 맞춤형 커스터마이징이었습니다.
놀랍게도, 가격은 주요 고려 사항이 아니었습니다. 설문조사에 응답한 600명의 IT 기업 리더 중 단 1%만이 가격을 생성형 AI 선택의 주요 요인으로 언급했습니다. 이처럼 기업들은 장기적인 관점에서 접근하고 있습니다.
각 기업들은 측정 가능한 가치를 제공(30%)하고, 자사의 고유한 업무 맥락을 이해(26%)할 수 있는 도구에 더 중점을 두고 있으며, 단순히 가장 저렴한 가격을 제공(1%)하는 솔루션에는 관심이 적습니다.
생성형 AI는 우리의 일하는 방식을 포함한 모든 것을 변화시킬 것입니다. 2025년에는 이러한 변화가 가속화할 것이고 또 디폴트로 여겨질 것입니다.
무엇보다도 이러한 변화는 시작에 불과합니다.
This is just the beginning!