[에파타뉴스=서울] 한국인공지능협회(회장 김현철)가 AI 리더를 양성하기 위해 2025년 10월 24일 개최한 CAIO 과정 3회차 때 수강생들에게 유용한 정보를 제공하기 위해 참석한 스마일샤크(SmileShark Inc.)의 정연주 BDR(Business Development Representative)은 AWS 생성형 AI 실전 전략을 주제로 발표했다.

2019년 12월 설립된 스마일샤크는 AWS 프리미어 파트너로, ‘누구나 클라우드를 쉽게 사용할 수 있는 세상’을 만들고자 AI MSP(Managed Service Provider) 비전을 통해 AWS와 협업하며 클라우드 디지털 혁신을 가속화하고 있다.

스마일샤크는 창업 5년 만인 2024년 10월에 AWS 파트너 최고 등급인 프리미어 티어(Premier Tier)를 달성했으며, 2024년 국내 첫 AWS SMB 컴피턴시(SMB Competency) 파트너 선정, 2023년 AWS Well-Architected Partner Program 아시아 1위 등 업계에서 신뢰받는 성과를 이어왔다. 또한 2025년에는 국내에서 4번째로 AWS Generative AI Competency를 취득하고 AWS와 전략적 협약(SCA, Strategic Collaboration Agreement)을 체결하는 등 생성형 AI 분야에서도 전문성을 확보했다.

정연주 BDR은 생성형 AI의 기반 기술인 LLM(Large Language Model)이 가진 두 가지 한계로 환각(Hallucination) 문제와 AI 실행력 부족을 꼽았다. 최근에는 이 한계를 보완해 비즈니스에 유의미한 발전을 이끈 두 가지 기술이 주목받고 있다고 설명했다.

첫째는 RAG(검색 증강 생성, Retrieval-Augmented Generation) 기술이다. LLM이 특정 시점에 학습된 데이터를 바탕으로 잘못된 정보를 생성하는 환각 문제를 해결한다. RAG는 외부 검색 시스템과 연결되어 최신 지식을 실시간으로 반영하며 정확성과 신뢰도를 높여준다.

둘째는 AI 에이전트(AI Agent)이다. 예전에는 응답만 해주는 단계였으나, 이제는 스스로 목표를 설정하고 계획을 수립하여 과업을 실행하는 자율적인 주체가 된다. 예를 들어, 맛집 정보 제공을 넘어 특정 시간에 예약하는 단계까지 실행할 수 있다.

이러한 기술을 실현하는 AWS 핵심 서비스로는 Amazon Bedrock과 Amazon Q가 있다. Amazon Bedrock은 파운데이션 모델을 바로 쓸 수 있게 해주는 완전 관리형 서비스로, 복잡한 인프라 구축 없이 API 호출만으로 AI 기능을 접목할 수 있게 한다. 이는 초기 AI 도입 시 아이디어를 즉시 구현하여 PoC(Proof of Concept)를 진행하는 데 유리하다.

Amazon Q는 조직 내 문서 검색, 회의 요약, 정책 안내 등을 담당하는 AI 비서(Q for Business)와 코드 작성, 디버깅, 테스트 자동화를 돕는 개발자용 AI 코드 도우미(Q Developer)로 활용된다.

AWS를 선택해야 하는 이유로는 압도적인 글로벌 인프라 투자 규모와 자체 개발한 AI 전용 칩셋(Inferentia, Trainium)을 통해 기존 N사 GPU 대비 최대 70%까지 비용을 절감할 수 있는 성능, 그리고 100개 이상의 다양한 모델을 지원하는 Bedrock의 유연성이 꼽혔다.

비즈니스 혁신 사례: 법무법인 A사와 프롭테크 B사

정 BDR은 AI 도입을 주저하는 기업들이 많음에도 불구하고(2024년 기준 AI 활용 기업 37.1%), 스마일샤크가 스타트업 및 중견기업과 함께 AI를 빠르게 도입한 사례를 공유했다.

첫째, 법무법인 A사의 내부 자산을 활용한 신뢰 기반 응답 체계 구축 사례이다. A사는 천여 건의 성공 사례 데이터를 보유했으나 수동 검색으로 인해 고객 상담 시 시간이 지연되고 적합한 사례를 놓치는 등 초기 대응에 어려움을 겪었다.

스마일샤크는 Amazon Bedrock과 RAG 기술을 활용하여 내부 사례 데이터를 근거로 답변이 생성되도록 시스템을 구축했다. 이로써 사실과 다른 답변을 생성하는 LLM의 환각 문제를 방지하고 법률 분야에서 중요한 답변의 신뢰도를 극대화했다.

시스템 구축 결과, 내부적으로 사례 검색 시간이 줄었으며, 고도화를 통해 상담 업무 시간이 평균 30% 이상 절감되었고, 고객 문의 후 신속한 처리 체계를 갖추었다.

나아가 AI 에이전트로 진화하여 고객에게 먼저 구체적인 피해 사실을 요청하고 능동적으로 대화를 시작하며, 궁극적으로는 상담 예약까지 잡아주는 역할을 수행하게 되었다.

둘째, 프롭테크 스타트업 B사의 비정형 데이터 분석 파이프라인 구축 사례이다. B사는 부동산 시장 정보가 다양한 웹사이트에 흩어져 있고 PDF, 한글, 워드 등 비정형 데이터 형식으로 배포되어 있어 직원들이 수동으로 정보를 수집하고 분석해야 하는 비효율성을 안고 있었다.

스마일샤크는 RAG를 기본 솔루션으로 제안하고 Bedrock을 통해 AI 데이터 분석 파이프라인을 구축했다. 이는 단순 텍스트 추출을 넘어, 문서 내 표와 그래프 같은 이미지를 의미 있는 텍스트 데이터(예: 연도별 대출 금리, 서울 아파트 가격 5% 상승)로 인식하고 변환하여 일관된 형식으로 저장하는 방식이었다.

결과적으로 어떤 형태의 데이터를 넣어도 검색 품질을 유지할 수 있는 파이프라인이 완성되었으며, 이를 기반으로 24시간 상담 챗봇 플랫폼을 구축하고 분양 사무소 연계 및 콜센터 구축 등 비즈니스를 확장했다.

정 BDR은 두 사례를 통해 AI 도입의 핵심 공통점을 도출했다. 첫째는 고객센터 자동화(CS 수요)에 대한 강력한 수요였으며, 둘째는 초기 AI 도입을 시작한 기업들이 결국 스스로 일하는 능동적인 AI(AI 에이전트)까지 고도화를 원한다는 점이었다.

이에 따라 AI 도입을 주저하는 기업들에게 “아주 작은 단위부터 빠르게 시작해 보는 것”을 권장하며, Amazon Bedrock과 같은 완전 관리형 서비스를 통해 복잡한 내부 구조 대신 비즈니스 본질에 집중할 것을 조언했다.

스마일샤크는 AWS GenAI Competency 취득 및 SCA 협약 체결을 통해 기술 및 비용 지원을 확대하고 있으며, 특히 클로드(Claude) 모델을 재판매할 수 있는 글로벌 파트너사 중 하나로 국내외 고객을 폭넓게 지원하고 있다.