Skyvern

시각 AI 에이전트, 자동화 분야에 도전하다: Skyvern 심층 체험 리포트

인공지능이 브라우저를 조작하는 분야에서 Skyvern이라는 이름의 오픈소스 도구가 독특한 기술 접근 방식으로 주목받고 있습니다. 이 도구는 저수준 코드 셀렉터에 의존하지 않고 순수하게 시각적 정보를 통해 웹페이지를 이해하며, 사람처럼 버튼, 양식, 팝업을 인식하여 보험 청구, 정부 웹사이트 데이터 수집, 여러 단계의 소프트웨어 조작 등 복잡한 작업을 자동으로 수행합니다. 며칠간의 실측 테스트를 바탕으로 핵심 장점, 적합한 사용자, 사용 경험 세 가지 측면에서 이 리뷰를 전달합니다.

핵심 장점: 시각 기반, 높은 내성, 플랫폼 독립적

Skyvern의 가장 큰 강점은 '보이는 대로 자동화'하는 논리입니다. 기존 RPA 도구는 흔히 웹페이지의 DOM 구조에 의존하기 때문에, 페이지가 개편되거나 동적 로딩이 발생하면 스크립트가 쉽게 무용지물이 됩니다. Skyvern은 컴퓨터 비전과 거대 언어 모델을 활용해 웹페이지 스크린숏을 직접 분석하고 인터페이스의 의미를 이해합니다. 이는 대상 웹사이트의 레이아웃이 변경되더라도 사람의 눈으로 식별할 수 있는 요소라면 에이전트가 정확하게 조작할 수 있음을 의미합니다.

• 코드 독립성: XPath나 CSS 셀렉터를 작성할 필요 없이, 저수준 마크업 언어의 제약에서 완전히 벗어납니다. 오래된 정부 서비스 페이지든 현대적인 단일 페이지 애플리케이션이든 Skyvern은 스스로 적응합니다.
• 복잡한 워크플로 처리: 여러 표에서 데이터를 추출해 다른 시스템에 입력하는 등 다단계 작업을 분해하고, 중간에 발생하는 CAPTCHA나 확인 팝업도 처리할 수 있습니다. 추론 능력을 통해 현재 단계의 성공 여부를 판단하고, 오류 발생 시 자체적으로 수정을 시도합니다.
• 오픈소스와 프라이버시 통제: 오픈소스 솔루션이므로 기업이나 개인이 직접 배포할 수 있으며, 민감한 데이터가 외부로 유출되지 않아 클라우드 자동화 서비스의 가장 큰 규제 준수 우려를 해결합니다. 커뮤니티가 활발하고, 사용자 정의 대형 모델 백엔드를 지원하여 유연성이 매우 뛰어납니다.

적합한 사용자: 개발자부터 노코드 비즈니스 개척자까지

Skyvern은 단순히 괴짜들만의 장난감이 아니라, 다양한 기술 배경을 가진 사용자를 모두 고려하여 설계되었습니다.

• 백엔드 엔지니어 및 자동화 개발자: API 또는 Python SDK를 통해 기존 생산 라인에 통합할 수 있으며, 몇 줄의 코드로 확장 가능한 자동화 에이전트 클러스터를 만들 수 있습니다. 오픈소스 특성상 시각 모델과 로직 훅을 깊이 있게 커스터마이징할 수 있습니다.
• 운영 담당자 및 데이터 분석가: 프로그래밍 없이 자연어로 작업 과정을 설명하기만 하면(예: "특정 항공사 공식 웹사이트를 열고, 다음 주 금요일 베이징발 상하이행 항공권 가격을 조회하여 표로 내보내줘") Skyvern이 단계별로 실행합니다. 이는 비즈니스 담당자가 동적 데이터를 확보하는 진입 장벽을 크게 낮춥니다.
• 중소기업 및 애자일 팀: 전문 RPA 개발자가 없는 상황에서도 가격 조회, 경쟁사 모니터링, 대량 양식 제출 등 자동화 작업을 신속하게 배포하여 반복적인 업무에서 인력을 해방시킬 수 있습니다.

사용 경험: 바로 쓸 수 있는 스마트 어시스턴트, 하지만 인내심 있는 튜닝 필요

저희는 컨테이너 기술을 통해 Skyvern 서비스를 원클릭으로 배포했으며, 전체 과정은 5분이 채 걸리지 않았습니다. 관리 인터페이스는 간결하며, 작업을 생성하려면 대상 URL과 자연어로 작성된 명령만 정의하면 됩니다. 첫 테스트에서 우리는 가상의 이커머스 관리 백엔드에서 상품 재고를 일괄 업데이트하도록 지시했습니다. 에이전트는 페이지를 열고 로그인 양식을 정확하게 인식했으며, 사전 설정된 계정 정보를 올바르게 입력했습니다. 재고 페이지로 진입한 후에는 상품을 한 줄씩 스캔하며 편집을 클릭하고 수량을 수정한 후 저장했습니다. 전체 과정이 시각화되어 마치 투명 인간이 화면을 조작하는 모습을 지켜보는 듯했습니다.

하지만 실제 체험이 완벽했던 것은 아닙니다. 페이지에 시각적 노이즈가 많거나 흔치 않은 아이콘 버튼이 있을 때 에이전트가 느려지거나 관련 없는 영역을 클릭하는 경우가 가끔 있었습니다. 시간이 매우 중요한 시나리오에서는 현재 재시도 메커니즘과 함께 사용할 필요가 있습니다. 다행히도 프로젝트의 반복 속도가 매우 빨라 주류 대형 모델에 대한 적응이 계속 강화되고 있습니다. 대부분의 표준 웹 작업에서 Skyvern은 이미 산업용 애플리케이션으로서의 잠재력을 보여주었습니다.

전반적으로 Skyvern은 브라우저 자동화의 패러다임 전환, 즉 구조화된 파싱에서 의미적 시각 이해로의 전환을 대표합니다. 불규칙한 웹페이지로 골머리를 앓으며 AI로 반복 작업을 대체하고자 하는 탐구자들에게 이 오픈소스 에이전트는 당장 시도해 볼 가치가 있습니다.