다트크리에이티브 IT & CG Magazine

AWS, 최초 머신러닝용 완전 통합 개발 환경(IDE) 포함 6가지 최신 아마존 세이지메이커 기능 발표

AWS는 개발자가 맞춤형 머신러닝 모델을 보다 쉽게 구축, 디버그, 훈련, 도입, 모니터링, 운영할 수 있도록 하는 최초의 완전 통합 머신러닝 개발 환경인 아마존 세이지메이커 스튜디오(Amazon SageMaker Studio)를 포함해 총 6가지 최신 아마존 세이지메이커 성능을 발표했다.

아마존웹서비스Amazon Web Services-AWS는 개발자가 맞춤형 머신러닝 모델을 보다 쉽게 구축, 디버그, 훈련, 도입, 모니터링, 운영할 수 있도록 하는 최초의 완전 통합 머신러닝 개발 환경인 아마존 세이지메이커 스튜디오Amazon SageMaker Studio를 포함해 총 6가지 최신 아마존 세이지메이커 성능을 발표했다.
신규 서비스를 통해 AWS는 개발자들에게 엘라스틱elastic 노트북, 실험 관리, 자동 모델 생성, 디버깅과 프로파일링, 모델 이탈 감지(model drift detection)와 같은 강력한 새로운 툴을 최초의 머신러닝용 통합 개발 환경(IDE)인 아마존 세이지메이커 스튜디오를 통해 제공한다.

아마존 세이지메이커는 머신러닝 과정의 각 단계에서 복잡하고 난해한 작업을 없애는 완전 관리형 서비스다. ADP, 아스트라제네카AstraZeneca, 아비스Avis, 베이어Bayer, 브리티시 에어웨이British Airways, 서너Cerner, 콘보이Convoy, 에미레이트 NBD(Emirates NBD), 갤럽Gallup, 조지아퍼시픽Georgia-Pacific, 고대디GoDaddy, 허스트Hearst, 인튜이트Intuit, 렉시스넥시스LexisNexis, 로스앤젤레스 클리퍼스Los Angeles Clippers, 뉴데이터NuData(마스터카드 기업), 모바일아이Mobileye, 파나소닉 아비오닉스Panasonic Avionics, 더 글로브 앤 메일The Globe and Mail, 티모바일T-Mobile 등 수만여 개의 고객사들이 머신러닝 도입을 가속화 하기 위해 아마존 세이지메이커를 사용하고 있다.

AWS는 아마존 세이지메이커 출시 이후에 새로운 기능들을 정기적으로 추가해 왔다. 높은 정확도의 주석을 갖춘 트레이닝 데이터세트(annotated training datasets)를 구축하는 아마존 세이지메이커 그라운드 트루스(Amazon SageMaker Ground Truth), 개발자들이 강화 학습(reinforcement learning)의 강력한 훈련 기법을 사용할 수 있도록 돕는 세이지메이커 RL (SageMaker RL), 개발자들이 알고리즘 1회 훈련 후 하드웨어에 적용할 수 있도록 하는 세이지메이커 네오(SageMaker Neo) 등 50개 이상의 기능이 작년에 새롭게 추가됐다. 이런 기능들은 많은 개발자들이 맞춤형 머신러닝 모델을 구축하는 데 도움을 준다. 아마존 세이지메이커를 통해 머신러닝의 진입장벽이 사라지면서, 머신러닝을 대규모로 도입하고자 하는 고객들의 요구도 커졌다.

아마존 세이지메이커는 우수한 머신러닝 모델을 보다 쉽게 개발하기 위해 빌딩블록Building Block 단계를 다수 만들고 있다. 하지만 사업 성장 속도에 맞춰서 성공적으로 진화하는 우수한 모델을 구축하기 위해서 여러 빌딩블록들이 최적화돼야 하고, 효과적인 방법과 효과적이지 않은 방법을 쉽게 파악할 수 있어야 한다.
이러한 문제들은 머신러닝에만 국한된 것은 아니며, 소프트웨어 개발 과정에서 일반적으로 나타나는 문제들이다. 하지만, 지난 수십 년 간, 소프트웨어 개발자들이 겪는 어려움을 해소하기 위해 테스팅, 디버깅, 소프트웨어 배포, 모니터링, 프로파일링에 도움이 되는 IDE와 같은 다양한 도구들이 개발됐다. 그러나 머신러닝 분야가 아직 성숙단계에 접어들지 않아 소프트웨어 업계와 같은 도구들이 개발되지 못한 상태다.

이번에 발표된 기능들 중에는 고객들이 맞춤형 머신러닝 모델을 보다 손쉽게 구축, 훈련, 설명, 검사, 모니터링, 디버그, 실행할 수 있게 지원하는 기능들이 포함됐다. 리인벤트 2019에서 발표 전까지는 노트북을 보거나 실행하기 위해서 개발자들은 아마존 세이지메이커에서 컴퓨팅 인스턴스를 스핀업해 노트북을 구동해야 했다. 더 많은 컴퓨팅 파워가 필요한 경우에는, 새로운 인스턴스를 스핀업해 노트북을 전송하고 그 전 인스턴스를 종료해야 했다. 노트북이 컴퓨팅 인스턴스와 연결되어 있고, 노트북은 일반적으로 개발자의 워크스테이션에 있기 때문에 노트북을 손쉽게 공유하고 협력을 통해 반복(iterate)할 수 없었다. 아마존 세이지메이커 노트북은 엘라스틱 주피터 노트북을 제공해 개발자들이 노트북에 필요한 컴퓨팅 파워(GPU 가속화 등)의 양을 개발자 업무에 방해되지 않도록 백그라운드에서 자동으로 손 쉽게 조절할 수 있게 해준다. 개발자들은 구 인스턴스를 종료하고 새로운 인스턴스에 모든 작업을 재생성하는데 시간을 낭비하지 않아도 된다. 이를 통해 모델을 보다 더 신속하게 구축할 수 있다. 또, 아마존 세이지메이커 노트북을 사용해 특정한 환경과 라이브러리 종속성을 자동 재생성해 클릭 한번에 노트북을 공유할 수 있다.
엔지니어들이 다른 엔지니어들에게 자신의 작업물을 사용할 수 있도록 도와 기존 업무에 이어서 작업할 수 있기 때문에 손쉽게 모델을 공동 구축할 수 있게 된다.

▲ 실험 관리(Experiment management) : 아마존 세이지메이커 엑스페리먼트Amazon SageMaker Experiments는 개발자들이 머신러닝 모델의 이터레이션(iteration)을 구성, 추적할 수 있도록 지원한다. 머신러닝에는 특정 입력 변경이 미치는 점진적인 영향을 분리하고 측정하기 위해 대체적으로 수 차례의 이터레이션이 수반된다. 개발자들은 이터레이션이 진행되는 동안 모델, 훈련 데이터, 매개변수 설정 등 수 백 개의 아티팩트(artifact)를 생성한다. 개발자들은 현재 스프레드시트와 같은 번거로운 메커니즘에 의존해 이런 실험들을 추적해 아티팩트를 수동으로 확인하고 실험에 어떤 영향을 미치는지 이해해야 한다. 아마존 세이지메이커 엑스페리먼트는 인풋 매개변수, 환경 설정, 결과를 자동 수집해 ‘실험’이라는 이름으로 저장해 개발자들이 이터레이션을 관리할 수 있도록 지원한다. 개발자들은 현재 진행 중인 실험들을 검색하고, 전에 진행된 실험들을 특징별로 검색하고, 이전 실험 결과를 검토하고, 실험 결과를 시각적으로 비교할 수 있다. 또, 아마존 세이지메이커 엑스페리먼트는 그동안 진행된 일련의 실험들을 모두 저장해 모델이 초기 의도에서 벗어나기 시작할 경우 과거 진행된 실험들을 검색해 아티팩트를 검사할 수 있다. 아마존 세이지메이커 엑스페리먼트는 개발자들이 고품질 모델을 보다 빠르고 쉽게 이터레이션, 개발할 수 있도록 지원한다.

▲ 디버깅과 프로파일링 : 아마존 세이지메이커 디버거(Amazon SageMaker Debugger)는 개발자들이 모델 훈련을 디버깅, 프로파일링해 정확도를 높이고 훈련 시간을 단축하고, 머신러닝 모델에 대한 이해도를 높일 수 있도록 지원한다. 현재 머신러닝의 훈련 과정은 대체적으로 불투명하게 이뤄지고 있다. 훈련 시간도 길고 최적화가 쉽지 않다. 또, 블랙 박스(black box) 효과로 모델을 해석하고 설명하기 쉽지 않다. 아마존 세이지메이커 디버거는 아마존 세이지메이커에서 학습한 모델을 통해 수집한 주요 측정항목(metric)들을 자동으로 추출하고, 추출된 데이터는 아마존 세이지메이커 디버거 API를 통해 아마존 세이지메이커 스튜디오에서 확인할 수 있다. 이 측정항목들은 훈련의 정확도와 학습 성과에 대한 실시간 피드백을 제공한다. 훈련과 관련된 문제가 생길 경우, 아마존 세이지메이커 디버거는 경고와 함께 복원권고 표시를 띄운다. 이와 함께 아마존 세이지메이커 디버거는 모델이 어떻게 작동하고 있는지 해석할 수 있도록 지원하며, 이는 뉴럴 네트워크의 설명 가능성 초기 단계로 볼 수 있다.

▲ 자동 모델 구축(Automatic Model Building): 아마존 세이지메이커 오토파일럿(Amazon SageMaker Autopilot)은 개발자들이 모델에 대한 통제력과 가시성을 포기하지 않아도 되는 업계 최초의 자동화 머신러닝 기능이다. 현재의 자동 머신러닝 방식으로 초기 모델을 구축할 수 있지만, 모델의 생성 방법과 내부 구성에 대해 개발자들이 확인할 수 있는 데이터가 없다. 그래서 개발자들이 모델을 업그레이드할 방법이 없었다. 그래서 현재 제공되고 있는 머신러닝 서비스들은 고객들에게 오로지 한 종류의 단순한 모델을 제공하고 있다. 저지연 예측(lower latency predictions)이 가능한 버전을 개발하는 대신 예측의 정확도 수준을 낮춰서 절충하기를 원하는 고객들도 있지만, 고객들이 단 한 종류의 모델에서 선택해야 한다는 점을 고려하면, 이는 불가능하다. 아마존 세이지메이커 오토파일럿은 로우 데이터(raw data)를 자동 검사하고, 기능 프로세서를 적용하고, 최고의 알고리즘 세트를 선택하고, 여러 모델을 훈련시키고, 세밀하게 조정하고, 성능을 추적하고, 그 성능을 기준으로 모델 순위를 매기는데, 이 모든 과정이 단 몇 번의 클릭으로 가능하다. 이는 결과적으로 고객들이 배포할 수 있는 최고의 성능을 갖춘 모델 추천을 받게 된다. 이 과정은 모델 학습에 일반적으로 소요되는 시간과 노력 대비 훨씬 빠르고 쉽게 이뤄지며, 모델 생성 방법과 모델 내부에 무엇이 저장돼 있는지 명확하게 파악할 수 있다. 아마존 세이지메이커 오토파일럿은 머신러닝에 대한 경험이 부족한 사용자들이 오로지 데이터를 기반으로 모델을 손쉽게 생성하는 목적으로, 또는 경험이 풍부한 개발자들이 기준 모델(baseline model)을 빠르게 개발한 뒤 팀이 그것을 기반으로 이터레이션 작업을 수행하는 목적으로 사용될 수 있다. 아마존 세이지메이커 오토파일럿은 개발자들이 아마존 세이지메이커 스튜디오를 통해 검사할 수 있는 최대 50개의 다양한 모델을 제공해, 개발자들은 자신의 용도에 적합한 모델을 선택하고, 최적화가 필요한 요소에 따른 다양한 옵션들을 고려할 수 있다.

▲ 개념 변화 탐지(Concept drift detection) : 개발자들은 아마존 세이지메이커 모델 모니터Amazon SageMaker Model Monitor를 통해 개념 변화를 감지하고 교정할 수 있다. 현재 실제 사용되고 있는 모델들의 정확성에 영향을 미치는 가장 큰 요인 중 하나는, 모델을 예측하는데 사용하는 데이터가 모델 훈련에 사용된 데이터와 달라지기 시작하는 경우다. (집 구매 예측에 영향을 미치는 이자와 관련된 경제 상황 변화, 예측 완료된 장비의 유지보수 일정에 대한 신뢰도에 영향을 미치는 계절의 변화로 바뀐 온도, 습도, 기압 등). 데이터가 달라지기 시작하면 ‘개념 변화’라는 상황이 발생할 수 있다. 모델이 예측하는데 사용됐던 패턴들을 더 이상 적용할 수 없게 되는 것이다. 아마존 세이지메이커 모델 모니터는 훈련 도중에 모델에 대한 기준점이 되는 통계자료를 생성하고, 예측에 사용된 데이터를 훈련 기준 자료(training baseline)와 비교한다. 아마존 세이지메이커 모델 모니터는 변화가 탐지되면 개발자들에게 이 사실을 알리고 그 원인이 무엇인지 확인할 수 있도록 시각적인 도움을 제공한다. 개발자들은 아마존 세이지메이커 모델 모니터의 내장된 기능들을 이용해 변화를 즉시 탐지하거나, 자체적인 규칙을 만들어 모니터링할 수 있다. 아마존 세이지메이커 모델 모니터는 개발자들이 학습용 데이터나 알고리즘을 개념 변화에 맞춰 손쉽게 수정할 수 있게 지원한다.

세이지 메이커를 활용한 사례

스와미 시바수브라마니안Swami Sivasubramanian 아마존 머신러닝 부문 부사장은 “수만 명의 고객들이 아마존 세이지메이커를 이용해 맞춤형 머신러닝 모델을 구축, 훈련, 도입하는 과정에서 겪게 되는 문제들을 해결해 왔다. 하지만 머신러닝 모델을 대규모로 운영하게 되면서 새로운 문제들이 생겨났다. 고객들은 이와 같은 문제들을 AWS에 지속적으로 전달해왔다. 현재, 우리는 개발자들이 맞춤형 머신러닝 모델을 손쉽게 구축, 훈련, 설명, 검사, 모니터링, 디버그, 운영할 수 있게 하는 도구들을 발표했다. 이런 개념 중 상당수가 소프트웨어 개발자가 소프트웨어를 구축, 테스트, 유지보수하기 위한 목적으로 수년간 사용돼 왔다. 하지만, 개발자들이 머신러닝 모델을 구축하기 위해 사용할 수 있는 도구는 없었다. 오늘 출시를 통해, 이러한 개념들을 머신러닝 개발자들에게 최초로 제공하게 됐다”고 말했다.

오토데스크는 건축, 엔지니어링/건설, 제품 설계, 제조업계 고객들을 위한 소프트웨어를 개발하는 글로벌 선도업체다. 오토데스크가 제공하는 소프트웨어 제품에는 오토캐드(AutoCAD; 드래프팅 소프트웨어)와 BIM 360(프로젝트 전달과 건설 문서 관리용 클라우드 플랫폼) 등이 있다. 알렉산더 칼슨Alexander Carlson 오토데스크 머신러닝 엔지니어는 “오토데스크는 머신러닝을 이용해 설계와 제조 솔루션을 개선해 고객들이 더 높은 수준의 창의성을 자유롭게 발휘할 수 있도록 하고 있다. 생성적 설계(generative design) 기술로, 설계 기준을 충족하는 수백 개의 최적화된 솔루션을 개발할 수 있다. 머신러닝을 통해, 오토데스크는 고객들이 보다 쉽게 최적의 선택을 할 수 있도록 유사한 시각적 특성을 갖고 있는 결과물들을 확인하고 그룹별로 구분하는 새로운 필터를 개발했다. 이 시각적 유사성 필터(Visual Similarity filter)는 관찰대상에 적응해, 보다 쉽고 효율적으로 완벽한 설계를 찾아낼 것이다. 아마존 세이지메이커 디버거는 피드백 루프feedback loop를 완성하는데 도움을 줘 모델을 훨씬 더 효율적으로 이터레이션할 수 있게 하고, 과학자들의 귀중한 시간을 단축하고 학습시간을 75% 이상 단축할 수 있게 한다”고 말했다.

체인지 헬스케어Change Healthcare는 미국 의료시스템의 임상, 재무, 환자 참여 결과를 개선하기 위한 데이터와 분석기반 솔루션을 제공하는 독립적인 보건기술 업계의 선도기업이다. 자얀트 토마스Jayant Thomas 체인지 헬스케어 AI 엔지니어링 부서 수석 디렉터는 “체인지 헬스케어는 의료보험 청구 과정의 비효율적인 절차들을 없애기 위해 의료서비스 제공업체들과 지속적으로 협력하고 있다. 우리는 종종 의료서비스 제공업체들로부터 알아보기 힘든 라벨이 부착된 보험청구서들을 전달받는다. 이런 청구서들을 수작업으로 수정하는데 불필요한 시간이 들고, 청구된 보험금을 지급하는데 추가적인 비용이 든다. 우리는 알아보기 힘든 라벨이 부착된 청구서에 라벨을 덧붙여 알아볼 수 있는 청구서로 바꿔주는 다층 딥러닝 모델multi-layer deep learning model을 개발했다. 아마존 세이지메이커 디버거는 모델의 정확성을 개선하고, 이터레이션 작업을 신속하게 할 수 있도록 도왔다. 또, 아마존 세이지메이커 디버거로 텐서에 대한 깊은 인사이트를 얻고, 탄력적인 모델 학습을 가능하게 하고, 룰 후크rule hook를 이용해 데이터 불일치를 탐지하고, 모델 매개변수를 세밀하게 조정해 정확도를 높일 수 있다”고 말했다.

인비스타INVISTA는 세계적인 통합 섬유, 수지, 중개 회사다. 태너 곤잘레스Tanner Gonzalez, 인비스타 분석과 클라우드 부문 리더는 “아마존 세이지메이커의 신규 서비스들은 인비스타에 큰 도움을 주고 있다. 아마존 세이지메이커 스튜디오를 통해, 데이터 사이언스 업무를 같은 곳에 배치할 수 있게 됐다. 분리된 다양한 리소스를 관리하는 대신, 마찰없이 한 경로(path)에 대한 작업을 할 수 있게 됐다. 덕분에 인프라와 저장소 관리 시간과 알고리즘 및 분석 프로젝트를 실행하는데 소요되는 시간을 절약할 수 있게 됐다. 아마존 세이지메이커 엑스페리먼트는 모델 추적에 도움이 된다. 전에는 모델 아티팩트를 다양한 곳에서 추적하고 저장했지만, 다양한 실험에 대한 가시성이 확보되지 않아 정보를 놓치기 쉬웠다. 이제 아마존 세이지메이커 엑스페리먼트로 사용하기 쉬운 인터페이스를 통해 실험을 보다 관리하고, 더 큰 규모의 프로젝트를 사용하고, 새로운 모델, 측정항목, 성능을 체계적으로 추가할 수 있게 됐다. 이 모든 기능은 인비스타의 데이터 사이언스 가치를 높일 것으로 기대된다”고 말했다.

신테틱게슈탈트SyntheticGestalt는 제약과 기타 생명과학 산업의 연구 자동화를 위한 모델, 소프트웨어, 지능형 에이전트를 개발하는 응용 머신러닝 기업이다.
코타로 카미야Kotaro Kamiya 신테틱 게슈탈트 CTO는, “우리는 아마존 세이지메이커를 이용해 신약개발 모델과 합성생물학 시뮬레이션(synthetic biology simulation) 모델 학습을 진행하고 있다. 이번 발표된 최신 기능들은 우리의 연구결과를 체계적으로 관리하고 평가하는데 도움이 된다. 실험 성과에 대한 인사이트를 얻기 위해, 우리 연구원들은 일관된 실험 설정과 모델 결과를 유지해야 한다. 아마존 세이지메이커 스튜디오와 아마존 세이지메이커 엑스페리먼트 등 최신 아마존 세이지메이커 기능 출시로, 우리는 최고의 실험 설정을 2배 빠른 속도로 확인할 수 있고, 궁극적으로 우리의 인생을 바꿀 수 있는 후보 분자(candidate molecules) 생성 능력을 가속화할 것이다. 세이지메이커는 신테틱게슈탈트 연구원들이 수천 가지의 실험 설정을 쉽게 비교할 수 있도록 돕는다. 이전에는 몇 시간이 걸렸던 작업을 한번에 할 수 있게 됐다. 또한 기존에 단 100개의 실험 설정을 비교할 수 있었지만, 아마존 세이지메이커를 도입하면서 제약 없이 실험 설계에 온전히 집중할 수 있게 됐다”고 말했다.

※ 아마존 세이지메이커 – https://aws.amazon.com/sagemaker/

◆ 다트크리에이티브 | 한재현 기자 wowhjh@gmail.com

DAATKING

멀티미디어, 가상현실&컴퓨터그래픽을 전공한 크리에이티브 디렉터를 지향하는 콘텐츠 제작자겸 저널리스트입니다.
CG 콘텐츠를 제작하는 Media & Entertainment 업계 사람들과 진솔한 이야기와 창의적 지식을 모아서 올바르게 전달하고 소통하도록 노력하겠습니다.

Add comment