[빅데이터] AI분석을 위한 초고성능 데이터 레이크

AI분석을 위한 초고성능 데이터레이크란?

 

https://www.youtube.com/watch?v=MFtv9tekZ0M 

 

2023년 3월 23일,

코엑스에서 진행한 Data Insight & Security Summit 2023에서 AI분석을 위한 초고성능 데이터레이크 주제로 키노트를 발표 하였다.

 

발표의 소개는 아래와 같다.

 

"IT기술의 발전과 혁신을 통해 산업 전반으로 방대하게 증가되는 빅데이터를 분석하기 위한 ‘초고성능 데이터 레이크(Data Lake)’가 주목받고 있습니다. 효과적인 AI 분석을 위해서는 빠른 데이터 처리는 물론 많은 양의 데이터를 스마트하게 분석하기 위한 고성능 환경이 필요하며, 이를 통해 기업의 데이터 기반 인사이트 도출과 활용이 훨씬 수월해 질것입니다. 효성인포메이션시스템의 강준범 데이터 레이크 컨설턴트가 다양한 솔루션과 레퍼런스를 바탕으로 기업이 완벽한 디지털 혁신의 밑그림을 그리고 현실화할 수 있는 초고성능 데이터 레이크 전략을 소개합니다."

 

일반적인 데이터레이크 아키텍처만으로는 고성능의 AI분석 환경에서 요구하는 저장소의 성능을 낼수 없어, 많은 기업에서는 Scale out NAS 저장소, 분석을 위한 별도의 병렬분산스토리지를 활용하여 AI pipeline의 저장소로 활용한다.

 

이러한 과정에서,

데이터의 복제와 이동이 빈번하게 발생되어 데이터 분석가로 하여금 시간적인 리소스 낭비, 다양한 형태의 별도 스토리지의 데이터 복제에 따른 저장소 비용 낭비가 발생하게 된다.

 

따라서 AI분석을 위한 초고성능 데이터레이크라 함은, 

높은 IOPs와 Throughput, 일정한 latency 및 비용효율적인 objectstorage와의 Auto tiering 구조를 가져야 하며,

병렬 분산파일 스토리지의 확장에 따른 데이터 블록을 찾기 위한 메타데이터 서버의 성능 병목 현상을 방지하기 위한 MSA(Micro Service Architecture)를 갖춰야 한다.