beom's IT 일상

AI분석을 위한 초고성능 데이터레이크란? https://www.youtube.com/watch?v=MFtv9tekZ0M 2023년 3월 23일, 코엑스에서 진행한 Data Insight & Security Summit 2023에서 AI분석을 위한 초고성능 데이터레이크 주제로 키노트를 발표 하였다. 발표의 소개는 아래와 같다. "IT기술의 발전과 혁신을 통해 산업 전반으로 방대하게 증가되는 빅데이터를 분석하기 위한 ‘초고성능 데이터 레이크(Data Lake)’가 주목받고 있습니다. 효과적인 AI 분석을 위해서는 빠른 데이터 처리는 물론 많은 양의 데이터를 스마트하게 분석하기 위한 고성능 환경이 필요하며, 이를 통해 기업의 데이터 기반 인사이트 도출과 활용이 훨씬 수월해 질것입니다. 효성인포메이션시스템의 강..

IT_리뷰_일상 2023. 7. 4. 16:20

의료 빅데이터 분석을 위한 고성능 데이터레이크 아키텍처란? https://www.youtube.com/watch?v=0x3mqJntBjA 2022년 대한병원정보협회 춘계 학술대회 일시 : 2022년 6월 17일(금) 09:30 ~ 17:40 장소 : 서울, 코엑스 3층 회의실 (317호) Total Experience@헬스케어 -발표주제: 의료 빅데이터 분석을 위한 고성능 데이터레이크 -소속: 효성인포메이션시스템 -발표자 : 강준범 과장 2022년 6월 17일, 대한병원정보협회 주관 춘계 학술대회에 의료 빅데이터 분석을 위한 고성능 데이터레이크 라는 주제로 발표를 진행 했다. 의료 빅데이터의 경우 그 형태가 무척 다양하다. EMR데이터, PACS데이터, 건강검진 데이터와 X-ray 이미지, CT촬영 영상..

IT_리뷰_일상 2023. 7. 4. 16:11

데이터웨어하우스 ? 데이터레이크 ? 데이터레이크하우스? 과거 데이터 활용이라고 불리우는것은 대부분이 테이블 형태의 구조를 가진 정형데이터를 의미 하였다. 방대한 양의 정형데이터를 정규화 과정을 거쳐 리포팅을 위해 구축한 시스템을 정보계시스템이라 하며 정보계시스템은 데이터웨어하우스 라고 불리우게 되었다. 데이터웨어하우스에는 집계 등 쿼리 연산을 빠르게 하기 위해 특화된 데이터베이스가 필요하게 되었는데, 이러한 데이터베이스를 일컬어 컬럼 기반의 데이터 베이스라고 한다. 일반적으로 트랜잭션 베이스의 정형 데이터를 입력하는 데이터베이스를 로우 기반의 데이터베이스라고 하며(ex: Oracle사의 OracleDB, IBM사의 DB2, Tmax사의 Tibero, PostgreSQL, Mysql, MSsql...etc..

IT_리뷰_일상 2023. 7. 4. 16:01

외부 Client (Spoon)에서 Pentaho Repository 접근을 위한 방법 물리적인 Main Server에 Pentaho Data Integration Server를 설치하여 중앙집중식 Repository를 구성한 뒤, 외부 사용자 PC에서 Client 도구인 Spoon Client 로 접근 하는 방법이다. 먼저 Spoon Client 를 실행한다. 우측 상단의 [Connect]를 클릭한다. Pentaho Enterprise Repository에 접근하기 위해 [Add]를 누른뒤 [Pentaho Repository]선택한다. URL에 Pentaho Server의 IP 또는 Domain 을 입력한뒤 tomcat port인 8080와 /pentaho url을 넣어 준뒤 [SAVE]를 클릭한다. ..

IT_리뷰_일상 2023. 7. 4. 14:04

Pentaho Data Integration Config에 대한 설명과 설정방법 가이드 Pentaho 솔루션의 설치가 완료 되었으면 아래와 같이 환경 설정이 자동적으로 설정된다. 각 설정이 무엇을 의미하는지 살펴보도록 한다. [내 PC] -> 마우스 우클릭 -> [속성] -> [고급 시스템 설정] -> [환경 변수] 환경변수의 하단 시스템 변수에 [PENTAHO_HOME]은 Pentaho SW가 설치된 경로를 의미한다. [PENTAHO_INSTALLED_LICENSE_PATH]은 Enterprise Edition 설치시 License file이 존재하는 위치를 의미한다. [PENTAHO_JAVA_HOME]은 Pentaho가 사용할 Java(JRE)의 위치를 의미한다. PENTAHO_JAVA_HOME이 없..

IT_리뷰_일상 2023. 7. 4. 13:13

Windows 환경에 Pentaho 설치방법은? Pentaho의 경우 PUC(Pentaho User Console), 중앙집중식 Repository 및 BI (Pentaho Business Analytics)가 포함된 Pentaho Server와 GUI기반 work-flow 개발 도구인 Spoon Client 및 3rd-party 개발 도구들로 구성되어 있다. Pentaho Enterprise Edition의 설치파일을 Hitachi Vantara Homepage를 통해 다운로드 받는다. https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/download-pentaho.html Pentaho Do..

IT_리뷰_일상 2023. 7. 4. 11:19

Pentaho Data Integration란? 빅데이터 분석에서 가장 중요한것은 데이터를 수집하고, 정제하여 데이터셋을 만들어 모델을 생성한뒤, 모델을 기반으로 추론(분석)하여 결과를 활용하는 것이다. 이 데이터 수집/변환/적재를 위한 도구가 ETL 도구이며, ETL은 Extract, Transform, Load 의 약자로, 데이터 추출, 변환, 적재의 의미를 가지고 있다. 많은 회사에서는 각 단계(데이터로부터 insight도출까지)의 단계마다 각각 목적에 맞게 다양한 도구를 사용하고 있으며, 다양한 도구를 사용함에 있어 신규 프로젝트 발생이나 work-flow 개선 및 변경이 있을 경우 유관 부서간의 협업 등이 필요하게 되어 많은 시간 낭비와 자원낭비 및 의사소통의 오류로 인한 휴먼 에러가 발생할 수..

IT_리뷰_일상 2023. 7. 4. 10:40

WEB-WAS-DB 3tier Infra Architecture 브라우저를 통한 클라이언트 요청을 최초로 받는 것은 WebServer 이며 WebServer 에서는 요청에 대한 정의(plugin 정보 , WebServer의 uri,ext 정의 등) 에 의하여 WAS로 요청을 넘겨준다. WAS는 Web Application Server 또는 WebSphere Application Server (IBM의 정의) 로, 웹서버와 뒷 단의 DB 사이에서 요청을 처리하여 middle ware 라고도 불린다. 위 그림에서의 빨간 상자 안의 (시스템 A) 응용프로그램 서버가 WAS 의 영역이다. 웹서버에서의 정적인 파일 처리라 함은, html / txt / img 등과 같이 누가 어디서 어떻게 호출을 하던지 그 값이 ..

IT_리뷰_일상 2023. 6. 1. 12:38