[빅데이터] 5. Pentaho로 file을 S3API로 ObjectStorage에 넣어보자

[빅데이터] 5. Pentaho로 file을 S3API로 ObjectStorage에 넣어보자

Pentaho 를 사용해 file 데이터를 ObejctStorage(S3 Compatible Storage)에 file로 저장해보자

참고 영상은 하단 유투브 참고!

 

응용하여 정형/비정형/반정형 데이터를 S3 Compatible Storage에 저장하여 분석에 활용할 수 있다.

DataLake(데이터레이크) 1차 저장소인 오브젝트스토리지에 데이터를 적재할수 있다.

 

Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다.

 

필요 SW : Pentaho Data Integration Client Tool (Spoon Client)

Target Storage : S3 Compatible Storage (Object Storage)

API : Pentaho Server OS 내에 aws cli 설치 

 

Pentaho를 통해 S3API Script 생성 후 Script를 OS가 수행하여 Data input 하는 로직으로 구현

 

Pentaho로 직접 thread로 쪼개 데이터를 넣거나,

RestAPI call 방식으로 구현할 수 있으나, OS 자원을 활용하여 script managing 방식으로 구현함으로써,

Pentaho를 work-flow manager 형태로 사용하기 위해 위와 같은 방식으로 구현하였다.

 

https://youtu.be/aG06ZhkbtRw

No3_file_objectStorage_s3_put.ktr

0.03MB