beom's IT 일상

[빅데이터] 10. Pentaho로 file데이터를 HIVE로 적재해 보자 Pentaho 를 사용해 file데이터를 HIVE로 적재 해보자 참고 영상은 하단 유투브 참고! HIVE란? Hadoop의 EcoSystem중 하나로, HDFS에 저장된 데이터를 RDBMS 형태로 제공하며,HiveQL(SQL과 형태가 유사함) 등으로 쿼리가 가능하다. hivemetastore를 활용하여 S3 or S3Compatible Storage의 데이터도 쿼리가 가능하다. 기본적으로 실시간성 처리가 아닌, HDFS or S3 or S3 Compatible Storage에 데이터를 저장하고, 데이터에 맞는 스키마를 metastore에 정의하여 질의 하는 방식 응용하여 구조화된 데이터를 hive에 저장하여 분석에 활용할 수 있다..

IT_리뷰_일상 2023. 7. 17. 11:25

[빅데이터] 9. Pentaho로 RDBMS데이터를 HIVE로 적재해 보자 Pentaho 를 사용해 RDBMS데이터를 HIVE로 적재 해보자 참고 영상은 하단 유투브 참고! HIVE란? Hadoop의 EcoSystem중 하나로, HDFS에 저장된 데이터를 RDBMS 형태로 제공하며,HiveQL(SQL과 형태가 유사함) 등으로 쿼리가 가능하다. hivemetastore를 활용하여 S3 or S3Compatible Storage의 데이터도 쿼리가 가능하다. 기본적으로 실시간성 처리가 아닌, HDFS or S3 or S3 Compatible Storage에 데이터를 저장하고, 데이터에 맞는 스키마를 metastore에 정의하여 질의 하는 방식 응용하여 구조화된 데이터를 hive에 저장하여 분석에 활용할 수 있..

IT_리뷰_일상 2023. 7. 17. 11:22

[빅데이터] 8. Pentaho로 HBASE 데이터를 Load해 보자 Pentaho 를 사용해 HBASE데이터를 Load해보자 참고 영상은 하단 유투브 참고! HBASE란? Hadoop의 EcoSystem중 하나로, HDFS를 사용하는 분산 컬럼 데이터베이스이다. HBase는 구글의 빅테이블과 유사하며, HDFS의 데이터에 대한 실시간 임의 읽기/쓰기가 가능하며, 선형 확장성과 읽기/쓰기의 일관성 제공하는 컬럼 DB이다. 응용하여 구조화된 데이터를 HBase에 저장하여 분석에 활용할 수 있다. 응용하여 hadoop Ecosystem hbase를 활용하는 work-flow를 pentaho로 구현할 수 있다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. ..

IT_리뷰_일상 2023. 7. 17. 11:15

[빅데이터] 7. Pentaho로 file 데이터를 HBASE에 데이터를 입력해 보자 Pentaho 를 사용해 file의 데이터를 HBASE로 저장해보자 참고 영상은 하단 유투브 참고! HBASE란? Hadoop의 EcoSystem중 하나로, HDFS를 사용하는 분산 컬럼 데이터베이스이다. HBase는 구글의 빅테이블과 유사하며, HDFS의 데이터에 대한 실시간 임의 읽기/쓰기가 가능하며, 선형 확장성과 읽기/쓰기의 일관성 제공하는 컬럼 DB이다. 응용하여 구조화된 데이터를 HBase에 저장하여 분석에 활용할 수 있다. 응용하여 hadoop Ecosystem hbase를 활용하는 work-flow를 pentaho로 구현할 수 있다. Pentaho에서 사용된 kettle (transformation)파일은..

IT_리뷰_일상 2023. 7. 17. 10:53

[빅데이터] 6. Pentaho로 S3API로 ObjectStorage에 있는 데이터를 가져와 보자 Pentaho 를 사용해 ObejctStorage(S3 Compatible Storage)의 데이터를 file로 저장해보자 참고 영상은 하단 유투브 참고! 응용하여 정형/비정형/반정형 데이터를 S3 Compatible Storage에 저장하여 분석에 활용할 수 있다. DataLake(데이터레이크) 1차 저장소인 오브젝트스토리지에 데이터를 적재할수 있다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client) Target Storage : S3 Compatib..

IT_리뷰_일상 2023. 7. 10. 16:03

[빅데이터] 5. Pentaho로 file을 S3API로 ObjectStorage에 넣어보자 Pentaho 를 사용해 file 데이터를 ObejctStorage(S3 Compatible Storage)에 file로 저장해보자 참고 영상은 하단 유투브 참고! 응용하여 정형/비정형/반정형 데이터를 S3 Compatible Storage에 저장하여 분석에 활용할 수 있다. DataLake(데이터레이크) 1차 저장소인 오브젝트스토리지에 데이터를 적재할수 있다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client) Target Storage : S3 Compati..

IT_리뷰_일상 2023. 7. 10. 15:57

[빅데이터] 4. Kafka queue Data를 Pentaho를 이용해 file로 저장해보자 Pentaho 를 사용해 Kafka queue의 데이터를 local disk에 file로 저장해보자 참고 영상은 하단 유투브 참고! 빅데이터 분석에서 실시간 처리를 하기 위해서는 queue System이 필요하다. Queue System중 가장 많이 사용하는 kafka와 pentaho의 연동은 아래와 같이 연동할 수 있다. 응용하여 실시간 데이터를 file로 별도 backup 또는 활용을 위해 저장할 수 있다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client..

IT_리뷰_일상 2023. 7. 10. 15:50

[빅데이터] 2. Pentaho로 생성한 dummyData를 MySQL에 import하기 Dummy Data를 Pentaho 를 사용해 MySQL에 import 해보자. 참고 영상은 하단 유투브 참고! 응용하여 parameter를 활용한 batch scheduler를 작성하거나, ODS 구축 등 활용이 가능하다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client) Target Database : MySQL https://youtu.be/xBkOJshEA-M

IT_리뷰_일상 2023. 7. 10. 14:41