beom's IT 일상

[빅데이터] 4. Kafka queue Data를 Pentaho를 이용해 file로 저장해보자 Pentaho 를 사용해 Kafka queue의 데이터를 local disk에 file로 저장해보자 참고 영상은 하단 유투브 참고! 빅데이터 분석에서 실시간 처리를 하기 위해서는 queue System이 필요하다. Queue System중 가장 많이 사용하는 kafka와 pentaho의 연동은 아래와 같이 연동할 수 있다. 응용하여 실시간 데이터를 file로 별도 backup 또는 활용을 위해 저장할 수 있다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client..

IT_리뷰_일상 2023. 7. 10. 15:50

[빅데이터] 2. Pentaho로 생성한 dummyData를 MySQL에 import하기 Dummy Data를 Pentaho 를 사용해 MySQL에 import 해보자. 참고 영상은 하단 유투브 참고! 응용하여 parameter를 활용한 batch scheduler를 작성하거나, ODS 구축 등 활용이 가능하다. Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다. 필요 SW : Pentaho Data Integration Client Tool (Spoon Client) Target Database : MySQL https://youtu.be/xBkOJshEA-M

IT_리뷰_일상 2023. 7. 10. 14:41