[빅데이터] 4. Kafka queue Data를 Pentaho를 이용해 file로 저장해보자

[빅데이터] 4. Kafka queue Data를 Pentaho를 이용해 file로 저장해보자

Pentaho 를 사용해 Kafka queue의 데이터를 local disk에 file로 저장해보자

참고 영상은 하단 유투브 참고!

빅데이터 분석에서 실시간 처리를 하기 위해서는

queue System이 필요하다.

 

Queue System중 가장 많이 사용하는 kafka와 pentaho의 연동은 아래와 같이 연동할 수 있다.

 

응용하여 실시간 데이터를 file로 별도 backup 또는 활용을 위해 저장할 수 있다.

Pentaho에서 사용된 kettle (transformation)파일은 별도 첨부 하도록 한다.

 

필요 SW : Pentaho Data Integration Client Tool (Spoon Client)

Real time Queue : Kafka

 

https://youtu.be/CjdXa23jka8

No2_kafka_consumer_queueing_Sub.ktr

0.02MB

No2_kafka_producer_dummy_data_input.ktr

0.02MB

No2_kafka_consumer_queueing_Connect_main.ktr

0.01MB