All (1) 썸네일형 리스트형 [자작] 실시간 이벤트 플랫폼 - Stationery-ink 실시간 이벤트에 SQL을 적용해보자. 소스: https://github.com/dk-stationery/stationery-ink ETL 빅데이터를 처리하다보면, 정적인 데이터 이외에,카프카등 큐에 들어오는 실시간성 이벤트를 이용하여, 통계 데이터를 만들어야하는 경우가 생기게 된다.이경우, 요즘은 스파크같은 마이크로 배치가 지원되는 플랫폼을 사용을 많이 하지만,내가 stationery-ink를 만들었을때(2010년초?!)는 아직 스파크가 초기버전이였다...(따끈따끈한 아기 Apache Spark...) 그당시, 주류는 Apache Storm이라는 실시간 처리 플랫폼이 메인 스트림이였다.이 플랫폼을 사용한다고 해도,카프카에 담긴 데이터를 sum, avg등 어그리게이션을 하기위해서는 결국, 프로그래밍을 해야.. 이전 1 다음
