All (2) 썸네일형 리스트형 [자작] 실시간 이벤트 플랫폼 - Stationery-ink 실시간 이벤트에 SQL을 적용해보자. 소스: https://github.com/dk-stationery/stationery-ink ETL 빅데이터를 처리하다보면, 정적인 데이터 이외에,카프카등 큐에 들어오는 실시간성 이벤트를 이용하여, 통계 데이터를 만들어야하는 경우가 생기게 된다.이경우, 요즘은 스파크같은 마이크로 배치가 지원되는 플랫폼을 사용을 많이 하지만,내가 stationery-ink를 만들었을때(2010년초?!)는 아직 스파크가 초기버전이였다...(따끈따끈한 아기 Apache Spark...) 그당시, 주류는 Apache Storm이라는 실시간 처리 플랫폼이 메인 스트림이였다.이 플랫폼을 사용한다고 해도,카프카에 담긴 데이터를 sum, avg등 어그리게이션을 하기위해서는 결국, 프로그래밍을 해야.. [자작] 블록체인 모니터링 서비스 - Crypto-Sherlock 한때 블록체인 기술에 엄청나게 심취한적이 있다. 데모 : https://cryptosherlock.super100.app/ P2P 컨세서스 협의 알고리즘이나, 스마트컨트랙트, 제로날리지등 생소한 기술들을 하나하나씩 알아가는게 희열이 느껴졌다.지금의 AI기술을 사용하는 느낌이랄까.. 특히, 흥미롭게 다가왔던점은, 신뢰할수없는 환경에서 신뢰를 만들어가는 기술이라 더욱 빠져들었다.(마치 무에서 유를 창조하는 기술로도 느껴졌기에) 블록체인쪽은 한동안 깊게 팠어서, 정말 우리나라에서는 나만큼 많이 아는 사람도 없을껄? 이라는 생각도 가진적 있긴 했는데...이제는 AI로 메타가 넘어갔으니.. 아쉽긴하다. (세월이 야속하구나...) 암튼, 블록체인에 엄청 심취하던 시기에 문득, 아이디어가 생각나서, 블록체인 모니터링.. 이전 1 다음
