본문 바로가기

All

(2)
[자작] 실시간 이벤트 플랫폼 - Stationery-ink 실시간 이벤트에 SQL을 적용해보자. 소스: https://github.com/dk-stationery/stationery-ink ETL 빅데이터를 처리하다보면, 정적인 데이터 이외에,카프카등 큐에 들어오는 실시간성 이벤트를 이용하여, 통계 데이터를 만들어야하는 경우가 생기게 된다.이경우, 요즘은 스파크같은 마이크로 배치가 지원되는 플랫폼을 사용을 많이 하지만,내가 stationery-ink를 만들었을때(2010년초?!)는 아직 스파크가 초기버전이였다...(따끈따끈한 아기 Apache Spark...) 그당시, 주류는 Apache Storm이라는 실시간 처리 플랫폼이 메인 스트림이였다.이 플랫폼을 사용한다고 해도,카프카에 담긴 데이터를 sum, avg등 어그리게이션을 하기위해서는 결국, 프로그래밍을 해야..
[자작] 암화화폐 거래소 - Silverstring 암호화페 거래소 개발은 정말 어려운 개발이다. GIT : https://github.com/coinext/silverstring-exchange 암호화페 특히 비트코인, 이더리움에 대해서 정말 많은 관심이 있었을때가 있다.특히 이더리움의 오픈소스를 하나하나 분석하며 본적이 있는데, 이더리움은 코드에서도 진정성이 느껴졌다.다른 알트코인들의 돈벌려고 혈안이 되는 듯한 느낌을 이더리움의 오픈소스 코드에서 볼수없었다.하나하나 문제들에 대해서,개념을 정리하고 해결책을 코드로 구성한 부분, 고민한 부분이 그대로 코드에 녹아있었다. 비트코인, 이더리움의 블록체인을 이해한 시점에서 암호화페 거래소 한번 토이 프로젝트로 만들어볼까? 하는 생각이 들었고,이내 실행에 옮겼다.거래소 이름은 SilverString (은실), ..