[개발생각] PostgreSQL의 하이퍼테이블 사용
기존에 통계 데이터를 minute, hour, day, month등의 테이블로 나누고, 테이블에 날짜키로 Insert를 했었다... 일반적인 데이터의 크기라면 상관이 없지만, 데이터가 빅데이터 수준으로 늘어나게 되면, 여러가지 문제가 생긴다. 인덱스가 커지게 되고, 해당 인덱스을 메모리상에 올리지 못하게 될때는, 디스크 IO가 폭발적으로 발생할수있다.로우 삭제가 있는 테이블이라면, 추후에 VACUUM 오버헤드가 엄청나게 들어나게 된다.(VACUUM 작업은 그냥 디스크 정리 같은거라고 생각하면 쉽다.)삭제된 로우를 실제적으로 정리하면서, 인덱스도 지우고, 디스크도 정리하고 하는 작업인데,테이블의 데이터가 빅데이터라면, cpu 오버헤드가 상당해진다. 이런 단점을 극복하기위해서 PostgreSQL은 exte..
[아이디어] 16년된 게임개발 아이디어...
30살? 회사에 출근하면서 생각한 게임 아이디어였는데... 문득 생각이 났다.. 16년이 넘어서, 생각이 나다니..후 :) 30살때, 회사가 멀어서 지하철을, 1시간씩 전철을 타고 다녔다. 출근중에 음악도 듣고, 영화도 보고 했는데,결국은 눈을 감고, 이런저런 몽상을 하다가, 잠이 드는 경우도 많았다. 이때 공상속에서 생각한 게임 아이디어였는데,아예 그래픽을 배제한 사운드, 진동으로만 동작하는 게임을 만들어보면 어떨까?라는 것이였다.(음악듣는거 말고 눈감고 지하철에서 할것없나? 하다가 생각함 ㅋㅋ) 장르 :- 미스테리 동굴 탈출 시나리오 :- 출근하던 X가 갑자기 정신을 잃었고, 일어나보니, 동굴안이였다. 동굴은 빛이 없는 암흑이였고, 손끝에서 느껴지는 터치와 귀로들리는 사운드만으로 동굴을 빠져나가야..
[개발생각] 애자일방법론에 대해서..
애자일을 모든 사람들은 이야기하지만, 정작 애자일이 무엇인지를 정확히 알고있는 사람은 많지않다...아니..없는것같기도.. IT개발에서 가장 많이 하는 방식은 프로젝트팀을 구성하고,해당 프로젝트팀에 여러 파트 (기획, 디자이너, 프론트, 서버개발등등) 인원들이 멤버가 되어,어떤 목표를 가지고 서비스를 만드는 방식을 많이 사용한다.이렇게 목적 조직을 만들고, 운영하고, 서비스가 완성되면, 다시 해체하는 과정을 반복한다. 여기서, 이런 조직을 원활하게 운영하기 위한 방법으로 애자일 방식 활용을 많이 한다. 특히 IT조직에서는... 애자일의 뜻은 "긴밀하고, 민첩한"의 뜻이다.민첩하게 움직이려면, 수행해야하는것이 가벼워야하고, 긴밀하게 움직이려면, 수행해야하는것이 계획적이고 세밀해야한다. 민첩과 긴밀함은 사실..
[개발생각] 아파치 카멜 사용 후기
아파치 카멜을 본격적으로 써봤다. 스프링배치를 사용하려고 했는데, 이런저런 이유로 아파치 카멜을 사용하게 됐고, 후기를 남겨본다 카멜 vs 스프링배치 카멜은 DSL방식의 이벤트의 흐름을 정의하고, 이벤트의 라우팅을 쉽게 해주는 여러 컴포넌트를 제공하기에, 실시간성 이벤트 처리에 적합하다. 스프링배치는 청크단위 배치사이즈단위의 롤백처리라던가 재처리등을 할수있고, 이런 기능등을 활용하여 좀더 대용량처리에 적합하게 사용할수있다는 장점이 있지만, 실시간성 처리 (즉, 실시간으로 바로바로 처리를 해야하고, 최악의 경우는 문제가 되는 데이터처리는 스킵하면서, 실시간 처리를 해야할수도있는 경우)에는 다소 무거운, 그리고 러닝커브가 많은 솔류션으로 이해했다. 내가 카멜을 도입한 부분은 위에 말한 장점을 살리기 위한..
[아이디어] 테슬라 데이터 수집 - 테슬라가 빌런이다.
테슬라의 차량 데이터를 API를 통해, 수집을 해야하는데, 테슬라 이놈들 API로 장사를 하네...ㅠ 오픈API는 일반적으로 사용요금이 저렴한 편인데...테슬라 1만대 기준 한달사용하는 API비용이 최악의 경우 4억이 넘어간다.(물론, 사용/용도에 따라 다르겠지만, 우리가 만드는 서비스는 대략 계산해보니 저정도 발생하더라... 갑부도 아니고..이거뭐..쩝)물론, 최악을 기준으로 계산한것이긴 하지만 , 후덜덜하다. 테슬라에서 API를 통해,내 차량의 데이터(배터리 충전량, 주행가능거리등)를 가져오려면, 기본적으로 테슬라차량이 깨어있어야 한다.깨어있다는 이야기는,주차를 한 상태면 배터리 사용을 줄이기위해 시스템도 동면에 들어가는데,이경우는 차량의 데이터를 API를 통해서 가져올수없게 된다.이경우 테슬라A..
[개발생각] REDIS vs RDB 안전성에 대해서..
참, 막연한 두려움인것일까?, 고정관념인 것일까? REDIS는 뭔가 불안전하고, RDB는 안전하다고 느끼는 것.. 서비스를 만들때, RDB 대신, 성능을 위해서 REDIS에 값을 넣고 조회하는 방법을 많이 사용한다.그런데, 이때 꼭 불안한 마음이 들긴한다.. REDIS 죽으면 어떻하지??RDB에도 저장을 해둬야하나? write-back이라고 하는데,캐시에 먼저 저장해두고, 적절하게 후에 rdb등에 백업해서 저장해두는 방법도 많이 쓴다. 엄밀히 말하면, RDB가 REDIS보다 더 안전한것인가?라는 의문이 들긴한다.RDB도 복제타이밍이나, 커밋/설정등에 따라 유실이 될수가 있다.완벽하게 완전무결한 솔류션은 아니다.다만 복제디비를 유지할수있어서, 문제가 있을때,바로 슬레이브 디비가 구동될수있다 정도랄까?!..
