도시재생 종합정보체계 유지관리
국토교통부의 도시재생 종합정보체계를 주택도시보증공사가 발주한 유지관리 사업에서, 수행사 소속으로 전국 도시재생 사업지와 토지·건축물 데이터를 다루는 공공 포털의 백엔드 유지보수와 연 단위 데이터 갱신을 맡았습니다.
맡은 일
유지보수
수년간 운영된 Spring Legacy와 PostgreSQL 구조를 화면, 쿼리, 테이블 순으로 거슬러 올라가며 분석해 오류를 고쳤습니다. 데이터를 갱신한 뒤 통계와 화면에서 드러나는 오류도 확인해 수정했습니다.
데이터 갱신
국가중점데이터로 개방되는 도시재생 지표를 매년 갱신하고, 공공데이터와 GIS 데이터를 정기적으로 처리했습니다.
공간정보
지자체가 제출한 사업경계 레이어를 하나로 통합하고, 좌표계 불일치와 위상 오류를 QGIS 검증 도구로 확인해 보정했습니다. 처음 다룬 GIS는 사내 문서와 QGIS 실무자 커뮤니티에 질문하며 익혔습니다.
해결한 문제
대량 데이터
건축물대장 3,000만 건 갱신 작업 재설계
멈춰도 처음부터 다시 돌리지 않게 됐고, 다음 해 갱신에도 같은 코드를 썼습니다
문제
전국 건축물대장(약 3,000만 건 CSV)으로 노후건축물 비율 같은 지표와 용도·구조·연도별 GIS 레이어를 매년 새로 만들어야 했습니다. 전년도 코드는 그대로 돌지 않았고, 실패하면 어디서 왜 멈췄는지 알기 어려웠습니다.
원인
- 파일이 커서 한 번에 읽어 처리하기 어려웠습니다.
- 건축물대장 데이터셋 구성이 바뀌어 전년도 코드와 맞지 않았습니다.
- 지표마다 코드가 따로 실행되고 실패 기록이 남지 않아, 멈추면 처음부터 다시 돌려야 했습니다.
해결
- 지표별로 필요한 컬럼만 골라 읽는 전처리 단계를 만들었습니다.
- 흩어져 있던 실행 코드를 하나의 실행 흐름으로 합쳤습니다.
- 처리 단위를 나누고 적재 전에 검증해, 다시 실행해도 결과가 같게 했습니다.
- 실패하면 원인을 로그로 남기고, 마지막 저장 시점부터 이어서 처리하게 했습니다.
건축물대장 CSV약 3,000만 건
컬럼 선별 읽기지표별 필요한 컬럼만
분할 처리와 검증실패 원인 로그, 저장 시점 기록
적재와 산출지표, GIS 레이어
같은 작업이 중간에 실패했을 때 두 방식이 어떻게 다시 도는지 비교합니다.
결과
필요한 지표와 레이어를 산출했고, 중간에 멈춰도 3,000만 건을 처음부터 다시 돌리지 않게 됐습니다. 다음 갱신에서도 같은 코드를 이어서 썼습니다.
기준 정하기
지자체마다 다른 공간정보 제출 형식 통일
지자체마다 다르게 들어오던 자료를 같은 기준으로 관리하게 됐습니다
문제
지자체마다 사업경계 파일의 형식과 좌표계가 달라, 자료를 모을 때마다 변환하고 확인하는 데 시간이 걸렸습니다.
원인
제출 기준이 없어서 지자체마다 쓰던 형식 그대로 제출했습니다.
해결
- 입력 데이터 표준을 정의한 제출 규격과 작성 가이드를 만들어 지자체에 배포했습니다.
- 이미 받은 파일은 좌표계를 하나로 변환하고 데이터 형식을 맞춰 하나의 레이어로 통합했습니다.
결과
지자체마다 다르게 들어오던 자료를 같은 기준으로 관리할 수 있게 됐습니다.
기준 정하기
행정구역이 바뀌어도 이어지는 연도별 지표
통합, 분리 같은 변경 유형별로 처리 기준을 세웠습니다
문제
지표를 매년 갱신하는데, 기준 행정구역이 통합되거나 분리되면 전년도 값과 비교할 수 없었습니다.
해결
통합, 분리 같은 변경 유형별로 처리 기준을 세워 갱신 작업에 적용했습니다. 반복되는 데이터 작업일수록 기준을 먼저 정해 두어야 매번 같은 결과가 나온다는 것을 배웠습니다.
