- 프로젝트 개요
수집 데이터 목록
한국은행
한국은행 통계 정보: 금융 및 경제 관련 통계 데이터 제공
SK 빅데이터
SK BIG DATA(티맵): 티맵 사용자 데이터를 기반으로 한 빅데이터
SK BIG DATA(음성통화): 음성 통화 데이터를 포함한 빅데이터
SK BIG DATA(서울시 유동인구): 서울시 유동인구 데이터를 분석한 빅데이터
SK BIG DATA(로밍서비스): 로밍 서비스 이용 데이터를 포함한 빅데이터
사람인
사람인 채용 공고 정보: 채용 공고 데이터를 제공
통계청
통계청 통계 정보: 다양한 국가 통계 데이터 제공
서울시 열린데이터광장
서울시 상권분석서비스:
추정유동인구: 상권 내 유동인구 추정 데이터
상주인구: 해당 지역의 상주인구 데이터
직장인구: 지역 내 직장 인구 데이터
추정매출: 상권 내 매출 추정 데이터
서울생활인구:
내국인 생활인구: 서울 내국인 생활 인구 데이터
외국인 생활인구: 서울 외국인 생활 인구 데이터
서울시 지하철호선별 승하차 인원 정보: 역별 지하철 승하차 인원 데이터
서울시 버스노선별 승하차 인원 정보: 정류장별 시간대별 승하차 인원 데이터
공공데이터포털
교통 관련 데이터:
전국도시철도역사표준데이터: 전국 도시철도 역사 데이터
버스정류소정보조회서비스: 버스 정류소 정보 제공
부동산 관련 데이터:
용도별 건물정보서비스: 건물 용도별 정보 제공
토지이용계획속성조회: 토지이용계획 정보 제공
표준지공시지가: 표준지 공시지가 정보 제공
국민연금 관련 데이터:
국민연금 가입 사업장 내역: 국민연금 가입 사업장 정보
국민연금공단 사업장 정보: 사업장별 연금 관련 정보
국토교통부
공동주택 가격 및 거래 정보:
공동주택가격 및 속성 조회: 공동주택 가격 및 관련 속성 정보 제공
아파트, 오피스텔, 연립다세대 매매 및 전월세 실거래 조회: 다양한 부동산 거래 데이터 제공
금융결제원
금융회사 조회: 금융회사 관련 데이터 제공
한국교육개발원 및 교육부
학교 정보: 학교 및 학생수 정보 제공
국민연금공단
사업장 정보 조회 서비스: 사업장 및 연금 관련 데이터 제공
한국관광공사
관광명소 및 문화생활시설 정보: 관광 및 문화생활 관련 데이터 제공
사서함 주소 우편번호
사서함 주소 및 도로명코드: 사서함과 관련된 우편번호 및 도로명 코드 데이터
행정안전부
인허가 데이터: 다양한 인허가 관련 데이터 제공
한국감정원
주택가격 동향: 전국 주택 가격 동향 정보 제공
기상청
기상 데이터: 기상청의 지상 기상 관측 자료 제공
네이버
뉴스 및 주가정보: 정치, 경제, 사회 관련 뉴스와 주가 정보 제공
한국은행
금리 정보: 한국은행에서 제공하는 금리 관련 데이터
한국 농수산식품 유통공사
농수산물 가격 정보: 농수산물의 가격 정보 제공
DART (금융감독원)
감사보고서 및 공시보고서: 기업의 감사보고서 및 공시보고서 데이터 제공
- 추진 배경
상호금융 기관은 대규모의 다양한 데이터를 보유하고 있으며, 이 데이터를 분석하여 고객에게 더 나은 금융 서비스를 제공할 수 있는 잠재력이 큽니다. 그러나 이러한 데이터는 다양한 출처에서 발생하고, 그 양이 방대하여 수작업으로 데이터를 수집하고 분석하는 것은 비효율적이고 오류가 발생하기 쉽습니다. 이러한 문제를 해결하기 위해 데이터 수집기 프로젝트가 개발되었습니다.
이 프로젝트는 상호금융 기관 내에서 데이터를 자동화된 방식으로 수집하고, 이를 체계적으로 분석하여 인사이트를 도출할 수 있는 도구를 제공하는 것을 목표로 합니다. 특히, 데이터 수집과 분석을 효율적으로 수행할 수 있도록 Python CLI 기반의 데이터 수집기를 개발하고, 이를 웹 인터페이스로 관리할 수 있게 함으로써 사용자의 접근성과 편의성을 높였습니다. 더 나아가, 데이터 수집 작업을 자동화하여 시간과 인력을 절감하고, 수집된 데이터를 기반으로 신속하고 정확한 의사 결정을 지원하는 환경을 조성합니다.
- 기대 효과
신속하고 정확한 의사 결정 지원
자세한 설명: 자동화된 데이터 수집 및 분석 시스템을 통해 상호금융 기관은 필요한 데이터를 신속하게 확보하고, 이를 바탕으로 정확한 의사 결정을 내릴 수 있습니다. 데이터의 실시간 갱신과 정확성은 경영진과 실무자들이 변화하는 시장 상황에 빠르게 대응할 수 있도록 도와줍니다.
효과: 데이터 기반의 의사결정을 통해 경쟁력을 강화하고, 기관의 운영 효율성을 극대화할 수 있습니다.
맞춤형 금융 서비스 제공
자세한 설명: 수집된 데이터를 분석함으로써 고객의 니즈를 정확히 파악하고, 이에 맞는 맞춤형 금융 상품 및 서비스를 제공할 수 있습니다. 이는 고객 만족도를 높이고, 장기적인 고객 관계를 유지하는 데 중요한 역할을 합니다.
효과: 고객 중심의 서비스 제공을 통해 상호금융 기관의 신뢰도를 높이고, 고객 충성도를 강화할 수 있습니다.
효율적인 데이터 관리 및 비용 절감
자세한 설명: 자동화된 데이터 수집 및 관리 시스템은 인적 자원의 낭비를 줄이고, 데이터 처리 속도를 향상시킵니다. 이를 통해 운영 비용을 절감할 수 있으며, 기존의 수작업 대비 정확성을 크게 개선할 수 있습니다.
효과: 데이터 관리 효율성의 증대와 비용 절감을 통해 기관의 전반적인 운영 효율성을 향상시키고, 추가적인 자원 투입 없이도 더 나은 성과를 달성할 수 있습니다.
데이터 보안 및 안전성 강화
자세한 설명: 모든 데이터가 서버에 안전하게 동기화되고, 정기적인 백업과 관리가 이루어지므로 데이터 손실의 위험을 최소화할 수 있습니다. 또한, 텔레그램 알림을 통해 실시간 모니터링이 가능하여, 데이터 보안과 안정성을 더욱 강화할 수 있습니다.
효과: 데이터 유실 위험을 줄이고, 중요한 금융 데이터의 보안을 유지하여 기관의 신뢰성을 유지할 수 있습니다.
- 주요 기능
1. 분산처리 기반 데이터 수집기 개발
기능 설명: 데이터 수집기는 동시에 여러 프로세스에 의해 수집처리가 가능하도록 개발되었습니다. 이 프로그램은 다양한 명령어를 통해 데이터 수집 작업을 자동화하고 관리할 수 있도록 설계되었습니다. 사용자는 CLI에서 명령어를 입력하여 수집 작업을 시작하거나 특정 설정을 조정할 수 있습니다.
효과: CLI 기반의 시스템은 빠르고 유연한 데이터 수집이 가능하며, 스크립트를 통해 반복 작업을 자동화할 수 있어 작업의 효율성을 크게 높입니다. 또한, CLI 환경은 리소스가 적게 소모되어 서버나 로컬 환경에서 쉽게 실행할 수 있습니다.
2. 웹 인터페이스 제공
기능 설명: 사용자 편의를 위해 웹 기반의 인터페이스를 제공하여, 사용자가 데이터 수집과 분석 작업을 보다 직관적으로 관리할 수 있도록 지원합니다. 이 인터페이스는 수집 작업의 상태를 실시간으로 모니터링하고, 데이터 수집기의 설정을 변경하거나 수집된 데이터를 조회하는 기능을 제공합니다.
효과: 웹 인터페이스는 비전문가도 쉽게 사용할 수 있는 직관적인 환경을 제공하며, 관리자는 웹 브라우저를 통해 어디서나 데이터 수집과 분석 작업을 쉽게 관리할 수 있습니다. 이는 업무의 접근성과 관리 편의성을 높여줍니다.
3. DB 적재 및 CSV 변환 기능
기능 설명: 수집된 데이터는 먼저 데이터베이스(DB)에 1차적으로 적재됩니다. 이를 통해 원본 데이터를 안전하게 저장하고, 필요한 경우 CSV 형식으로 변환하여 외부로 제공할 수 있도록 합니다. CSV 변환은 데이터 분석, 보고서 작성, 외부 시스템으로의 전송 등을 위해 매우 유용합니다.
효과: 이 기능을 통해 데이터가 안전하게 저장되고, 다양한 포맷으로 쉽게 변환할 수 있어 분석 작업이나 외부 협업이 용이해집니다. 또한, 데이터의 일관성 유지 및 관리가 수월해집니다.
4. 클라우드 기반 정기 데이터 수집
기능 설명: 클라우드 서버를 사용하여 데이터 수집 작업을 정기적으로 자동 실행할 수 있습니다. 리눅스 및 유닉스 계열의 시스템에서 일정에 따라 명령어나 스크립트를 실행하여 데이터 수집 작업을 매일, 매주, 매월 등 정해진 주기에 맞춰 자동으로 수행합니다.
효과: 자동화된 정기 수집 기능을 통해 데이터가 지속적으로 최신 상태로 유지되며, 사람이 개입하지 않아도 데이터 수집이 정해진 시간에 정확히 이루어져 효율성이 높아집니다. 이는 데이터 수집의 신뢰성을 강화하며, 일관된 데이터 흐름을 보장합니다.
5. 데이터포털 OpenAPI를 활용한 상호금융 데이터 수집
기능 설명: 데이터포털의 OpenAPI(Application Programming Interface)를 활용하여 상호금융 데이터를 자동으로 수집합니다. OpenAPI는 외부 시스템과 프로그램이 서로 데이터를 주고받을 수 있도록 하는 인터페이스로, 이를 통해 신뢰할 수 있는 공공 데이터를 원활하게 수집할 수 있습니다.
효과: OpenAPI 연동을 통해 데이터 수집 작업이 자동화되고, 최신 데이터를 신속하게 확보할 수 있습니다. 이는 데이터 수집 과정에서의 오류를 줄이고, 최신 정보를 바탕으로 분석 및 의사결정을 내릴 수 있도록 합니다.
기능 설명: 텔레그램 메시징 서비스를 연계하여, 데이터 수집 작업의 상태를 모니터링하고 실시간으로 알림을 전송합니다. 수집 작업이 완료되었거나 오류가 발생했을 때 텔레그램을 통해 관련 알림을 관리자에게 전달하여 즉각적인 조치가 가능하도록 합니다.
효과: 실시간 알림 기능은 관리자에게 즉각적인 피드백을 제공하여 문제 발생 시 신속하게 대응할 수 있게 하며, 수집 작업이 정상적으로 수행되었는지 쉽게 확인할 수 있습니다. 이를 통해 데이터 수집 작업의 신뢰성과 안정성이 크게 향상됩니다.
