14일차 - 공공데이터 품질진단 및 개선 실습

공공데이터 품질진단 및 개선 실습
이 저작물은 무단 전재와 복제를 금합니다.

1.1 DB진단도구 Tool 이해
1.1.1 데이터품질관리시스템(DQMS) 란?
데이터품질관리시스템은 블랙박스처럼 감춰진 DB 데이터의 유효성 등을 검증하여 오류데이터를 찾아내고 개선 활동 등을 지원하는 기능을
포함하고 있는 시스템입니다.
DQMS 분석 대상 DB
Select
PMIS
Schema Manager Profile Manager

Job
관제 선박
Manager
SQL Manager BR Manager 세입 비관리청
위험물 통계
…
Error Data
데이터품질관리도구 Tool
* 오류진단 및 개선활동관리
- 기 정의된 프로파일 유형에 따라 분석 대상 DB에 접속하여 진단을 수행
- 진단된 결과(오류데이터)를 시스템에 저장하여 관리
- 오류데이터의 원인분석 및 개선활동을 등록하여 관리
4
1.1.2 데이터 품질 진단 수행 절차
5
1.1.3 실행 및 로그인
바탕화면에 생성되어 있는 [DQ] 아이콘을 더블클릭 합니다.

※ 화면이 열렸다가 닫히는 경우 인터넷 브라우저의 팝업차단 기능
을 해제하신 후 사용하시면 됩니다.
<공공데이터 일경험 수련생 전용 접속 계정>

- 아이디 : admin
- 비밀번호 : admin1234!
6
1.1.4 메인 화면
① 메뉴바 : 전체 메뉴가 표시되며 메뉴를 클릭하면

해당 프로그램 화면으로 이동
② 로그아웃 : 시스템을 로그아웃 하고 로그인 페이지
로 이동
③ 비밀번호변경 : 사용자 비밀번호 변경 팝업 표시
④ 진단대상DBMS : 등록한 DBMS 숫자이며, 상세보
기 클릭 시, 진단대상DB관리 페이지로 이동
⑤ 진단대상TABLE : 진단대상 DBMS별로 수집한
테이블 목록을 확인. 상세보기 클릭 시, 진단대상
테이블관리 페이지로 이동
⑥ 진단대상 COLUMN : 진단대상 DBMS별로 수집한
테이블의 컬럼 목록을 확인. 상세보기 클릭 시, 검증
룰 적용 페이지로 이동
⑦ 오류율 : 전체DBMS의 총 오류율을 표시
⑧ 품질지표별 진단결과 : 선택한 DBMS의 각
품질지표별 테이블, 컬럼, 데이터 전체건수, 오류건수,
오류율등을 확인
⑨ 종합진단결과 : 품질지표별 종합진단결과 조회
⑩ 스키마 별 진단 결과 : 분석건수와 오류건수 확인
7
1.1.5 진단대상 관리 (1/2)
- 진단대상 DBMS에 접속하기 위한 정보를 등록 및 관리하고 스키마 정보를 수집하는 화면
※ 사전조건
DB접속계정은 SELECT 권한과 시스템 카탈로그를
조회할 수 있는 권한이 필요합니다.
① 조회: 상단 검색조건을 입력 후 조회버튼을 클릭
② DBMS 접속정보 추가
[추가] : 클릭 시, 시트에 새로운 행이 추가되며, DBMS
논리명, DBMS 물리명을 입력하고 DBMS유형을
선택하고 연결URL 정보입력 DB접속계정 ID,
DB접속계정 암호를 입력한 뒤 [저장] 버튼을
클릭하면 추가 됩니다.
③ DBMS 접속정보 삭제
[삭제] : 삭제를 원하는 DBMS를 체크박스에서 선택한
뒤, [삭제]버튼을 클릭하면 선택하신 DBMS 접속정보
는 삭제된 것을 확인할 수 있습니다.
④ DB 스키마 정보 수집
[접속테스트] : 해당 버튼을 클릭 시, 입력한 정보를 바
탕으로 DBMS에 접속하여, 해당 DBMS의 스키마 정
보를 수집합니다. 성공적으로 연결이 되었다면 연결
상태에 “성공”이라는 메시지가 나타납니다
8
1.1.5 진단대상 관리 (2/2)
- 진단대상 DBMS에 접속하기 위한 정보를 등록 및 관리하고 스키마 정보를 수집하는 화면
⑤ 스키마수집 : 수집 제외대상인 스키마를 하단의

DBMS스키마정보에서 제외하고 상단의 수집하고자
하는 DBMS접속정보의 체크박스를 선택한 뒤, [스키
마수집] 버튼을 클릭하면 수집 제외여부 ‘아니오’인
스키마의 TABLE, COLUMN 정보들이 수집이 됩니다.
9
1.1.6 진단대상 테이블 관리
- 진단대상 DBMS에서 수집한 테이블 목록들이 나타나며 진단대상여부를 조정할 수 있습니다
※ 사전조건
DBMS 접속정보 등록 및 스키마 수집이 되야 합니다.
① 조회
상단 검색조건을 입력 후 조회버튼을 클릭합니다. (검
색조건이 없을 경우 전체 조회)
② 테이블 진단대상 제외
[조회]버튼을 클릭하여 테이블 목록을 조회합니다.
대상에서 제외를 원하는 테이블은 체크박스 선택 후,
[저장]버튼을 클릭하여 진단대상에서 제외 시킬 수
있으며 제외사유를 입력하여 저장할 수 있습니다.
③ 추가조건 입력
진단대상 테이블에서도 진단을 원하지 않는 값을
제외시킬 수 있습니다. 예를 들어 테이블에서
부서코드가 20인 컬럼들만 조회를 원한다면
추가조건 입력항목에 부서코드 = ‘20’을 입력합니다.
실제 컬럼명을 입력해야 하며, WHERE 이후의 조건을
입력한 뒤, [저장] 버튼을 클릭하여 저장합니다.
10
1.1.7 컬럼분석(프로파일링)
- 데이터 분포현황, Null/Not Null 건수 및 비율, 최대값, 최소값 등을 분석 합니다.
※ 사전조건
DBMS 접속정보 등록 및 스키마 수집이 되야 합니다.
① 조회버튼을 클릭합니다
② 검색조건으로 조회된 테이블 목록이 나타납니다.
컬럼분석을 실행할 테이블을 클릭하면 하단의 그리
드에 컬럼 목록이 나타납니다.
③ 해당 테이블에 포함된 컬럼 목록이 나타나며, 컬럼
분석을 실행할 컬럼을 선택 후 [컬럼분석 실행] 버튼
을 클릭하면 분석이 실행됩니다.
④ 분석이 완료된 컬럼을 더블클릭하면 컬럼에 등록
된 데이터 목록을 확인할 수 있고 Null건수, 최소값,
최대값, 길이 등을 확인할 수 있습니다.
11
1.1.8 데이터품질지표 조회
- 데이터 품질 진단의 지표 정보를 조회할 수 있습니다.
① 조회버튼을 클릭합니다
② 조회버튼을 클릭하면 ‘데이터품질지표 조회’ 팝업
창이 실행되며, 팝업 조회목록을 더블클릭 선택한 품
질지표명이 검색조건으로 입력됩니다.
③ 상단 영역에서 품질지표명을 클릭하여 하단
영역에서 상세정보를 조회합니다.
데이터품질지표 상세정보를 조회합니다.
12
1.1.9 검증룰 관리 (1/2)
- 진단규칙을 적용 위해 기준이 되는 검증룰을 추가, 수정, 삭제하는 화면 입니다.
① [조회] 버튼을 클릭하여, 기 등록된 검증룰을 조회

합니다.
② 조회된 검증룰을 목록에서 클릭하여 상세정보를
확인합니다.
③ 해당 검증룰의 검증유형, 검증룰, 품질지표명, 설명
을 확인할 수 있습니다.
④ 상단의 [추가] 버튼을 클릭합니다. 하단의 검증룰
상세정보가 초기화됩니다.
⑤ 하단의 검증상세정보에 검증룰명, 품질지표명, 검
증유형(여부, 범위, 날짜, 형식 등)을 선택하고 검증룰
을 입력하면 됩니다.
※ 기본으로 등록된 검증룰은 삭제할 수 없습니다.
13
1.1.9 검증룰 관리 (2/2)
- 진단규칙을 적용 위해 기준이 되는 검증룰을 추가, 수정, 삭제하는 화면 입니다.
⑥ 검증룰 입력 방법
- 날짜의 경우, “YYYYMMDD” 와 같은 형식으로 입
력하면 됩니다
- 범위의 경우, “컬럼>126 AND 컬럼<128” 형식으
로 입력하면 됩니다. 연산자를 이용해서 범위를 지
정하여 검증룰을 작성합니다. 컬럼명은 반드시 한
글로 “컬럼”이라고 작성해야 합니다. “컬럼”이라
고 입력하고 검증룰 적용부분에서 매핑하여 해당
테이블의 컬럼으로 지정이 됩니다
- 여부의 경우, 검증룰 부분에 “O,X”, “Y,N”, “1,0” 등
과 같이 쉼표 “ , “를 구분자로 사용합니다. 여러 건
을 구분자를 통해 사용자정의 값으로 등록 가능합
니다.
- 형식의 경우, 전화번호 “2자리 또는 3자리 - 3자리
또는 4자리 - 4자리” 형식을 등록하기 위해서
검증룰 입력부에 “^\d{2,3}\-\d{3,4}\-\d{4}”과 같
이 정규식을 입력하여 등록합니다.
⑦ [저장] 버튼을 확인창이 한번 더 나타나며 확인을
클릭하면 “저장 되었습니다”라는 문구와 함께 지정
한 검증룰이 등록됩니다.
14
1.1.10 검증룰 적용 (1/2)
- 진단대상컬럼의 특성에 맞게 각 컬럼에 검증규칙을 매핑 합니다.
① 검색조건에서 진단대상 DBMS명과 스키마명은 반

드시 선택해야 합니다.
나머지 항목들은 선택 시, 해당 입력 값으로 검색 됩
니다. 미 입력 시, 전체조회가 됩니다.
② 검증룰 적용 및 변경
1) 검색조건을 입력 후, [조회]버튼을 클릭하여 목
록을 확인합니다.
2) 검증룰 부분의 버튼을 클릭하여 적용할 검증룰
을 선택합니다.
3) 등록하고자하는 검증룰을 유형별로 선택하여
검색할 수 있으며, 미 선택 시에는 전체조회
가 됩니다. 적용하고자하는 검증룰을 목록에서
더블클릭을 하면 선택됩니다.
4) 검증룰이 적용된 것을 확인하고 [저장] 버튼을
클릭해 해당 테이블 컬럼에 검증룰을 적용 합
니다.
※ 코드의 경우 코드관리 항목에서 공통코드를 등록
한 후 목록에서 코드를 선택하고, 더블클릭 하면 적
용 됩니다
15
1.1.10 검증룰 적용 (2/2)
- 진단대상컬럼의 특성에 맞게 각 컬럼에 검증규칙을 매핑 합니다.
③ 검증룰 적용해제
1) 사용자가 등록한 검증룰을 적용해제(삭제)하기
위해서는 먼저 체크박스 선택에서 삭제하고자 하는
검증룰을 확인하고 체크합니다.
2) 삭제 버튼을 클릭하면, “삭제하시겠습니까” 확인창
이 한번 더 나타나며 확인을 클릭하면 “삭제 되었습
니다”라는 문구와 함께 지정한 적용하신 컬럼에 검증
룰이 적용해제(삭제)가 됩니다.
④ [진단항목실행] 버튼을 클릭하면 선택된 컬럼들의

검증이 실행됩니다.
16
1.1.11 참조무결성 관리
- 부모/자식관계로 맺어진 데이터 값들에 대하여 일관성이 유지되고 있는지 진단합니다.
① 참조무결성 진단을 위해 관계 컬럼을 등록, 수정,

삭제, 조회 하는 화면입니다.
② 추가 버튼을 클릭하면 관계 컬럼을 매핑하는
팝업창이 나타나고 부모 테이블을 선택, 부모-자식 간
컬럼을 매핑 한 후 추가 버튼을 클릭하면 그리드에
추가가 됩니다.
③ 추가 후 저장 버튼을 클릭하여 참조무결성 진단을
위한 관계 컬럼을 저장합니다.
④ [참조무결성실행]버튼을 클릭하면 선택된
항목들이 실행됩니다.
17
1.1.12 업무규칙관리
- 컬럼간의 논리관계 일관성, 계산 및 집계 일관성 등이 유지되고 있는지 진단합니다.
① [추가] 버튼을 클릭하면 하단의 입력부가 초기화됩

니다.
② 업무규칙 기본정보 테이블명, 컬럼명, 건수SQL, 분
석 SQL을 입력합니다.
③ 테이블, 컬럼명 항목 입력을 위해 [검색] 버튼을 클
릭하면 컬럼명을 조회할 수 있습니다. 검색조건 미 입
력 시, 전체 조회 가능합니다.
선택하고자 하는 컬럼명을 더블클릭 하면 진단정보창
에 입력이 완료됩니다.
④ 모든 항목을 입력하였다면, [저장] 버튼을 클릭해
업무규칙으로 등록할 수 있습니다.
[저장] 버튼을 클릭하면 SQL문을 검증하며 오류가 있
을 경우 “건수SQL문을 확인해주세요” 혹은 “분석SQL
을 확인해주세요” 라는 메시지가 나타납니다. SQL문
검증이 끝나면 “저장 되었습니다.”라는 메시지와 함께
업무규칙 등록이 완료됩니다.
⑤ [업무규칙실행]버튼을 클릭하면 선택된 항목들이
실행됩니다.
18
1.1.13 진단실행
- 검증룰, 업무규칙 등 사전에 등록한 검증항목들의 진단을 실행합니다.
① 조회
1) 상단의 검색조건을 입력합니다. 진단대상 DBMS명,
스키마명은 필수 선택입니다. 검증분류, 테이블명, 컬
럼명, 컬럼한글명은 선택이며, 미 입력 시, 전체조회됩
니다.
2) [조회] 버튼을 클릭해 검증룰 및 업무규칙을 조회
합니다.
② 진단항목실행
1) 진단 실행할 검증룰이나 업무규칙을 선택합니다.
2) [진단항목실행] 버튼을 클릭하면 진단실행이 진행
되며, “분석실행이 요청되었습니다.”라는 문구의 확인
창이 나타납니다.
19
1.1.14 스케줄실행결과조회
- 진단실행결과를 조회 또는 삭제 합니다.
① 조회
1) 상단 검색조건을 입력 후 조회버튼을 클릭합니다.
(검색조건이 없을 경우 전체 조회)
2) 상단 스케줄 결과를 선택 시 하단 작업목록의 상세
정보를 조회합니다.
3) 실행한 스케줄의 성공여부와 작업명 시작일시, 종
료일시, 진행시간, 실행자 등을 확인할 수 있습니다.
② 삭제
1) 삭제할 스케줄 실행결과를 체크박스에 선택합니다.
2) [삭제] 버튼을 클릭합니다.
3) “삭제 하시겠습니까?”라는 확인 창이 나타나며 확
인 클릭 시, 체크한 스케줄 실행결과는 삭제됩니다.
20
1.1.15 스케줄관리 (1/2)
- 등록한 검증항목을 스케쥴링을 통해 등록하여 자동실행 되도록 관리 합니다.
① 스케줄 조회
1) 상단 검색조건을 입력 후 조회버튼을 클릭합니다.
(검색조건이 없을 경우 전체 조회)
2) 그리드에서 스케줄을 선택하면 스케줄 상세정보와
스케줄에 포함된 작업정보를 출력합니다.
3) 등록된 스케줄 상세정보와 작업정보를 탭 클릭을
통해서 확인이 가능합니다.
21
1.1.15 스케줄관리 (2/2)
- 등록한 검증항목을 스케쥴링을 통해 등록하여 자동실행 되도록 관리 합니다.
② 스케줄 추가
1) 상단 스케줄정보를 클릭 후 작업정보 탭을 선택합
니다.
2) 조회 버튼 클릭 시 작업검색 팝업창이 호출됩니다.
3) 대상명은 DBMS명과 스키마 명을 찾아서 선택합니
다. 작업유형은 스키마 수집, 검증룰, 업무규칙이 있으
며 검증 실행하고 싶은 항목을 선택합니다.
검증룰 유형, 등록여부, 작업명은 선택사항이며 미 선
택 시, 전체조회가 됩니다.
4) 검색조건을 입력하고 [조회] 버튼을 클릭하면 입력
하신 검색조건에 맞게 작업이 조회됩니다.
5) 등록을 원하는 작업의 체크박스를 선택합니다.
6) [적용] 버튼을 클릭해 작업을 추가한 뒤, 팝업창을
닫습니다.
22
1.1.16 검증결과조회
- 진단결과를 통해 오류 데이터에 대한 값을 확인하고, 원인을 분석하여 개선 계획을 수립 합니다.
① 조회
1) 상단의 검색조건을 입력합니다. 미 입력 시, 전체
조회됩니다.
2) [조회] 버튼을 클릭해 진단 실행이 완료된 목록을
확인합니다.
3) [엑셀내리기] 버튼을 이용해 목록을 엑셀로 다운로
드 받을 수 있습니다.
4) 검증결과 상세 내용을 보시려면 확인할 검증룰을
더블 클릭하면 상세정보를 조회 가능합니다. (오류데
이터 및 SQL 등)
5) 검증결과 상세 내용 조회입니다. 진단대상 DBMS
명, 스키마명, 테이블명, 테이블한글명, 컬럼명, 컬럼
한글명, PK여부, NULL여부, 데이터타입, DEFAULT등
진단대상에 대한 조회가 가능합니다.
또, 오류데이터의 유형을 조회할 수 있으며 분석건수
SQL문, 오류건수SQL문, 패턴SQL문을 확인 가능합니
다.
23
1.1.17 진단결과종합현황
- 전체 진단결과를 품질지표 별로 진단건수, 오류건수, 오류율 등의 정보를 확인할 수 있습니다.
① 조회
1) 상단의 검색조건을 입력합니다. 미 입력 시, 전체조
회됩니다.
2) [조회] 버튼을 클릭해 종합결과를 검색조건에 맞게
조회합니다.
3) 품질지표별 진단된 테이블, 컬럼 수가 나타나고 전
체건수, 오류건수, 오류율과 오류비중이 나타납니다.
4) [엑셀내리기] 버튼을 이용해 목록을 엑셀로 다운로
드 받을 수 있습니다.
24
1.1.18 사용자 관리
- 사용자를 조회/등록/변경/삭제 합니다.
① 사용자 조회
1) [조회] 버튼을 클릭해 사용자 목록을 검색조건에
맞게 조회합니다.
2) 검색조건에 따라 조회된 사용자 ID, 사용자명, 그룹
을 변경할 수 있으며 비밀번호변경 버튼을 클릭해 비
밀번호 변경이 가능합니다.
② 사용자 등록/수정
1) [추가] - [신규추가] 버튼 클릭 시 하단 그리드에 입
력항목이 추가됩니다.
2) 로그인 ID, 사용자명, 사용자그룹명(관리자, 사용자)
는 필수 값으로 등록되어야 하며, 직급 명, 사용자 전
화번호, 사용자 휴대폰번호, 이메일 주소, 설명 등을
선택항목으로 입력이 가능합니다.
기존에 등록된 사용자를 변경하려면 항목을 더블클릭
후 변경내용을 입력합니다.
3) [저장] 버튼을 클릭하면 사용자 등록이 완료가 됩
니다. 최초 생성시 비밀번호는 “1” 입니다.
25
1.1.19 코드관리(1/2)
- 코드 도메인 검증시 공통코드/개별코드를 진단을 하는 기준정보를 관리 합니다.
① 조회
1) 상단 검색조건을 입력 합니다. (검색조건이 없을 경
우 전체 조회)
2) [조회] 버튼을 클릭해 사용자 목록을 검색조건에
맞게 조회합니다.
3) 검색조건에 따라 조회된 등록된 코드를 조회 가능
합니다. 상세정보 조회 방법은 해당 행을 클릭하면 하
단의 코드 상세 정보에서 조회가 가능합니다.
4) 코드 상세 정보는 등록하신 코드정보를 조회할 수
있습니다. 검증코드명, DB명, 코드생성SQL, 설명이 있
습니다.
26
1.1.19 코드관리(2/2)
- 코드 도메인 검증시 공통코드/개별코드를 진단을 하는 기준정보를 관리 합니다.
② 코드 추가
1) [추가] 버튼을 클릭해 하단의 코드 상세 정보
입력부를 초기화합니다.
2) 코드 기본정보 입력입니다.
- 검증코드명을 입력합니다.
- DB명을 진단대상DBMS에 등록하신 DB를
선택합니다.
※ 형식 - 유형에 따라 코드유형을 선택합니다.
위와 같은 형식으로 Alias부분은 필수이며 분류코드,
SELECT 분류코드 AS CD_CLS
분류코드명, 공통코드, 공통코드명, 코드테이블,
,분류코드명 AS CD_CLS_NM
,공통코드 AS CD_ID 조건을 작성하면 됩니다.
,공통코드명 AS CD_NM 3) 작성한 코드생성SQL을 [검증] 버튼을 클릭해
FROM 코드테이블 문법적인 오류가 있는지 확인할 수 있습니다.
WHERE 조건
4) 항목들을 확인한 후 검증이 완료되었다면, [저장]
버튼을 클릭해 저장합니다.
27
2.1 DB진단 도구 Tool 실습
2.1.1 Tool 실행 및 로그인
1. 바탕화면에 설치된 [DQ] 아이콘을 실행 합니다.

※ 화면이 열렸다가 닫히는 경우 인터넷 브라우저의 팝업차단 기능을 해제한 후 다시 실행 합니다.
2. 아이디, 패스워드를 입력한 후 로그인 합니다.

3. <공공데이터 일경험 수련생 전용 접속 계정>
- 아이디 : admin
- 비밀번호 : admin1234!
※ 대소문자를 구별하므로 반드시 소문자로 작성 합니다.
29
2.1.2 진단대상관리>품질지표조회
1. 조회 및 상세정보를 확인 합니다.
2. [엑셀내리기] 기능을 이용하여 다운로드 합니다.
30
2.1.3 진단대상관리>진단대상DB관리
1. 진단대상DB등록/수정/삭제
※ DB 접속정보
DBMS DBMS DB접속 DB접속
연결 URL 드라이버명
유형 버전 계정ID 계정암호
MariaDB Mysql5 jdbc:mariadb://localhost:3306/WDQ_TEST org.mariadb.jdbc.Driver WDQ wise1012
2. 진단대상DB등록 후 접속 테스트
3. 스키마 수집하기
4. 스키마 제외하기
31
2.1.4 진단대상관리>진단대상테이블관리
1. 검색조건 별 조회
2. 진단대상 테이블 선정
3. 진단대상 제외 테이블 제외사유 등록
- t_park_backup : 백업테이블로 제외
- comtnloginlog : 로그테이블로 제외
4. 진단대상 테이블 추가조건 등록/삭제
- 추가조건: PARKPLC_DIV = ‘1’
32
2.1.5 진단대상관리>컬럼분석
2. 컬럼분석 대상 선정
3. 컬럼분석 대상 제외처리 – 제외여부=Y, 제외사유 입력
4. 컬럼분석 실행
5. 컬럼분석 결과 확인-데이터패턴조회, 컬럼분석상세조회
33
2.1.6 진단규칙설정>검증룰관리
2. 도메인별 검증룰 등록/수정/삭제
품질지표 도메인 검증룰명 검증룰 검증룰 설명
날짜 날짜-년월일(/) YYYY/MM/DD
번호 번호-순번 1~4자리 ^\d{1,4}$
번호 번호-순번 2자리 ^\d{2}$
번호 번호-순번 4자리 ^\d{4}$
번호 번호-주차장관리번호 ^\d{3}-?\d{1}-?\d{6}$ 숫자3자리+하이픈+숫자1자리+하이픈+숫자6자리
금액 금액-양수 5자리 컬럼 >= 0 AND 컬럼 <= 99999
금액 금액-양수 9자리 컬럼 >= 0 AND 컬럼 <= 999999999
수량 수량-양수 4자리 컬럼 >= 0 AND 컬럼 <= 9999
수량 수량-양수 9자리 컬럼 >= 0 AND 컬럼 <= 999999999
수량 수량-위도 컬럼>= 0 AND 컬럼 <= 90
수량 수량-경도 컬럼 >=0 AND 컬럼 <= 180
율 율-0~100 컬럼 >=0 AND 컬럼 <= 100

여부 여부(T,F) T,F
34
2.1.7 관리자>코드관리
1. 공통코드 기준 테이블 등록
2. 개별코드 테이블 등록
검증코드명 DB명 코드유형 설명 코드생성 SQL
SELECT CD_DIV AS 코드분류

,CD_DIV_NM AS 코드분류명
공통코드 주차장시스템 공통코드 ,COMM_CD AS 코드
,COMM_CD_NM AS 코드명
FROM WDQ_TEST.t_code
SELECT 'INST_CD' AS 코드분류

,'기관코드' AS 코드분류명
기관코드 주차장시스템 목록성코드 ,INST_CD AS 코드
,INST_NM AS 코드명
FROM WDQ_TEST.T_INST
35
2.1.8 진단규칙설정>검증룰적용
2. 테이블/컬럼별 진단규칙 매핑
3. 진단규칙 매핑 후 진단항목 실행 및 검토
36
2.1.8 진단규칙설정>검증룰적용>진단규칙 매핑결과 (1/2)
No 테이블명 테이블한글명 컬럼명 컬럼한글명 DataType 검증룰 코드분류ID
1 t_park 주차장정보 PARKPLC_MNG_NO 주차장관리번호 varchar(20) 번호-주차장관리번호

2 t_park 주차장정보 PARKPLC_DIV 주차장구분 varchar(10) 공통코드-주차장구분 01
3 t_park 주차장정보 PARKPLC_TYPE 주차장유형 varchar(10) 공통코드-주차장유형 02
4 t_park 주차장정보 PARKNG_COMPRT_PLANE_CNT 주차구획수 int 수량-양수 4자리
5 t_park 주차장정보 LANDGRAD_DIV 급지구분 varchar(10) 공통코드-급지구분 03
6 t_park 주차장정보 OPERT_BEGIN_TM 운영시작시각 varchar(10) 날짜-시분
7 t_park 주차장정보 OPERT_END_TM 운영종료시각 varchar(10) 날짜-시분
8 t_park 주차장정보 PARKNG_BASIS_TM 주차기본시간 varchar(10) 수량-양수 9자리
9 t_park 주차장정보 PARKNG_BASIS_USE_CHRG 주차기본요금 int 금액-양수 5자리
10 t_park 주차장정보 ADD_UNIT_TM 추가단위시간 varchar(10) 수량-양수 4자리
11 t_park 주차장정보 ADD_UNIT_TM2_WITHIN_USE_CHRG 추가단위요금 int 금액-양수 9자리
12 t_park 주차장정보 MONTH_PARK_YN 월주차여부 varchar(10) 여부(Y,N)
13 t_park 주차장정보 MT_CMMTICKT_WEEK_USE_CHRG 월정기권요금 int 금액-양수 9자리
14 t_park 주차장정보 MNG_INST_CD 관리기관코드 varchar(4) 기관코드 INST_CD
15 t_park 주차장정보 MNG_INST_SEQ 관리기관순번 int 번호-순번 1~4자리
16 t_park 주차장정보 CONTCT_NO 전화번호 varchar(100) 번호-전화번호(-)
17 t_park 주차장정보 LAT 위도 varchar(100) 수량-위도
18 t_park 주차장정보 LOGT 경도 varchar(100) 수량-경도
19 t_park 주차장정보 MNG_BEGIN_DT 운영시작일자 varchar(10) 날짜-년월일(-)
20 t_park 주차장정보 MNG_END_DT 운영종료일자 varchar(10) 날짜-년월일(-)
21 t_park 주차장정보 MNG_END_YN 운영종료여부 varchar(10) 여부(Y,N)
22 t_park 주차장정보 DEL_YN 삭제여부 varchar(10) 여부(Y,N)
23 t_park 주차장정보 DATA_STD_DT 데이터기준일자 varchar(10) 날짜-년월일(-)
24 t_park 주차장정보 PARKNG_HOUR_USE_CHRG 1시간주차요금 int 금액-양수 5자리
25 t_park 주차장정보 PARKNG_DISCOUNT_RATE 주차할인율 decimal 율 0~100 37
2.1.8 진단규칙설정>검증룰적용>진단규칙 매핑결과 (2/2)
No 테이블명 테이블한글명 컬럼명 컬럼한글명 DataType 검증룰 코드분류ID
1 t_code 공통코드 CD_DIV 분류코드 varchar(10) 번호-순번 2자리

2 t_code 공통코드 COMM_CD 코드 varchar(10) 번호-순번 1~4자리
3 t_inst 기관코드 INST_CD 기관코드 varchar(4) 번호-순번 4자리
4 t_inst 기관코드 INST_SEQ 기관순번 varchar(10) 번호-순번 1~4자리
5 t_ord_dtl 주문상세 ORD_NO 주문번호 int 번호-순번 1~4자리
6 t_ord_dtl 주문상세 ORD_CNT 주문수량 int 수량-양수 9자리
7 t_ord_dtl 주문상세 ORD_PRC 단가 int 금액-양수 9자리
8 t_ord_dtl 주문상세 ORD_AMT 금액 int 금액-양수 9자리
38
2.1.9 진단규칙설정>참조무결성관리
2. 참조무결성 관계 테이블/컬럼 선정
- 주차장정보(t_park) 테이블의 관리기관코드, 관리기관순번 컬럼은
부모인 기관코드(t_inst) 테이블의 기관코드, 기관순번 컬럼과 반드시 일치해야 한다.
3. 참조무결성 관계 설정
- 자식테이블 : 주차장정보(t_park) 테이블의 관리기관코드, 관리기관순번
- 부모테이블 : 기관코드(t_inst) 테이블의 기관코드, 기관순번
4. 참조무결성 진단 실행 및 검토
39
2.1.10 진단규칙설정>업무규칙관리>시간순서일관성
1. 시간순서일관성 업무규칙 선정 및 정의
2. 시간순서일관성 업무규칙 추가
- 업무규칙명: [BR-001-0001] 주차장정보 운영시작일자 검증
- 업무규칙설명: 운영시작일자는 운영종료일자 보다 반드시 이전 날짜 여야 한다
- 테이블/컬럼명: T_PARK.MNG_BEGIN_DT
- 건수SQL: SELECT COUNT(*) AS CNT
FROM WDQ_TEST.T_PARK
WHERE MNG_BEGIN_DT IS NOT NULL
- 분석SQL: SELECT MNG_BEGIN_DT, MNG_END_DT
WHERE MNG_BEGIN_DT IS NOT NULL
AND MNG_BEGIN_DT >= MNG_END_DT
3. 진단실행 및 검토
40
2.1.11 진단규칙설정>업무규칙관리>컬럼간논리관계 일관성
1. 컬럼간논리관계 업무규칙 선정 및 정의
2. 컬럼간논리관계 업무규칙 추가
- 업무규칙명: [BR-001-0002] 주차장정보 월정기권요금 발생여부 검증
- 업무규칙설명: 월정기권요금은 반드시 월주차가 가능한 경우에만 발생 해야 한다.
- 테이블/컬럼명: T_PARK.MT_CMMTICKT_WEEK_USE_CHRG
- 건수SQL: SELECT COUNT(*)
WHERE MT_CMMTICKT_WEEK_USE_CHRG IS NOT NULL
- 분석SQL: SELECT MONTH_PARK_YN, MT_CMMTICKT_WEEK_USE_CHRG
WHERE MT_CMMTICKT_WEEK_USE_CHRG IS NOT NULL
AND MT_CMMTICKT_WEEK_USE_CHRG <> 0 AND MONTH_PARK_YN <> ‘Y’
41
2.1.12 진단규칙설정>업무규칙관리>계산 및 집계
1. 계산 및 집계 업무규칙 선정 및 정의
2. 계산 및 집계 업무규칙 추가
- 업무규칙명: [BR-001-0003] 주문상세정보 주문금액 검증
- 업무규칙설명: 주문금액은 주문수량*주문단가와 일치해야 한다.
- 테이블/컬럼명: WDQ_TEST.T_ORD_DTL
- 건수SQL: SELECT COUNT(*)
FROM WDQ_TEST.T_ORD_DTL
- 분석SQL: SELECT ORD_NO, ITEM_CD, ORD_CNT, ORD_PRC, ORD_AMT
FROM WDQ_TEST.T_ORD_DTL
WHERE ORD_CNT * ORD_PRC <> ORD_AMT
42
2.1.13 진단실행>진단항목별 실행
2. 진단항목실행
43
2.1.14 진단실행>스케쥴실행결과조회
2. 스케쥴 상세정보 및 작업목록 확인
3. 스케쥴 상세정보 삭제
44
2.1.15 진단실행>스케쥴관리
2. 스케쥴 등록/수정/삭제
45
2.1.16 진단결과>검증결과조회
2. 검증결과조회 및 오류데이터 검토
46
2.1.17 진단결과>진단결과종합현황
2. 진단결과조회 및 오류데이터 검토
- 오류데이터 검토 시 적절한 진단규칙인지 반드시 확인 필요
- 오류율 80% 이상인 경우는 진단규칙이 잘못될 가능성이 매우 높으므로 반드시 확인 필요
3. 품질평가용 자료 내려받기
4. 품질평가용 에러데이터 받기
5. 진단결과종합현황 확인 및 개선방안 검토
47
2.1.18 관리자>사용자관리
1. 비밀번호 변경
- 변경한 비밀번호는 반드시 기억해야 됨.
48
2.1.19 SQL을 이용한 완결성진단 리뷰
NO 완결성 진단 유형 설명
필수값 컬럼의 경우 값이 반드시 존재해야되는데, 값이 없는 경우

1 필수값 진단
[예시]
의료기관종별 필수값 미존재
중복되는 데이터값이 존재하면 오류로 진단
[예시]
2 중복데이터 진단
HOSP_TYPE HOSP_NAME HOSP_ADDR HOSP_TEL HOSP_DAY
병원 에디스여성병원 부산광역시 사하구 낙동대로 051-206-0000 2021-05-26
병원 에디스여성병원 부산광역시 사하구 낙동대로 051-206-0000 2021-05-26
데이터값에 특수문자나, 양쪽(앞,뒤) 공백 또는 중간 이중공백(공백2개이상) 이 있는 경우 오류로 진단
[예시]
경희■■산부인과의원
3 공백 ·특수문자 진단 ■■■■■■■큐병원
의료법인■굿타임의료재단■타임요양병원■■■■■■■■■■■■■
허브휴양■■한방병원
장림더큰내과의원!
※ 공백은 ■ 대체하여 표시함.
데이터값에 인지 할 수 없는 깨진 문자 또는 자음, 모음으로만 구성되어 완성되지 않은 한글 문자

[예시]
4 글자 완성도 진단
?(?쵒??E??뫕Ub熬????L<$
ㄱ, ㅁ, ㅎ, ㅏ, ㅕ, ㅣ
49
3.1 파일진단 도구 Tool 이해
3.1.1 개요
- 파일진단도구 Tool은 기관의 보안정책에 의하여 DB진단도구 Tool로 진단이 어려운 경우 테이블의 데이터를 csv파일형태로 Export
하여 데이터 품질 진단을 수행 합니다.
- 컬럼 단위의 진단규칙 매핑 위주의 작업이므로 데이터품질진단도구 Tool에 비하여 간단하고, 쉽게 사용 가능합니다.
- 파일진단도구 Tool 실습은 2020년 버전으로 진행되며, 향후 개발예정인 2021년 버전과 다소 상이 할 수 있습니다.
51
3.1.2 수행절차
52
3.1.3 실행 및 CSV파일 열기
① 개방파일 진단도구 실행 후, 좌측 상단의 [열기]

1 버튼을 클릭 합니다
② 파일 선택 창이 나타나며 진단할 데이터 CSV 파일
을 선택 후 버튼 클릭 합니다.
※ PC/노트북 성능에 따라 차이는 있으나, 진단대상

파일은 20Mb를 초과할 경우 작업속도가 낮아질 수
있습니다.
53
3.1.4 진단 시작 항목(컬럼)명의 위치 지정
① 진단을 시작할 컬럼명 정보가 있는 행 번호를 입력
합니다. (기본값은 첫 번째 행)
※ CSV구조에서는 반드시 첫 번째 행에 항목(컬럼)

1 2
명이 입력되어야 합니다.
② 시작행의 숫자를 입력한 후 [시작] 버튼을 클릭하
여 데이터를 확인 합니다.
54
3.1.5 진단할 항목(컬럼)별 데이터 타입 지정-문자열
① 항목(컬럼)별 콤보박스 ▼ 을 클릭하여 항목의
데이터 타입을 지정 합니다.

1
※ 한글 및 영문 데이터 값은 ‘문자열’ 타입 지정
55
3.1.6 진단할 항목(컬럼)별 데이터 타입 지정 – 숫자형 데이터
① 숫자형 데이터는 ‘금액, 수량, 율’ 세가지 숫자형 데

1
이터 타입으로 진단이 가능 합니다.
2
② 숫자형 데이터를 진단하는 금액, 수량, 율 셋의 차
이는 다음과 같습니다.
- 금액, 율 : 음의 정수, 0, 양의 정수만 유효값, 소수점

있는 숫자도 가능
- 수량 : 음의 정수, 0, 양의 정수만 유효값, 소수점 있

는 숫자는 오류
※ 2021년 도구에는 숫자형데이터(금액, 수량, 율)
모두 소수점 허용할 예정입니다.
56
3.1.7 진단할 항목(컬럼)별 데이터 타입 지정 – 날짜형 데이터
① 날짜형 데이터는 표기방식에 따라 형식에 맞는
데이터 타입으로 진단이 가능합니다.

예) 2020-11-04 10:10:10 → YYYY-MM-DD HH24:MI:SS
② 해당 항목(컬럼)의 날짜 데이터 형식에 맞게 타입

선택 후 진단을 실행 합니다.
57
3.1.8 진단할 항목(컬럼)별 진단 규칙 지정 - 여부 > 여부값지정
1 ① 항목(컬럼)별 데이터 타입 중 ‘여부>여부값 지정’

타입을 선택 합니다.
② 선택 후 뜨는 팝업창에서 유효한 값을 입력 합니다.

(영문자로 입력한 경우 대소문자 구분 없이 유효값으
로 인정 됩니다.)
③ 규칙 지정 후 [확인] 버튼을 클릭하여 규칙을 저장
2 합니다.
※ [취소] 버튼 클릭 시 선택한 데이터 타입은 문자

열로 초기화 됩니다.
3
※ 여부> Y/N 은 (‘Y’, ‘N’, ‘y’, ‘n’)이외 값은 오류
예) ‘O, X, o, x , 1, 0 등은 ‘여부값 지정’으로 진단
58
3.1.9 진단할 항목(컬럼)별 진단 규칙 지정 – 시간순서 일관성
① 항목(컬럼)별 데이터 타입 중 ‘시간순서 일관성’ 타

입을 선택 합니다.
② 선택 후 뜨는 팝업창에서 반드시 시간의 순서가 맞
1 아야 하는 항목(컬럼)선택 후 규칙을 선택 합니다.
③ 규칙 지정 후 [확인] 버튼을 눌러 저장 합니다.

2
3 열로 초기화 됩니다.
※ : ①규칙 적용시 ②에서 지정한 항목(컬럼)은 비교

컬럼이므로 다른 규칙을 적용하여 진단 가능하며 같
은 데이터 타입끼리(예: 진단 항목이 시간 포함된 날
짜 타입인 경우 비교항목도 시간까지 있어야 됨) 비교
가능 합니다.
59
3.1.10 진단할 항목(컬럼)별 진단 규칙 지정 – 논리관계 일관성
① 항목(컬럼)별 데이터 타입 중 ‘컬럼 간 논리관계 일

관성’ 타입을 선택 합니다.
② 선택 후 뜨는 팝업창 에서 선택한 항목이 있거나

없는 경우 반드시 날짜타입의 데이터가 있어야 하는
1 항목(컬럼)을 선택 합니다.
③ 규칙 지정 후 [확인] 버튼을 눌러 규칙 저장
2 열로 초기화 됩니다.
60
3.1.11 진단할 항목(컬럼)별 진단 규칙 지정 – 계산식 > 산식
① 항목(컬럼)별 데이터 타입 중 ‘계산식 > 산식’ 타입

을 선택 합니다.
② 선택 후 뜨는 팝업창에서 계산식 (+, -, x, /)을 이용

해 연결될 수 있는 항목(컬럼) 을 선택 합니다.
1 ③ 규칙 지정 후 [확인] 버튼을 눌러 저장합니다.

61
3.1.12 진단할 항목(컬럼)별 진단 규칙 지정 – 계산식 > 합계
① 항목(컬럼)별 데이터 타입 중 ‘계산식 > 합계’ 타입

선택 합니다.
② 선택 후 뜨는 팝업창에서 선택한 항목이 다른 항목

들의 합이 되는 항목(컬럼) 을 모두 선택 합니다.
③ 규칙 지정 후 [확인] 버튼을 눌러 규칙 저장
1
62
3.1.13 진단할 항목(컬럼)별 진단 규칙 지정 후 진단
① 항목(컬럼)별 데이터 타입 및 규칙을 지정한 후

1 2
[진단] 버튼 클릭하여 CSV파일의 데이터를 진단합니
다.
② 프로그램의 재실행을 원할 경우 [재시작] 버튼 클

릭 합니다.
※ [재시작] 버튼 클릭시 진단 프로그램 초기화
63
3.1.14 진단 실행한 결과 출력 및 보고서 저장
- …………………………………
① [보고서 생성] 버튼을 클릭 합니다.
64
3.1.15 저장된 보고서 검토
① 저장된 보고서를 확인 합니다.

1 ② 진단한 항목(컬럼) 및 진단하지 않은 항목(컬럼)의
오류여부를 확인 합니다.
65
4.1 파일진단 도구 Tool 실습
4.1.1 도구 Tool 실행 및 csv파일열기
1. 바탕화면에 설치된 파일 진단도구 Tool을 실행 합니다.(FileInspector_v1.1_1112.exe)

2. 바탕화면에 진단할 csv파일을 불러오기 합니다. (파일진단도구실습 csv파일 폴더)
67
4.1.2 진단항목 도메인, 업무규칙 지정
1. 진단항목 도메인 선정 및 적용
2. 진단항목 업무규칙 선정 및 적용
68
4.1.3 진단실행 및 진단결과보고서 검토
1. 진단실행
2. 진단결과 검토
3. 진단결과보고서 생성
4. 진단결과보고서 검토 및 개선방안
69
4.1.4 실습하기>t_code_202105301923.csv
70
4.1.5 실습하기>t_inst_202105301924.csv
71
4.1.6 실습하기>t_ord_dtl_202105301924.csv
72
4.1.7 실습하기>t_park_202105301924.csv
73
4.1.8 실습하기>교통정보 방송건수_통계_20200831.csv
74
감사합니다.

14일차 - 공공데이터 품질진단 및 개선 실습

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

14일차 - 공공데이터 품질진단 및 개선 실습

Uploaded by

Copyright:

Available Formats

공공데이터 품질진단 및 개선 실습

이 저작물은 무단 전재와 복제를 금합니다.

Schema Manager Profile Manager

바탕화면에 생성되어 있는 [DQ] 아이콘을 더블클릭 합니다.

<공공데이터 일경험 수련생 전용 접속 계정>

① 메뉴바 : 전체 메뉴가 표시되며 메뉴를 클릭하면

⑤ 스키마수집 : 수집 제외대상인 스키마를 하단의

① [조회] 버튼을 클릭하여, 기 등록된 검증룰을 조회

※ 기본으로 등록된 검증룰은 삭제할 수 없습니다.

① 검색조건에서 진단대상 DBMS명과 스키마명은 반

④ [진단항목실행] 버튼을 클릭하면 선택된 컬럼들의

① 참조무결성 진단을 위해 관계 컬럼을 등록, 수정,

① [추가] 버튼을 클릭하면 하단의 입력부가 초기화됩

1. 바탕화면에 설치된 [DQ] 아이콘을 실행 합니다.

2. 아이디, 패스워드를 입력한 후 로그인 합니다.

번호 번호-순번 1~4자리 ^\d{1,4}$

번호 번호-순번 2자리 ^\d{2}$

번호 번호-순번 4자리 ^\d{4}$

번호 번호-주차장관리번호 ^\d{3}-?\d{1}-?\d{6}$ 숫자3자리+하이픈+숫자1자리+하이픈+숫자6자리

금액 금액-양수 5자리 컬럼 >= 0 AND 컬럼 <= 99999

금액 금액-양수 9자리 컬럼 >= 0 AND 컬럼 <= 999999999

수량 수량-양수 4자리 컬럼 >= 0 AND 컬럼 <= 9999

수량 수량-양수 9자리 컬럼 >= 0 AND 컬럼 <= 999999999

수량 수량-위도 컬럼>= 0 AND 컬럼 <= 90

수량 수량-경도 컬럼 >=0 AND 컬럼 <= 180

율 율-0~100 컬럼 >=0 AND 컬럼 <= 100

SELECT CD_DIV AS 코드분류

SELECT 'INST_CD' AS 코드분류

1 t_park 주차장정보 PARKPLC_MNG_NO 주차장관리번호 varchar(20) 번호-주차장관리번호

1 t_code 공통코드 CD_DIV 분류코드 varchar(10) 번호-순번 2자리

필수값 컬럼의 경우 값이 반드시 존재해야되는데, 값이 없는 경우

데이터값에 특수문자나, 양쪽(앞,뒤) 공백 또는 중간 이중공백(공백2개이상) 이 있는 경우 오류로 진단

데이터값에 인지 할 수 없는 깨진 문자 또는 자음, 모음으로만 구성되어 완성되지 않은 한글 문자

① 개방파일 진단도구 실행 후, 좌측 상단의 [열기]

② 파일 선택 창이 나타나며 진단할 데이터 CSV 파일

※ PC/노트북 성능에 따라 차이는 있으나, 진단대상

① 진단을 시작할 컬럼명 정보가 있는 행 번호를 입력

※ CSV구조에서는 반드시 첫 번째 행에 항목(컬럼)

② 시작행의 숫자를 입력한 후 [시작] 버튼을 클릭하

① 항목(컬럼)별 콤보박스 ▼ 을 클릭하여 항목의

데이터 타입을 지정 합니다.

① 숫자형 데이터는 ‘금액, 수량, 율’ 세가지 숫자형 데

- 금액, 율 : 음의 정수, 0, 양의 정수만 유효값, 소수점

- 수량 : 음의 정수, 0, 양의 정수만 유효값, 소수점 있

※ 2021년 도구에는 숫자형데이터(금액, 수량, 율)

모두 소수점 허용할 예정입니다.

① 날짜형 데이터는 표기방식에 따라 형식에 맞는

데이터 타입으로 진단이 가능합니다.

② 해당 항목(컬럼)의 날짜 데이터 형식에 맞게 타입

1 ① 항목(컬럼)별 데이터 타입 중 ‘여부>여부값 지정’

② 선택 후 뜨는 팝업창에서 유효한 값을 입력 합니다.

③ 규칙 지정 후 [확인] 버튼을 클릭하여 규칙을 저장

※ [취소] 버튼 클릭 시 선택한 데이터 타입은 문자

예) ‘O, X, o, x , 1, 0 등은 ‘여부값 지정’으로 진단

① 항목(컬럼)별 데이터 타입 중 ‘시간순서 일관성’ 타

② 선택 후 뜨는 팝업창에서 반드시 시간의 순서가 맞

1 아야 하는 항목(컬럼)선택 후 규칙을 선택 합니다.

③ 규칙 지정 후 [확인] 버튼을 눌러 저장 합니다.

※ : ①규칙 적용시 ②에서 지정한 항목(컬럼)은 비교

① 항목(컬럼)별 데이터 타입 중 ‘컬럼 간 논리관계 일

② 선택 후 뜨는 팝업창 에서 선택한 항목이 있거나

※ [취소] 버튼 클릭 시 선택한 데이터 타입은 문자

① 항목(컬럼)별 데이터 타입 중 ‘계산식 > 산식’ 타입