관세 수입신고 데이터셋 (Customs Import Declaration Datasets)

읽기 판단

훑기 · confidence: high

DS Lab의 customs fraud detection 계보(DATE, Active Learning for Human-in-the-loop Customs Inspection, GraphFC, concept drift 논문들)가 공통으로 의존하는 데이터 기반을 만든 workshop 논문이다. 계보 파악에는 유용하지만 새로운 알고리즘 기여는 제한적이므로, 스키마·생성 기법·벤치마크 결과 중심으로 확인하면 충분하다.

1분 요약

문제: 원본 관세 수입신고 데이터는 기밀이라 공개 불가 — customs 도메인에서 open ML 연구가 막혀 있음

핵심 아이디어: CTGAN으로 54,000건·22속성의 합성 수입신고 데이터셋을 만들어 실제 데이터 없이도 공개 벤치마크로 사용

새로움: vanilla CTGAN이 놓치는 열간 상관관계(HS10–국가–세율–세종)를 임시 병합 후 복원하고, Item Price는 GAN 대신 Net Mass × 단가로 직접 재구성

가장 강한 근거: SDMetrics 품질 점수 0.7633~1.0000, precision@n% 기준 fraud detection 모델 순위가 synthetic·source 데이터에서 유사하게 재현됨

가장 큰 주의점: 검사(라벨) 완료 항목만 사용한 편향 표본이며, synthetic과 source의 precision 절댓값 차이가 커서 “similar trend”는 모델 순위 수준의 주장임

핵심 아이디어

관세 수입신고 데이터는 기밀 보호 규정 때문에 세관 내부 연구자 외에는 접근이 불가능하고, 공개된 커뮤니티 차원의 연구 노력이 사실상 없었다. 이 병목이 customs 도메인에서 데이터 기반 위험관리 기술 확산을 막는 주된 원인이라고 저자들은 지적한다.

저자들의 통찰은 원본을 그대로 공개하는 대신, 원본과 유사한 분포·상관구조를 갖는 합성 데이터를 CTGAN(Conditional Tabular GAN)으로 생성해 공개하는 것이다. 합성 데이터는 신원 노출 위험을 원천적으로 낮추면서도 다운스트림 벤치마크(사기 탐지)로 활용 가능한 분포적 유사성을 유지한다.

작동 원리는 단순 CTGAN 적용이 아니라 후처리 보정에 있다. 익명화·Gaussian noise·HS10→HS6 절단으로 민감정보를 먼저 제거한 뒤 CTGAN을 학습시키고, CTGAN이 잘 보존하지 못하는 HS10–출발국–원산국–세율–세종 간 상관관계는 5개 열을 임시로 하나의 컬럼으로 합쳐 학습·생성 후 다시 분리하는 방식으로 복원한다. Item Price는 아예 GAN 출력에 의존하지 않고 Net Mass × HS6별 단가로 사후 재계산한다. 즉 새로운 생성 모델 구조가 아니라, 기존 CTGAN 위에 도메인 지식 기반 상관관계 패치를 얹은 실용적 접근이다.

무엇을 했나

생성 과정: 2020.01–2021.06 18개월간 검사(라벨링) 완료된 declarations만 사용해 CTGAN(SDV 라이브러리)으로 54,000건·22속성 합성, split별 300 epoch 학습 후 병합
상관관계 보존: HS10 Code–Country of Departure–Country of Origin–Tax Rate–Tax Type 5개 열을 임시 단일 컬럼으로 병합해 CTGAN에 입력 후 원래 형식으로 분리 복원; Item Price는 GAN 출력 대신 Net Mass × HS6별 단가로 재계산
split: 12개월 train / 3개월 validation / 3개월 test (시계열 순서 유지)
metric: precision@n% (n=5, 10) — 검사 인력이 고정된 현실을 반영해 AUC·F-score 대신 채택 (Footnote 7)
baseline: Logistic Regression, Decision Tree, Random Forest, AdaBoost vs GBDT(LightGBM, CatBoost, XGBoost)
누출 위험 대응: 익명화만으로는 패턴 기반 재식별 위험이 남는다고 판단해 전면 합성 채택; Seller ID·Importer ID 열은 상관관계가 상대적으로 덜 보존됨(Figure 5)

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
합성 데이터 품질이 우수함	Section 3.2, Table 2	SDMetrics 세부 점수 0.7633~1.0000 (Diversity=1.0000)	Diversity 1.0은 완전 고유 행 생성이라는 뜻이지 원본 분포 재현도 자체를 의미하지 않음	author-stated
synthetic·source의 fraud detection 성능 추세가 유사함	Section 5.3, Table 3	LightGBM precision@5%: synthetic 0.7783 vs source 0.5313	GBDT 계열이 양쪽에서 우수하다는 순위는 일치하나 절댓값 격차가 큼	author-stated
원천 데이터는 검사(라벨) 완료 항목만 사용한 편향 표본	Section 4.1	24.7M건 중 검사(labeled) 부분만 사용해 54,000건 생성	전체 신고 모집단을 대표하지 않을 가능성	author-stated
상관관계 보존을 위한 병합-분리 및 Item Price 재구성 기법	Section 4.3	5열 병합 후 CTGAN, Item Price = Net Mass × HS6 단가	vanilla CTGAN만으로는 이 상관구조가 보존되지 않는다는 저자 관찰에 기반	author-stated
데이터셋이 실제 교육·연구 커뮤니티에서 채택됨	Section 1, Section 6	WCO PICARD 2022 hands-on 워크숍, CNU 대학 간 경진대회	채택 사례이지 성능 검증은 아님	author-stated

어디까지 믿을까

저자 명시 한계 (author-stated): 익명화만으로는 거래주체 간 패턴을 통한 재식별 위험이 남아 전면 합성을 택했다고 명시. 실제 신고 데이터는 대부분 미검사(unlabeled)인데 이 데이터셋은 검사 완료분만 샘플링해 전량 라벨링되어 있어, 부분 라벨 시나리오는 별도 후처리(라벨 제거)로 시뮬레이션해야 한다고 밝힘.
분석자 판단 (analyst-inference): Table 3에서 synthetic과 source의 precision@n% 절댓값 차이가 특히 GBDT 계열에서 크다. “similar trend” 주장을 실제 배포 성능의 대리 지표로 확대 해석하는 것은 위험하며, 모델 간 상대 순위 재현에 대한 주장으로 좁혀 읽는 편이 안전하다.
미확인 범위 (unknown): CTGAN 학습의 세부 하이퍼파라미터(epoch 외 설정)와 시계열 split 경계 선정 기준은 본문에 상세히 제시되지 않는다.

원문 읽기 지도

우선순위	먼저 볼 곳	확인할 질문	왜 중요한가
1	Table 1 & Section 3.1 (Data Schema)	22개 속성과 Fraud/Critical Fraud 라벨 정의는 무엇인가	랩의 후속 fraud detection 논문들이 공유하는 데이터 기반이므로
2	Section 4.3 Maintaining Correlated Attributes	병합-분리 트릭과 Item Price 재구성이 정확히 어떻게 작동하는가	vanilla CTGAN 대비 이 논문의 실질적 기술 기여 지점
3	Table 3 & Section 5.3	synthetic·source 간 precision@n% 격차의 크기와 해석 범위는 어디까지인가	”similar trend” 주장의 근거 강도를 직접 판단하기 위해
4	Section 6 Discussion (Distribution of data / Degree of fabrication)	부분 라벨 시뮬레이션 방법과 익명화 한계 논의는 무엇인가	이 데이터셋을 재사용할 때 필요한 전제 조건 확인

읽기 전 용어

precision@n%: 사기 위험도 상위 n% 항목 중 실제 사기 비율. 검사 인력이 고정된 현실을 반영해 AUC·F-score 대신 사용
CTGAN: 이산·연속 혼합형 정형 데이터의 클래스 불균형을 조건부 기법으로 다루는 GAN 계열 합성 모델
SDMetrics: Synthetic Data Vault 프로젝트의 합성 데이터 품질 평가 지표 모음 (0~1 점수)

Wiki 연결

Denoising Diffusion Probabilistic Models — Section 6에서 저자들이 diffusion model을 향후 정형 데이터 생성기 대안으로 명시적으로 언급함
Machine Learning Driven Aid Classification for Sustainable Development — 같은 DS Lab 계열, 공공행정 실무 데이터에 ML을 붙이는 같은 문제의식

BibTeX

@inproceedings{jeong2023customs,
  title     = {Customs Import Declaration Datasets},
  author    = {Jeong, Chaeyoon and Kim, Sundong and Park, Jaewoo and Choi, Yeonsoo},
  booktitle = {KDD 2023 Workshop on Machine Learning in Finance},
  year      = {2023},
  note      = {arXiv:2208.02484},
  url       = {https://arxiv.org/abs/2208.02484}
}