[논문 리뷰] PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

TL;DR (요약)

관계형 파운데이션 모델(RFM)은 기업의 핵심 자산인 정형 데이터를 이해하고 활용하는 차세대 AI 기술이지만, 학습에 필요한 방대하고 다양한 데이터베이스를 구하기 어렵다는 치명적인 한계에 부딪혔습니다. 개인정보보호 문제로 인해 실제 기업 데이터는 거의 공개되지 않기 때문입니다. 본 논문에서 제안하는 PluRel은 이 데이터 병목 현상을 해결하기 위한 혁신적인 프레em워크로, 실제 데이터 없이 처음부터 고품질의 합성 관계형 데이터베이스를 무한히 생성합니다. PluRel은 (1) 방향성 그래프로 데이터베이스 스키마를 설계하고, (2) 이분 그래프로 테이블 간의 키 관계를 설정하며, (3) 구조적 인과 모델(SCM)로 현실적인 데이터를 채우는 3단계 접근법을 사용합니다. 실험 결과, PluRel로 생성한 합성 데이터의 양과 다양성을 늘릴수록 RFM의 성능이 예측 가능한 멱법칙(Power-law)에 따라 향상됨을 최초로 발견했습니다. 또한, 합성 데이터로 사전 학습한 모델은 실제 데이터에 대한 일반화 성능이 월등히 뛰어났으며, 이는 합성 데이터 스케일링이 RFM 발전을 위한 유망한 패러다임임을 시사합니다.

1. 연구 배경 및 동기

지난 몇 년간 인공지능 분야는 대규모 언어 모델(LLM)과 비전 모델로 대표되는 파운데이션 모델(Foundation Model)의 등장으로 전례 없는 발전을 경험했습니다. GPT, LLaMA, DALL-E와 같은 모델들은 인터넷 규모의 방대한 텍스트와 이미지 데이터를 사전 학습(Pre-training)하여, 특정 작업에 대한 미세 조정(Fine-tuning)만으로도 놀라운 성능을 발휘하는 범용성을 입증했습니다. 이러한 성공의 핵심 동력은 단연 대규모 데이터의 가용성이었습니다.

하지만 세상의 정보는 비정형 텍스트와 이미지에만 국한되지 않습니다. 금융, 의료, 제조, 유통 등 거의 모든 산업의 핵심 비즈니스 로직과 가치 있는 정보는 여러 테이블이 복잡하게 연결된 관계형 데이터베이스(Relational Database) 안에 정형 데이터(Structured Data) 형태로 저장되어 있습니다. 이러한 데이터를 이해하고 예측, 분석, 질의응답 등의 작업을 수행하기 위한 **관계형 파운데이션 모델(Relational Foundation Model, RFM)**의 필요성이 대두되었습니다. RFM은 테이블 간의 조인(Join) 관계, 열(Column) 간의 상관관계, 데이터의 통계적 분포 등 관계형 데이터의 고유한 구조적 특성을 학습한 모델을 의미합니다.

그러나 RFM 연구는 LLM이나 비전 모델과 달리 치명적인 장벽에 직면해 있습니다. 바로 학습 데이터의 절대적인 부족입니다. RFM이 진정한 범용성을 갖추기 위해서는 수천, 수만 개의 다양한 스키마와 대규모 데이터를 학습해야 하지만, 현실은 정반대입니다.

기존 접근법의 구체적 한계점은 다음과 같습니다.

1. 프라이버시와 보안 문제: 기업의 데이터베이스는 고객 개인정보, 금융 거래 내역, 영업 비밀 등 극도로 민감한 정보를 포함하고 있어 외부에 공개하는 것이 법적으로나 윤리적으로 불가능합니다. 이로 인해 연구자들은 고품질의 대규모 실제 데이터에 접근할 수 없습니다.
2. 공개 데이터셋의 한계: Kaggle이나 UCI Machine Learning Repository 등에 공개된 데이터셋은 대부분 단일 테이블로 구성되어 있거나, 다중 테이블이라도 규모가 작고 스키마 구조가 단순하여 RFM을 제대로 훈련시키기에는 양과 다양성 측면에서 턱없이 부족합니다.
3. 구조적 복잡성: 관계형 데이터는 단순한 숫자와 문자의 나열이 아닙니다. 기본 키(Primary Key)와 외래 키(Foreign Key)로 맺어진 참조 무결성(Referential Integrity), 정규화(Normalization)된 스키마 구조 등 복잡한 제약 조건을 만족해야 합니다. 기존의 단일 테이블 합성 데이터 생성 기법으로는 이러한 다중 테이블 간의 구조적 관계를 모사하기 어렵습니다.

이러한 "데이터 기근(Data Famine)" 현상은 관계형 데이터 분야에서 파운데이션 모델 패러다임을 적용하는 데 가장 큰 걸림돌이었습니다. 본 연구는 바로 이 핵심적인 Gap을 해결하고자 합니다. 이 연구가 던지는 핵심 질문은 다음과 같습니다: "실제 데이터에 의존하지 않고, 처음부터 현실 세계의 데이터베이스와 통계적, 구조적으로 유사한 고품질의 합성 관계형 데이터베이스를 대규모로 생성할 수 있는가? 그리고 이러한 합성 데이터가 RFM의 성능을 의미 있게 향상시킬 수 있는가?" PluRel은 이 질문에 대한 긍정적인 답변을 제시하며, 합성 데이터 스케일링이라는 새로운 길을 통해 RFM 연구의 새로운 지평을 열고자 합니다.

2. 관련 연구

PluRel은 합성 데이터 생성, 관계형 데이터 모델링, 파운데이션 모델 등 여러 연구 분야의 교차점에 위치합니다. 본 연구의 독창성을 이해하기 위해 주요 선행 연구들을 분석할 필요가 있습니다.

1. 단일 테이블 합성 데이터 생성 (Single-Table Synthetic Data Generation):

   • CTGAN (Conditional Tabular GAN): 생성적 적대 신경망(GAN)을 기반으로 테이블 데이터를 생성하는 대표적인 모델입니다. 각 열의 분포를 조건부로 모델링하여 현실적인 데이터를 생성하지만, 다중 테이블 간의 관계는 고려하지 못합니다.
   • TVAE (Tabular VAE): 변이형 오토인코더(VAE)를 사용하여 테이블 데이터의 잠재 공간을 학습하고, 이를 통해 새로운 데이터를 샘플링합니다. CTGAN과 마찬가지로 단일 테이블에 국한된다는 한계가 있습니다.

2. 다중 테이블 합성 데이터 생성 (Multi-Table Synthetic Data Generation):

   • SDV (Synthetic Data Vault): 다중 테이블 데이터 합성을 위한 라이브러리로, 순차적인 모델링을 통해 테이블 간의 관계를 학습합니다. 하지만 복잡한 스키마나 대규모 데이터 생성에는 확장성 문제가 있으며, PluRel처럼 스키마 자체를 생성하지는 않습니다.

3. 관계형 데이터 표현 학습 (Relational Data Representation Learning):

   • GNNs for Relational Data: 데이터베이스 스키마를 그래프로 보고, 테이블을 노드로, PK-FK 관계를 엣지로 표현하여 그래프 신경망(GNN)을 적용하는 연구들이 있었습니다. 이는 데이터의 구조를 학습하는 데 효과적이지만, 데이터 자체를 생성하는 것과는 거리가 있습니다.

4. 테이블 파운데이션 모델 (Tabular Foundation Models):

   • TabPFN (Tabular Pre-trained Transformer): 다양한 소규모 테이블 데이터셋으로 사전 학습된 트랜스포머 모델로, 별도의 하이퍼파라미터 튜닝 없이 새로운 테이블 데이터에 대한 예측(In-context Learning)을 수행할 수 있습니다. 그러나 다중 테이블의 조인 관계를 명시적으로 처리하지는 못합니다.
   • GReaT (Generation of Realistic Tabular data): LLM을 활용하여 테이블 데이터를 텍스트로 변환한 뒤, 이를 기반으로 새로운 데이터를 생성하는 접근법입니다. 다중 테이블로 확장이 시도되었으나, 복잡한 스키마와 키 관계를 일관성 있게 생성하는 데 어려움이 있습니다.

본 논문과의 차별점

3. 핵심 기여

본 논문은 관계형 파운데이션 모델 분야에 다음과 같은 핵심적인 기여를 합니다.

1. PluRel 프레임워크 제안: 실제 데이터 없이 처음부터(from scratch) 완전한 다중 테이블 관계형 데이터베이스를 생성하는 최초의 종합적인 프레임워크를 제안했습니다. PluRel은 스키마 생성, 키 연결성 모델링, 인과적 특징 생성의 3단계 추상화를 통해 계산적으로 가벼우면서도 높은 다양성과 현실성을 갖춘 데이터베이스를 무한히 생성할 수 있습니다.

2. 관계형 모델의 스케일링 법칙 최초 발견: PluRel을 사용하여 생성한 합성 데이터베이스의 수와 전체 사전 학습 토큰의 수를 늘림에 따라, 관계형 파운데이션 모델(RFM)의 사전 학습 손실(Pre-training Loss)이 예측 가능한 멱법칙(Power-law)을 따라 감소함을 실험적으로 처음 입증했습니다. 이는 LLM에서 관찰된 스케일링 법칙이 관계형 데이터 영역에서도 유효함을 보여주는 중요한 발견입니다.

3. 합성 데이터 사전 학습의 효과성 입증: 대규모 합성 데이터로 사전 학습한 RFM이 실제 데이터셋에 대한 일반화 성능을 크게 향상시킨다는 것을 정량적으로 보여주었습니다. 특히, 합성 데이터베이스의 스키마 다양성을 늘리는 것이 다운스트림 태스크 성능 향상에 결정적인 역할을 함을 밝혔습니다. 이는 합성 데이터가 단순한 데이터 증강을 넘어, 모델의 근본적인 일반화 능력을 키우는 데 필수적임을 시사합니다.

4. 지속적인 사전 학습의 발판 마련: 합성 데이터로 사전 학습된 모델이 실제 데이터에 대한 **지속적인 사전 학습(Continued Pre-training)**을 위한 강력한 베이스 모델 역할을 할 수 있음을 보였습니다. 이는 프라이버시 제약이 있는 특정 도메인(예: 금융, 의료)에서 소량의 민감 데이터와 대량의 합성 데이터를 결합하여 모델 성능을 극대화할 수 있는 실용적인 방안을 제시합니다.

4. 제안 방법론

PluRel은 현실 세계의 복잡한 데이터베이스를 생성하기 위해 세 가지 핵심 추상화 단계를 체계적으로 모델링합니다. 이와 함께, 생성된 데이터를 효과적으로 학습하기 위한 관계형 트랜스포머(RT)와 그 안정화 기법인 QK-Norm을 사용합니다.

4.1. PluRel: 3단계 합성 데이터베이스 생성

1단계: 스키마 수준 (Schema Level) - 방향성 그래프 모델링

데이터베이스의 청사진인 스키마는 테이블과 테이블 간의 기본 키-외래 키(PK-FK) 관계로 구성됩니다. PluRel은 이를 방향성 비순환 그래프(Directed Acyclic Graph, DAG) $G_S = (V, E)$로 모델링합니다.

• 노드 $v \in V$: 데이터베이스의 각 테이블을 나타냅니다.
• 간선 $(u, v) \in E$: 테이블 $u$의 기본 키(PK)가 테이블 $v$의 외래 키(FK)로 참조됨을 의미합니다. 즉, $u$는 부모 테이블, $v$는 자식 테이블이 됩니다.

PluRel은 현실 세계의 데이터베이스 스키마 분포를 모방하기 위해, 노드(테이블)의 수, 간선(관계)의 밀도, 노드의 차수(degree) 분포 등을 조절할 수 있는 확률적 그래프 생성 모델을 사용합니다. 이를 통해 간단한 별 모양 스키마(Star Schema)부터 복잡한 눈송이 스키마(Snowflake Schema)까지 무한히 다양한 구조의 데이터베이스 뼈대를 생성할 수 있습니다.

2단계: 연결성 수준 (Connectivity Level) - 이분 그래프 매칭

스키마가 정의되면, 각 PK-FK 관계에 따라 실제 키 값들을 연결해야 합니다. 예를 들어, Customers 테이블에 100명의 고객(PK)이 있고 Orders 테이블에 1000개의 주문이 있을 때, 어떤 주문이 어떤 고객에게 속하는지를 결정해야 합니다.

PluRel은 이 문제를 이분 그래프(Bipartite Graph) $G_C = (U \cup V, E')$ 문제로 모델링합니다.

• 한쪽 정점 집합 $U$: 부모 테이블의 기본 키(PK) 값들 (예: customer_id 1부터 100까지).
• 다른 쪽 정점 집합 $V$: 자식 테이블의 외래 키(FK) 슬롯들 (예: 1000개의 주문 레코드).
• 간선 $e' \in E'$: PK와 FK 간의 연결을 나타냅니다.

현실에서는 일부 고객이 많은 주문을 하고, 일부는 주문을 전혀 하지 않는 등 분포가 불균등합니다. PluRel은 이러한 현실적인 분포(예: 멱법칙 분포)에 따라 각 PK 노드의 차수(연결될 FK 수)를 샘플링한 후, 효율적인 매칭 알고리즘을 통해 실제 연결을 생성합니다. 이는 데이터베이스의 참조 무결성을 보장하면서도 현실적인 관계 패턴을 만들어내는 핵심 단계입니다.

3단계: 특징 수준 (Feature Level) - 구조적 인과 모델 (SCM)

마지막으로 각 테이블의 속성(열)에 데이터를 채웁니다. 단순히 독립적인 확률 분포에서 값을 샘플링하는 것은 변수 간의 복잡한 상호작용을 놓치게 됩니다. PluRel은 **구조적 인과 모델(Structural Causal Model, SCM)**을 사용하여 변수 간의 인과 관계를 명시적으로 모델링합니다.

SCM은 각 변수(특징)가 자신의 원인이 되는 부모 변수들의 함수로 결정된다고 가정합니다. 데이터베이스의 모든 특징(열) $Y_1, ..., Y_d$에 대해, 각 특징 $Y_i$는 다음과 같은 인과적 할당 메커니즘으로 생성됩니다.

여기서 각 항의 의미는 다음과 같습니다.

• $Y_i$: 생성하고자 하는 $i$-번째 특징(예: 주문금액).
• $\text{Pa}(Y_i)$: $Y_i$의 직접적인 원인이 되는 부모 변수들의 집합 (예: 상품 카테고리, 고객 등급). 부모 변수는 같은 테이블 또는 부모 테이블에 있을 수 있습니다.
• $f_i$: 부모 변수들로부터 $Y_i$의 값을 결정하는 인과 함수. 이 함수는 선형 함수, 비선형 함수, 의사결정 트리 등 다양하게 정의될 수 있습니다.
• $\epsilon_i$: 모델링되지 않은 외부 요인이나 무작위성을 나타내는 독립적인 노이즈 항입니다.

이 방식을 통해 "나이가 많을수록 구매력이 높다" 또는 "특정 지역의 사용자는 특정 상품을 선호한다"와 같은 복잡하고 현실적인 데이터 패턴을 생성할 수 있습니다.

4.2. 관계형 트랜스포머 (RT)와 Query-Key Normalization

PluRel로 생성된 데이터는 **관계형 트랜스포머(Relational Transformer, RT)**와 같은 RFM을 사전 학습하는 데 사용됩니다. RT는 각 데이터 포인트를 (테이블, 열, 행, 값)의 고유한 토큰으로 변환하고, 트랜스포머의 어텐션 메커니즘을 통해 데이터의 구조적, 의미적 관계를 학습합니다.

기존 트랜스포머의 어텐션 스코어 계산은 다음과 같습니다.

• $Q, K, V$: 각각 쿼리(Query), 키(Key), 값(Value) 행렬입니다.
• $d_k$: 키 벡터의 차원입니다.

연구진은 RT 모델이 학습 초기 단계에서 불안정하고, 특히 제로샷(Zero-shot) 성능의 편차가 크다는 문제를 발견했습니다. 이를 해결하기 위해 Query-Key Normalization (QK-Norm) 기법을 도입했습니다. QK-Norm은 어텐션 스코어를 계산하기 전에 쿼리와 키 행렬을 각각 Layer Normalization으로 정규화하는 간단하지만 효과적인 방법입니다.

이 정규화 과정은 학습 초기에 어텐션 분포가 특정 토큰에 과도하게 집중되는 것을 방지하고, 그래디언트 흐름을 안정시켜 모델의 수렴 속도와 최종 성능을 일관되게 향상시킵니다.

5. 실험 설정

PluRel의 효과를 검증하기 위해 포괄적인 실험을 설계했습니다. 실험의 목표는 (1) 합성 데이터 스케일링이 RFM 성능에 미치는 영향 분석, (2) 실제 데이터에 대한 일반화 성능 평가, (3) QK-Norm과 같은 아키텍처 개선의 효과 검증입니다.

데이터셋

• 사전 학습 데이터: PluRel을 사용하여 대규모 합성 관계형 데이터베이스를 생성했습니다. 데이터의 규모와 다양성을 조절하기 위해 두 가지 설정을 사용했습니다.
  • PluRel-S (Small): 1,000개의 서로 다른 스키마를 가진 데이터베이스를 생성.
  • PluRel-L (Large): 10,000개의 서로 다른 스키마를 가진 데이터베이스를 생성하여 스키마 다양성의 영향을 평가. 각 데이터베이스는 520개의 테이블과 수천수십만 개의 행을 포함하도록 설계되었습니다.
• 다운스트림 평가 데이터: 사전 학습된 모델의 일반화 성능을 평가하기 위해, 공개적으로 사용 가능한 15개의 실제 다중 테이블 관계형 데이터셋을 사용했습니다. 이 데이터셋들은 금융(MIMIC-III), 전자상거래(Instacart), 스포츠(Baseball) 등 다양한 도메인을 포괄하며, 테이블 수, 행 수, 작업 유형(회귀, 분류) 면에서 다양성을 가집니다.

평가 지표

• 회귀(Regression) 태스크: 평균 제곱근 오차(Root Mean Squared Error, RMSE)를 사용했습니다. 값이 낮을수록 성능이 우수합니다.
• 분류(Classification) 태스크: 곡선 아래 면적(Area Under the ROC Curve, AUROC)을 사용했습니다. 값이 높을수록 성능이 우수합니다.
• 모든 결과는 여러 번의 랜덤 시드(random seed)로 실험을 반복하여 평균과 표준편차를 보고하여 신뢰도를 높였습니다.

베이스라인 모델

PluRel 사전 학습의 효과를 비교하기 위해 다음과 같은 베이스라인 모델들을 설정했습니다.

1. From Scratch: 사전 학습 없이 각 다운스트림 태스크의 실제 데이터만으로 처음부터 모델을 학습하는 방식입니다.
2. XGBoost: 테이블 데이터에서 강력한 성능을 보이는 전통적인 머신러닝 모델의 대표주자입니다.
3. ResNet-like / MLP: 테이블 데이터를 위한 딥러닝 베이스라인 모델입니다.
4. TabPFN: 사전 학습된 테이블 파운데이션 모델로, 제로샷 성능을 비교하기 위해 포함되었습니다.

하이퍼파라미터

사전 학습 및 미세 조정에 사용된 관계형 트랜스포머(RT) 모델의 주요 하이퍼파라미터는 다음과 같습니다.

6. 실험 결과 분석

실험 결과는 PluRel을 통한 합성 데이터 사전 학습이 관계형 파운데이션 모델의 성능을 획기적으로 향상시킨다는 것을 명확하게 보여줍니다.

6.1. 합성 데이터 사전 학습의 압도적인 성능

아래 표는 15개의 실제 데이터셋에 대한 다운스트림 태스크 성능을 요약한 것입니다. 성능은 각 태스크의 베이스라인(From Scratch) 대비 상대적인 성능 향상률로 정규화하여 평균을 낸 값입니다.

분석:

• 합성 데이터의 힘: PluRel로 사전 학습한 모델은 모든 베이스라인을 압도했습니다. 특히, 10,000개의 다양한 스키마로 학습한 PluRel-L 모델은 처음부터 실제 데이터로 학습한 동일한 아키텍처의 모델(From Scratch)보다 평균 18.9% 더 높은 성능을 달성했습니다. 이는 합성 데이터가 실제 데이터에서는 배울 수 없는 일반적인 관계형 데이터의 패턴과 구조를 모델에 주입하여 일반화 능력을 크게 향상시켰음을 의미합니다.
• 스키마 다양성의 중요성: PluRel-S(1k 스키마)보다 PluRel-L(10k 스키마)의 성능이 더 높게 나타났습니다. 이는 단순히 데이터의 양을 늘리는 것뿐만 아니라, 다양한 스키마 구조를 학습하는 것이 RFM의 성능에 결정적이라는 것을 시사합니다. 모델은 다양한 데이터베이스 "문법"을 학습함으로써 새로운, 보지 못했던 데이터베이스 구조에 더 잘 적응할 수 있게 됩니다.

6.2. 스케일링 법칙의 발견

PluRel의 가장 중요한 발견 중 하나는 관계형 모델에서도 스케일링 법칙이 존재한다는 것입니다. 사전 학습에 사용된 합성 데이터의 양(총 토큰 수)을 늘림에 따라 모델의 테스트 손실(Test Loss)이 로그-로그 스케일에서 선형적으로 감소하는, 즉 멱법칙(Power-law) 관계를 보였습니다.

(그래프 예시: X축-학습 토큰 수(log), Y축-테스트 손실(log)이 선형적으로 감소하는 모습)

이는 LLM의 발전 경로를 예측하고 이끌었던 스케일링 법칙이 RFM에도 적용될 수 있음을 시사합니다. 즉, 더 많은 컴퓨팅 자원과 더 많은 PluRel 합성 데이터를 투입하면 예측 가능한 방식으로 모델 성능을 지속적으로 향상시킬 수 있다는 것입니다. 이는 향후 RFM 연구 및 개발에 대한 명확한 로드맵을 제공합니다.

6.3. Ablation Study: QK-Norm의 효과

모델 아키텍처의 안정성을 위한 QK-Norm의 효과를 검증하기 위해 Ablation Study를 진행했습니다.

분석:

• QK-Norm을 적용했을 때, 모델의 평균 제로샷 성능이 0.68에서 0.75로 크게 향상되었습니다.
• 더 중요한 것은 성능의 표준편차가 0.09에서 0.02로 극적으로 감소했다는 점입니다. 이는 QK-Norm이 학습 불안정성을 효과적으로 해결하여, 랜덤 시드나 초기화에 관계없이 일관되고 신뢰할 수 있는 성능을 제공함을 의미합니다. 이 안정성은 대규모 모델을 연구하고 배포하는 데 있어 매우 중요한 특성입니다.

7. 비판적 평가

PluRel은 의심할 여지 없이 관계형 데이터 분야에 중요한 이정표를 제시했지만, 모든 연구와 마찬가지로 강점과 함께 잠재적인 한계점을 가지고 있습니다.

강점

1. 데이터 병목 현상 해결: RFM 연구의 가장 큰 걸림돌이었던 대규모, 고품질 데이터 부재 문제를 정면으로 해결했습니다. 이는 연구의 민주화와 가속화에 크게 기여할 수 있습니다.
2. 프라이버시 보존: 민감한 실제 데이터를 전혀 사용하지 않고 모델을 사전 학습할 수 있어, 데이터 프라이버시 문제를 원천적으로 해결합니다. 이는 규제가 엄격한 금융, 의료 분야에서 특히 강력한 장점입니다.
3. 제어 가능한 데이터 생성: 데이터베이스 스키마의 복잡성, 테이블 크기, 데이터 분포, 인과 관계 등 생성 프로세스의 모든 단계를 사용자가 제어할 수 있습니다. 이를 통해 특정 도메인에 맞는 맞춤형 데이터를 생성하거나, 모델의 강건성을 테스트하기 위한 다양한 시나리오를 설계할 수 있습니다.
4. 스케일링 법칙 입증: 관계형 모델에도 스케일링 법칙이 적용됨을 처음으로 보여줌으로써, LLM과 같이 체계적이고 예측 가능한 모델 성능 향상 로드맵을 제시했습니다.

한계점 및 개선 방향

1. 인과 관계의 현실성: 구조적 인과 모델(SCM)은 강력하지만, 생성에 사용된 인과 그래프($f_i$와 $\text{Pa}(Y_i)$)가 현실 세계의 복잡한 인과 관계를 얼마나 잘 모사하는지에 대한 의문이 남습니다. 현재는 사전 정의된 규칙에 기반하지만, 향후 실제 데이터의 미묘한 인과 구조를 자동으로 학습하여 SCM에 반영하는 연구가 필요합니다.
2. 범주형 및 텍스트 데이터 처리: PluRel은 주로 수치형 데이터 생성에 초점을 맞추고 있습니다. 실제 데이터베이스에는 고유한 카테고리 값을 갖는 범주형 변수나 자연어 텍스트가 포함된 열이 많습니다. LLM을 결합하여 현실적인 텍스트 데이터를 생성하거나, 범주형 변수의 분포를 더 정교하게 모델링하는 확장이 필요합니다.
3. 합성 데이터의 잠재적 편향: 생성 프로세스가 특정 유형의 스키마나 데이터 패턴을 선호하도록 설계될 경우, 생성된 데이터에 편향이 생길 수 있습니다. 이 편향된 데이터로 학습된 모델은 특정 상황에서 잘못된 예측을 할 수 있습니다. 생성된 데이터의 편향을 측정하고 완화하는 기술이 함께 연구되어야 합니다.
4. 재현성: PluRel 프레임워크는 여러 단계로 구성된 복잡한 시스템입니다. 논문에 제시된 모든 세부 사항(확률적 그래프 모델, SCM 함수 라이브러리 등)이 공개 코드에 완벽하게 포함되지 않는다면, 다른 연구자들이 동일한 품질의 데이터를 재현하기 어려울 수 있습니다. 코드와 상세한 문서화가 재현성의 핵심이 될 것입니다.

8. 향후 연구 방향

PluRel은 관계형 파운데이션 모델 연구를 위한 풍부한 가능성을 열어주며, 다음과 같은 흥미로운 향후 연구 방향을 제시합니다.

1. 도메인 특화 데이터 생성: 현재의 범용 데이터 생성 프레임워크를 특정 도메인(예: 금융 거래, 전자 건강 기록)에 맞게 확장할 수 있습니다. 해당 도메인에서 흔히 발견되는 스키마 패턴, 데이터 제약 조건, 인과 관계를 PluRel 생성 과정에 주입하여, 도메인 특화 RFM을 위한 고품질 합성 데이터를 생성하는 연구가 가능합니다.
2. 멀티모달 데이터베이스 생성: 실제 데이터베이스는 숫자나 범주뿐만 아니라 텍스트, 이미지, 시계열 데이터 등 다양한 모달리티의 정보를 포함합니다. PluRel 프레임워크에 생성형 비전 모델이나 LLM을 통합하여, 제품 설명(텍스트), 제품 이미지(이미지), 주가 변동(시계열)과 같은 멀티모달 데이터를 포함하는 복합 데이터베이스를 생성하는 연구는 RFM의 능력을 한 단계 끌어올릴 것입니다.
3. 자동화된 인과 구조 발견: 현재 SCM은 사전 정의된 인과 관계에 의존합니다. 소량의 실제 데이터 샘플로부터 데이터베이스 내의 잠재적인 인과 구조를 자동으로 발견하고, 이를 PluRel의 SCM 생성 과정에 반영하는 기술을 개발한다면 훨씬 더 현실적인 데이터 생성이 가능해질 것입니다.
4. 데이터베이스 관리 시스템과의 통합: PluRel을 사용하여 생성된 합성 데이터베이스를 벤치마킹, 쿼리 최적화, 이상 탐지 등 전통적인 데이터베이스 관리 시스템(DBMS) 연구에 활용할 수 있습니다. 이는 AI와 데이터베이스 시스템 연구 커뮤니티 간의 시너지를 창출할 수 있는 유망한 방향입니다.

9. 실무 적용 가이드

PluRel을 실제 업무나 연구에 적용하고자 할 때 고려해야 할 몇 가지 실용적인 가이드라인은 다음과 같습니다.

1. 목표 정의: 가장 먼저, 합성 데이터가 필요한 목적을 명확히 해야 합니다. 범용 RFM 사전 학습이 목표인지, 특정 다운스트림 태스크(예: 사기 탐지)를 위한 데이터 증강이 목표인지에 따라 생성할 데이터의 스키마, 크기, 인과 관계의 복잡도를 조절해야 합니다.
2. 스키마 설계: 범용 모델을 원한다면 최대한 다양한 스키마를 생성하는 것이 좋습니다. 특정 도메인에 적용할 경우, 해당 도메인의 핵심 엔티티(예: 고객, 상품, 주문)와 관계를 중심으로 스키마 템플릿을 정의하고, 이를 기반으로 변형된 스키마들을 생성하는 것이 효과적입니다.
3. 인과 관계 주입: 데이터의 현실성을 높이는 가장 중요한 단계입니다. 도메인 전문가와의 협업을 통해 비즈니스 로직에 기반한 핵심적인 인과 관계(예: "VIP 고객은 평균 구매액이 높다", "프로모션 기간에는 특정 상품 판매량이 증가한다")를 SCM에 반영해야 합니다. 간단한 선형 관계부터 시작하여 점차 복잡한 비선형 관계로 확장해 나가는 것이 좋습니다.
4. 생성 데이터 검증: 생성된 데이터가 의도한 대로 만들어졌는지 반드시 검증해야 합니다. 각 열의 통계적 분포(평균, 분산, 왜도)를 확인하고, 변수 간의 상관관계 히트맵을 그려보며, PK-FK 관계가 깨지지 않았는지 확인하는 기본적이지만 필수적인 과정을 거쳐야 합니다.
5. 점진적 학습: 처음부터 수만 개의 데이터베이스로 학습하기보다는, 수백 개 규모로 시작하여 사전 학습-미세 조정 파이프라인이 제대로 작동하는지 확인한 후, 점진적으로 데이터 규모를 확장하는 것이 효율적입니다.

10. 결론

PluRel은 관계형 파운데이션 모델(RFM) 연구의 고질적인 문제였던 데이터 부족 문제를 해결하는 독창적이고 강력한 해법을 제시합니다. 3단계 추상화(스키마, 연결성, 특징)를 통해 현실과 유사한 합성 관계형 데이터베이스를 무한히 생성함으로써, 데이터 프라이버시 문제없이 RFM을 대규모로 사전 학습할 수 있는 길을 열었습니다.

본 연구는 관계형 모델에서도 데이터와 모델 크기에 따른 스케일링 법칙이 존재함을 최초로 실험적으로 입증했으며, 합성 데이터 사전 학습이 실제 데이터에 대한 모델의 일반화 성능을 크게 향상시킨다는 것을 정량적으로 보여주었습니다. PluRel은 단순한 데이터 생성 도구를 넘어, 관계형 데이터 분야에 대규모 사전 학습 패러다임을 본격적으로 도입하는 촉매제 역할을 할 것입니다. 앞으로 PluRel을 통해 훈련된 강력한 RFM들이 금융, 의료, 제조 등 사회 모든 분야에서 데이터 기반 의사결정을 혁신할 잠재력을 가지고 있음을 기대하게 합니다.

11. 참고 자료

• 논문 원문 (arXiv): PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models
• 공식 코드 저장소 (가상): github.com/stanford-snap/plurel
• 관련 자료:
  • The Scaling Laws for Neural Language Models
  • Synthetic Data Vault (SDV) Library