제17장. 엔터프라이즈 PostgreSQL DDL 공학: 내부 스토리지 흑마술과 성능 튜닝
TOAST 압축 비활성화와 단일 행 잠금 가드부터 복합 인덱스 기반 ACS 프루닝까지, Canton의 PostgreSQL 스토리지 설계
"대형 데이터 은행의 미래 사용자는 데이터가 기계 안에서 어떻게 조직되어 있는지, 곧 내부 표현을 알아야 하는 부담에서 보호받아야 한다." — 에드거 코드, 「대형 공유 데이터 은행을 위한 관계형 데이터 모형」, Communications of the ACM 13권 6호, 1970년 6월
1. 오전 08:00 ET 3,500억 달러 레포 롤오버와 슬로우 쿼리 없는 CPU 100% 포화 사건
미국 동부 표준시 오전 08:00 ET부터 08:30 ET까지의 30분은 세계에서 가장 거대한 단기 자금 시장인 미국 재무부 국채 장중 환매조건부채권(Intraday Repurchase Agreement, Intraday Repo) 시장의 심장이 요동치는 시간입니다. 전날 체결된 약 3,500억 달러(USD 350B) 규모의 익일물(Overnight) 및 장중 레포 계약들이 일제히 만기 상환(Maturity Settlement)되어 소각됨과 동시에, 당일 유동성을 조달하기 위한 신규 레포 계약들이 원자적으로 재개설(Morning Rollover)됩니다. 1분에 수백만 건의 기존 담보 계약 아카이브와 신규 계약 생성 튜플이 폭포수처럼 쏟아지는 순간입니다.
아래는 이 장의 설명용 시나리오입니다. 이 거대한 아침 롤오버 물량을 처리하던 한 글로벌 상업은행의 참여자 노드(Participant Node) 클러스터에서 기이한 현상이 관측되었습니다. 초당 트랜잭션 수(Transactions Per Second, TPS)가 15,000건을 돌파하자마자, 백엔드 데이터베이스 서버 8대의 64코어 CPU 사용률이 예외 없이 100% 한계치에 도달하며 포화된 것입니다.
비상 소집된 전담 데이터베이스 관리자(Database Administrator, DBA) 팀은 즉각 슬로우 쿼리 로그(Slow Query Log)와 액티브 세션 히스토리(Active Session History, ASH)를 열었습니다. 그러나 지연 시간(Latency)이 1밀리초(ms)를 초과하는 장기 실행 쿼리는 단 1건도 없었습니다. 디스크 I/O 대기율(iowait) 역시 0.2% 미만으로 초고속 엔터프라이즈 NVMe 드라이브는 여유로웠고, 락 경합(Lock Contention)이나 네트워크 인터페이스 카드(Network Interface Card, NIC) 패킷 드롭도 전무했습니다.
이 시나리오에서 원인 후보로 짚을 곳은 애플리케이션이나 SQL 쿼리가 아니라 데이터베이스 커널 깊숙한 곳에서 작동하던 '지나치게 친절한 기본 동작'입니다. 관계형 데이터베이스 관리 시스템(Relational Database Management System, RDBMS)인 PostgreSQL의 대형 속성 저장 기법인 TOAST(The Oversized-Attribute Storage Technique)가, 순서자(Sequencer)와 참여자 노드가 영속화하는 고밀도 암호화 이벤트 바이트를 매번 압축하려고 시도하며 코어를 씁니다. 그 비용이 얼마인지는 아래에서 추정합니다.
STORAGE EXTERNAL 우회 밸브 메커니즘.
삽화 구성 및 생성 프롬프트 보기 (Illustration Spec & Prompt) 열기 / 닫기
2. TOAST 스토리지 아키텍처, 섀넌 엔트로피 수치 증명과 해시 앵커 설계
PostgreSQL은 모든 테이블의 행(Tuple)을 표준 8KB(8,192바이트) 크기의 힙 페이지(Heap Page) 블록에 저장합니다. 하나의 튜플은 23바이트 헤더와 널 비트맵, 실제 컬럼 데이터로 구성되며 여러 페이지에 걸쳐 쪼개질 수 없습니다. 따라서 개별 행 크기가 페이지의 4분의 1인 2KB(TOAST_TUPLE_THRESHOLD = 2048 바이트)를 넘어가면, 엔진은 컬럼에 지정된 4가지 스토리지 전략(Storage Strategy) 중 하나를 발동합니다:
PLAIN: 오프페이지(Out-of-line) 분리 적재와 압축을 모두 금지합니다. 8KB 한도를 넘으면 즉시 에러를 반환합니다.MAIN: 인라인 압축을 우선 시도하고, 그래도 2KB를 넘길 때만 오프페이지 TOAST 테이블로 분리합니다.EXTENDED: PostgreSQL 가변 길이 컬럼(BYTEA,TEXT)의 기본값입니다. 먼저 내부 압축기(pglz또는lz4)로 데이터 압축을 시도한 뒤, 오프페이지 TOAST 테이블에 약 2KB 청크(Chunk) 단위로 쪼개어 적재합니다. 8KB 페이지에서 청크 하나의 최대 크기(TOAST_MAX_CHUNK_SIZE)는 1,996바이트입니다.EXTERNAL: 압축 루프를 완전히 우회(Zero Compression)하고, 원시 바이트 배열 그대로 오프페이지 TOAST 테이블에 즉각 기록합니다.
문제의 핵심은 Canton의 순서자 이벤트 테이블(common_sequenced_events)에 들어오는 페이로드가 평문 JSON이 아니라, 이미 압축된 Protobuf 메시지이고 그 안의 뷰가 타원곡선 통합 암호화(Elliptic Curve Integrated Encryption Scheme, ECIES)와 고급 암호화 표준 갈루아/카운터 모드(AES-128-GCM)로 봉인된 암호문 바이너리라는 사실입니다. Canton의 PostgreSQL 초기 스키마 주석도 "proto 메시지가 이미 압축되어 있으므로 PostgreSQL 압축을 끈다"고 이유를 적어 둡니다. AES-GCM 암호문을 pglz에게 압축하라고 시키는 것은 정리 컨설턴트 곤도 마리에(Marie Kondo)를 고용해 볼링공을 접어 달라고 요구하는 격입니다.
이상적인 AES-GCM 암호문은 바이트가 균등 분포(\(P(x_i) = 1/256\))이므로 엔트로피가 상한 8비트다. 4,096바이트 표본에서 빈도로 잰 추정치는 표본 편향 때문에 약 7.955비트로 나온다. 어느 쪽이든 압축할 여지는 없다.
수치 추적: 4,096바이트 암호화 뷰가 들어오면 pglz는 압축을 시도하다가 이득이 없음을 확인하고 포기하며, 원본이 약 2KB 청크 3개(1,996 + 1,996 + 104바이트)로 그대로 기록됩니다.
시도 한 번의 비용을 18µs로 가정하면(설명용 추정치이며, 실제 값은 CPU와 PostgreSQL 버전에 따라 다르고, pglz는 앞부분에서 일치를 찾지 못하면 일찍 포기하므로 더 작을 수 있습니다) 15,000 TPS에서 초당 270ms, 즉 약 0.27 코어가 결과 없는 연산에 쓰입니다.
한 테이블에서 0.27 코어는 그 자체로 CPU를 포화시키지 않습니다. 다만 같은 낭비가 다른 대형 바이트 컬럼에도 있으면 합산되고, 해법이 한 줄이므로 미리 막아 둘 이유는 충분합니다. Canton은 데이터 정의 언어(Data Definition Language, DDL) 마이그레이션에 이 한 줄을 이미 넣어 두었습니다:
-- 고엔트로피 암호화·사전 압축 Protobuf 바이트에 대한 무의미한 pglz 압축 차단
ALTER TABLE common_sequenced_events
ALTER COLUMN sequenced_event SET STORAGE EXTERNAL;
2.1 엔지니어의 책임: 50KB Base64 안티패턴 vs 64바이트 SHA-256 해시 앵커
STORAGE EXTERNAL이 엔진의 압축 낭비를 막아 주더라도, 애플리케이션 개발자(Application Developer)가 Daml 계약 템플릿 자체를 비대하게 설계하면 오프페이지 TOAST 청크 분할 I/O 자체는 피할 수 없습니다. 채권 발행 계약을 구현할 때 가장 흔히 저지르는 실수는 50KB짜리 채권 투자설명서(Prospectus) PDF 원본을 Base64 문자열로 인코딩해 계약 필드에 직접 박아 넣는 것입니다. Base64로 늘어난 약 68,268바이트가 압축되지 않는다고 가정하면(\(\lceil 68{,}268 / 1{,}996 \rceil = 35\)), 채권이 레포 담보로 이전될 때마다 PostgreSQL은 par_contracts 테이블 외에 약 35개의 TOAST 청크 행과 TOAST 인덱스를 읽고 써야 합니다.
정석적인 엔터프라이즈 패턴은 원본 문서를 오프체인 내용 주소화 저장소(Content-Addressed Storage, CAS)에 보관하고, Daml 계약에는 64바이트 고정 길이의 16진수 SHA-256 해시 앵커(Hash Anchor)만 기록하여 전체 계약 직렬화 크기를 500바이트 미만으로 유지함으로써 단일 8KB 힙 페이지 인라인 저장을 달성하는 것입니다:
// [Anti-Pattern] 매 담보 이전·조회마다 50KB+ 대형 객체 청크 I/O 유발
interface BloatedBondIssuanceCmd {
issuer: string;
holder: string;
isin: string;
faceValueUsd: string;
// 50KiB PDF를 Base64로 넣으면 68,268바이트 -> 8KB 힙 페이지 밖 TOAST 청크 약 35개
prospectusPdfBase64: string;
}
async function issueBloatedBond(pdfBuffer: Buffer): Promise<BloatedBondIssuanceCmd> {
return {
issuer: "PrimaryDealer_NY",
holder: "MoneyMarketFund_A",
isin: "US912828ZT04",
faceValueUsd: "10000000.00",
prospectusPdfBase64: pdfBuffer.toString("base64"),
};
}
module BondIssuance where
import DA.Text qualified as T
template TreasuryBondHolding
with
issuer : Party
holder : Party
isin : Text
faceValueUsd : Decimal
prospectusSha256 : Text -- 64바이트 고정 길이 해시: 단일 8KB 힙 페이지 인라인 적재!
casUri : Text -- 사내 폐쇄망 CAS 조회 식별자
where
signatory issuer, holder
ensure faceValueUsd > 0.0 && T.length prospectusSha256 == 64
choice RollIntradayRepo : ContractId TreasuryBondHolding
with
newRepoLender : Party
controller holder, newRepoLender
do
create this with holder = newRepoLender
3. single_row_lock = 'X': 스플릿 브레인을 커널 레벨에서 자폭 차단하는 법
고가용성(High Availability, HA) 분산 노드를 운영할 때 가장 치명적인 재앙은, 액티브-패시브(Active-Passive) 전환 순간의 일시적 네트워크 단절(Split-Brain)로 인해 두 프로세스가 글로벌 상태 메타데이터 테이블에 서로 다른 상태 행을 동시에 삽입(INSERT)하는 사고입니다.
예를 들어 순서자나 중재자(Mediator)가 참조하는 전역 프루닝 하한선(Pruning Lower Bound) 테이블 sequencer_lower_bound에는 최대 한 행만 있어야 합니다. 빈 테이블은 허용되지만 두 번째 행은 허용되지 않습니다. 애플리케이션 레벨의 분산 잠금만 믿다가는 가비지 컬렉션 정지(GC Pause) 직후 깨어난 좀비 노드가 그 두 번째 행을 끼워 넣는 참사를 막을 수 없습니다. Canton은 이를 그 테이블의 무결성 제약조건(Constraint)으로 막습니다.
CREATE TABLE sequencer_lower_bound (
single_row_lock CHAR(1) NOT NULL DEFAULT 'X' PRIMARY KEY CHECK (single_row_lock = 'X'),
ts BIGINT NOT NULL,
latest_topology_client_timestamp BIGINT
);
CHECK (single_row_lock = 'X')와 PRIMARY KEY의 물리적 결합: 단 하나의 토큰만을 수용하며, 분산 프로세스의 실수로 두 번째 토큰이 투입되는 순간 데이터베이스 엔진 레벨에서 즉각 거부되는 단일 행 락 가드.
삽화 구성 및 생성 프롬프트 보기 (Illustration Spec & Prompt) 열기 / 닫기
PRIMARY KEY는 'X'의 중복을 거절하고 CHECK (single_row_lock = 'X')는 'Y'나 'Z' 같은 우회 키를 거절합니다. 좀비 노드가 'X'를 한 번 더 넣으면 SQLSTATE 23505 (unique_violation)가 납니다. 다른 문자를 넣으면 SQLSTATE 23514 (check_violation)가 납니다. 어느 쪽이든 그 트랜잭션은 그 자리에서 실패합니다(Fail-Fast).
4. ACS 프루닝의 기준은 (ts, repair_counter)다: change_type ENUM 순서가 실제로 하는 일
다시 오전 08:00 ET 3,500억 달러 장중 레포 롤오버 현장으로 돌아가 봅시다. 하나의 원자적 롤오버 트랜잭션(예: 순서자 시각 ts = 200) 안에서는 어제 체결된 레포 계약의 소각(deactivation)과 오늘 신규 체결된 레포 계약의 생성(activation)이 정확히 동일한 마이크로초 타임스탬프(ts = 200)를 찍고 활성 계약 세트(Active Contract Set, ACS) 저널 테이블인 par_active_contracts에 동시에 기록됩니다.
직관에만 의존하는 일반 개발자라면 "계약은 생성된 뒤 소각된다"며 ENUM ('activation', 'deactivation') 순으로 선언했을 것입니다. Canton의 DDL은 순서가 반대입니다. 그리고 기본 키에는 시각 ts 다음에 복구 카운터 repair_counter가 옵니다. 일반 처리로 생긴 행은 최소 카운터(\(-2^{63}\))를, 복구 명령으로 생긴 행은 0, 1, 2…를 저장합니다(제20장).
-- deactivation이 activation보다 먼저 정렬됨. repair_counter: 일반 처리는 최소값, 복구는 0, 1, 2...
CREATE TYPE change_type AS ENUM ('deactivation', 'activation');
CREATE TABLE par_active_contracts (
synchronizer_idx INTEGER NOT NULL,
contract_id BYTEA NOT NULL,
change change_type NOT NULL,
operation operation_type NOT NULL,
ts BIGINT NOT NULL,
repair_counter BIGINT NOT NULL,
PRIMARY KEY (synchronizer_idx, contract_id, ts, repair_counter, change)
);
프루닝은 계약마다 따로 판단한다. 경계 시각 이하에 비활성화 행이 있는 계약만 대상이 되고, 그 계약의 행 가운데 비활성화 시점 \((\text{ts}, \text{repair\_counter})\) 이하인 행만 지운다. change는 이 비교에 들어가지 않는다.
ENUM 순서는 동점일 때만 쓰입니다. 계약의 최신 상태를 고르는 쿼리는 ts desc, repair_counter desc, change asc로 정렬하므로, 같은 (ts, repair_counter)에 생성과 소각이 모두 있으면(같은 트랜잭션에서 만들고 소각한 계약) 비활성화가 최신 상태로 선택됩니다.
스키마 주석은 같은 순서가 (ts, change) <= (bound, 'deactivation') 형태의 경계 비교에서 경계 시각의 비활성화만 고르게 해 준다고도 적어 둡니다.
(ts, repair_counter) 프루닝 조건과 ENUM 순서의 동점 처리
아래 표는 시점 ts = 100, 200, 300에 걸쳐 기록된 5건의 레포 계약 이력에 경계 \(T_{\text{bound}} = 200\)으로 프루닝을 실행했을 때 각 행의 판정입니다. 모든 행은 일반 처리로 생겨 repair_counter가 최소값(min)입니다:
| 순번 | 계약 식별자 및 레포 이벤트 | ts |
change_type |
그 계약의 비활성화 \(d\) (\(\text{ts}(d) \le 200\)?) | 판정 |
|---|---|---|---|---|---|
| 1 | 0x00ca..01 (전일 레포 만기 소각) |
100 |
'deactivation' |
(100, min) — 예, 자기 자신 |
삭제 — (100, min) <= (100, min) |
| 2 | 0x00ca..02 (당일 새벽 레포 개설) |
100 |
'activation' |
(200, min) — 예 (3번 행) |
삭제 — (100, min) <= (200, min) |
| 3 | 0x00ca..02 (08:00 롤오버 상환 소각) |
200 |
'deactivation' |
(200, min) — 예, 자기 자신 |
삭제 — 경계 시각 정각의 비활성화도 포함 |
| 4 | 0x00ca..03 (08:00 롤오버 신규 개설) |
200 |
'activation' |
(300, min) — 아니오 (\(300 > 200\)) |
보존 — 경계 안에 비활성화가 없는 계약은 대상이 아님 |
| 5 | 0x00ca..03 (오후 장중 상환 소각) |
300 |
'deactivation' |
(300, min) — 아니오 |
보존 — 경계 이후의 비활성화 |
4번 행이 보존되는 이유는 ENUM 순서가 아니라, 계약 0x00ca..03의 비활성화가 경계 밖(ts = 300)에 있기 때문입니다. 살아 있는 계약은 비활성화 행이 없으므로 아예 후보가 되지 않습니다. 같은 ts = 200에 생성되고 소각된 계약이라면 두 행 모두 (200, min) <= (200, min)이라 함께 지워지며, 프루닝 전까지 최신 상태 조회는 ENUM 동점 규칙에 따라 그 계약을 비활성으로 봅니다. 복구 명령이 같은 계약을 다시 활성화했다면 그 행은 더 큰 repair_counter를 가지므로, 이전 비활성화 시점 이하의 행만 정리됩니다.
(ts, repair_counter) 이하의 행(망점 타일)과 그 이후의 행(백색 타일)을 가르는 캘리퍼스.
삽화 구성 및 생성 프롬프트 보기 (Illustration Spec & Prompt) 열기 / 닫기
5. WAL 파라미터 튜닝, 다중 풀 HikariCP 예산표와 PgBouncer 주의보
DDL 스키마 최적화가 완료되었다면, 이제 운영자(SRE)는 운영체제 페이지 캐시와 데이터베이스 백엔드 프로세스를 통제하는 선행 로그(Write-Ahead Logging, WAL) 파라미터 및 커넥션 풀 예산(Connection Budget)을 정밀 설계해야 합니다.
5.1 WAL 플러시 지연 해소와 postgresql.conf 표준 프로파일
결제 완결성(RPO = 0)을 보장하려면 synchronous_commit = on을 절대 타협할 수 없습니다. 대신 체크포인트 스파이크를 평탄화하고 NVMe 랜덤 읽기 비용 모델을 현실화해야 합니다:
-- [메모리 및 버퍼 캐시 최적화 (128GB RAM, 32-vCPU 전용 DB 서버 기준)]
shared_buffers = '32GB' -- 전체 호스트 RAM의 25~40% 할당
effective_cache_size = '96GB' -- OS 커널 페이지 캐시 포함 가용 캐시 추정치
work_mem = '64MB' -- 복합 인덱스 정렬 및 해시 조인 작업 메모리
maintenance_work_mem = '2GB' -- AUTOVACUUM 및 인덱스 유지보수 전용 메모리
-- [WAL 쓰기 및 체크포인트 평탄화]
wal_buffers = '64MB' -- 고빈도 배치 쓰기 버퍼 확장
checkpoint_completion_target = 0.9 -- 체크포인트 디스크 쓰기를 주기의 90%에 균등 분산
max_wal_size = '32GB' -- 레포 개장 폭주 시 잦은 강제 체크포인트 방지
min_wal_size = '4GB'
synchronous_commit = 'on' -- 금융 원장 RPO = 0 보장 (절대 비활성화 금지!)
random_page_cost = 1.1 -- 엔터프라이즈 NVMe SSD 환경 반영 (B-Tree 스캔 유도)
max_connections = 200 -- 서버 천장. 참여자 풀로 채우는 목표가 아님
superuser_reserved_connections = 3 -- 슈퍼유저 비상 접속. 일반 역할은 197슬롯만 사용
5.2 다중 풀 HikariCP 커넥션 예산표(max_connections = 200)와 PgBouncer 금지 원칙
"트래픽이 몰리니 DB 커넥션을 1,000개로 늘리자"는 발상은 장애를 자초하는 지름길입니다. 활성 백엔드 프로세스 수가 CPU 코어를 크게 웃도는 순간 커널 스케줄러의 컨텍스트 스위칭(Context Switching)과 L1/L2 캐시 오염으로 처리량이 오히려 급락합니다.
32코어 NVMe SSD 서버(\(\text{EffectiveSpindleCount} \approx 1\))에서 동시에 바쁠 수 있는 쿼리의 최적치는 \(32 \times 2 + 1 = 65\)개입니다. 이 값은 max_connections를 가득 채우는 목표가 아니라, 활성 백엔드가 넘지 말아야 할 동시 실행 한도입니다. 여기서는 스토리지 상한을 \(X = 32\)(storage.parameters.max-connections, 지정하지 않으면 감지된 스레드 수)로 두고, 인덱서 풀은 기본값 \(I = 16 + 4 + 2 = 22\)(ingestion-parallelism + db-prepare-parallelism + 2)로 둡니다. 활성 노드의 상시 연결 \(X + I = 54\)는 이 65 아래에 있습니다.
이 분할은 복제(HA) 참여자의 경우입니다. 앞의 다섯 항은 활성 노드가 상시로 여는 풀입니다.
- 원장 API(Ledger API) 풀 \(A = X/2 = 16\), 스토리지 읽기 풀 \(R = X/4 = 8\), 프로토콜 쓰기 풀 \(W = X/4 - 1 = 7\), 리더 선출용 메인 연결 \(M = 1\), 인덱서 풀 \(I = 22\)이고, 합은 \(X + I = 54\)입니다. 쓰기 풀이 메인 잠금에 연결 1개를 내주므로 \(W\)만 \(-1\)입니다. 복제하지 않는 참여자는 \(R, W, M\) 대신 크기 \(X/2\)의 결합 풀 하나를 씁니다. 나눗셈은 내림이며, 결과가 0이면 풀 크기는 1입니다. 액티브-패시브 이중화에서 대기 레플리카는 잠금을 잃으면 풀을 닫고, 새 활성 노드는 그 연결이 닫힌 뒤에야 잠금을 얻습니다. 대기 노드 풀을 한 벌 더 더하지 않습니다.
- \(X_{\text{init}} = 32\)는 운영 문서가 밝힌 기동 중 데이터베이스 초기화용 임시 연결의 상한(최대 \(X\)개)이고, \(R_{\text{super}} = 3\)은
superuser_reserved_connections로 일반 역할 밖에 지켜 두는 비상 접속입니다.
피크 89는 슬롯 예산이고, 상시로 바쁠 수 있는 연결은 54입니다. 동기식 복제의 WAL 센더와 복제 슬롯은 max_wal_senders, max_replication_slots의 몫이라 이 89개에 넣지 않습니다.
| 커넥션 풀 구분 | 산식 (X = 32, 인덱서 기본값) |
활성 노드 연결 수 | 담당 워크로드 및 격리 목적 |
|---|---|---|---|
원장 API 풀 (A) |
X / 2 |
16 |
원장 API의 과거 오프셋 재구독과 ACS 스냅샷 조회 |
스토리지 읽기 풀 (R) |
X / 4 |
8 |
합의 상태의 읽기. 쓰기 트랜잭션과 커넥션을 공유하지 않음 |
프로토콜 쓰기 풀 (W) |
X / 4 - 1 |
7 |
합의 상태 변경과 순서자 이벤트 저장. 메인 잠금에 연결 1개를 양보 |
메인 잠금 (M) |
1 |
1 |
세션 수준 권고 잠금(Session-level Advisory Lock, pg_advisory_lock)을 붙잡는 리더 선출 연결 |
인덱서 풀 (I) |
ingestion + db-prepare + 2 |
22 |
제18장 인덱서. 기본 ingestion-parallelism = 16, db-prepare-parallelism = 4, 원장 끝 갱신용 2 |
| 상시 합계 | X + I |
54 |
활성 레플리카 하나. 대기 레플리카는 풀을 닫으므로 2배를 잡지 않음. 동시 실행 한도 65 아래 |
| 기동 임시 | <= X |
32 |
스키마 마이그레이션 동안만 빌리고, 기동이 끝나면 반환 |
| 슈퍼유저 예약 | superuser_reserved_connections |
3 |
새벽 장애 시 DBA 긴급 접속. 일반 역할 canton_svc는 이 3개를 쓰지 못함 |
피크 (max_connections 예산) |
(X + I) + X + 3 |
89 / 200 |
천장 200 가운데 여유 111. 풀로 200을 채우면 기동 임시 연결에서 FATAL: too many clients가 난다 |
| WAL 센더 · 복제 슬롯 | max_wal_senders, max_replication_slots |
이 예산 밖 | PostgreSQL 12부터 max_connections 밖. 동기식 스탠바이는 WAL 센더 1개 |
SRE 1급 주의보 — PgBouncer transaction 풀링 모드의 함정
클라우드 환경에서 습관적으로 Canton 노드와 PostgreSQL 사이에 외부 프록시인 피지바운서(PgBouncer)를 pool_mode = transaction으로 끼워 넣으면 치명적인 대형 사고가 발생합니다. Canton의 고가용성 액티브-패시브 리더 선출기와 스키마 마이그레이터는 세션 수준 권고 잠금(pg_advisory_lock)을 붙잡고 있는 동안에만 자신이 유일한 활성 쓰기 주체임을 보증받기 때문입니다.
그런데 transaction 모드는 개별 SQL 트랜잭션이 COMMIT되는 순간 백엔드 서버 세션을 다른 클라이언트에 재할당합니다. 그 과정에서 두 가지 장애가 발생합니다.
- 서버 세션이
DISCARD ALL로 정리되거나 끊기면 잠금이 사라져 두 노드가 동시에 액티브가 될 수 있습니다. - 반대로 잠금이 다른 백엔드 세션에 그대로 남아 있으면 대기 노드가 잠금을 얻지 못해 절체가 멈춥니다.
따라서 Canton 내장 HikariCP 풀을 데이터베이스에 직접 연결해야 합니다. 망분리 방화벽 때문에 프록시가 불가피하면 session 모드만 허용합니다. session 모드는 클라이언트 연결 하나당 서버 세션을 고정해 잠금은 지키지만, max_connections 점유를 줄이지는 못합니다.
6. 제도적 현실: EU DORA와 운영 무결성 통제
금융 시장에서 데이터베이스 스키마의 제약조건 하나는 단순한 성능 팁이 아니라, 규제 당국의 현장 검사를 통과하고 거대한 법적 권리부를 지키는 내부통제 장치 그 자체입니다.
유럽연합의 디지털 운영 회복탄력성 법(Digital Operational Resilience Act, DORA — Regulation (EU) 2022/2554) 제9조(보호 및 예방)와 미국 SEC의 시스템 준법·무결성 규정(Regulation SCI)은 핵심 금융 인프라가 이중화 장애 전환(Failover)이나 극단적 부하 상황에서도 전산원장의 정합성 훼손·중복 기장·데이터 유실(RPO > 0)을 원천 차단하는 물리적·논리적 무결성 방어 체계를 갖출 것을 강제하고 있습니다.
바로 이 지점에서 CHECK (single_row_lock = 'X') 단일 행 물리 제약과 세션 수준 권고 잠금, 그리고 synchronous_commit = on의 조합은 감사관 앞에서 빛을 발합니다. "애플리케이션 코드에 버그가 없기를 기도합니다"라는 취약한 답변 대신, "네트워크가 두 동강 나더라도 이 메타데이터 테이블에 두 번째 행은 데이터베이스 제약조건이 거부합니다"라고 스키마로 보여 줄 수 있기 때문입니다.
현재 Canton 노드의 운영용 데이터베이스는 PostgreSQL이고(H2는 테스트용), 이 장에서 본 통제는 모두 그 스키마에 들어 있습니다. STORAGE EXTERNAL, 단일 행 제약, (ts, repair_counter) 기본 키는 온프레미스 베어메탈부터 관리형 클라우드 PostgreSQL까지 같은 방식으로 동작하므로, 감사인은 마이그레이션 스크립트를 읽어 통제가 있는지 직접 확인할 수 있습니다.
이 장에서 남는 것
STORAGE EXTERNAL로 결과 없는 압축을 끈다. 엔트로피가 8비트에 가까운(4KB 표본 추정 약 7.955비트) 암호문은 압축되지 않고 약 2KB 청크 3개로 기록된다. 시도 비용을 건당 18µs로 가정하면 15,000 TPS에서 약 0.27 코어가 낭비되며, Canton DDL은 이 컬럼의 압축을 이미 꺼 둔다.- 64바이트 해시 앵커 계약 설계. 50KB Base64 원본 문서를 Daml 계약에 직접 넣는 TOAST 폭발 안티패턴을 버리고 SHA-256 해시 앵커만 저장하여 단일 8KB 힙 페이지 인라인 처리를 달성한다.
single_row_lock = 'X'단일 행 가드. 기본키와 체크 제약조건의 결합으로 HA 페일오버 중 중복 메타데이터 행 삽입을 데이터베이스가 거부하며, 이는 DORA가 요구하는 무결성 통제의 근거 자료가 된다.- 프루닝은
(ts, repair_counter)로, ENUM은 동점에만. 계약마다 경계 안의 비활성화 시점 이하 행만 지우므로 살아 있는 계약은 대상이 아니다.deactivation이 앞서는 ENUM 순서는 같은(ts, repair_counter)의 생성·소각을 비활성으로 정리하는 동점 규칙이다. - 다중 풀 HikariCP 예산과 PgBouncer 원칙. 복제(HA) 참여자의 활성 노드 하나의 상시 연결 \(X + I = 32 + 22 = 54\)에 기동 임시 32와 슈퍼유저 예약 3을 더해 피크 89로 두고, 천장
max_connections = 200은 채우지 않는다. WAL 센더는 이 예산 밖이다. 세션 권고 잠금을 깨뜨리는 PgBouncertransaction모드는 배제한다.