[학습 로그] EXAONE 4.0-32B QLoRA 민원답변 어댑터 학습 — 환경 구성, 문제 해결, 최적화 기록

[umyunsang]

개요

EXAONE 4.0-32B 모델에 민원답변 초안생성 LoRA 어댑터(civil-adapter)를 학습하는 과정의 전체 기록입니다.

• Space: umyunsang/govon-civil-adapter-train
• 데이터셋: umyunsang/govon-civil-response-data (74K → 행정법 제외 ~30K)
• 어댑터 출력: umyunsang/govon-civil-adapter

---

최종 환경 구성

인프라

항목	값
플랫폼	HuggingFace Spaces (Docker SDK)
GPU	L40S (48GB VRAM, $1.80/h)
Docker 베이스	nvidia/cuda:12.6.3-devel-ubuntu22.04
패키지 관리	uv (pip 대비 10-100x 빠름)
모델 다운로드	hf-transfer (Xet Storage, ~200MB/s)

학습 설정

항목	값
베이스 모델	LGAI-EXAONE/EXAONE-4.0-32B (BF16 원본)
프레임워크	Unsloth (2-5x 속도, 내장 flash attention)
양자화	4-bit NF4 (bitsandbytes)
LoRA rank	16 (alpha=32)
Target modules	q/k/v/o_proj, gate/up/down_proj (7개)
Dropout	0 (Unsloth 권장)
Learning rate	2e-4, cosine schedule
Batch size	2 (grad_accum=8, effective=16)
Max length	1024 (데이터 p95=883 tokens)
Packing	True
Epochs	1
Optimizer	adamw_8bit
Gradient checkpointing	Unsloth 최적화

데이터

항목	값
원본	74,244건 (AI Hub 71852 + 71847)
행정법 제외	71847 데이터 제거 (legal-adapter 전용으로 분리)
학습 데이터	~30K건 (중앙행정기관 + 지방행정기관)
형식	instruction + input → EXAONE 4.0 chat template

---

발생한 문제와 해결 과정

문제 1: SFTConfig 파라미터 호환성 (trl 1.0.0)

증상: TypeError: SFTConfig.__init__() got an unexpected keyword argument

파라미터	문제	해결
max_seq_length	trl 1.0.0에서 제거	→ max_length
group_by_length	trl 1.0.0에서 제거	→ 삭제
tokenizer= (SFTTrainer)	trl 1.0.0에서 제거	→ processing_class=

문제 2: torch_dtype deprecated (transformers 5.5.0)

증상: torch_dtype is deprecated! Use dtype instead!

해결: torch_dtype=torch.bfloat16 → dtype=torch.bfloat16

문제 3: Flash Attention 2 미설치

증상: ImportError: FlashAttention2 has been toggled on, but it cannot be used

시도 1: requirements.txt에 flash-attn --no-build-isolation → pip 파싱 에러
시도 2: Dockerfile에서 uv pip install flash-attn --no-build-isolation 소스 빌드 → CUDA 버전 불일치
시도 3: CUDA 12.4 → 13.2 변경 → 빌드 타임아웃 (HF Spaces 15분 제한)
시도 4: pre-built wheel 사용 → PyTorch 2.11 + CUDA 13.0 조합 wheel 미존재
최종 해결: Unsloth 전환 (flash attention 내장, 별도 설치 불필요)

문제 4: HF Spaces 30분 Health Check 타임아웃

증상: Launch timed out, workload was not healthy after 30 min

원인: 학습 스크립트가 HTTP 서버를 띄우지 않아 HF Spaces가 비정상으로 판단

해결: main() 시작 시 port 7860에 health server를 threading.Thread로 실행

def start_health_server():
    from http.server import HTTPServer, BaseHTTPRequestHandler
    import threading
    class Handler(BaseHTTPRequestHandler):
        def do_GET(self):
            self.send_response(200)
            ...
    server = HTTPServer(("0.0.0.0", 7860), Handler)
    threading.Thread(target=server.serve_forever, daemon=True).start()

문제 5: Space 자동 Sleep

증상: 학습 중 Stage: SLEEPING 전환

원인: HF Spaces 기본 sleep 정책

해결: api.set_space_sleep_time(repo, sleep_time=-1) (never sleep)

문제 6: warmup_ratio vs warmup_steps 혼동

코드리뷰 지적: warmup_steps는 int만 허용, float 0.03 전달 시 0으로 잘림

해결: warmup_ratio=0.03 유지 (deprecation 경고만, 동작은 정상)

문제 7: 학습 속도 병목

설정	step 속도	총 시간
SDPA + packing=False + r64	20초/step × 4,176 steps	~23시간
SDPA + packing=True + r64	51초/step × 1,323 steps	~19시간
Flash Attn 2 + packing + r64	42초/step × 1,323 steps	~15시간
Unsloth + packing + r16	예상 ~10초/step	~2-3시간

분석:

• packing + SDPA는 cross-contamination 방지 오버헤드로 오히려 느려짐
• Flash Attention 2는 17% 향상에 그침 (32B 4-bit의 병목은 attention이 아닌 dequantize/compute)
• Unsloth가 가장 효과적 — custom Triton 커널로 전체 파이프라인 최적화

문제 8: Unsloth extras 이름 오류

증상: The package unsloth does not have an extra named cu126-torch2110

해결: unsloth[cu126-torch2110] → unsloth (extras 없이 설치, 자동 감지)

---

빌드 최적화 기록

단계	pip (최초)	uv (최적화)
패키지 설치	76초	17초 (4.5x)
torch 설치	~60초	0.75초 (93개 패키지)
모델 다운로드 (64GB)	15-20분	5분 (hf-transfer + Xet)
전체 빌드	~4분	~30초

---

코드리뷰 기록

Code Reviewer (Opus) 검토

심각도	항목	해결
MUST	tokenizer= → processing_class=	✅
MUST	torch_dtype= → dtype=	✅
MUST	warmup_ratio= → warmup_steps=	✅ (후에 복원)
NIT	미사용 TrainingArguments import	✅ 제거

AI Engineer (Opus) 검토

심각도	항목	해결
CRITICAL	warmup_steps=0.03 float → int 잘림	✅ warmup_ratio 복원
CRITICAL	LoRA target_modules 이름 미검증	✅ 로깅 추가 (정상 확인)
WARNING	pad_token=eos_token loss 마스킹	⚠️ 모니터링
WARNING	dataloader_num_workers=4 shm 제한	✅ → 0
WARNING	load_best_model_at_end VRAM 스파이크	✅ → False

---

EXAONE 4.0-32B target_modules 검증

실제 레이어 이름 (로그에서 확인):

model.layers.0.self_attn.q_proj
model.layers.0.self_attn.k_proj
model.layers.0.self_attn.v_proj
model.layers.0.self_attn.o_proj
model.layers.0.mlp.gate_proj
model.layers.0.mlp.up_proj
model.layers.0.mlp.down_proj

→ 표준 Llama 이름과 동일. target_modules 설정 정상.

---

참고 자료

• Unsloth EXAONE 4.0 호환 확인
• HF Spaces GPU Pricing
• TRL v1.0 변경사항
• Transformers v5 Migration Guide
• AutoTrain SpaceRunner