AWS GPU 인스턴스에 vLLM 추론 서버를 구축하고 오픈 웨이트 모델 서빙 환경을 운영했습니다. 모델 서버와 API 서버를 분리해 API를 재배포해도 모델을 다시 적재하지 않도록 했고, 모델 가중치와 Hugging Face 캐시는 EBS 볼륨에 두어 인스턴스를 교체해도 재다운로드가 없게 했습니다. 더 큰 VRAM이 필요해지자 초기 CUDA 컨테이너 구성에서 출발해 애플리케이션 수정 없이 상위 GPU 인스턴스로 추론 환경을 이전했고, 현재는 모델 서버와 API를 각각 systemd 유닛으로 운영하며 배포 파이프라인이 서비스 재시작까지 처리합니다.

gemma-4-31B, gpt-oss-120b, Llama-3.3-70B, Qwen3.5, EXAONE-4.5 등 5개 오픈 웨이트 모델을 동일 조건으로 비교했습니다. 8개 사이트에서 모은 상세페이지 39장으로 정답셋을 직접 만들고, 모델명을 가린 블라인드 설계로 판정 192건을 수행했습니다. 처음에는 문자열 비교로 채점했는데 380 kcal과 380 calories를 서로 다른 값으로 세어 환각을 약 10배 과대계상하는 것을 발견하고, 판정 자체를 LLM 채점으로 바꿔 평가 지표를 다시 설계했습니다. 정확도 99.1%(모델과 사이트가 모두 값을 낸 필드 기준, F1 0.601, 재현율 43.2%), 환각 0건, VRAM 33GB, 자기 불일치 0%를 종합해 gemma-4-31B-FP8을 선정했습니다. gpt-oss-120b는 2.4배 빨랐지만 같은 입력을 두 번 넣었을 때 출력의 56.9%가 달라져 재현성을 이유로 기본 선택에서 탈락시켰습니다.

JSON-LD에 원문에 없는 URL이 들어가는 문제가 있었습니다. 모델을 바꿔도 재현되길래 입력을 추적해보니 원인은 모델이 아니라 정제기였습니다. HTML 정제 단계에서 유지 속성 목록에 href가 빠져 있어 모델이 볼 수 있던 URL 497개 중 198개, 약 40%가 사라졌고 모델이 그 빈자리를 지어내고 있었습니다. 속성 유지 규칙을 고쳐 입력에서 근거를 되살렸습니다. 입력 단계에서는 script, style, base64와 불필요한 UI 요소를 제거하는 HTML 클렌징 파이프라인으로 메인 페이지 43장 기준 입력을 91.5% 축소하면서 핵심 사실은 99.9% 보존했고, 출력 단계에서는 json.loads 기반 구문 검증으로 파싱에 실패한 응답이 후속 파이프라인에 전달되지 않게 했습니다.

비트코인은 24/7 거래되지만 S&P 500, 국채 금리 같은 전통 자산은 주말·휴일 데이터가 비어 있습니다. 이 때문에 CoinGecko, FRED, Yahoo Finance 세 소스의 날짜 인덱스가 서로 어긋났습니다. 공통 캘린더 기준으로 인덱스를 통일한 뒤, 결측값은 forward fill로 처리했습니다. 미래 값을 참조하는 방식은 look-ahead bias가 생기기 때문에 배제했습니다. 이 전처리를 거치면 거래일 체계가 다른 데이터도 Rolling Window 파이프라인에 그대로 태울 수 있습니다.

모델 5개 × Window 크기 × 하이퍼파라미터 조합이라 실험 한 사이클에 수 시간이 걸렸습니다. 각 (모델, Window) 학습 작업은 서로 의존성이 없어서, Python multiprocessing으로 작업을 워커에 분배하는 병렬 구조로 전환했습니다. 그 결과 모델 비교와 하이퍼파라미터 탐색 사이클을 크게 단축할 수 있었습니다.

Rolling Window 실험은 러닝타임이 길어서 OOM이나 환경 문제로 중간에 죽으면 전부 재실행해야 했습니다. 그래서 Window 단위로 예측 결과, 평가 지표, 하이퍼파라미터를 CSV에 저장하는 체크포인트를 넣었습니다. 재시작 시 기존 결과 파일을 스캔해 완료된 Window는 스킵하고 남은 작업만 이어서 실행합니다. 중단이 발생해도 완료분은 그대로 재사용되므로 실험을 처음부터 다시 돌릴 일이 없어졌습니다.

하나의 지표로는 포트폴리오 기여를 온전히 설명하기 어려워 위험과 효용, 두 축으로 가치함수를 나눴습니다. 위험 축은 개별 분산의 합 대비 최소분산 포트폴리오가 분산을 얼마나 줄이는지로 정의했고, 부록에서 한 섹터에 100% 투자하는 경우가 상한이 되어 이 값이 항상 0 이상임을 증명했습니다. 효용 축은 위험회피 계수를 반영한 평균-분산 효용의 최댓값으로 두어, 위험을 줄이는 섹터와 효용을 끌어올리는 섹터를 분리해 볼 수 있게 했습니다. 두 최적화 모두 공매도 금지와 비중 합 1 제약 아래 SLSQP로 풀었습니다.

플레이어가 11개면 완전 계산에 2047개 연합이 필요하고 복잡도가 지수적으로 폭증합니다. 그래서 Shapley 값을 순열 기대값으로 재정의하고 무작위 순열을 표본 추출해 한계 기여의 평균으로 근사했습니다. 표본이 서로 독립이라 병렬화가 쉽고, 완전 계산보다 비용이 훨씬 낮으면서도 편향 없는 추정치를 얻었습니다.

정적 평균만으로는 시장 국면 변화를 담기 어려워 36개월 롤링 Shapley 값으로 시계열을 추적했습니다. 위험 감소 기준에서는 표본 대부분의 구간에서 소비재(XLY)와 바이오테크(XBI)가 높은 기여를 유지했고, 효용 기준에서는 헬스케어(XLV)의 기여가 표본 후반부에 뚜렷이 상승했습니다. 시기별로 주도 섹터가 달라진다는 점에서, 시장 환경 변화가 협력적 기여 구조에 실제로 영향을 준다는 것을 확인했습니다.