AWS L40S 기반 인스턴스에 vLLM 추론 서버를 구축하고 오픈 웨이트 모델 서빙 환경을 구성했습니다. 운영 과정에서 할루시네이션 사례를 확인한 뒤, BF16 모델 운용을 위해 RTX PRO 6000 Blackwell 기반 인스턴스로 이전했습니다. CUDA 기반 Docker 환경을 유지해 GPU 변경에 따른 애플리케이션 수정 없이 추론 환경을 이전했으며, 모델 가중치와 Hugging Face 캐시는 EBS 볼륨을 활용해 재사용했습니다.

Nemotron, gpt-oss, Qwen 계열 모델을 동일한 태스크로 비교해 선정 과정을 진행했습니다. 특히 양자화가 출력 품질에 미치는 영향을 검증하기 위해 동일 모델의 양자화 버전과 BF16 버전을 직접 비교했고, 양자화 버전에서 원문에 없는 값이 생성되는 문제를 확인했습니다. 추론 시간과 JSON 문법 유효성을 주축으로 평가해 gpt-oss BF16을 최종 선정했습니다.

JSON-LD 생성 과정에서 원문에 없는 값이 포함되는 할루시네이션 문제를 확인하고, 입력과 출력 양단에서 통제 장치를 설계했습니다. 입력 단계에서는 script, style, base64와 분석에 불필요한 UI 요소를 제거하는 HTML 클렌징 파이프라인을 적용해 모델이 참조할 본문만 남기고 입력 토큰 수를 줄였습니다. 출력 단계에서는 json.loads 기반 구문 검증을 적용해 파싱에 실패한 응답이 후속 파이프라인으로 전달되지 않도록 구성했습니다.

비트코인은 24/7 거래되지만 S&P 500, 국채 금리 같은 전통 자산은 주말·휴일 데이터가 비어 있습니다. 이 때문에 CoinGecko, FRED, Yahoo Finance 세 소스의 날짜 인덱스가 서로 어긋났습니다. 공통 캘린더 기준으로 인덱스를 통일한 뒤, 결측값은 forward fill로 처리했습니다. 미래 값을 참조하는 방식은 look-ahead bias가 생기기 때문에 배제했습니다. 이 전처리를 거치면 거래일 체계가 다른 데이터도 Rolling Window 파이프라인에 그대로 태울 수 있습니다.

모델 5개 × Window 크기 × 하이퍼파라미터 조합이라 실험 한 사이클에 수 시간이 걸렸습니다. 각 (모델, Window) 학습 작업은 서로 의존성이 없어서, Python multiprocessing으로 작업을 워커에 분배하는 병렬 구조로 전환했습니다. 결과적으로 전체 실험 시간이 약 30% 줄었고, 모델 비교와 하이퍼파라미터 탐색 사이클을 훨씬 짧게 돌릴 수 있게 됐습니다.

Rolling Window 실험은 러닝타임이 길어서 OOM이나 환경 문제로 중간에 죽으면 전부 재실행해야 했습니다. 그래서 Window 단위로 예측 결과, 평가 지표, 하이퍼파라미터를 CSV에 저장하는 체크포인트를 넣었습니다. 재시작 시 기존 결과 파일을 스캔해 완료된 Window는 스킵하고 남은 작업만 이어서 실행합니다. 중단이 발생해도 완료분은 그대로 재사용되므로 실험을 처음부터 다시 돌릴 일이 없어졌습니다.

MediaPipe, OpenCV 기반 얼굴 인식 알고리즘 구현과 인식 결과, 실제 기기 동작 간 오차 분석을 담당했습니다. 얼굴 검출은 스마트폰 브라우저에서 온디바이스로 동작하도록 구성했고, 검출 상태와 오차 값을 실시간 확인할 수 있는 웹 인터페이스도 직접 구현했습니다. 산출한 좌표와 자세 값은 제어부가 곧바로 활용할 수 있는 형태로 가공해 전달했습니다.

인식, 제어, 기구 등 서로 다른 전공의 팀원으로 구성된 팀에서 팀장을 맡아 프로젝트를 이끌었습니다. 모듈 간 연결이 어긋나지 않도록 좌표와 오차 데이터의 규격과 전달 형식을 정의하고, 인식부와 제어부가 맞닿는 지점은 직접 구현했습니다. 전공별 용어와 관점 차이는 기계공학과 컴퓨터공학을 함께 공부한 배경을 살려 도메인 사이를 잇는 소통 창구 역할로 풀었습니다.

미세한 좌표 변화에도 서보모터가 반복 작동하며 떨리는 문제가 있었습니다. 오차 값을 로그로 추적해보니 임계값 없이 미세 오차가 그대로 제어 신호로 전달되는 것이 원인이었고, 제어부와 협업해 Dead Zone을 도입했습니다. 임계값은 반응성을 해치지 않는 선에서 실측으로 조정해 불필요한 진동을 제거했습니다.

사용자의 이동 방향과 속도를 바꿔가며 반복 테스트해 화면 이탈과 추적 지연이 발생하는 조건을 찾아냈습니다. 이를 바탕으로 인식과 제어 파라미터를 조정해 약 ±10° 범위에서 안정적인 추적 성능을 확보했습니다.