Fireworks 175억 달러, Baseten 130억 달러 — 추론 서빙에 돈이 몰리는 시대, 서빙 엔지니어의 일은 어떻게 달라지나
솔직히 말하면 나는 LLM serving을 대규모 프로덕션 환경에서 직접 굴려본 경험이 아직 많지 않다. 내 본업은 대규모 광고 serving 인프라다. 매일 씨름하는 일은 새로운 모델을 발명하는 쪽보다, 이미 학습된 모델을 피크 트래픽에서도 정해진 latency 예산 안에 우겨 넣고 요청당 비용을 틀어막는 쪽에 가깝다. 그러니 지금 AI 인프라 판에서 벌어지는 일을 현장 베테랑처럼 논할 처지는 못…