SK하이닉스가 발열 제어 기능을 내장한 iHBM을 공개했다. AI 데이터센터에서 전력·냉각·메모리 대역폭이 새로운 병목으로 부상한 배경, PUE가 AI API 비용에 미치는 영향, 그리고 SK하이닉스·삼성·리벨리온의 한국 AI 반도체 포지션을 정리했다.
SK하이닉스가 발열을 줄인 신형 HBM인 iHBM을 공개했다. 같은 날 국내 뉴스에선 "GPU만으론 안 된다 — AI 데이터센터 경쟁력, 전력·냉각에 달려"라는 분석 기사가 동시에 등장했다. 우연이 아니다. 지금 AI 인프라 경쟁의 무게중심이 연산 칩에서 열관리·전력·메모리 대역폭으로 이동하고 있다는 신호다.
이 글에서는 SK하이닉스 iHBM 발표 배경, AI 데이터센터에서 발열과 전력이 새로운 병목으로 부상한 이유, 그리고 개발자가 AI API 비용을 예측할 때 알아야 할 인프라 변수를 정리한다.
HBM(High Bandwidth Memory)은 DRAM 다이를 수직으로 적층해 초광대역 데이터 전송을 구현한 메모리다. NVIDIA H100·H200, AMD MI300X 등 현재 주요 AI 가속기에 탑재되어 있다. HBM3E 기준으로 단일 스택의 대역폭은 1.2TB/s를 넘는다.
문제는 발열이다. AI 추론 워크로드에서 GPU와 HBM이 동시에 최대 부하로 가동되면, 좁은 물리 면적에 집적된 열이 급격히 쌓인다. 냉각이 따라가지 못하면 성능 조절(thermal throttling)이 발생해 실제 추론 처리량이 이론 수치보다 낮아진다.
SK하이닉스가 공개한 iHBM은 이 문제를 메모리 설계 단계에서 해결하는 접근이다. 내부 온도 모니터링과 전력 조절 로직을 HBM 스택에 직접 통합해, 발열이 높아지는 구간에서 자율적으로 전력 분배를 최적화하는 방식으로 알려졌다. 외부 냉각 시스템에 전적으로 의존하지 않고 메모리 자체가 열관리에 참여한다는 개념이다.
AI 학습·추론 워크로드는 기존 서버 워크로드와 열 밀도가 다르다. NVIDIA H100 SXM은 TDP가 700W에 달하고, 이를 8장 탑재한 DGX H100 서버는 단일 랙에서 10kW를 넘는다. 과거 일반 서버의 평균 랙 밀도가 5~10kW였던 것을 감안하면 2배 이상이다.
데이터센터의 전통적인 공냉(air cooling) 인프라는 이 밀도를 처리하기 어렵다. 에어컨으로 냉각하려면 냉각 전력이 IT 장비 전력과 비슷하거나 더 커지는 상황이 생긴다. 이것이 PUE(Power Usage Effectiveness) 수치에 직접 반영된다.
2026년 현재 글로벌 하이퍼스케일러(구글, 마이크로소프트, 메타)의 평균 PUE는 1.1~1.3대다. 국내 IDC는 평균 1.5~1.8대로 아직 격차가 있다. AI GPU 클러스터를 운영할수록 PUE 차이가 직접 운영 비용으로 이어진다.
AI 인프라 경쟁의 병목은 이제 세 축으로 분산됐다.
세 요소 중 하나라도 병목이 생기면 나머지 두 요소의 성능이 낭비된다. 예를 들어 HBM 대역폭이 포화되면 GPU 코어는 데이터를 기다리며 놀게 된다. 전력이 부족하면 GPU를 더 도입해도 가동률이 낮아진다.
iHBM은 세 번째 병목(메모리 대역폭 + 발열)을 동시에 공략하는 제품이다. 발열을 메모리 레벨에서 제어하면 냉각 부하를 줄이고, 결과적으로 동일 냉각 인프라에서 더 높은 클러스터 밀도를 유지할 수 있다.
주요 클라우드·AI 기업들이 냉각과 전력 문제를 어떻게 접근하는지 비교한다.
구글: 자체 설계 TPU에 최적화된 직접 액체냉각을 도입했다. 구글 데이터센터 평균 PUE는 1.1 수준이며, 재생에너지 100% 조달 목표를 유지하고 있다.
마이크로소프트: Azure는 일부 지역에서 수중 데이터센터(Project Natick) 실험을 진행했으며, 애리조나 등 전력 확보가 수월한 지역에 AI 클러스터를 집중 배치하는 전략을 쓴다. OpenAI와 공동으로 소형 원전(SMR) 전력 구매 협약도 검토 중인 것으로 알려졌다.
메타: 최근 AMD와 대규모 칩 공급 계약을 맺으며 NVIDIA 의존도를 줄이고 있다. 메타 데이터센터는 외기냉각(free cooling) 비중이 높아 PUE 효율이 좋은 편이다.
NVIDIA: 하드웨어 벤더이지만 GB200 NVL72 서버를 설계하면서 랙 단위 냉각 솔루션을 함께 패키징하기 시작했다. 단순히 GPU를 파는 것을 넘어 인프라 구조 설계까지 영역을 넓히고 있다.
국내(KT, SKT, LG CNS): 차세대 IDC에 DLC 도입을 검토 중이지만 기존 공냉 인프라 전환 비용이 높다. AI 전용 고밀도 존(zone)을 별도로 구성하는 하이브리드 접근이 주류가 될 전망이다.
AI API 가격은 모델 규모와 토큰 수만으로 결정되지 않는다. 아래 인프라 변수들이 중장기 가격 추이에 영향을 준다.
단기적으로는 GPU 공급 증가와 칩 단가 하락이 AI API 가격을 낮추는 주요 요인이지만, 전력·냉각 인프라 비용은 AI 수요가 클수록 상쇄 압력이 강해진다. 모델 효율화(더 적은 연산으로 동일 품질)와 인프라 효율화 모두 필요한 이유다.
AI 인프라 경쟁에서 한국 반도체 기업들의 위치를 간략히 정리한다.
SK하이닉스: HBM3E 시장에서 점유율 1위다. NVIDIA H100·H200·B100 시리즈에 HBM을 주공급하고 있으며, 이번 iHBM 발표는 차세대 AI 가속기 플랫폼을 위한 포석으로 볼 수 있다. HBM4 양산을 준비 중이며 2025~2026년 본격 공급 예정인 것으로 알려졌다.
삼성전자: HBM3E에서 엔비디아 공급 퀄리파이드(qualified) 진입이 지연됐지만, 자체 AI 칩 사업 및 메모리 통합 솔루션으로 영역을 넓히고 있다. HBM4 경쟁에서 SK하이닉스를 추격하는 구도다.
리벨리온: 국내 AI 추론칩 스타트업으로, 내년 사우디 아람코에 2세대 AI 추론칩을 공급하는 계약을 맺었다. NVIDIA GPU 대비 특정 추론 워크로드에서 전력 효율이 높은 맞춤형 설계를 강점으로 한다. 글로벌 AI 칩 시장에서 국내 팹리스 스타트업의 첫 대형 수출 사례다.
세 회사 모두 AI 인프라의 '전력 효율' 경쟁이 HBM 설계와 직결된다는 것을 인식하고 개발 방향을 맞추고 있다. iHBM 발표는 그 흐름의 가시적 결과 중 하나다.
HBM3E는 대역폭·용량에 집중한 설계다. iHBM(intelligent HBM)은 여기에 온도 모니터링과 전력 제어 로직을 메모리 스택 내부에 통합해, 발열이 높은 상황에서 메모리 자체가 전력 분배를 조절하는 기능을 추가한 개념이다. 외부 냉각 시스템에 덜 의존하면서 안정적인 최대 성능을 유지하는 것이 목표다.
직접 연동되진 않지만 간접적으로 영향을 준다. PUE가 낮을수록 같은 컴퓨팅 자원을 더 적은 전력으로 운영할 수 있어 데이터센터 운영 원가가 낮아진다. 하이퍼스케일러들이 PUE 최적화에 집중하는 이유 중 하나는 AI 추론 비용을 낮춰 API 가격 경쟁력을 유지하기 위해서다.
AI GPU 고밀도 환경에서는 DLC가 전력 효율 면에서 확실히 유리하다. 하지만 초기 도입 비용이 높고, 기존 공냉 설계 서버나 저밀도 워크로드에는 오히려 오버스펙이다. 실제 데이터센터 설계에서는 AI GPU 존에만 DLC를 적용하고 나머지는 공냉을 유지하는 하이브리드 구성이 현실적이다.
범용 대체는 어렵다. NVIDIA의 생태계(CUDA, 라이브러리, 도구)는 수년간 쌓인 것이라 단기 전환은 비용이 크다. 다만 특정 모델·워크로드에 특화된 추론 전용 칩은 전력 효율 면에서 경쟁력이 있다. 아람코 공급 계약처럼 특정 기업의 AI 인퍼런스 파이프라인에 최적화된 형태로 채택되는 것이 현실적인 시나리오다.
AI 클러스터는 24시간 안정적인 대용량 전력이 필요하다. 재생에너지(태양광·풍력)는 간헐성이 있어 단독 공급이 어렵다. SMR은 소형이면서도 탄소 없이 안정적인 전력을 공급할 수 있어 AI 데이터센터 전력원으로 주목받는다. 마이크로소프트, 구글, 아마존이 각각 SMR 관련 계약·투자 소식을 낸 바 있다.
직접 고려하기 어렵지만, 지속 가능성 지표를 공개하는 제공자를 선호하는 것이 한 방법이다. 구글 클라우드는 탄소 제로 인프라 비율을 공개하고, 여러 AI 서비스들이 지속가능성 보고서를 발행한다. 장기적으로 인프라 효율이 좋은 제공자가 가격 경쟁력도 유지할 가능성이 높다.
