HBM이 뭐길래? 기존 메모리와 무엇이 다를까? AI 시대가 만든 메모리 혁명

“메모리는 저장장치일 뿐이다.”

 

몇 년 전까지만 해도 이 말은 틀리지 않았다. 컴퓨터의 성능을 이야기할 때는 CPU와 GPU가 주인공이었고, 메모리는 그저 데이터를 잠시 보관하는 조연 정도로 여겨졌다.

하지만 AI 시대가 시작되면서 상황은 완전히 달라졌다.

이제는 “좋은 AI는 좋은 메모리에서 시작된다.” 라고 말해도 과언이 아니다.

최근 HBM(High Bandwidth Memory)의 가격이 급등하고, 전 세계 반도체 기업들이 HBM 확보 경쟁에 뛰어든 이유도 바로 여기에 있다.

오늘은 HBM이 기존 메모리와 무엇이 다른지, 왜 갑자기 세상의 중심에 서게 되었는지, 그리고 앞으로 메모리 기술은 어떤 방향으로 발전할지 쉽게 알아보자.

기존 DRAM은 어떻게 생겼을까?

우리가 사용하는 PC나 노트북의 RAM은 대부분 DDR DRAM이다.

이 메모리는 긴 기판 위에 여러 개의 메모리 칩이 나란히 배치되어 있다.

DDR DRAM Module

 

이 방식은 제작이 쉽고 가격도 저렴하다.

하지만 데이터가 이동하는 통로(Bandwidth)가 제한적이라는 단점이 있다.

즉, 데이터를 많이 저장하는 것은 가능하지만 한 번에 전달하는 속도에는 한계가 있다.

HBM은 구조부터 완전히 다르다

HBM은 이름 그대로 High Bandwidth Memory

즉, 초고대역폭 메모리이다.

기존 메모리가 옆으로 배열되었다면 HBM은 위로 쌓는다.

HBM(고대역폭 메모리)

여기서 핵심 기술이 바로 TSV(Through Silicon Via)이다.

TSV는 실리콘 내부를 관통하는 아주 작은 전극 봉 역할을 한다.

 

이를 통해 여러 개의 DRAM 칩이 마치 하나의 메모리처럼 동작한다.

쉽게 말하면, 기존 메모리가 일반 도로라면 HBM은 수십 차선 고속도로를 만든 것과 같다.

기존 메모리와 HBM의 차이

구분	기존 DDR 메모리	HBM
구조	평면 배치	수직 적층
연결 방식	PCB 배선	TSV 연결
대역폭	낮음	매우 높음
소비전력	상대적으로 높음	전송 효율이 높아 더 낮은 전력으로 대역폭 확보
사용처	PC, 서버	AI GPU, 데이터센터, 슈퍼컴퓨터

 

HBM의 가장 큰 장점은 엄청난 속도와 대역폭이다.

GPU가 아무리 계산을 빨리 해도 데이터를 충분히 공급받지 못하면 성능은 크게 떨어진다.

이를 흔히 메모리 병목(Memory Bottleneck)이라고 한다.

HBM은 바로 이 문제를 해결하기 위해 등장했다.

왜 AI는 HBM을 필요로 할까?

예전 프로그램은 몇 MB에서 몇 GB 정도의 데이터를 처리했다.

하지만 생성형 AI는 다르다.

예를 들어, 대규모 언어모델(LLM)은 수천억 개 이상의 파라미터를 동시에 읽고 계산해야 한다.

GPU는 초당 수십조 번의 연산을 수행하지만 데이터가 늦게 도착하면 GPU는 기다릴 수밖에 없다.

즉, GPU 성능보다 메모리 속도가 더 중요해지는 시대가 된 것이다.

AI 시대가 HBM 수요를 폭발시킨 이유

① 생성형 AI의 등장

ChatGPT 이후 모든 기업들이 AI 개발 경쟁에 뛰어들었다.

AI 모델 규모는 계속 커지고 있다.

모델이 커질수록 필요한 메모리 용량과 대역폭도 기하급수적으로 증가한다.

 

② GPU 하나에 HBM이 여러 개 들어간다

최신 AI GPU 한 개에는여러 개의 HBM 스택이 탑재된다.

즉, GPU 판매가 늘어날수록 HBM 수요도 함께 증가한다.

 

③ 데이터센터가 폭발적으로 늘어난다

AI 서비스를 운영하려면 엄청난 수의 GPU 서버가 필요하다.

데이터센터에는 수천~수만 개의 GPU가 들어간다.

결국 HBM도 그만큼 필요해진다.

 

④ 공급은 쉽게 늘릴 수 없다

HBM은 일반 DRAM보다 훨씬 만들기 어렵다.

필요한 기술도 많다.

• TSV 공정
• 초정밀 적층
• 열 관리
• 고난도 패키징
• 수율 확보

생산량을 갑자기 늘리기 어려운 이유가 바로 여기에 있다.

왜 HBM 가격은 계속 오를까?

경제 원리는 단순하다.

수요는 폭발한다. 하지만 공급은 천천히 증가한다.

그러면 가격은 올라간다.

특히 AI 산업은 앞으로도 계속 성장할 것으로 전망되기 때문에 HBM 시장은 당분간 높은 수요가 이어질 가능성이 크다.

앞으로 메모리 기술은 어디까지 발전할까?

HBM은 끝이 아니다.

앞으로 메모리는 더욱 빠르고, 더 많이 저장하며, 더 가까이에서 연산하는 방향으로 진화하고 있다.

 

① 더 높은 적층

현재도 여러 층의 DRAM을 적층하지만 앞으로는 더 많은 층을 안정적으로 쌓는 기술이 발전할 것이다.

적층 수가 늘어나면 용량과 대역폭이 더욱 증가한다.

 

② 더 빠른 인터페이스

HBM은 계속 세대를 거듭하며 전송 속도를 높이고 있다.

차세대 HBM은 더 넓은 대역폭과 더 낮은 소비전력을 목표로 개발되고 있다.

 

③ 패키징 기술의 중요성 증가

이제 반도체 경쟁력은 칩만 잘 만드는 것으로 끝나지 않는다.

메모리와 GPU를 얼마나 가깝게 연결하느냐가 중요하다.

이를 가능하게 하는 것이 첨단 패키징 기술이다.

앞으로는 메모리와 프로세서를 하나의 패키지 안에서 더욱 긴밀하게 통합하는 방식이 확대될 전망이다.

 

④ 메모리 안에서 계산하는 시대

가장 큰 변화는 PIM(Processing-In-Memory) 기술이다.

기존에는 메모리가 데이터를 CPU나 GPU로 보내고 연산 후 다시 받아왔다.

하지만 앞으로는 메모리 내부에서 일부 연산을 직접 수행하는 기술이 확대될 가능성이 크다.

이렇게 되면 데이터 이동이 크게 줄어들고 AI 연산 효율은 더욱 높아질 수 있다.

결국 AI 시대의 승자는 메모리 기술이다

AI 시대의 핵심은 더 이상 연산 성능만이 아니다.

얼마나 많은 데이터를 얼마나 빠르게 공급할 수 있는지가 시스템 전체의 성능을 좌우한다.

HBM은 이러한 요구를 충족시키기 위해 등장한 메모리 기술이며, 앞으로도 AI·데이터센터·고성능 컴퓨팅(HPC) 분야에서 핵심적인 역할을 할 것이다.

메모리는 이제 단순한 저장장치가 아니다.

AI 시대의 성능을 결정하는 핵심 인프라이며, 반도체 산업의 새로운 경쟁 무대가 되고 있다.

 

한 줄 정리

CPU와 GPU가 ‘생각하는 뇌’라면, HBM은 그 뇌가 멈추지 않도록 지식을 끊임없이 공급하는 ‘초고속 혈관’이다. AI가 더 똑똑해질수록, HBM의 중요성은 더욱 커질 것이다.