Article at a GlanceSK하이닉스가 삼성전자를 제치고 HBM 시장의 선두 주자로 거듭난 데는 돌파형 혁신 전략이 주효했다. 돌파형 혁신은 최상급 시장 고객의 요구를 충족시키는 것을 목표로 산업 전체를 뒤흔들 만한 새로운 기술이나 제품을 개발하는 전략이다. 혁신 초기에는 고객층이 제한적일 수 있지만 점차 확대되면서 주류 시장을 대체할 잠재력을 갖추게 된다. SK하이닉스는 AMD, 엔비디아 등 상위 고객의 요구에 맞춰 메모리 반도체의 성능을 향상시킴으로써 AI 시대의 잠재 수요를 장악했다. 이에 대응하는 삼성전자의 전략은 파괴적 혁신을 통해 현재 엔비디아가 충족시키지 못하는 수요를 공략하는 신제품을 개발하는 것이다. 추론형 AI칩인 마하1이 대표적인 사례다. 삼성전자가 새롭게 부상하는 추론용·저전력 AI 시장을 장악해 새로운 성장의 발판을 마련할 수 있을지 지켜볼 필요가 있다.
요즘 HBM(High Bandwidth Memory, 고대역폭 메모리)에 대한 관심이 뜨겁다. 크게 두 가지 이유 때문이다. 첫째, HBM은 AI(인공지능) 시대에 필수적인 메모리칩이다. 2022년 11월 30일, 오픈AI가 개발한 생성형 AI 챗봇 챗GPT가 등장한 이후 서버용 HBM 시장이 급성장했다. 시장정보회사 트렌드포스(TrendForce)의 추정에 따르면 2022년 D램 산업 내 HBM의 비중은 2.6%(801억 달러 중 21억 달러)를 차지했는데 2023년 8.4%(519억 달러 중 44억 달러)에서 2024년 말에는 20.1%(842억 달러 중 169억 달러)까지 상승할 것으로 전망된다.
둘째, SK하이닉스가 HBM 시장의 선도 기업으로 부상했다. 메모리 반도체 산업계의 언더독(underdog)이었던 SK하이닉스가 선두 주자로 거듭나게 된 데는 돌파형 혁신(breakthrough innovation)이 주효했다. 돌파형 혁신이란 산업 전체를 뒤흔드는 완전히 새로운 기술이나 제품을 개발하는 것으로 불가능을 가능하게 만드는 블록버스터급 혁신을 의미한다. 그렇다면 메모리칩 분야에서 삼성전자에 밀렸던 SK하이닉스는 어떻게 HBM 시장을 개척해 새로운 경쟁 우위를 갖게 됐을까? SK하이닉스의 전략과 더불어 이에 대응하는 삼성전자의 전략적 대안이 무엇인지를 진단해 보고자 한다.
HBM 시장의 부상,SK하이닉스와 삼성전자의 엇갈린 선택2013년 12월, SK하이닉스는 미국의 AMD의 요청에 따라 고성능과 고용량을 동시에 제공하는 혁명적인 차세대 메모리칩을 세계 최초로 개발했다. 당시 AMD는 GDDR5(Graphics Double Data Rate)가 GPU(그래픽처리장치)의 성능 향상을 따라올 수 없다고 판단해 HBM으로 대체하고자 했다. HBM은 4개의 얇은 D램(Dynamic Random-Access Memory)칩을 수직으로 쌓아 올린 후 1024개의 미세한 구멍을 뚫어 데이터 출입 통로(I/O)를 만들고 각 층을 TSV(Through-Silicon Via, 실리콘 관통전극)로 연결해 구성했다.
1
이로써 GDDR5에 비해 4배가량 더 많은 데이터를 빠르게 전송할 수 있게 됐다. 또 HBM은 GPU 근처에 배치돼 전력 소모를 줄이는 장점도 있다. D램을 수직으로 쌓아 올리는 이 까다로운 메모리 기술은 기존의 메모리 기술과 비교했을 때 게임 체인저였다. 당시 AMD의 최고기술책임자였던 조 맥리는 “HBM이 내가 이 세상에서 할 수 있는 것에 대한 시각을 바꾸는 것처럼 당신들의 삶도 변화시킬 것”이라고 말하며 HBM에 대한 기대를 드러냈다.
SK하이닉스는 HBM을 범용 메모리칩이 아닌 고객 맞춤형(customized) 메모리칩으로 간주했다. 그리고 HBM을 필요로 하는 틈새시장(niche market)으로 대량의 데이터를 동시에 병렬로 처리하는 고가용 게임용 GPU 시장을 공략했다. 개발 초기부터 고객사인 AMD와 긴밀한 협력 관계를 구축한 배경이다. 2015년 6월, AMD는 자사의 Fiji GPU와 1세대 HBM을 같은 기판 위에 탑재한 고가의 그래픽카드를 출시했다. SK하이닉스 입장에서 HBM1은 2009년 TSV 기술개발팀을 만들어 연구개발에 착수한 지 6년 만에 출시된 중요한 기술 이정표였다. 이때만 해도 HBM1은 GDDR5에 비해 비싼 가격과 발열 및 내구성 문제로 게임 시장에서 큰 환영을 받지 못했다.
한편 삼성전자는 2015년 HBM 시장에 본격 진입했다. 2세대 HBM 시장을 선점했고 3세대 HBM 양산에도 앞선 것으로 보였다. 그런데 HBM 시장의 성장 잠재력을 확신하기 어려웠기에 2019년 HBM 전담 연구개발팀을 전격 해체하기로 결정하고 양산에 소극적인 입장을 취했다. 이는 당시 HBM이 개발비용이 높고 생산 공정이 복잡할 뿐 아니라 고가에 팔리는 비주류 메모리칩으로 고객군이 극히 한정돼 있었기 때문이다. 리서치 업체 옴디아(Omdia)의 보고서에 따르면 2019년 기준 HBM 시장은 전체 D램 시장의 0.8%에 불과했다.
이와 달리 SK하이닉스는 HBM 사업의 하방 리스크보다 상방 잠재력에 주목해 이 사업에 지속적으로 투자하고 고객들이 원하는 방향으로 성능을 향상시켰다. 2022년, 그래픽칩 제조업체 엔비디아는 학습용 AI에 유용한 자신들의 H100 Tensor Core GPU에 탑재할 4세대 HBM(HBM3) 생산을 삼성전자에 의뢰했는데 삼성전자는 HBM 연구개발팀을 해체한 이후였기 때문에 그럴 여력이 부족했다. 결국 계약은 SK하이닉스로 넘어갔다. 이를 계기로 SK하이닉스는 HBM 시장의 주도권을 잡기 시작했다. 반대로 삼성전자는 HBM 경쟁에서 SK하이닉스에 밀리며 그 책임을 물어 지난 5월 반도체 수장을 교체하는 초강수를 둬야 했다.
최근 로이터통신은 삼성전자의 HBM3 수율이 10~20% 수준인 반면 SK하이닉스는 60~70%를 달성했다고 보도했다. 삼성전자는 TSV를 활용해 D램을 적층하고 본딩할 때 발생하는 압력과 열을 제어하기 위해 열압착 기반 비전도성 접착필름(TC-NCF, Thermal Compression Non-Conductive Film) 공법을 활용하고 있는 것으로 알려졌다. 그러나 이 공법은 적층 수를 늘리면서 데이터를 저장하는 코어 D램 다이(core DRAM die)의 두께가 얇아짐에 따라 칩이 휘거나 깨지는 문제를 야기했다.
반면 SK하이닉스는 일본의 반도체 재료 업체인 나믹스(Namics)와의 소재 독점 공급 협약을 통해 MR-MUF(Mass Reflow-Molded Underfill) 공정을 개발하는 데 성공했다. 이를 통해 발열과 수율 문제를 개선한 SK하이닉스의 HBM3가 AI 반도체 시장의 최강자로 떠오른 엔비디아의 H100 GPU에 탑재되면서 SK하이닉스의 HBM3 시장점유율이 약 90%에 이른 것으로 알려졌다. HBM3는 초당 819GB의 데이터를 처리할 수 있으며 이는 풀 HD급 영화 163편 분량을 1초 만에 내려받을 수 있는 수준이다. SK하이닉스는 돌파형 혁신인 HBM을 통해 메모리칩 시장에서 언더독의 반란을 일으켰으며 삼성전자는 순간의 판단 미스로 추종자(follower)가 돼 버린 것이다.
SK하이닉스의 돌파형 혁신돌파형 혁신을 이해하려면 고(故) 클레이튼 크리스텐슨 하버드경영대학원 교수가 1997년 제시한 파괴적 혁신(disruptive innovation) 이론과 구분할 필요가 있다. (표 1) 돌파형 혁신과 파괴적 혁신의 공통점은 주류 시장(mainstream market)에 있는 고객층을 공략하지 않고 기존에 소홀히 취급되던 고객층을 대상으로 틈새시장을 개척하는 것이다. 그런데 두 가지 혁신에는 중요한 차이점이 있다. 우선 파괴적 혁신을 주도하는 기업은 신규 진입 업체다. 대개 자원이 부족한 이들은 주류 시장에서 기존의 강자들과 경쟁하는 것이 아니라 강자들이 소홀히 여긴 밑바닥(low-end) 고객층을 대상으로 그저 그런 성능을 지닌 제품을 저가로 공급하는 전략을 취할 수밖에 없다. 예를 들어 1990년대 후반 넷플릭스는 블록버스터의 주류 시장에서 경쟁하지 않고 비디오 대여 연체료를 피하려는 고객들을 상대로 DVD 우편 대여 사업을 시작했다가 기술 발달로 온라인 콘텐츠 스트리밍 서비스를 제공하게 됐다.
반면 기존 기업들은 자사의 주류 시장에 있는 고객들의 요구를 충실히 반영하는 것을 성공의 핵심 요소로 여기며 이를 위한 점진적 혁신(incremental innovation)을 통한 신제품 개발에 몰두한다. 이로 인해 이들은 신규 기업이 제품의 성능을 개선시키면서 주류 시장을 점차 침투해 오는 것에 대응하지 못하는 실수를 범한다. 이로 인해 결국 기존 기업의 몰락으로 이어질 수 있다는 게 파괴적 혁신 이론의 골자다.
물론 신생 기업이 파괴적 혁신만을 추구하는 것은 아니다. 신생 기업들도 돌파형 혁신을 통해 산업을 재편할 수 있다. 전기자동차의 혁명을 이룬 테슬라가 좋은 예다. 2008년, 10만 달러에 판매되는 전기자동차인 로드스터를 출시했을 때 테슬라는 그야말로 자동차 업계의 언더독이었다. 이 당시 기존 자동차 업체들은 전기자동차에 회의적인 시각을 지니고 있었는데 그중에서도 도요타가 대표적이었다. 그런데 테슬라처럼 신규 기업이 돌파형 혁신을 통해 성공하는 것은 극히 예외적인 경우다. 기술개발에는 신생 기업이 감당하기 힘들 정도로 상당한 투자와 시간이 소요되기 때문이다. 이런 종류의 혁신은 기존 기업이 추구하는 것이 합당하다. 2007년 애플의 아이폰이 여기에 해당한다. 1976년 창업한 애플은 1997년 파산 직전까지 몰렸고 델의 조롱 대상이자 컴퓨터 업계의 언더독이었다. 그런데 애플은 10년 후 스마트폰 혁명을 통해 우리의 삶을 완전히 바꿨다. 또 다른 예로 미국의 제약업체 화이자는 의약품으로 사용하기 어렵다고 생각되던 메신저 리보핵산(mRNA) 플랫폼을 적용해 세계 최초로 코로나19 백신을 상업화하는 데 성공했다. 이를 통해 2022년 세계 최고의 제약업체인 존슨앤드존슨을 앞지르기도 했다.
돌파형 혁신을 추구하는 기업은 최상급(high-end) 시장에 있는 고객의 요구를 충족시키는 것을 목표로 삼는다. 혁신 초기에는 고객층이 제한될 수 있지만 고가임에도 불구하고 돌파형 혁신의 가치를 인지하는 고객층이 점차 확대되면서 주류 시장을 대체할 잠재력을 갖추게 된다. 예를 들어 HBM은 전체 D램 매출에서 차지하는 비중이 2023년 8%, 2024년 21%에서 2025년 30% 이상으로 커질 것으로 예상된다. 이런 과정에서 언더독의 반란이 성공적으로 일어날 수 있다. 물론 돌파형 혁신에 의해 창출된 시장이 급격히 쇠퇴할 수도 있다. 코로나19 백신 시장이 대표적인 예다. 이 시장의 최대 수혜자였던 화이자와 모더나의 매출액은 코로나19 종식 후 급격히 감소했다. 그러나 돌파형 혁신의 핵심인 메신저 리보핵산 기술 자체는 새로운 의약품 시대를 열었다. 모더나는 이 기술을 활용해 RSV(호흡기 세포융합 바이러스) 예방 백신 시장 진출을 추진하고 있다.반전 꾀하는 삼성전자의 파괴적 혁신SK하이닉스의 공세에 대응해 삼성전자가 취할 수 있는 전략은 크게 두 가지다. 첫째, HBM 시장에서 SK하이닉스와의 정면충돌을 불사하며 경쟁하는 것이다. 그렇다면 삼성전자가 이 시장에서 SK하이닉스를 역전해 최후의 승자가 될 수 있을까? 품질과 수율 문제로 엔비디아에 납품을 할 수 없는 상황을 해결하기 위해 삼성전자는 최고 역량을 갖춘 반도체 직원 100명을 투입했다고 한다. 2024년 3월 말 삼성전자는 6세대 HBM(HBM4) 시장의 주도권을 차지하기 위해 해체됐던 HBM연구개발팀을 재건했다. 이는 300명 규모로 알려졌다.
하지만 HBM 시장에서 삼성전자가 반전의 계기를 찾기 어려울 수도 있다. 삼성전자는 지난 10년간 HBM 시장에서 새로운 강자로 떠오른 SK하이닉스와 힘겨운 경쟁을 해왔다. 그런데 2024년 4월 중순 SK하이닉스는 TSMC와 협력해 6세대 HBM칩을 공동 개발한다는 계획을 발표했다. 이 계획은 GPU에 연결돼 HBM을 제어하는 베이스 로직 다이(base logic die)를 대만의 TSMC가 생산해 그들의 최첨단 파운드리(반도체 위탁생산) 공정과 결합하는 것으로 HBM의 파운드리화가 시작됐음을 보여준다.
HBM은 반제품이며 고객사인 엔비디아의 GPU에 탑재돼 최종 품질인증 과정을 거쳐야 한다. 그런데 엔비디아는 자사의 GPU를 자체적으로 생산하는 것이 아니라 고급 패키징 기술인 CoWoS(Chip-on-Wafer-on-Substrate)를 보유하고 있는 TSMC에 위탁생산을 맡기고 있다. 그래서 삼성전자가 HBM 시장에서 성공하려면 파운드리 시장에서 경쟁 관계에 있는 TSMC와 우호적인 파트너십을 맺어야 하는 상황이다. 이런 상황에서 SK하이닉스는 TSMC와의 전략적 제휴를 통해 엔비디아 같은 고객의 요구 사항에 공동 대응함으로써 세계 최고의 AI 솔루션을 제공하는 전략을 취하고 있다. 삼성전자가 자체적으로 HBM 시장에서 SK하이닉스를 추격하기가 쉽지 않은 이유다. 설상가상으로 마이크론테크놀로지의 공세 역시 무시할 수 없는 변수다. 마이크론은 지난 2월 D램을 여덟 층으로 쌓은 ‘8단 적층 HBM3E’ 대량 생산을 시작했다고 발표한 바 있다. 현재 주력 제품인 삼성전자와 SK하이닉스의 HBM3보다 전력 소비가 30% 적다는 것이 마이크론 측 설명이다. 이 제품은 올 2분기 나오는 엔비디아의 차세대 AI 가속기(대규모 데이터 학습·추론에 특화한 반도체 패키지) ‘H200’에 들어갈 예정이다. 메모리 3사 중 H200 적용을 공식 발표한 곳은 마이크론뿐이다. 삼성과 SK는 상반기 내에 8단 적층 HBM3E 양산에 들어갈 계획이다.
그렇다면 삼성전자는 어떤 행보를 취해야 할까? 앞으로 SK하이닉스는 자사 제품의 성능을 점진적으로 개선해 차세대 HBM 제품을 개발하는 데 집중할 것이며 당분간 높은 시장점유율을 유지할 것으로 전망된다. 또 TSMC의 기술적 역량도 SK하이닉스의 경쟁 우위를 유지하는 데 일조할 것으로 예상된다.
이런 상황에서 삼성전자가 취할 수 있는 대안 전략은 파괴적 혁신을 통해 저가 또는 신규 시장을 개척해 재도약의 발판을 마련하는 것이다. 이를 위해 두 가지 기술 전략을 병행해야 할 것으로 보인다. 단기적으로 수익성이 높고 급성장하는 HBM 시장에서 2등 기업의 지위를 유지하기 위해 HBM4와 같은 차세대 제품을 꾸준히 개발하면서 SK하이닉스와의 기술 격차를 줄여야 한다. 더 나아가 장기적으로 SK하이닉스와 TSMC 연합군의 제휴 관계를 우회할 수 있는 혁신을 통해 새로운 생태계를 구축해야 한다. 그 출발점으로 발상의 전환을 통해 새로운 돌파구를 찾아야 한다. 즉 HBM 시장의 패러다임을 전환시킬 수 있는 제품을 개발해야 한다.
SK하이닉스와 TSMC 연합군은 점진적 혁신을 통해 그들의 주요 고객인 엔비디아의 요구를 충족시키기 위해 협력 관계를 강화하고 시장지배력을 높이려 할 것이다.
이와 달리 삼성전자는 엔비디아의 GPU를 구매해 사용하는 엔비디아 고객들의 충족되지 않은 요구 사항을 해결해야 한다. 이것이 크리스텐슨 교수가 제시한 파괴적 혁신의 중요한 출발점이다. 이런 관점에서 삼성전자가 개발하고 있는 추론용 AI칩인 ‘마하1(Mach-1)’에 대한 기대가 매우 크다. 구글, 아마존, 마이크로소프트 등 클라우드 컴퓨팅의 초대형 고객들조차 엔비디아의 GPU와 SK하이닉스의 HBM 패키지가 너무 비싸고 전력 소모량이 많은 것으로 인식하고 있다. 국내에서는 소프트웨어 분야 1위 기업인 네이버도 이런 불만을 가진 고객 중 하나로 손꼽힌다. 더구나 2024년 3월 24일 월스트리트저널의 기사에 따르면 많은 기업이 학습용 AI에 대한 투자의 필요성을 느끼지만 비용 문제로 실제적인 행동으로 옮기지 못하고 있는 것으로 보인다. 이런 문제점을 해결하기 위해 삼성전자는 마하1 개발을 위해 AI 데이터 처리에 풍부한 경험을 가진 네이버와 전략적 제휴를 맺었다. 소프트웨어 개발은 네이버가, 칩 디자인과 생산은 삼성전자가 맡는 것으로 알려졌다.AI 반도체 시장은 학습용·고전력 AI 시장에서 추론용·저전력 AI 시장으로 옮겨가고 있다.
2
학습용 AI 시장이 성숙기로 진입하면 HBM 출하량의 성장세가 둔화될 것으로 보인다. 시장조사기관인 가트너에 따르면 2023년에 20억 달러 규모였던 HBM 시장은 2025년 49억 달러, 2026년 49억 달러, 2027년에는 52억 달러(약 6조 8000억 원) 내외로 예상된다. HBM의 수요가 엔비디아의 GPU 수요와 연관돼 있음을 고려할 때 이런 예측은 학습용 AI 시장의 폭발적 성장이 2, 3년 후 둔화될 수 있음을 시사한다. 반면에 추론용 AI 시장은 급성장할 것으로 예상되는데 시장조사업체 트랙티카에 따르면 2025년 전 세계 AI 반도체 수요의 78%가 추론용으로 사용될 것으로 전망되고 있다.
이런 변화에 맞춰 삼성전자는 HBM을 대체할 D램으로 저소비 전력의 ‘LPDDR(Low Power Double Date Rate)’을 고려하고 있다. HBM은 TSV를 활용해 GPU와 D램 사이에 방대한 데이터가 지나가는 도로망을 넓혀 데이터 병목현상을 줄이도록 설계됐다. 이와 달리 마하1은 연산에 불필요한 데이터를 가지치기해(pruning) 메모리 안에 저장되고 전송되는 데이터 크기 자체를 경량화하는 방식을 채택하고 있다. 그 결과 넓은 도로망 역할을 하는 고가의 HBM을 굳이 탑재할 이유가 없어진다. 대신 삼성전자는 스마트폰과 태블릿 같은 모바일 기기에 들어가는 LPDDR로 대체한다는 계획이다. 당장 엔비디아의 GPU를 완전히 대체하기는 어렵겠지만 장기적으로 엔비디아의 GPU를 삼성전자가 자체 개발한 NPU(신경망 처리 장치)로 대체할 계획이다. 마하1은 GPU와 메모리 사이에 데이터 병목현상을 8분의 1로 줄여 전력 효율은 8배 정도 높지만 가격은 10분의 1 수준이라고 한다. 여기서 저전력·저비용의 추론용 AI 시장을 선점하려는 삼성전자의 AI 전략을 엿볼 수 있다.
추론용 AI 시장 또한 클라우드 기반과 에지(edge) 또는 온디바이스(on-device) 기반으로 나눌 수 있다. 클라우드 기반의 추론용 AI 시장의 경우 엔비디아의 블랙웰, 아마존웹서비스의 인퍼런시아, 구글의 클라우드 텐서 처리장치(TPU) 등 초대형 테크 기업들이 내놓은 AI칩들 간의 경쟁이 치열하게 벌어지고 있다. 반면 에지 또는 온디바이스 기반의 추론용 AI 시장은 아직까지 무주공산이다. 이에 삼성전자는 마하1을 통해 새로운 시장을 선점해 경쟁 우위를 확보할 수 있는 교두보를 마련해야 한다. 이러한 전략은 궁극적으로 스마트폰, 스마트워치, TV 등 자사의 다양한 온디바이스 AI 사업 영역과의 상당한 시너지를 창출할 것으로 기대된다.
AI 반도체 산업의 승자는?2024년 2월 25일 자 월스트리트저널 기사에 따르면 엔비디아의 영향력은 학습용·고전력 AI 시장에서 클라우드 기반의 추론형 AI 시장으로 확대되고 있다. 아울러 SK하이닉스가 공급하는 HBM의 수요도 클라우드 기반의 추론형 AI 시장에서 당분간 꾸준히 유지될 것으로 보인다. 예를 들어 아마존웹서비스는 인퍼런시아1의 경우 가속기당 8GM의 DDR4 메모리를 사용했지만 인퍼런시아2로 전환하면서 32GB의 HBM을 사용해 총메모리를 인퍼런시아1보다 4배 늘리고 메모리 대역폭을 10배 높이기로 결정했다.
만약 삼성전자가 이런 상황을 뒤집을 수 없다면? 굳이 뒤집을 필요가 없다. 다시 말해 삼성전자는 HBM 시장에서 2등을 해도 괜찮다. 대신 크리스텐슨 교수의 파괴적 혁신 이론이 제시하는 해법을 따르면 된다. NPU/LPDDR 아키텍처를 중심으로 에지 또는 온디바이스 기반의 추론용·저전력 AI 시장을 개척해 새로운 성장의 발판을 마련하는 것이다. 2023년 말 삼성전자의 현금 보유액은 69조 원에 달한다. 추론용·저전력 AI 시장을 선점하고 경쟁 우위를 신속히 확보하기 위해 관련 기술을 보유한 기업에 대한 대형 인수합병(M&A)도 고려해볼 만하다. 현재 SK하이닉스와 삼성전자 사이에서 벌어지고 있는 HBM 시장에서의 역동적인 경쟁이 앞으로 AI 반도체 시장에 어떤 지각변동을 가져올지 주목할 필요가 있다.
닫기
