AI 반도체 시장의 경쟁 구도가 바뀌고 있다.
지금까지 인공지능 반도체 시장의 핵심 경쟁은 누가 더 강력한 GPU를 만드는가에 가까웠다. 그러나 생성형 AI가 학습을 넘어 실제 서비스 단계로 확산하면서 새로운 문제가 등장하고 있다.
바로 AI 추론(Inference)이다.
사용자가 챗봇에 질문하고, AI 코딩 도구가 코드를 생성하며, 음성 에이전트가 실시간으로 응답하는 과정에서는 학습과 다른 형태의 연산이 필요하다. 특히 응답 속도와 토큰당 비용, 전력 효율이 중요해지면서 GPU만으로 모든 AI 연산을 처리하는 구조에 대한 대안이 등장하고 있다.
그런데 시장의 중심에 있는 엔비디아가 의외의 선택을 했다.
자신의 GPU와 경쟁할 수 있는 맞춤형 AI 가속기(XPU)를 엔비디아의 데이터센터 인프라 안으로 받아들이기 시작한 것이다.
9월 10일 미국 AI 반도체 스타트업 d-Matrix는 차세대 추론용 XPU인 Raptor를 엔비디아의 MGX 랙과 NVLink Fusion에 통합한다고 발표했다.
첫 시스템은 2027년 4분기 출시가 예상된다. ([출처: Reuters, 2026.09.10])
이 소식은 단순한 스타트업 협업 이상의 의미를 갖는다.
엔비디아가 바라보는 미래의 AI 데이터센터가 “GPU만 사용하는 공간”에서 “GPU·CPU·맞춤형 XPU가 함께 작동하는 AI 공장”으로 바뀔 가능성을 보여주기 때문이다.
1. 엔비디아가 왜 경쟁 AI칩을 받아들이나
엔비디아의 가장 강력한 경쟁력은 단순히 GPU 성능만이 아니다.
GPU와 CUDA를 중심으로 네트워크, NVLink, 데이터센터 랙, 소프트웨어, 서버 설계, 냉각, 전력 및 공급망까지 연결한 AI 인프라 생태계가 핵심이다.
이 때문에 AI 반도체 스타트업이 아무리 뛰어난 칩을 개발해도 실제 데이터센터에 대규모로 배치하려면 별도의 시스템과 네트워크를 구축해야 한다.
엔비디아는 이 문제를 NVLink Fusion으로 해결하려 한다.
엔비디아가 설명하는 NVLink Fusion은 하이퍼스케일러와 AI 기업이 자체 설계한 XPU나 CPU를 엔비디아의 NVLink 네트워크와 MGX 랙 아키텍처에 연결할 수 있도록 하는 플랫폼이다.
즉,
“AI칩을 직접 만들고 싶다면 엔비디아와 경쟁하라”
가 아니라
“AI칩을 직접 만들더라도 엔비디아 생태계 안에서 작동하게 하라”
는 전략에 가깝다.
([출처: NVIDIA, NVLink Fusion 공식 자료])
2. 이번 d-Matrix 협력이 중요한 이유
d-Matrix는 AI 추론에 특화된 반도체를 개발하는 기업이다.
회사는 기존 GPU 중심 구조에서 발생하는 추론 비용과 지연시간 문제를 해결하기 위해 메모리 중심 컴퓨팅(memory-centric computing) 구조를 개발하고 있다.
이번 협력에서 핵심이 되는 제품은 차세대 Raptor XPU다.
d-Matrix는 Raptor를 엔비디아의 MGX 랙에 직접 연결하고 NVLink Fusion을 이용해 엔비디아의 AI 인프라와 함께 사용할 계획이다.
여기에 NVIDIA Vera CPU, NVLink 스위치, BlueField-4 DPU, ConnectX-9 SuperNIC, Spectrum-X 네트워크 등을 결합한다.
첫 번째 Raptor 기반 MGX 시스템은 2027년 4분기 출시가 목표다.
([출처: d-Matrix, 2026.09.10])
이는 스타트업 입장에서 상당히 큰 의미가 있다.
자체적으로 데이터센터용 랙과 네트워크 생태계를 처음부터 구축하는 대신 엔비디아가 이미 구축해 놓은 인프라를 활용할 수 있기 때문이다.
3. 진짜 변화는 ‘AI 학습’에서 ‘AI 추론’으로 넘어가는 과정
지금까지 AI 반도체 시장에서는 대규모 모델을 학습시키는 데 필요한 GPU가 가장 큰 관심을 받았다.
하지만 생성형 AI가 실제 서비스에 들어가면서 상황이 달라지고 있다.
예를 들어 사용자가 ChatGPT 같은 서비스를 이용하거나 AI 코딩 에이전트를 실행할 때마다 AI 모델은 지속적으로 추론을 수행한다.
특히 앞으로 AI 에이전트가 사람 대신 장시간 작업을 수행한다면 추론량은 더욱 증가할 가능성이 있다.
이때 중요한 것은 단순한 최고 연산성능이 아니다.
응답 지연시간, 토큰 생성 속도, 전력 효율, 메모리 접근 속도, 토큰당 비용이 중요해진다.
d-Matrix가 바로 이 시장을 노리고 있다.
회사는 2026년 6월 기존 Corsair 추론 가속기의 본격 생산에 들어갔다고 발표했으며, GPU와 가속기를 조합하는 이기종 컴퓨팅 환경에서 특정 추론 작업의 속도를 크게 높일 수 있다고 설명했다. ([출처: d-Matrix, 2026.06.09])
4. ‘GPU vs XPU’가 아니라 GPU + XPU 시대가 온다
이번 뉴스에서 가장 주목할 부분은 이것이다.
d-Matrix가 엔비디아 GPU를 대체하려는 것이 아니라 GPU와 XPU를 함께 사용하는 구조를 만들고 있다는 점이다.
예를 들어 AI 코딩 서비스에서는 모델에 입력을 처리하는 과정인 프리필(prefill)은 GPU가 담당하고, 실제 답변을 생성하는 디코드(decode) 단계는 추론 XPU가 담당하는 식의 분업이 가능하다.
d-Matrix는 이를 이기종 컴퓨팅 또는 분리형 추론(disaggregated inference) 구조로 설명한다. ([출처: d-Matrix])
결국 미래의 AI 데이터센터는 다음과 같은 구조로 발전할 가능성이 있다.
CPU
↓
GPU
↓
전용 AI 가속기(XPU)
↓
HBM·메모리
↓
고속 인터커넥트
↓
네트워크
↓
AI 데이터센터
이 구조에서는 하나의 칩이 모든 작업을 처리하는 것이 아니라 업무에 따라 가장 효율적인 연산기를 선택하는 방식이 중요해진다.
5. 엔비디아의 진짜 무기는 NVLink가 될 수 있다
여기에서 엔비디아의 전략을 한 단계 더 볼 필요가 있다.
엔비디아가 GPU 시장에서 강력한 이유는 GPU 성능만이 아니다.
AI 데이터센터에서는 수많은 프로세서가 서로 데이터를 주고받아야 한다.
이 과정에서 프로세서 사이의 연결 속도가 느리면 아무리 좋은 칩을 사용해도 전체 시스템 성능이 떨어진다.
NVLink는 바로 이 문제를 해결하기 위한 고속 연결 기술이다.
엔비디아는 NVLink Fusion을 통해 자체 GPU뿐 아니라 외부에서 설계한 XPU와 CPU까지 엔비디아의 AI 공장 구조에 연결하려 하고 있다.
엔비디아에 따르면 NVLink Fusion은 6세대 NVLink를 기반으로 XPU 간 최대 3TB/s 수준의 all-to-all 대역폭을 제공하며, 일반적인 이더넷 기반 연결보다 낮은 지연시간을 목표로 한다. ([출처: NVIDIA])
이 전략이 성공하면 엔비디아의 사업 구조는 단순한 GPU 회사에서 AI 컴퓨팅 플랫폼 회사로 더욱 확대될 수 있다.
6. 이미 삼성전자·미디어텍도 NVLink Fusion 생태계에 들어왔다
d-Matrix가 처음은 아니다.
엔비디아는 이미 여러 반도체 기업과 NVLink Fusion 생태계를 확대하고 있다.
대표적인 기업이 미디어텍이다.
엔비디아와 미디어텍은 2026년 8월 31일 협력을 확대하면서 미디어텍이 NVLink Fusion을 활용해 맞춤형 XPU를 개발하고 엔비디아의 랙스케일 AI 팩토리에 연결하는 계획을 발표했다. ([출처: NVIDIA, 2026.08.31])
더 눈여겨볼 기업은 삼성전자다.
엔비디아가 공개한 NVLink Fusion 생태계에는 Samsung도 파트너로 포함돼 있다.
삼성전자는 최근 미스트랄AI와 협력해 반도체 설계·제조 과정에 온프레미스 AI 모델을 적용하기로 했으며, AI 반도체와 메모리 분야에서 AI 인프라 경쟁력을 강화하고 있다. ([출처: 삼성전자])
따라서 NVLink Fusion은 단순한 네트워크 기술이 아니라 AI 반도체·HBM·패키징·파운드리·서버·데이터센터를 연결하는 플랫폼 경쟁으로 확대될 가능성이 있다.
7. NVIDIA NVHBM까지 등장…메모리까지 플랫폼화한다
NVLink Fusion 전략에서 또 하나 중요한 변화는 메모리다.
엔비디아는 9월 초 NVLink Fusion을 맞춤형 고대역폭 메모리 기술인 NVHBM으로 확장했다.
AI 모델이 커질수록 연산 능력뿐 아니라 데이터를 얼마나 빠르게 메모리에서 가져올 수 있는지가 시스템 성능을 좌우하기 때문이다.
엔비디아는 NVHBM을 통해 XPU에 더 높은 메모리 성능과 효율성을 제공하는 방향을 제시하고 있으며, Amazon의 Annapurna Labs가 첫 협력 파트너로 참여하고 있다. ([출처: NVIDIA Korea])
이 흐름을 연결하면 엔비디아의 전략은 상당히 명확해진다.
GPU → XPU → NVLink → HBM → 네트워크 → 랙 → 데이터센터
AI 인프라의 주요 구성요소를 하나의 플랫폼으로 연결하려는 것이다.
8. 이것이 삼성전자와 SK하이닉스에 중요한 이유
AI 반도체 시장에서 GPU 경쟁만 보면 엔비디아와 AMD의 경쟁에 시선이 집중된다.
하지만 AI 데이터센터의 규모가 커질수록 메모리와 인터커넥트의 중요성도 커진다.
특히 AI 가속기의 성능을 제대로 활용하려면 고대역폭 메모리와 고속 데이터 이동이 필요하다.
이는 HBM을 생산하는 삼성전자와 SK하이닉스에 중요한 시장이다.
더구나 엔비디아가 GPU만이 아니라 XPU와 맞춤형 반도체까지 자사 인프라에 연결하기 시작하면 AI 가속기 종류가 늘어날수록 고성능 메모리와 패키징 수요가 확대될 가능성도 있다.
다만 여기서 주의할 점도 있다.
NVLink Fusion의 확대가 곧바로 삼성전자나 SK하이닉스의 특정 제품 매출 증가를 의미하는 것은 아니다.
실제 수혜 여부는 HBM 세대, 고객사 인증, 공급계약, 생산량 등에 따라 달라진다.
따라서 단순히 “NVLink Fusion = HBM 수혜”라고 연결하기보다는 AI 가속기 시장의 다변화가 고성능 메모리 시장에 어떤 추가 수요를 만드는지를 지켜봐야 한다.
9. 엔비디아가 경쟁자를 받아들이면 오히려 독점력이 강해질까
이번 뉴스에서 가장 흥미로운 부분이다.
일반적인 시장 논리라면 엔비디아는 새로운 AI칩 업체가 등장하는 것을 경계해야 한다.
하지만 엔비디아는 반대로 움직이고 있다.
경쟁 칩이 엔비디아의 생태계를 떠나는 것보다 엔비디아 플랫폼 안으로 들어오는 것이 더 유리하다고 판단한 것이다.
이렇게 되면 AI칩 업체들은 자신만의 차별화된 연산 구조를 개발할 수 있고, 엔비디아는 NVLink·네트워크·랙·소프트웨어·데이터센터 생태계에서 영향력을 유지할 수 있다.
이는 스마트폰 시장에서 운영체제와 앱 생태계가 중요한 것과 비슷한 플랫폼 전략으로 볼 수 있다.
향후 AI칩 시장에서
“누가 가장 빠른 칩을 만드는가”
만큼이나
“누가 가장 많은 칩을 연결할 수 있는 플랫폼을 갖고 있는가”
가 중요해질 수 있다는 의미다.
10. NVIDIA가 AMD·ASIC 업체를 완전히 배제하지 않는 이유
AI 반도체 시장의 미래가 모두 엔비디아 GPU 하나로 통일될 가능성은 높지 않다.
구글은 TPU를 개발하고 있고, 아마존은 Trainium·Inferentia 계열을 확대하고 있으며, 마이크로소프트 역시 자체 AI 가속기 전략을 추진하고 있다.
OpenAI 역시 자체 AI칩 개발을 확대하고 있다.
[내부링크: OpenAI, 삼성전자와 차세대 AI칩 협력…미스트랄AI까지 품은 삼성, AI 반도체 판 바뀌나]
따라서 앞으로는 AI 모델 기업과 클라우드 기업들이 각자의 비용 구조와 서비스에 맞는 맞춤형 반도체를 개발할 가능성이 높다.
이때 엔비디아가 모든 칩과 직접 경쟁한다면 시장을 방어하기 어려울 수 있다.
반대로 맞춤형 칩이 엔비디아의 네트워크와 랙에서 작동하도록 만들면 엔비디아의 플랫폼 영향력을 유지할 수 있다.
이것이 NVLink Fusion의 전략적 의미다.
11. AI 데이터센터도 ‘GPU 중심’에서 ‘이기종 컴퓨팅’으로
AI 데이터센터 시장에도 변화가 예상된다.
기존에는
GPU → 서버 → 데이터센터
라는 단순한 구조로 이해하기 쉬웠다.
하지만 AI 모델이 복잡해지고 에이전트가 늘어나면 다양한 작업에 특화된 프로세서가 필요해질 수 있다.
앞으로는
CPU + GPU + XPU + HBM + 네트워크 + 스토리지
를 하나의 시스템으로 최적화하는 방향이 중요해질 가능성이 높다.
[내부링크: AI 데이터센터 전력난 현실화…SMR·액체냉각 관련주 5곳 주목]
여기서 전력과 냉각 문제도 다시 연결된다.
같은 AI 서비스를 더 적은 전력으로 처리할 수 있다면 데이터센터 운영비를 낮출 수 있기 때문이다.
따라서 AI 반도체 경쟁은 결국 연산성능 경쟁에서 토큰당 비용·전력효율 경쟁으로 이동할 가능성이 있다.
12. News1608 분석: 엔비디아의 다음 경쟁력은 ‘GPU’가 아닐 수도 있다
AI 반도체 시장에서 엔비디아를 평가할 때 GPU만 보면 중요한 변화를 놓칠 수 있다.
엔비디아는 이미 GPU를 넘어 CPU, 네트워크, DPU, 스위치, 랙, 소프트웨어까지 AI 데이터센터 전체를 연결하고 있다.
NVLink Fusion은 여기에 외부 AI칩까지 끌어들이는 전략이다.
d-Matrix의 Raptor가 2027년 엔비디아 MGX 랙에 들어가고, 미디어텍 역시 NVLink Fusion 기반 맞춤형 XPU 개발에 나선 상황은 이러한 변화를 보여주는 사례다.
따라서 앞으로 AI 반도체 시장의 경쟁은 두 가지 방향으로 나뉠 가능성이 있다.
첫 번째는 칩의 차별화다.
더 빠르고, 더 저렴하고, 더 적은 전력으로 AI를 처리하는 전용 반도체가 등장할 수 있다.
두 번째는 플랫폼의 통합이다.
이렇게 만들어진 다양한 칩을 얼마나 효율적으로 연결하고 데이터센터에 배치할 수 있는지가 새로운 경쟁력이 된다.
엔비디아는 두 번째 영역을 선점하려는 것으로 볼 수 있다.
13. 투자자들이 앞으로 확인해야 할 지표
NVLink Fusion 관련 기업을 단순히 ‘엔비디아 수혜주’로 접근하기보다는 다음 지표를 확인할 필요가 있다.
첫째, 실제 XPU 양산 여부
설계 단계와 실제 데이터센터 공급은 전혀 다르다.
둘째, 고객사의 채택 규모
실제 하이퍼스케일러와 AI 연구소가 얼마나 많은 칩을 도입하는지가 중요하다.
셋째, 추론 비용 개선
AI 서비스 기업 입장에서는 최고 성능보다 토큰당 비용과 응답속도가 중요한 지표가 될 수 있다.
넷째, HBM 및 메모리 수요
XPU 시장이 확대될수록 고성능 메모리의 중요성도 커질 수 있다.
다섯째, 엔비디아 생태계 의존도
NVLink Fusion 파트너가 성장할수록 엔비디아의 플랫폼 영향력도 커질 수 있지만, 반대로 특정 파트너에 대한 의존도가 높아질 경우 협상력 문제가 발생할 수도 있다.
결론: AI 반도체 전쟁의 승자는 ‘가장 좋은 칩’이 아니라 ‘가장 많이 연결하는 플랫폼’일 수 있다
엔비디아가 d-Matrix의 Raptor XPU를 자사 AI 데이터센터 플랫폼에 받아들이는 것은 단순한 스타트업 협업으로 보기 어렵다.
AI 추론 시장이 커지고 맞춤형 AI 반도체가 늘어나면서 엔비디아가 선택한 전략은 모든 칩을 직접 만드는 것이 아니라, 다양한 칩이 엔비디아의 연결망 안에서 작동하도록 만드는 것에 가깝다.
NVLink Fusion은 그 중심에 있다.
앞으로 AI 반도체 시장은
GPU → 맞춤형 XPU → HBM → 인터커넥트 → 서버 → 데이터센터 → AI 서비스
전체를 하나의 시스템으로 보는 방향으로 이동할 가능성이 높다.
이 과정에서 엔비디아의 경쟁자는 반드시 엔비디아를 무너뜨려야 하는 것이 아니라, 오히려 엔비디아 플랫폼에 올라타면서 시장을 확대할 수도 있다.
News1608이 주목하는 부분도 바로 여기에 있다.
AI 반도체 시장의 다음 경쟁은 ‘누가 엔비디아를 이길 것인가’에서 ‘누가 AI 인프라의 다음 표준을 장악할 것인가’로 이동할 가능성이 있다.
그리고 그 경쟁의 중심에는 GPU뿐 아니라 XPU·HBM·네트워크·패키징·데이터센터가 함께 자리 잡을 전망이다.
※ 본 기사는 AI 반도체 및 데이터센터 산업의 기술·시장 동향을 설명하기 위한 정보성 콘텐츠입니다. 특정 종목이나 자산의 매수·매도를 권유하는 금융자문이 아니며, 실제 기업의 실적과 주가는 기술 상용화·고객사 채택·공급계약·시장 상황 등에 따라 달라질 수 있습니다.
