- 자율주행차와 로봇 등 현장에서 즉각 반응해야 하는 '피지컬 AI' 시대가 오면서, 통신 지연과 전력 소모 문제를 해결할 온디바이스 AI 반도체의 수요가 급증하고 있습니다.
- 엔비디아의 고성능 GPU는 전력 소모가 커서 배터리로 구동되는 디바이스에 탑재하기 어려우며, 이를 해결하기 위해서는 애플의 M칩처럼 용도에 맞게 아키텍처를 최적화한 초저전력 NPU가 필수적입니다.
- 데이터센터의 전력 및 부지 부족 문제가 온디바이스 AI 전환을 가속화하고 있으며, 이 과정에서 엣지 디바이스용 반도체와 새로운 메모리 기술(PIM) 시장이 크게 성장할 것으로 전망됩니다.
세상의 모든 지식 언더스탠딩입니다. 여러분, 인공지능 시대가 오면 엔비디아 주식이나 메모리 반도체만 사면 되는 줄 아셨죠? 그런데 여기서 핵심이 뭐냐면, 앞으로의 AI는 데이터센터를 벗어나 로봇, 자율주행차, 스마트 공장 같은 '피지컬 AI(Physical AI)' 영역으로 빠르게 이동한다는 겁니다. 문제는 기존의 전기를 엄청나게 먹는 고성능 칩으로는 배터리로 움직이는 현장의 디바이스들을 굴릴 수 없다는 점입니다. 오늘은 애플 수석 엔지니어 출신인 딥엑스 김녹원 대표의 이야기를 통해, 왜 초저전력 AI 반도체가 새로운 시대의 필수 조건이 되었는지, 그리고 기존의 강자 엔비디아가 왜 이 시장을 당장 집어삼키기 어려운지 파헤쳐 보겠습니다.
통신망이 끊기면 로봇은 멈춰야 할까요?
우리가 흔히 쓰는 챗GPT 같은 AI는 두뇌가 거대한 데이터센터에 있습니다. 디바이스는 그저 통신망을 통해 데이터를 보내고 결과만 받아오는 방식이죠. 그런데 자율주행 자동차나 공장 자동화 로봇이라면 이야기가 완전히 달라집니다. 통신이 끊기거나 지연되는 순간, 자율주행차는 길을 잃고 대형 사고를 낼 수 있습니다. 공장에서는 1번 기계와 2번 기계의 박자가 어긋나 재해가 발생할 수도 있죠.
또한 보안 문제도 간과할 수 없습니다. 공장 내부의 모든 상황을 카메라로 찍어 외부 데이터센터로 보내면, 해킹 한 번에 산업 기밀이 통째로 유출될 위험이 잖아요. 결국 피지컬 AI 시대에는 기기 자체가 스스로 연산하고 판단하는 온디바이스 AI(On-Device AI)가 선택이 아닌 필수가 됩니다. 통신망에 의존하지 않고 현장에서 즉각적으로 반응해야 하기 때문입니다.
엔비디아 칩을 디바이스에 꽂을 수 없는 결정적 이유
그럼 데이터센터에 들어가는 뛰어난 엔비디아 칩을 로봇 머리에 심으면 되는 거 아니냐고 생각하시죠? 여기서 가장 큰 장벽이 바로 '전력 소모'입니다. 현재 엔비디아가 피지컬 AI 용도로 내놓은 시스템의 전력 소모는 약 140W에 달합니다. 우리가 쓰는 일반적인 노트북이 10~20W 정도를 쓰는데, 그보다 훨씬 많은 전기를 먹는 셈입니다.
배터리를 짊어지고 다녀야 하는 로봇이나 드론에 140W짜리 칩을 달면 한 시간도 못 가서 방전되고 맙니다. 게다가 발열도 엄청나서 쿨링팬을 강하게 돌려야 하는데, 먼지가 많은 스마트 공장의 산업용 PC(IPC)는 고장을 막기 위해 아예 쿨링팬을 막아놓고 씁니다. 이런 가혹한 환경에서 버티려면 전력은 아주 조금 먹으면서 열도 나지 않는, 그러면서도 AI 연산은 훌륭하게 해내는 완전히 새로운 칩이 필요합니다.
애플에서 반도체 개발을 경험하며 얻은 통찰과 기술적 고민을 나누고 있습니다.
애플의 독한 철학이 만든 '아키텍처 최적화'
아니, 성능이 좋으면 당연히 전기를 많이 먹는 거 아니야? 어떻게 전기는 덜 먹으면서 성능을 높일 수 있을까요? 그 비밀은 '아키텍처 최적화'에 있습니다. 과거 애플이 아이폰과 맥북에 들어가는 칩을 설계할 때 보여준 방식이 정확히 이렇습니다. 애플은 경쟁사보다 코어 수나 메모리 용량을 4분의 1만 쓰고도 벤치마크 테스트에서 항상 1등을 차지했습니다.
비결은 고객이 소프트웨어를 사용하는 패턴을 완벽히 분석해, 딱 필요한 기능만 cực대화하고 불필요한 부분은 과감히 덜어낸 맞춤형 설계에 있었습니다. AI 연산도 마찬가지입니다. AI 알고리즘을 분석해 보면 그래픽 처리용 수식보다 훨씬 단순한 더하기와 곱하기가 전체 연산의 90% 이상을 차지합니다. CPU나 GPU처럼 온갖 복잡한 기능이 다 들어간 '공학용 계산기' 대신, AI 연산에만 특화된 '단순하지만 엄청나게 빠른 계산기(MPU/NPU)'를 만들면 같은 전력으로 20배 이상의 연산을 해낼 수 있는 겁니다.
특정 응용 분야에 최적화된 아키텍처 설계가 왜 중요한지 이야기를 나누고 있습니다.
엔비디아는 왜 이 시장에 쉽게 못 들어올까
그렇다면 자금력과 기술력이 압도적인 엔비디아가 마음만 먹으면 이런 초저전력 칩도 금방 장악하지 않을까요? 역사적 사례를 보면 꼭 그렇지만은 않습니다. 과거 PC 시절을 호령하던 인텔이 모바일 컴퓨팅 시대에 ARM에게 주도권을 내준 것과 비슷한 이치입니다.
엔비디아는 현재 전 세계 1위의 수익원인 거대한 데이터센터용 GPU와 '쿠다(CUDA)' 생태계를 유지해야 합니다. 기존의 무거운 레거시를 다 끌어안고 가야 하기 때문에, 백지상태에서 완전히 구조를 뜯어고쳐 5W짜리 초저전력 칩을 새로 설계하는 것은 자기 모순에 빠질 위험이 큽니다. 하이퍼카를 잘 만드는 회사가 갑자기 연비 효율의 극치를 달리는 경차를 완벽하게 만들어내기 어려운 것과 같습니다. 세그먼트 자체가 완전히 다르기 때문입니다.
모바일 컴퓨팅 환경에 최적화된 AI 반도체 시장을 개척하며 새로운 가능성을 제시하고 있습니다.
메모리 반도체는 끝? 그리고 남은 과제들
온디바이스 AI가 대세가 되면 데이터센터 투자가 줄고 메모리 반도체 수요도 꺾이는 것 아니냐고 걱정하실 수 있습니다. 결론부터 말씀드리면 메모리 수요는 꺾이지 않습니다. 오히려 향후 10년간 폭발적인 수요 사이클이 열릴 가능성이 높습니다. 현재 데이터센터는 전력 부족과 부지 확보 문제로 건설 자체가 지연되는 물리적 한계에 봉착했습니다. 이 병목 현상이 역설적으로 연산을 디바이스로 분산시키는 피지컬 AI의 도입을 앞당기고 있습니다.
AI 연산의 효율을 극대화하기 위해 메모리 내에서 직접 연산을 처리하는 아키텍처의 중요성을 설명하고 있습니다.
다만, 이 거대한 변화가 내일 당장 완성되는 것은 아닙니다. 초저전력 AI 칩이 시장에 충분히 풀리고, 이를 활용해 로봇과 드론 등 응용 제품을 개발하여 산업 현장에 적용하기까지는 최소 3년에서 5년의 트랜지션 타임이 필요합니다. 또한, LPDDR6와 같이 메모리 안에서 직접 일부 연산을 처리하는 PIM(Processing In Memory) 기술이 도입되면 칩과 메모리 간의 대역폭 효율은 극적으로 좋아지겠지만, AI가 요구하는 전체 데이터의 양 자체가 워낙 방대하여 메모리 산업의 절대적인 파이는 계속 커질 것입니다. 결국 이 과도기를 누가 가장 효율적인 설계로 버텨내느냐가 다음 AI 패권의 핵심이 될 것입니다.
FAQ
피지컬 AI(Physical AI)가 무엇이며 왜 중요한가요?
로봇, 자율주행차, 스마트 공장처럼 물리적 현실에서 직접 움직이고 작동하는 AI를 말합니다. 클라우드에 의존할 경우 통신 지연이나 끊김으로 인해 대형 사고가 발생할 수 있어, 기기 자체에서 즉각적으로 연산하는 온디바이스 AI 기술이 필수적입니다.
기존 데이터센터용 고성능 AI 칩을 디바이스에 바로 꽂아서 쓸 수는 없나요?
전력 소모와 발열 문제 때문에 불가능에 가깝습니다. 데이터센터용 칩은 100W 이상의 막대한 전력을 소모하므로 배터리로 구동되는 로봇이나 드론에 탑재하면 사용 시간이 극단적으로 짧아지며, 방열을 위한 쿨링 시스템을 갖추기도 어렵습니다.
온디바이스 AI가 발전하면 기존 메모리 반도체 수요는 줄어들까요?
그렇지 않습니다. AI 연산이 디바이스로 분산되더라도 처리해야 할 전체 데이터 양이 기하급수적으로 늘어나기 때문에 메모리 수요는 오히려 증가합니다. 또한 메모리 내부에서 연산을 돕는 PIM(Processing In Memory) 같은 신기술이 결합되어 메모리의 부가가치는 더 높아질 전망입니다.
원본 영상 보기
