AMD가 칩에 AI를 새겨버린 이유, 엔비디아 잡으려고?

기술

AMD가 칩에 AI를 새겨버린 이유, 엔비디아 잡으려고?

정답부터 말하면, AMD가 타알라스(Taalas)라는 작은 스타트업을 인수했어요. 이유는 하나거든요. AI 추론 속도를 칩 자체에 새겨서 극적으로 올리겠다는 거예요.

지금까지는 AI 모델을 돌리려면 범용 GPU에 소프트웨어로 올려서 썼는데, 타알라스는 아예 모델 자체를 실리콘에 직접 새겨버리는 기술을 갖고 있어요. 말 그대로 칩이 곧 모델이 되는 셈이죠. 이렇게 하면 추론할 때 전력도 훨씬 덜 먹고 속도도 몇 배 빨라진다고 해요.

왜 갑자기 추론에 목을 매나

요즘 AI 시장에서 가장 뜨거운 건 학습이 아니라 추론이거든요. ChatGPT 같은 서비스가 실제로 사용자 질문에 답할 때 쓰는 게 바로 추론 단계예요. 학습은 한 번 하면 끝이지만, 추론은 사용자가 늘어날수록 계속 돌아가야 하니까 전력과 비용이 무한정 커지는 구조예요.

엔비디아는 이미 학습 시장을 장악했어요. 하지만 추론 시장은 아직 판이 안 짜여서, AMD 입장에선 여기서 한 방 터뜨려야 살아남을 수 있는 거죠.

타알라스는 2023년에 설립된 신생 기업인데, 창립자들이 구글 TPU 팀 출신이에요. 그러니까 이미 맞춤형 AI 칩 만드는 노하우를 갖고 있던 팀이죠. AMD는 이 기술을 자기 MI300 같은 데이터센터용 칩에 통합하겠다고 발표했어요.

개발자들은 뭐라 했을까

해커뉴스에서 689개 댓글이 달렸는데, 반응이 극명하게 갈려요. 어떤 사람은 "이거 진짜 게임 체인저 될 수도 있다"고 흥분했고, 어떤 사람은 "모델 고정되면 업데이트는 어떻게 하냐"고 회의적이었어요.

특히 눈에 띄는 댓글 하나가 있었어요. "엔비디아는 범용성으로 먹고사는데, AMD는 특화 칩으로 틈새를 뚫는 전략인 거 같다. 근데 AI 모델이 6개월마다 바뀌는 판인데 칩에 새기면 나중에 어쩌려고?"

맞는 말이에요. GPT-5가 나오면 칩을 새로 만들어야 하는 건 아닌지, 비용이 오히려 더 드는 건 아닌지 의문이 들거든요.

실리콘에 새긴다는 게 정확히 뭘까

쉽게 말하면, 소프트웨어로 짰던 AI 모델의 연산 구조를 하드웨어 회로 자체로 바꿔버리는 거예요. 예를 들어 "이 레이어는 이 신경망 연결로 고정"이라고 칩 설계 단계에서 못 박아버리는 거죠.

장점은 속도와 전력 효율이에요. 범용 칩은 온갖 걸 다 할 수 있게 만들어져서 쓸데없는 회로가 많거든요. 근데 특정 모델만 돌리는 칩은 딱 필요한 부분만 남기니까 훨씬 빠르고 가벼워요.

단점은 유연성이 제로라는 거예요. 모델이 바뀌면 칩도 새로 만들어야 해요. 그래서 타알라스는 "자주 안 바뀌는 추론용 모델"에만 쓸 거라고 얘기하더라고요.

엔비디아는 긴장했을까

솔직히 말하면, 당장은 아닐 거예요. 엔비디아 H100은 이미 모든 클라우드 회사가 쓰는 표준이거든요. 근데 장기적으론 변수예요.

왜냐하면 구글은 이미 자체 TPU로 추론 비용을 크게 줄였고, 아마존도 Trainium/Inferentia 칩을 만들어서 쓰고 있어요. 범용 칩 살 돈으로 맞춤 칩 만들면 더 싸게 먹힌다는 걸 대형 클라우드 업체들은 이미 알아버린 거죠.

AMD는 여기서 중간 다리 역할을 노리는 것 같아요. 구글처럼 자체 칩 팀을 꾸릴 여유는 없지만, 엔비디아보다 싸고 빠른 추론 칩이 필요한 중소 클라우드나 엔터프라이즈 고객을 겨냥하는 거예요.

레딧 댓글 중에 이런 게 있었어요. "AMD는 항상 엔비디아 뒤만 쫓아다니더니, 이번엔 다른 길로 가네. 근데 이게 먹힐지는 2년 뒤에나 알겠다."

저는 이렇게 봐요

저도 예전엔 "AI 칩은 범용이 답이다"라고 생각했어요. 근데 요즘 추론 비용이 폭발적으로 늘어나는 걸 보면, 전문화된 칩이 결국 살아남을 수밖에 없겠구나 싶어요.

문제는 모델이 너무 빨리 바뀐다는 거예요. 지금 GPT-4용 칩 만들었는데 내년에 GPT-5 나오면 그 칩은 고철이 되는 거거든요. 그래서 타알라스 기술이 정말로 "모델 변경에도 어느 정도 적응 가능한" 유연성을 갖췄는지가 관건일 거예요.

AMD는 이미 몇 번 큰 승부수를 던졌다가 실패한 전적이 있어요. Radeon Instinct, 로카스(ROCM) 소프트웨어 생태계 같은 거요. 이번에도 기술은 좋은데 개발자 지원이나 생태계 구축에서 삐끗하면 또 엔비디아한테 밀릴 거예요.

그래도 추론 시장이 커지는 건 확실하니까, AMD가 여기서 한 자리 차지할 가능성은 충분하다고 봐요. 다만 타알라스 기술이 실제 제품으로 나오기까지 최소 1~2년은 걸릴 거고, 그때까지 엔비디아가 가만히 있을 리 없죠.

지금 우리가 보는 건 AI 칩 전쟁의 2라운드 시작이에요. 1라운드는 학습, 2라운드는 추론. AMD는 1라운드에서 졌지만, 2라운드는 아직 모르는 거죠.

그러니까 질문은 이거예요. 우리는 지금, 범용 칩의 시대가 끝나가는 걸 보고 있는 걸까요?