HBM을 읽고 미래를 내다본다

숫자가 아닌 구조로 읽는 AI 시대의 방향

신문이나 SNS에 한국의 증권시장 5천 코스피나 1천 코스닥을 견인한다는 기사가 넘쳐납니다.
여러분은 이 기사를 보고 미래를 내다볼 수 있습니까?

과거 디지털 인터넷이 없던 시절에는 종이 신문을 읽고 미래를 내다보는 지식을 얻었습니다.
지금은 그럴 필요가 작습니다.

AI LLM과 대화를 하여 미래를 내다볼 지식을 쉽게 얻을 수 있기 때문입니다.

AI는 인공지능으로서 인간 두뇌의 Agent Model인 LLM을 작동시킵니다.
인간은 학습과 생각, 상상, 통찰, 감정을 의식이 작동시킴으로 지식을 얻습니다.

생각, 상상, 통찰, 감정을 지성과 감성이라고 부르며, 의지를 더하여 지정의로서 마음의 세계에 이름을 지어졌습니다.

여기에 기억을 더하고 언어로 하는 이야기(Narrative)와 학습을 더하여 지능을 구성하지요.

이 모든 것은 바로 우리의 생명 속에 깨어 있는 의식과 무의식의 작용입니다.

인간 지능이 바로 AI를 탄생시켰습니다.

이런 기능을 하는 것이 AI 이고, 그 행위를 하는 Agent Model이 LLM입니다.

LLM은 Large Language Model로서 번역하면 대형언어모델 입니다.

LLM의 종류는 그 제작사에 따라서 다양한데요, Open Ai가 만든 것은 Chat GPT 입니다.

이것은 Chat Generative Pre-Trained Model 즉, 대화 생성 모델입니다.

대화 생성이란 이 것에게 질문을 하면 답변을 하는 것이 마치 사람간의 대화와 같기 때문에 붙여졌습니다.

구글의 제미나이(Gemini)도 있고 다른 회사의 LLM도 다양하게 있습니다.

챗지피티는 Machine Learning(기계 학습), Deep Learning(심층 학습)과 Enforced Learning(강화 학습)을 통하여 데이터를 학습하여 지식을 얻고, 고성능 Memory에 학습한 지식을 모두 기억합니다.

챗지피티 3.5모델(무료 Version)은 무려 1,750 억 개 문장을 학습하여 그 지식을 모두 기억하고, 프롬프트(Prompt, 질문 창)에 물어보면 정답을 문장이나 말로써 나타냅니다.

쉽게 물어보면 우리가 다 아는 것을 대답하고, 어렵게 물어보면 수준 높은 답을 내어 놓습니다.

왜 우리가 AI와 그 Agent Model(대리인 모델), Physical Model(물리 모델)을 공부해야 하는지를 가르쳐 주는 경구 입니다.

세상을 내다보는 데 필요한 어려운 질문을 하면 쉽게 풀어서 알아먹기 좋게 대답해 줍니다.

그 질문과 답변이 바로 지식 습득 학습입니다.

HBM과 GPU가 인터포저 위에서 결합되는 구조를 개념적으로 표현한 이미지 AI 반도체에서 고대역폭 메모리(HBM)가 GPU 옆에 배치되어 초고속 데이터 처리가 이루어지는 방식을 단순화해 보여준다. — HBM과 GPU가 인터포저 위에서 결합되는 구조를 개념적으로 표현한 이미지. AI 반도체에서 고대역폭 메모리(HBM)가 GPU 옆에 배치되어 초고속 데이터 처리가 이루어지는 방식을 단순화해 보여준다.[AI생성이미지]

이제 HBM 이야기를 합니다.

High Bandwidth Memory(고 대역폭 메모리)는
AI∙GPU용 초고속 병렬 메모리 입니다.

정보를 기억하는 장치의 데이터 흐르는 길 BUS의 대역폭을 넓게 하고, 동시에 여러 개의 BUS를 작동시키는 병렬 형 Memory 입니다.

이런 특징으로 기존 DRAM이나 SRAM 보다 ①수십 배 넓은 대역폭, ②AI 연산의 최적화, ③전력 단위당 성능 탁월 등의 장점을 구현합니다.

HBM 적층 구조와 TSV(Through-Silicon Via) 연결 방식을 설명한 개념도. 여러 층의 HBM DRAM 다이가 수직 적층되어 로직 다이와 인터포저를 통해 GPU/CPU와 연결되는 원리를 나타낸다. [AI생성이미지]

DRAM과 SRAM이 책상 위에 펼쳐 놓은 책이라면, HBM은 책상을 여러 층 쌓아 놓고 그 위에 있는 여러 개의 책을 필요한 대로 학습하는 것과 같은 이치 입니다.

이런 단순한 설명이 어찌 미래를 내다 본다는 말인가요?

AI용 메모리가 HBM이나 이와 같은 작용을 하는 것이라도, 이를 사용하는 시스템으로는 학습 데이터 수조 개의 AI에게는 메모리 부족과 비용 폭증의 부담을 해결할 길이 없습니다.

새로운 해결책이 필요합니다.

여기서부터 발상의 전환이 등장합니다.

메모리를 AI 기계 일부분으로 볼 것이 아니라 자원(Resource)으로 분리한다. CXL(Compute Express Link)가 등장하여 CPU∙GPU에 고정된 Memory를 독립시켜, Memory Pool로 만들어 공유하는 시스템을 구축하면 미래는 메모리 중심 AI시스템으로 발전 할 수 있습니다.

IMC(In-Memory Computing, 메모리 안에서 연산), 뉴로모픽 메모리, MRAM, ReRAM, PCM 등의 어려운 메모리 모델이 등장합니다.

이중 뉴로모픽(Neuromorphic) 메모리는 인간의 두뇌 속 신경망의 Neuron과 Synapse 구조의 기억 기능을 활용한 모델 입니다.

하나의 메모리 소자 내에서 연산이 이루어져, 초저전력 AI 시스템을 구축할 수 있습니다.