AI시대의 서막_6편

■ 새로운 세기의 뇌, AI가 불러온 연산 폭발

2010년대 초, 세상은 데이터의 폭발기를 맞이했다.
스마트폰, 인터넷, SNS, IoT까지 모든 것이 데이터를 만들어냈다.
매초 전 세계에서 생성되는 데이터는
과거 수십 년 치의 총량을 넘어섰고,
기존의 CPU만으로는 이를 처리할 수 없게 되었다.

그리고 이때 등장한 새로운 주인공이 바로 GPU(Graphics Processing Unit)이었다.
본래 그래픽 연산용이던 GPU는
수천 개의 코어를 병렬로 작동시켜 대규모 연산을 동시에 처리할 수 있었다.
이 구조가 바로 AI 학습에 최적화된 형태였다.

“CPU는 두뇌의 전두엽이라면, GPU는 대뇌피질 전체다.
수많은 뉴런이 동시에 계산을 수행한다.”

■ GPU의 재발견 – 엔비디아의 도전

2006년, 엔비디아는 자사의 그래픽카드에
‘범용 연산용 병렬 프로그래밍 언어’인 CUDA를 도입했다.
이는 GPU를 단순한 그래픽 장치가 아닌
범용 연산 플랫폼(GPGPU)으로 확장한 결정적 계기였다.

이 기술은 2012년 딥러닝의 부활을 촉발했다.
제프리 힌튼(Geoffrey Hinton) 교수팀이
GPU 기반의 신경망 학습을 통해 이미지 인식 정확도를 폭발적으로 끌어올린 것이다.
그 이후 AI 연구자들의 실험실에는
CPU가 아닌 엔비디아 GPU 서버가 깔리기 시작했다.

이 사건은 반도체 산업의 축을 완전히 뒤집었다.
‘그래픽 칩’이 ‘AI의 엔진’으로 바뀐 것이다.
AI 시대의 첫 해답은 바로 GPU였다.

 

■ HBM의 등장 – 데이터 병목을 뚫다

AI 학습은 엄청난 양의 데이터를 읽고, 쓰고, 다시 계산하는 과정의 반복이다.
문제는 연산 속도보다 데이터 전송 속도가 느리다는 것,
즉 ‘메모리 병목(Bottleneck)’이었다.

이를 해결하기 위해 등장한 기술이 HBM(High Bandwidth Memory) 이다.
HBM은 기존 메모리를 수평으로 배열하던 방식을 버리고
수직으로 적층(3D Stacking) 하여,
데이터 이동 거리를 획기적으로 줄였다.

단순히 메모리 용량을 늘리는 게 아니라,
CPU–GPU–메모리 간의 전송 효율을 극대화한 것이다.
HBM은 AI 서버, 슈퍼컴퓨터, 데이터센터의 핵심 부품으로 자리 잡았다.

 “AI 칩의 속도는 트랜지스터가 아니라, 데이터가 얼마나 빠르게 흐르느냐에 달렸다.”

■ 3D NAND와 DRAM의 진화

2010년대는 메모리 반도체에서도 혁신이 이어졌다.
기존 2D 평면 구조의 한계를 넘기 위해
삼성전자는 2013년 세계 최초의 3D NAND 플래시를 양산했다.

이는 셀(cell)을 수직으로 쌓는 방식으로,
용량은 수십 배로 늘고 전력 효율은 높아졌다.
메모리 반도체가 단순한 저장 장치를 넘어
AI 연산에 필수적인 고속 데이터 캐시(Cache) 역할까지 하게 된 것이다.

삼성은 이 기술로 글로벌 메모리 시장의 40% 이상을 장악하며
‘AI 시대의 조력자’로서 입지를 공고히 했다.

■ AI 반도체의 시대 – NPU, TPU, ASIC

GPU는 AI 연산에 뛰어났지만, 여전히 범용 구조였다.
이에 따라 기업들은 AI 전용 반도체, 즉 가속기(Accelerator)를 개발하기 시작했다.

NPU (Neural Processing Unit):
인간의 신경망 연산을 모사한 칩.
스마트폰·자율주행 칩 등에 탑재되어 AI 추론을 실시간으로 수행.

TPU (Tensor Processing Unit):
구글이 2016년 자체 개발한 AI 전용 칩.
딥러닝 연산에 특화된 텐서 연산용 하드웨어로,
GPU보다 효율적으로 대규모 모델을 학습시킴.

ASIC (Application Specific Integrated Circuit):
특정 알고리즘만 수행하도록 맞춤 설계된 칩.
클라우드 AI, 암호화폐 채굴, 자율주행 등에 폭넓게 사용.

이 시기에 등장한 NPU·TPU·ASIC는
AI 반도체의 패러다임을 바꾸었다.
“범용 연산에서 목적형 연산으로.”
즉, 인간의 두뇌처럼 ‘필요한 연산만 정확히 수행하는’ 방향으로 진화한 것이다.

 

■ 데이터센터의 전력 전쟁

AI 연산이 폭증하자, 데이터센터의 전력 소비도 함께 치솟았다.
2018년 기준, 전 세계 데이터센터가 소비하는 전력은
전 인류 전력 사용량의 약 1~2%에 달했다.

AI 모델이 커질수록 연산량이 기하급수적으로 늘어나며
냉각 비용이 전체 전력의 절반 이상을 차지했다.
이에 기업들은 수냉식 냉각(Liquid Cooling),
액침 냉각(Immersion Cooling) 등
새로운 열관리 기술을 도입하기 시작했다.

AI의 연산 능력은 물리적 한계에 부딪혔지만,
그 벽을 넘는 방식은 “더 강력한 칩”이 아니라
“더 효율적인 시스템 설계”였다.

■ 첨단 패키징 – 칩렛과 이종 결합의 시대

공정 미세화가 한계에 다다르자,
반도체 업계는 ‘칩을 작게’ 만드는 대신 ‘칩을 나눠서 연결하는’ 방식을 택했다.
이것이 바로 칩렛(Chiplet) 과 첨단 패키징(Advanced Packaging) 기술이다.

칩렛 구조는 하나의 거대한 칩 대신
여러 개의 작은 칩(칩렛)을 조합해 하나의 프로세서처럼 동작하게 만든다.
AMD의 ‘RYZEN’, 인텔의 ‘Foveros’, TSMC의 ‘CoWoS’ 기술이 대표적이다.

이 기술은 성능 향상뿐 아니라
열 분산, 전력 관리, 제조 효율 면에서도 큰 혁신을 가져왔다.
AI 서버용 GPU와 NPU는 거의 모두 칩렛 기반으로 제작된다.

 

“이제 반도체는 한 장의 칩이 아니라,
수십 개의 미세한 두뇌가 협력하는 시스템이다.”

■ 반도체와 인간의 뇌

2010년대 말, 반도체 연구는 점점 생명공학의 영역과 닮아가기 시작했다.
‘뉴로모픽(Neuromorphic) 칩’ — 즉 인간의 신경망을 모사한 칩이 등장했다.
IBM의 ‘TrueNorth’, 인텔의 ‘Loihi’ 등이 대표적이다.

이들은 트랜지스터의 단순한 on/off가 아니라,
뉴런과 시냅스의 연결 강도를 모사하여
‘생각하는 칩’을 구현하려 했다.

비록 상용화까지는 아직 멀었지만,
AI 반도체의 방향은 분명해졌다 —
계산을 빠르게 하는 칩에서 배우고 적응하는 칩으로.

■ 마무리 — AI가 만든 새로운 반도체의 철학

2010~2020년대는 반도체가 ‘기술’에서 ‘지능’으로 진화한 시기였다.
트랜지스터 수의 경쟁은 끝났고,
이제는 연산 효율, 전력 절감, 데이터 접근성이 핵심이 되었다.

GPU가 불붙인 AI 혁명,
HBM과 칩렛이 만든 효율의 혁명,
그리고 NPU·TPU가 여는 두뇌형 칩의 세계.

“반도체는 이제 계산하는 기계가 아니라,
생각하는 도구가 되었다.”