더 빠른 CPU의 비밀

CPU 속도는 세 가지의 곱

CPU가 1초에 처리하는 명령의 수는 대략 다음과 같이 쪼갤 수 있다.

박자를 빠르게 하든(클럭), 한 박자에 많이 하든(IPC), 일꾼을 늘리든(코어) 셋 중 하나를 키우면 빨라진다. 지난 50년의 CPU 역사는 이 세 가지를 차례로 키워 온 역사다.

그런데 클럭을 무한정 올릴 수는 없다. 한 박자 안에 신호가 회로의 가장 긴 길을 끝까지 지나가야 하기 때문이다. 3장의 덧셈기에서 올림수가 번져 가는 데 시간이 걸렸던 것을 떠올리자. 그 길이 짧아야 박자도 빨라진다. 그 길을 짧게 자르는 방법이 바로 파이프라인이다.

파이프라인: 세탁소의 지혜

CPU도 명령 실행을 여러 단계로 나누고 각 단계를 맡는 회로를 따로 둔다. 전형적인 5단계는 가져오기(IF) → 해석(ID) → 실행(EX) → 메모리 접근(MEM) → 결과 쓰기(WB)이다. 한 명령이 해석 단계로 넘어가면 가져오기 회로는 바로 다음 명령을 가져온다. 이것이 파이프라인(pipeline)이다.

실제 CPU는 파이프라인을 15~20단계로 더 잘게 나누고, 한 박자에 여러 명령을 동시에 가져오는 슈퍼스칼라(superscalar) 구조를 쓴다. 세탁기를 여러 대 두는 셈이다. 게다가 앞 명령을 기다리는 동안 상관없는 뒤쪽 명령을 먼저 실행하는 비순차 실행(out-of-order execution)으로 빈칸을 메운다. 그 덕분에 요즘 CPU의 IPC는 4~8에 이른다.

한 박자에 여러 명령: 슈퍼스칼라와 비순차 실행

파이프라인은 명령 하나하나를 겹쳐 처리하지만, 여전히 한 박자에 한 명령씩 시작한다. 요즘 CPU는 실행 장치(ALU)를 여러 개 두고 한 박자에 명령을 4~8개씩 시작한다. 이것이 슈퍼스칼라다. 요리사에게 손이 여러 개 생긴 셈이다.

그런데 손이 많아도 쓸 일이 없으면 소용없다. 프로그램의 명령은 앞 명령의 결과를 기다리는 경우가 많다. 특히 메모리에서 값을 읽는 명령(LOAD)은 캐시에 있어도 몇 박자가 걸린다. 그 결과를 기다리는 동안 상관없는 뒤쪽 명령을 먼저 처리하는 기술이 비순차 실행이다. 레시피를 위에서부터 그대로 따르는 대신, 물이 끓기를 기다리는 동안 다음 단계의 채소를 미리 써는 요리사와 같다. 결과는 원래 순서대로 정리해서 내놓기 때문에 프로그램 입장에서는 차이가 없다.

비순차 실행을 하려면 CPU가 수백 개의 명령을 미리 들여다보고, 누가 누구를 기다리는지 추적하고, 결과를 원래 순서로 되돌리는 복잡한 회로가 필요하다. 요즘 고성능 코어 면적의 상당 부분이 바로 이 일에 쓰인다. 12장에서 볼 GPU가 이런 회로를 빼고 그 자리에 계산 유닛을 채운 것과 정반대의 선택이다.

분기 예측: 갈림길에서 미리 짐작하기

파이프라인에는 고민거리가 하나 있다. 4장의 JZ 같은 조건 점프(분기)를 만나면, 그 조건이 참인지는 실행 단계에 가서야 안다. 그런데 파이프라인은 이미 다음 명령 몇 개를 가져오고 있어야 한다. 어느 쪽 길의 명령을 가져와야 할까?

CPU는 기다리지 않고 짐작한다. 이를 분기 예측(branch prediction)이라 한다. 맞으면 아무 손해 없이 계속 달리고, 틀리면 잘못 가져온 명령들을 모두 버리고(파이프라인 비우기) 다시 시작한다. 한 번 틀릴 때마다 15~20박자를 잃는다.

클럭 경쟁의 끝: 전력과 열의 벽

1990년대부터 2000년대 초반까지 CPU 클럭은 해마다 쑥쑥 올라 100 MHz에서 3 GHz를 넘었다. 그런데 2005년 무렵부터 클럭은 3~5 GHz 근처에서 거의 멈췄다. 왜일까?

트랜지스터가 켜지고 꺼질 때마다 전기를 쓰고 열이 난다. 클럭을 올리려면 전압도 올려야 하는데, 소비 전력은 대략 전압의 제곱 × 클럭에 비례한다. 클럭을 1.5배로 올리려고 전압도 높이면 전력은 2~3배로 뛴다. 손톱만 한 칩에서 100 W 넘는 열이 나면 전기 난로의 열판보다 단위 면적당 열이 많아지고, 더 올리면 냉각이 따라가지 못한다. 이를 전력 장벽(power wall)이라 한다.

그래서 업계는 방향을 틀었다. 박자를 더 빠르게 하는 대신, 같은 칩 안에 CPU 두뇌(코어)를 여러 개 넣기로 한 것이다. 이것이 멀티코어(multi-core)다. 요리사 한 명을 미친 듯이 빠르게 만드는 대신 요리사를 여러 명 고용하는 셈이다. 스마트폰은 한 걸음 더 나아가, 힘센 코어와 전기를 아끼는 작은 코어를 섞어 두고 일의 종류에 따라 골라 쓴다.

전기와 열: 직접 계산해 보기

칩이 쓰는 전력은 대략 전압² × 클럭 × (켜고 끄는 트랜지스터의 양)에 비례한다. 문제는 클럭을 올리려면 트랜지스터가 더 빨리 반응해야 해서 전압도 같이 올려야 한다는 것이다. 그래서 클럭을 올리면 전력은 클럭보다 훨씬 가파르게, 대략 세제곱에 가깝게 늘어난다. 아래 계산기로 확인해 보자.

스마트폰의 해법: 큰 코어와 작은 코어

배터리로 움직이는 스마트폰은 한 걸음 더 나아갔다. 빠르지만 전기를 많이 먹는 큰 코어 몇 개와, 느리지만 아주 알뜰한 작은 코어 여러 개를 한 칩에 함께 넣는다. 메시지 알림 확인처럼 가벼운 일은 작은 코어가, 게임이나 사진 보정처럼 무거운 일은 큰 코어가 맡는다. 운영체제의 스케줄러(8장)가 일의 성격을 보고 어느 코어에 줄지 정한다.

요리사를 늘리면 무조건 빨라질까: 암달의 법칙

요리사가 8명이면 요리가 8배 빨리 나올까? 감자 깎기, 채소 썰기는 나눠서 할 수 있다. 하지만 “국물을 3시간 끓이기”는 요리사가 몇 명이든 3시간이 걸린다. 프로그램도 마찬가지로, 나눠서 동시에 할 수 있는 부분(병렬 부분)과 반드시 순서대로 해야 하는 부분(순차 부분)이 섞여 있다.

암달의 법칙(Amdahl's law)은 이렇게 말한다. 순차 부분이 전체의 10%라면, 코어를 아무리 늘려도 10배 이상 빨라질 수 없다. 그 10%는 늘 그대로 남기 때문이다.

그래서 게임이나 사무용 프로그램처럼 순차 부분이 큰 일은 코어 수보다 코어 하나의 성능(클럭 × IPC)이 중요하고, 영상 편집이나 과학 계산처럼 잘게 나눌 수 있는 일은 코어 수가 중요하다. 극단적으로 잘 나뉘는 일, 예를 들어 화면의 수백만 픽셀을 각각 계산하는 일을 위해 코어를 수천 개 넣은 것이 GPU다(12장).