Interconnect
Interconnect
컴퓨팅 자원을 서로 잇는 모든 고속 통신 회선을 포괄하는 용어이다. 한 칩 안의 코어 사이를 잇는 회선부터, 한 컴퓨터 안의 버스, 데이터센터 안의 서버끼리를 잇는 InfiniBand 패브릭까지 모두 인터커넥트로 분류된다.
전통적으로는 컴퓨터 한 대 안의 통신을 "버스", 컴퓨터들 사이의 통신을 "네트워크"라고 구분해 불렀다. 그러나 두 영역의 기술이 서로 닮아가면서 경계가 흐려졌고, 둘을 함께 묶어 부르는 용어로 인터커넥트가 자리잡았다.
버스, 네트워크와의 관계
세 용어는 부분적으로 겹치지만 강조점이 다르다.
| 용어 | 강조점 | 일반적인 범위 |
|---|---|---|
| 버스 | 시스템 내부의 공용 통신 회선 | 한 컴퓨터 안 |
| 네트워크 | 독립된 노드 간 통신 | 여러 컴퓨터 사이 |
| 인터커넥트 | 컴퓨팅 자원을 잇는 모든 통신 회선 | 칩 내부 ~ 데이터센터까지 |
즉 인터커넥트가 가장 넓은 umbrella term이고, 버스와 네트워크는 그 안에 포함되는 부분 집합이다. 최근 PCIe, NVLink, RDMA 같은 기술들이 "버스와 네트워크의 중간"에 가까운 모양을 띠면서, 둘 중 어느 한쪽으로 깔끔하게 분류하기 어려워졌고, 그래서 인터커넥트라는 더 일반적인 표현이 더 자주 쓰이게 되었다.
영역별 분류
인터커넥트는 잇는 대상의 거리와 규모에 따라 여러 계층으로 나뉜다.
[한 칩 안: 코어 ↔ 캐시] ← 가장 안쪽 (On-chip)
│
[한 보드 안: CPU ↔ 메모리] ← System
│
[한 컴퓨터 안: CPU ↔ 주변장치] ← I/O
│
[한 서버 안: CPU ↔ GPU] ← Accelerator
│
[한 데이터센터 안: 서버 ↔ 서버] ← Cluster
│
[데이터센터 ↔ 데이터센터] ← 가장 바깥쪽 (DCI)
좁은 단위(칩 내부)일수록 거리가 짧고 지연이 낮으며, 넓은 단위(데이터센터 간)일수록 거리가 길고 확장성이 중요해진다.
| 계층 | 대상 | 대표 기술 |
|---|---|---|
| On-chip | 한 칩 안의 코어, 캐시, 가속기 | AMBA AXI, NoC (Network-on-Chip) |
| Chip-to-chip (System) | 같은 보드 위의 CPU↔메모리, CPU↔칩셋 | DDR, Intel UPI, AMD Infinity Fabric |
| I/O | CPU↔주변장치 (그래픽 카드, NIC, SSD) | PCIe, USB, SATA |
| Accelerator | CPU↔GPU, GPU↔GPU | NVLink, NVSwitch, Infinity Fabric, CXL |
| Cluster (Compute Fabric) | 같은 데이터센터 안의 서버끼리 | InfiniBand, RoCE, Ethernet |
| Data Center Interconnect (DCI) | 다른 데이터센터 간 | OTN, 광 회선, MPLS |
각 계층마다 요구되는 특성과 대표 기술이 다르다.
On-chip Interconnect
한 칩 안에서 코어, 캐시, 가속기, 메모리 컨트롤러 같은 IP 블록들을 잇는다. 거리는 mm 단위지만, 동작 클럭이 GHz 수준이라 정밀한 타이밍 설계가 핵심이다.
- AMBA AXI: ARM 진영의 표준 on-chip 인터커넥트
- NoC (Network-on-Chip): 칩 내부에 미니 라우터를 두어 패킷 기반으로 통신. 코어 수가 많아지면서 점점 일반화
System Interconnect
같은 보드 위의 큰 칩(CPU, 메모리, 칩셋)을 잇는다. 거리는 cm 단위.
- DDR: CPU와 RAM을 잇는 메모리 인터커넥트
- Intel UPI / AMD Infinity Fabric: 멀티 소켓 서버에서 CPU와 CPU를 잇는 인터커넥트
- 옛날의 FSB(Front-Side Bus)도 이 계층에 해당
I/O Interconnect
CPU와 주변장치를 잇는다. 메인보드의 슬롯과 외부 포트가 여기 속한다.
- PCIe: 고속 I/O의 사실상 표준
- USB: 외부 장치의 표준
- SATA: 저장장치의 표준 (NVMe로 점차 대체)
Accelerator Interconnect
GPU 같은 가속기를 잇는 전용 인터커넥트이다. AI 시대에 들어와서 가장 빠르게 발전하는 영역이다.
- NVLink / NVSwitch: NVIDIA GPU 간 연결. PCIe보다 훨씬 빠른 직접 통신
- AMD Infinity Fabric: AMD GPU/CPU 간 연결
- CXL (Compute Express Link): PCIe 물리 계층 위에 메모리 일관성 프로토콜을 얹어 가속기와 CPU가 메모리를 공유 가능
Cluster Interconnect (Compute Fabric)
같은 데이터센터 안의 서버끼리를 잇는다. 노드 간 East-West 트래픽을 처리하며, AI 학습이나 HPC에서 시스템 성능을 좌우한다.
- InfiniBand: HPC와 AI 클러스터의 사실상 표준
- RoCE: 이더넷 위에서 RDMA를 구현한 대안
- Ethernet: 네트워크의 범용적인 표준
Data Center Interconnect (DCI)
지리적으로 떨어진 데이터센터끼리 잇는다. 거리는 수십 ~ 수천 km이며, 광 전송 기술이 핵심이다.
- OTN, DWDM: 장거리 광 전송 기술
- MPLS, IP/MPLS Backbone: 백본 네트워크
- 클라우드 사업자(AWS, Azure, GCP 등)는 자체 글로벌 백본을 운영
핵심 지표
인터커넥트를 평가하고 선택할 때 보는 핵심 지표는 다음과 같다.
| 지표 | 의미 | 관심사 |
|---|---|---|
| Bandwidth | 시간당 처리 가능한 데이터 양 | bps, GB/s 단위 |
| Latency | 한 트랜잭션이 끝나는 데 걸리는 시간 | ns, µs 단위 |
| Scalability | 자원을 늘린 만큼 성능이 비례해 증가하는 능력 | 비례 확장 가능한가 |
| Topology | 노드들이 연결된 구조 | Bus, Mesh, Spine-Leaf, Torus 등 |
| Reliability | 패킷 손실, 순서 보장 | 무손실인가, 재전송이 필요한가 |
| Cost | 도입과 운영 비용 | 케이블, 스위치, 라이선스 |
영역별로 우선순위가 다르다. On-chip 인터커넥트는 latency가 절대 가치이고, 데이터센터 백본은 bandwidth와 cost가 중요하다.
주요 흐름
인터커넥트 영역에서 두 가지 큰 흐름이 동시에 진행 중이다.
Bus에서 Switched Fabric으로
PCIe, NVLink, CXL 같은 시스템 인터커넥트가 점점 Point-to-Point + 스위치 + 패킷 기반 구조로 바뀌고 있다. 옛날 Shared Bus 모델과는 완전히 다른, 사실상 Switched Fabric 에 가깝다. 업계에서는 이 변화를 흔히 "from Bus to Fabric"이라고 표현한다.
같은 흐름은 칩 단위에서도 일어난다. 옛날에는 한 칩 안의 코어들이 공용 버스를 함께 쓰는 구조였지만, 코어 수가 수십~수백 개로 늘어나면서 공용 버스로는 한계에 부딪혔다. 그래서 등장한 것이 NoC(Network-on-Chip) 이다. 칩 내부에 작은 라우터들을 두고 코어, 캐시, 가속기 사이를 패킷으로 통신시키는 구조로, 칩 한 장이 사실상 미니 네트워크처럼 동작한다. 즉 Bus에서 Fabric으로의 전환은 데이터센터나 보드 위만이 아니라 칩 단위까지 내려온 보편적 흐름이다.
Memory-Centric Networking
InfiniBand와 RoCE의 RDMA는 원격 노드의 메모리에 CPU 개입 없이 직접 접근한다. 이는 옛날 시스템 버스가 하던 일(메모리에 직접 read/write)을 네트워크로 옮긴 것에 가깝다. CXL은 한 걸음 더 나아가 여러 노드의 메모리를 한 풀로 묶어 공유한다.
이 두 흐름이 만나는 지점에서 버스와 네트워크의 경계는 사실상 사라지고 있고, 그래서 둘을 묶는 인터커넥트라는 용어가 더 자주 쓰이게 되는 것이다.
정리
- 인터커넥트 = 컴퓨팅 자원을 잇는 모든 고속 통신 회선의 통칭
- 계층 구조: on-chip → system → I/O → accelerator → cluster → data center
- 각 계층은 거리, latency, bandwidth, 비용의 균형이 다르다
- 최근에는 시스템 내부가 네트워크처럼, 네트워크가 메모리 접근처럼 진화하면서 경계가 흐려지고 있다
- 그래서 "버스"나 "네트워크" 대신 둘을 포괄하는 인터커넥트가 자연스러운 표현이 되었다