네트워크 Failover 테스트
Failover 테스트는 이중화된 네트워크 장비 중 한쪽에 장애가 발생했을 때, 트래픽이 예비 장비·경로로 자동 전환되는지 검증하는 작업이다.
- 절체가 자동으로 이루어지는가
- 절체 시 단절 시간이 허용 범위 내인가
- 원복(failback) 시에도 문제가 없는가
절체(切替): 운영 중인 회선·장비를 예비 쪽으로 전환하는 것. 통신·IDC 실무에서 failover/switchover의 의미로 쓰이며, 되돌리는 것은 '원복'이라 한다.
1. 테스트 공통 패턴
이중화 장비 쌍(1호기/2호기)에 대해 아래 패턴을 반복한다.
1호기 — 링크 절체
링크를 단계적으로 끊어 2호기로 트래픽이 넘어가는지 확인한다.
- 작업 전 로그 수집 — 장비 전체 상태 덤프
- 상단링크 절체 (
shutdown) → 인터링크·2호기로 트래픽 우회 확인 - 하단링크 절체 → vPC/포트채널 상태 확인
- 인터링크 절체 — vPC peer-link 먼저, 그 다음 keep-alive
- 인터링크 → 하단 → 상단 순으로 원복 (
no shutdown)
2호기 — 장비 재기동
- 작업 전 로그 수집
reload— 재기동 중 1호기가 전체 트래픽을 수용하는지 확인
각 단계마다 확인 명령어로 절체 상태를 검증하고, 원복 config를 미리 준비해 둔다.
2. 작업 전 로그 수집
작업 전 장비 상태를 전부 덤프해 두고, 작업 후 비교 기준으로 삼는다.
로그 수집 명령어 전체 보기
# NX-OS
# 터미널 설정
terminal width 300
terminal length 0
# 장비 기본 정보
dir
show clock
show inventory
show version
show version module 1 epld
show module
show environment
show system resources
show redundancy status
show license usage
show license all
# 설정 / 시간 동기화
show running
show run all | inc unsupported
show ntp peers
show ntp peer-status
# vPC
show vpc
show vpc peer-keep
show vpc role
show vpc consistency-parameters global
# 인터페이스
show port-channel summary
show ip interface brief vrf all
show interface
show interface count
show interface count error
show interface counters table verbose
show interface counters storm-control
show interface status
show interface status module 1 | inc connected | count
show interface description
show interface brief
show interface trans detail
show lldp neighbor
show lldp neighbor detail
# L2 (MAC / VLAN / STP)
show mac address-table count
show mac address-table
show vlan
show vlan summary
show spanning-tree summary
show spanning-tree blockedports
# VXLAN (NVE)
show nve interface
show nve peer
show nve vni
show nve vni ingress-replication
show nve vni data-plane
show system nve infra-vlans
# 라우팅 / 게이트웨이 이중화
show hsrp brief
show ip route vrf all
show ip route summary vrf all
show ip arp sum vrf all
show ip arp vrf all
show ip ospf neighbor vrf all
show ip bgp summary vrf all
show bgp sessions
show bfd neighbors vrf all details
# 하드웨어 (TCAM)
show hardware access-list resource utilization
show hardware profile tcam resource template default
show hardware access-list tcam region
# 장애 이력 / 로그
show cores
show diagnostic result module all
show logging nvram
show logging server
show logging last 500
3. 단계별 확인 명령어
절체·원복 직후마다 실행해 상태를 검증한다.
# NX-OS
show run interface Ethernet x/x
show interface status down|up
show ip ospf neighbors # 또는 show ip bgp summary vrf all
show ip route vrf all
show vpc / show vpc peer-keepalive
show port-channel summary
show int counters table | awk '!/0\.0\s+0\.0%\s+0\.0\s+0\.0%/ {print}'
마지막 명령은 트래픽 카운터에서 0이 아닌 인터페이스만 걸러내 실제 트래픽이 어느 링크로 흐르는지 빠르게 확인하는 용도다. 원복 후에는 게이트웨이 IP로 ping을 돌려 통신을 재확인한다.
4. 벤더별 절체 명령어
| 벤더/장비 | 절체 | 원복 |
|---|---|---|
| Cisco Nexus (NX-OS) | interface Ethernet x/x → shutdown | no shutdown |
| Nokia (SR OS) 포트 | /configure port s/x1/1/cN admin-state disable → commit | admin-state enable → commit |
| Nokia 인터페이스 | /configure router "Base" 또는 service vprn "..." interface "..." admin-state disable → commit | enable → commit |
| Nokia 재기동 | admin reboot | — |
| Juniper (Junos) | set interfaces xe-x/x/x disable → commit | delete interfaces xe-x/x/x disable → commit |
| FortiGate (HA) | diagnose sys ha reset-uptime (HA 절체 유도) | — |
HSRP 주의사항
HSRP(Hot Standby Router Protocol)는 Cisco의 게이트웨이 이중화 프로토콜이다. 장비 두 대가 게이트웨이 가상 IP를 공유하며, 평소에는 active 장비가 트래픽을 처리하고 active 장애 시 standby가 역할을 넘겨받는다.
reload(재부팅) 테스트 시 active의 이동 흐름은 다음과 같다.
- active인 1호기를 reload → 재기동 동안 2호기가 active를 넘겨받음
- 1호기 부팅 완료 후:
- preempt on — 우선순위 높은 1호기가 active를 다시 가져감
- preempt off — active가 2호기에 그대로 남음
테스트 종료 시점의 active 장비가 preempt 설정에 따라 달라지므로, 마지막에 show hsrp brief로 의도한 장비가 active인지 확인한다.
5. 모니터링
테스트 내내 각 망(OOB, MGMT, NAS, Service 등)의 대표 호스트 IP 목록에 ping을 유지하면서 다음을 측정한다.
- 절체 시 순단 시간 (몇 초 끊기는지)
- 원복 후 미복구 대상 유무
절체 → 확인 → 원복 → 확인의 모든 단계에서 모니터링 결과를 기록해 두면, 어느 단계에서 순단이 발생했는지 추적할 수 있다.
순단(瞬断): 절체 등의 과정에서 통신이 수 초 내외로 짧게 끊겼다가 회복되는 순간적인 단절.