You are on page 1of 50

VPC 技术详解

议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 2


VPC 概述
 VPC : Virtual Port-Channel
 允许跨设备的链路捆绑
 消除 STP 环路
 快速收敛
 提高链路利用率 传统 STP 二层网络逻辑拓扑
 HSRP/VRRP 双活
 NX-OS 平台支持 VPC 功能( Nexus
7000 , Nexus 5000 )
 接入交换机没有特殊要求,只需要标准
支持 802.3ad /LACP

VPC 网络逻辑拓扑
© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 3
议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 4


vPC 术语和组件
 vPC Domain — 包含 vpc peer , peer-link ,
vPC Domain keepalive-link , 下联 port-channel 等
 vPC peer – vpc 交换机,成对出现
 vPC member port – 组成 vpc 的一组端口
vPC peer-keepalive vPC peer-link
link ( port-channel )
 vPC – 连接下联交换机与两个 vpc peer 之
CFS protocol
间的 port-channel 链路
 vPC peer-link –vpc peer 之间的链路,状态
vPC peer 和信息同步,必须为 10GE
 vPC peer-keepalive link vpc peer 之间的
vPC
vPC
心跳线,作为 peer-link 的备份
vPC member
member
port
port
 vPC VLAN – 通过 vpc 链路和 peer-link 承
non-vPC
载的 vlan.
device
 non-vPC VLAN – 不通过 vpc 承载的 vlan
 CFS – Cisco Fabric Services 协议,用于
vpc peer 之间状态同步,配置验证

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 5


vPC Domain
vPC Domain

 vpc peer 双方 均需要定义 VPC


Domain ,且建议两边的 Domain ID
一致
 在 Domain mode 下定义 vpc 的全
局参数 ——角色优先级(低值优
先), keepalive 等等
 VPC Peer 设备使用 Domain ID 自
动产生一个唯一的 VPC system-
MAC (用于 LACP 链路操作)

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 6


Peer Link

 用途
vPC peer-link
• 标准 802.1Q Trunk
• 承载 vpc vlan 和非 vpc vlan
• CFS 协议
• FHRP 第一跳泛洪报文
• STP BPDUs, HSRP Hellos, IGMP
updates 等
• 特殊情况下需要承载流量
 使用建议
• 至少两个 10GE 的端口,并且分布在不同
的板卡上
• 10GE 端口均设置成独占模式

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 7


Cisco Fabric Services (CFS) 协议
STP does send
BPDUs
 用途 IGMP updates CFS Messaging
MAC updates
• 配置验证 / 比较
• STP 管理, STP BPDU 抑制
• MAC 同步
• vPC 成员端口状态
• IGMP snooping 同步
• HSRP 双活

STP doesn’t send


BPDUs
HSRP Standby-
>ActiveL3
IGMP updates
MAC updates

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 8


vPC 配置元素

 配置元素类型
 类型 1
如果类型 1 中的元素不一致,则 VPC 无法建立起来
vPC, STP, Vlan status, Port channel, MTU…
类型 2
VPC 可以建立起来,但是可能会导致流量异常
VLAN interfaces, HSRP, PIM, GLBP ,ACLs ,etc…
系统会对这些不一致的配置产生 Syslog

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 9


Peer-Keepalive

 用途 vPC peer-
keepalive link
VPC Peer 之间的心跳
Active/Active ( Peer-Link 失效 ) 检测
心跳消息间隔为 2s , hold timer 为 3s (默认)

 使用建议
必须为一个单独的三层链路 (1Gb 带宽足够 ) ,三
层可达即可,独立 VRF
不能通过 peer-link 在路由
可以使用引擎上的管理口

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 10


vPC 成员端口

 用途
• VPC peer 之间对 port-channel 进行
终结
 配置建议
• VPC peer 之间的属于同一个 vpc 组
的成员端口的配置必须一致
• 下联交换机和两个 VPC Peer 之间
最多可捆绑 16 条链路 vPC
member
port

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 11


Virtual Port Channel
 用途
• 接入设备与两个 VPC Peer 建立的 port-
channel
• 流量可以在接入设备的所有上联链路上进行
负载分担
• 标准 802.3ad port-channel

 接入设备功能需求 vPC

• 支持标准 802.3ad vPC


Normal
member
Port-
• LACP 可选 port
channel
port

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 12


重复帧防护机制
 VPC 的一个重要转发原则:从 vpc peer 通过 peer link
发送过来的帧不会从 vpc 成员端口转发出去,而发给非
vpc vlan , orphan port 或者上联链路的流量会正常转发
 Orphan port :不是通过 vpc 连接,但承载 vpc vlan 的
端口

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 13


VPC 配置
 启用 VPC, LACP 功能
N7k01 N7k02
 定义 VPC 域
 建立 keepalive 连接
 创建 peer-link
 把 VPC 成员端口加入到 vpc 组当中
 确认 vpc peer 的配置一致性
(config)# feature vpc
(config)# vpc domain 1
(config-vpc-domain)# peer-keepalive destination x.x.x.x source y.y.y.y
(conifg)# int port-channel 10
(config-int)# vpc peer-link
(config)# int port-channel 20
(config-int)# vpc 20
(config-int)#show vpc consistency-parameters

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 14


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 15


单播——从 Mac_A 到 Mac_B
Packet
Send

ECMP ECMP

SW1 SW2 Packet(s)


L3 vPC PK-Link
vPC_PL blocked on
vPC member
L2 ports, vPC
peer-link
Packet Flooding
Packet
traversed
Flooding

CFS MAC table


Port channel update
path selection message
vPC1 vPC2

SW3 SW4
MAC_A MAC_B

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 16


单播——从 Mac_B 到 Mac_A 的响应
Packet
Send

ECMP ECMP

SW1 SW2
L3 vPC PK-Link
vPC_PL
Local
forwarding,
L2 previously
learned
destination

Port channel
vPC1 vPC2 path selection

SW3 SW4
MAC_A MAC_B

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 17


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 18


Nexus 7000 VDC 简介
VDC 1
虚拟化
Layer 2 Protocols Layer 3 Protocols
VDC 2
Virtual Device Context VLAN UDLD OSPF GLBP
Layer
PVLAN 2 Protocols
CDP BGPLayer 3 Protocols
HSRP
 一个物理设备上虚拟多个 STP 802.1X EIGRP IGMP
逻辑设备 VDC 1 LACP
VLAN
PVLAN
CTS
UDLD
CDP
PIM
OSPF
BGP
SNMP
GLBP
HSRP

 灵活的硬件资源分配 … …
STP 802.1X EIGRP IGMP
VDC 2
LACP CTS PIM SNMP
 软件功能以及故障隔离 VDC 3 … …

 有效提高资源利用率 VDC 4
 安全独立的管理模式
Infrastructure
Kernel

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 19


VPC 和 VDC 的互操作
 VPC 可以在 VDC 环境下正常的工作,不会有任何影响

Core
Nexus7010
Nexus7010
VDC1 VDC1

Distribution

VDC2 VDC2
VDC3 VDC3

VDC4 VDC4

Access

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 20


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 21


vPC 和 ISSU 互操作
4.1(3)
4.2(1) 4.1(3)
4.2(1)
 在 VPC 环境下仍建议使用 ISSU 进
行系统升级
 VPC Peer 会分别进行单独的升级, 4.1(3)
4.2(1)
不会影响流量转发
 升级采用线性的顺序,一次一台设备
 在其中一台设备升级时, peer 设备
的 config 会被锁住

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 22


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 23


vPC 和 STP 互操作

 STP 仍需启用 :
VPC 失效 / 增加 / 删除时的备份机制
非 VPC 设备的防环机制
STP 不会控制 VPC 成员端口的状态

 配置建议
在二层网络中使用 Rapid-PVST 或者 MST ,提高收敛速度
接入交换机下联主机的端口配置 portfast

vPC is running to manage


STP
vPC
loops outside of vPC’s
direct domain, or before
initial vPC configuration

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 24


BPDU 发送机制
Packet
Send

ECMP ECMP STP process


updated,
SW1 SW2
L3 vPC PK-Link
vPC_PL
BDPUs not
forwarded on

BPDUs
Packet
L2 vPC member
ports
forwarded
Flooding
STP STP
Root Root
Backup
vPC1 vPC2

SW3 SW4
MAC_A MAC_B

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 25


STP 端口配置建议
N Network port
E Edge or portfast port type
- Normal port type
B BPDUguard
Rootguard
Data Center Core R

L Loopguard

Primary Secondary
vPC vPC
vPC
HSRP Domain HSRP Layer 3
ACTIVE STANDBY
Aggregation
N N Secondary
Primary
Root Root
Layer 2 (STP + Rootguard)
- - - - - - - -
R R R R R R R R

-
Access
- - L

E E E E E
B B B B B
Layer 2 (STP + BPDUguard)

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 26


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 27


VPC 和 FHRP ( HSRP/VRRP )互操作

 VPC 环境中 FHRP 处于


双活状态
HSRP/VRRP HSRP/VRRP
 正常的 FHRP 配置 “Active”: Active
for shared L3
“Standby”:
Active for
MAC shared L3 MAC
 Standby 设备与 vpc
manager 交互,来判断是 L3
否 vpc peer 是否 active L2

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 28


VPC 环境中 HSRP 工作机制

 不改变 HSRP 控制协议


 HSRP 共享虚拟的 MAC 地址(从初始 active
HSRP 设备导出)
 HSRP active 设备响应 ARP 请求
 负载分担到 standby 设备上的流量直接从 本地
转发
 减少 peer-link 的使用,提高 L3 上联链路的带

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 29


VPC 和 HSRP 互操作流程

Packet
Send

HSRP active HSRP active MAC


process is populated into the
communicates the ECMP ECMP L3 hardware
active MAC to its forwarding tables,
neighbor. Only the SW1 SW2 creating a local
vPC PK-Link
HSRP active L3 forwarding
process responds vPC_PL
capability on the
to ARP requests L2 HSRP standby
device
HSRP HSRP
Active Standby

vPC1 vPC2

SW3 SW4
MAC_A MAC_B

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 30


VPC 环境下 HSRP 改进: peer-gateway
Local Routing for peer
场景: router –mac Traffic

 有一些 NAS 设备( NETAPP Fast-


Path 或 EMC IP-Reflect ) 回应的时
候使用的是发送设备的实 MAC 地址,
vPC PL
而不是 HSRP 网关的虚拟 MAC 地址 L3
 报文被负载分担到非实 MAC 所在 VPC L2
vPC PKL
设备时,会通过 peer-link 发送到实
MAC 所在的 VPC 设备上,而由于重复
帧防护机制,该设备会把报文丢弃 .
Vpc peer-gateway 解决方案 :
 当目标 MAC 地址为 peer vpc 设备的三
层报文发送到本地时,该功能允许本地
vpc 设备网关正常转发该报文

N7k(config-vpc-domain)# peer-gateway
© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 31
议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 32


VPC 故障恢复
 典型故障场景
- 下联接入交换机链路故障
- 上联三层链路故障
- Peer-link 故障
- Keep-alive link 故障
- Peer-link 和 keepalive-lnk 同时故障
- 整机故障
2 ECMP

VPC Primary L3 VPC Secondary


HSRP Active 5 4 HSRP Standby
STP Root 6 3 STP Root Secondary
L2

1
接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 33


场景一:下联接入交换机链路故障

 所有流量会发往 VPC Secondary 设备,并从


secondary 设备发往上联链路
 故障收敛:~ 21ms 恢复收敛:~ 0.09ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 34


场景二:上联三层链路故障

 负载分担到 VPC Primary 的流量会通过 peer-


link 发往 VPC Secondary 设备,再发往上联链

 故障收敛:~ 60ms 恢复收敛: 0ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 35


场景三: peer-link 故障

 通过 keepalive-link 检查对端 active


 VPC Secondary 关闭所有的 VPC member port 和 VPC Vlan
SVI 。
 流量通过 VPC Primary 发送
 Peer-link 恢复后,被 shutdown 的端口和 SVI 会自动恢复
 故障收敛:~ 75ms 恢复收敛:~ 41ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 36


场景四: Keepalive-link 故障

 Peer-link 仍正常工作,流量正常转发,
不会受到任何影响
 故障收敛: 0ms 恢复收敛: 0ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 37


场景五: peer-link 和 keepalive 均断掉 ( 1 )

 Peer-link 先断, keepalive 后断 (此场景非常罕见!)


- VPC Secondary 关闭所有 VPC member port 和 VPC vlan
SVI
- peer-link 和 keepalive 均恢复之后,被关闭的端口自动恢复
故障收敛: 75ms 恢复收敛: 149ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active 2 HSRP Standby
STP Root L2 1 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 38


场景五: peer-link 和 keepalive 均断掉 ( 2 )

 Keepalive 先断, peer-link 后断 (此场景非常罕见!)


- active/active
- 两个 VPC peer 均会发送 BPDU ,各自为根
- 原来的流量可正常转发
故障收敛: 0ms 恢复收敛:~ 131ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active 1 HSRP Standby
STP Root L2 2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 39


场景六: 一台 N7K 出现整机故障

 Secondary VPC 角色变成 Primary ,流量均通过该设备转发


 故障收敛:~ 474ms 恢复收敛:~ 882ms

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 40


议程
 VPC 基本原理
- VPC 概述
- VPC 组件和原理
- VPC 基本业务流
 VPC 的互操作
- VPC 和 VDC 的互操作
- VPC 和 ISSU 的互操作
- VPC 和 STP 的互操作
- VPC 和 HSRP 的互操作
 VPC 故障恢复
 最佳实践
 Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 41


部署最佳实践
 Port-channel 建议使用 LACP ,有利于 failover 和配置不匹配保护
 使用 SVI 和 HSRP 作为下联网段的网关
 Peer-link 至少两条独占模式的万兆端口,最好分布在不同的板卡上
 Peer-link 上启用 UDLD
 Keepalive link , 三层端口,独立 VRF ,路由可达
- 1G 带宽足够, 使用板卡上的千兆三层端口,独立 VRF
- 可使用 SUP 上的管理口,但是不要背靠背连接 (N7K)

ECMP

VPC Primary L3 VPC Secondary


HSRP Active HSRP Standby
STP Root L2 STP Root Secondary

接入交换机
© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 42
VPC vlan 和非 VPC vlan

 非 vpc vlan 不通过 peer-link 承 Orphan


Ports
载,以免 vpc fail 时 影响非 vpc
vlan
 可把 vpc vlan 和非 vpc vlan 可
使用独立的 VDC

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 43


L3 和 VPC
 使用独立的三层链路连接路由器

Switch Switch

Po2 Po2

7k1 7k2
L3 ECMP
Po1

Router Router

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 44


HSRP link Tracking

 不建议在 VPC 环境中使用


HSRP Link Tracking 功能。
L3
 VPC peer 不会向 vpc 成员端 L2
口转发从 peer-link 转发过来的
流量

VLAN A
VLAN B

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 45


VSS vs. vPC
VSS vPC
支持情况 设备型号 Catalyst 6500 Nexus 7000, Nexus 5000
链路捆绑 L2 跨机箱链路捆绑 是 是

(Active-active)
是否支持 L3 链路捆绑 是 否
控制层面 / HA 控制层面 统一 独立,双活
配置文件 统一 独立
引擎冗余 跨机箱冗余 每个机箱都有冗余
L2 链路捆绑协议 LACP, PaGP(+) LACP
是否需要 STP 否 否

L3 单个逻辑网关 是 ( 不需要 FHRP) 是 , active-active HSRP


路由进程 单个 相互独立
路由邻居 减少 相互独立
组播 PIM DR 单个 相互独立 (DR&N-DR)

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 46


Q&A

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 47


© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 48
STP 收敛增强功能: peer-switch
STP Root
STP Root VLAN 1 4.2(6) and 5.0
STP Root
VLAN 1 VLAN 2
VLAN 2 Releases

Bridge Priority Bridge Priority


VLAN 1  4K VLAN 1  8K
VLAN 2  8K vPC Primary vPC Secondary VLAN
Bridge Priority Bridge2Priority
 4K
VLAN 1  4K vPC Peer-link VLAN 1  4K
VLAN 2  4K S1 S2 VLAN 2  4K

Nexus 7000(config-vpc-domain)# peer-switch


vPC1 vPC2

S3 S4 No STP Topology Changes

 vPC switches to appear as a single STP Root in the L2 topology (same bridge-id).
 vPC peer-link excluded from STP computation (vPC peer-link treated as “backplane extension”).
 Improves convergence on vPC primary switch failure/recovery avoiding Rapid-STP Sync

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 49


上联链路和 peer-link 均在一块万兆版卡上

VPC Object Tracking
Scenario:
 vPC deployments with a single N7K-
M132XP-12 card, where core and peer-
link interfaces are localized on the same
card.
e1/… e1/… e1/… e1/…
 This scenario is vulnerable to access-
e1/… vPC PL e1/…
layer isolation if the 10GE card fails on L3
the primary vPC. L2
e1/… e1/…
vPC PKL
vPC Object Tracking Solution: vPC
e2/… e2/… vPC
Primary Secondary
 Leverages object tracking capability in
vPC (new CLI commands are added).
 Peer-link and Core interfaces are
tracked as a list of boolean objects.
 vPC object tracking suspends vPCs on
the impaired device, so traffic can get
diverted over the remaining vPC peer.
rhs-7k-1(config-vpc-domain)# track <object>

© 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 50

You might also like