5/24/2020 Storage admin THAI

Storage admin THAI

NPIV

April 23, 2018 | AdminThai | Leave a comment

NPIV จะถูกใชในระบบ
้ Virtual Machine เพือให ้แต่ละ VM มี WWN ทีไม่ซากั ํ นและแชร์ HBA ทีมี WWN อัน
เดียวกันได ้
– Enable โดย default ในแต่ละ port, portcfgnpivport command to enable
– NPIV device จะถูก assign unique device PID
– สําหรับ fabric แล ้ว NPIV device เปรียบเสมือน physical device ทีอยูใ่ น fabric
– zoning โดยใช ้ WWN
– แต่ละ port รองรับ NPIV ได ้ 255 devices (default value = 126) แก ้ไขด ้วย portcfgnpivport –setloginlimit
– maximum login per switch=3200

ใชคํ้ าสงั portshow เพือแสดง WWN ของ NPIV

https://storageadminthai.wordpress.com 1/27
5/24/2020 Storage admin THAI

Switchshow command เพือแสดงว่า port ไหนมี NPIV เชอมต่

ื อและจํานวน

และสามารถใชคํ้ าสงั nsshow เพือแสดง PWWN ของ VM ได ้เชน

่ กัน

Access Gateway
– คือฟี เจอร์ให ้ switch ทํางานในอีก mode เพือรองรับการเชอมต่
ื อและการขยายได ้มากขึน
– เหมาะกับการเชอมต่ ื อ server จํานวนมากโดยให ้มี impact น ้อยทีสุดกับ fabric เดิม โดยแชร์ bandwidth ทีมีอยู่
– รองรับเฉพาะ FCP initiator และ target ไม่รองรับ FICON, Virtual iSCSI initiator
– เมือต ้องการเปลียน switch ให ้ทํางานเป็ น access gateway จะต ้อง reboot
– เมือ enable mode Access Gateway บน switch แล ้วจะไม่สามาถใชคํ้ าสงั FOS ทัวไปได ้
– ที access gateway switch ไม่ต ้องคอนฟิ ก zoning

ตัวอย่าง Port map ของ switch รุน

่ 6505 (Switch แต่ละรุน
่ จะมี default port map ระบุไว ้อยูแ
่ ล ้วว่า N_Port ไหน
map กับ F_Port ไหน)

https://storageadminthai.wordpress.com 2/27
5/24/2020 Storage admin THAI

Access Gateway Implementation

– switchdisable
– ag –modeenable , ag –modeshow
– ag –mapshow

– ag –failovershow, –failoverenable, –failoverdisable

– ag –failbackshow, –failbackenable, –failbackdisable

Access Gateway Port Grouping

เป็ นการกําหนด group ของ port สําหรับการทํา failover โดยจะมีการ failover ไปยัง port อืนทีอยูภ
่ ายใต ้ port
group เดียวกันเท่านัน
– ag –pgshow
– ag –pgcreate

https://storageadminthai.wordpress.com 3/27
5/24/2020 Storage admin THAI

Access Gateway F_Port Trunking

link ทีเชอมระหว่
ื าง AG switch และ Edge switch สามารถนํ ามาทํา Trunking ได ้ประโยชน์ในการทํา loadbalance
และ failover

Cascading
2 Access Gateway switch นํ ามาเชอมต่
ื ื อได ้ 1 level
อกันได ้เพือขยายการเชอมต่
https://storageadminthai.wordpress.com 4/27
5/24/2020 Storage admin THAI

VIRTUAL FABRIC

April 23, 2018 | AdminThai | Leave a comment

Virtual Fabric เป็ นฟี เจอร์ให ้ simulate logical switch ภายใต ้ hardware เดียวกันได ้ มีประโยชน์ดงั นี
– flexible ย ้าย port ระหว่าง fabric ได ้โดยไม่ต ้อง wirring สายใหม่ หรือ assign unused port ได ้ง่าย
– network security เพราะแยก security ระหว่าง fabric
– reduce fault impact เพราะแยก fabric ผลกระทบจะไม่ข ้ามไปยังอีก fabric
– ง่ายต่อการบริหารจัดการ กรณีแยก group, company

ไม่ต ้องใช ้ license และต ้อง reboot switch เมือ enable virtual fabric

รุน
่ ทีรองร ับได้แก่
-6510, 6520
– G620
https://storageadminthai.wordpress.com 5/27
5/24/2020 Storage admin THAI

– 7840, SX6 extension

– DCX 8510
– X6

ประเภทของ Logical Switch

– Default logical switch (default fabric ID คือ 128 แต่เปลียนได ้) เป็ นตัว initial เริมต ้นจะมีทก
ุ port ของ switch
ถูก assign เข ้าไป
– Logical switch (support F/E/VE Ports) เป็ น logical switch ทีถูกสร ้างขึนมาใหม่
– Base switch (Support E/EX, VE/VEX ports) สร ้างไว ้สําหรับเป้ น ISL connection ระหว่าง switch, FC-FC
routing

ISL เชอมระหว่
ื าง non virtual/virtual switch ไปยัง non virtual switch ทีอยู่ fabric เดียวกัน
IFL เชอมระหว่
ื าง 2 switch ทีอยูต
่ า่ ง fabric (ระหว่าง 2 edge fabric – FC-FC routing)

Fabric ID and Domain ID

– ใน fabric เดียวกัน logical switch จะต ้องใช ้ FID เดียวกัน แต่ DID ต ้องไม่เหมือนกัน
– ใน hardware เดียวกัน logical switch แต่ละตัวจะมี DID ซากั ํ นได ้

https://storageadminthai.wordpress.com 6/27
5/24/2020 Storage admin THAI

ISL, XISL, LISL

– Inter Switch Link (ISL) เป็ น link ทีเชอมระหว่

ื าง logical switch
– Extended Inter Switch Link (XISL) เป็ น link ทีเชอมระหว่
ื าง base switch
– Logical Inter Switch Link (LISL) เป็ น link ทีเชอมระหว่
ื าง Logical switch ทีอยูบ
่ นคนละ chassis โดยผ่านทาง
Base switch (โดยปกติจะเซตเป็ น failover path)

Virtual Fabric with FCIP

– default switch, logical switch, base switch แต่ละตัวสร ้างมารถสร ้าง VE_Port ได ้
– disable FCIP port ก่อนย ้ายระหว่าง logical switch
– FCIP tunnel ทีอยูบ่ น base switch สามารถใชส้ ง่ traffic ได ้กับหลาย fabric

Virtual Fabric Configuration

จากรูปตัวอย่าง
1. disable VF บน 6510

2. Config VF บน G620 ทังสอง

– lscfg –show
– lscfg –create 20 (create logical switch FID=20)
– lscfg –create 30 -b (create base switch FID=30)

– setcontext 20 (เปลียนไป command prompt ที FID 20)

– switchshow
– configure
– assign port to Logical Switch : lscfg –config 30 -p 14-15

https://storageadminthai.wordpress.com 7/27
5/24/2020 Storage admin THAI

ADVANCED MAPS

April 23, 2018 | AdminThai | Leave a comment

MAP คือ SAN monitoring utility สําหรับตรวจเชค ็ performance ของ SAN Switch ประกอบไปด ้วย
– Policy ซงจะมี
ึ rule อยูภ
่ ายใน แต่ละ switch จะมีได ้หลาย policy แต่จะ activate ได ้ policy เดียวเท่านัน
– Rule กําหนด measure, threshold, time base และ condition ทีจะ action เมือเข ้าเงือนไขทีกําหนดไว ้

MAPS Categories:
– Fabric State change
– Port Health
– Switch Resource
– FRU Health
– Security Violations
– Switch Status Policy
– Traffic/Flow Performance
– FCIP Health
– Back-end Health
– Fabric Performance Impact

ตัวอย่างองค์ประกอบของ MAPS

https://storageadminthai.wordpress.com 8/27
5/24/2020 Storage admin THAI

MAPS and Flow Monitor

Maps สามารถใชงานร่
้ วมกับ Flow monitor ได ้
– Flow –create

– mapsconfig –import

https://storageadminthai.wordpress.com 9/27
5/24/2020 Storage admin THAI

– logicalgroup –show

– mapsrule –create

https://storageadminthai.wordpress.com 10/27
5/24/2020 Storage admin THAI

– mapspolicy –addrule

Flow Vision

April 23, 2018 | AdminThai | Leave a comment

เป็ น tool สําหรับทํา diagnostic FC SAN Network โดยเริมตังแต่ FOS 7.2.0 ขึนไป และต ้องมี license Fabric
Vision
– Flow Monitor ตรวจเชค ็ และ monitor traffic FC SAN
– Flow Generator สร ้าง load traffic ทดสอบบนระบบ SAN เพือทราบ performance ก่อนการ deploy application
– Flow Mirror สร ้าง copy ของ application flow เพือการ analyst ทีลึกยิงขึน

parameter ทีต ้องใชส้ ําหรับคอนฟิ ก Flow Vision

1 Port parameter: Egress or Ingress
2 Frame Parameter: source, destination port id, LUN number, frame type
3 Direction ของ frame

Flow Monitor
ข ้อมูลทีได ้รับจาก feature นี
– throughput statistics
– SCSI IOPS performance counters
– Monitor Latency
– Traffic ทีวิงผ่าน F_Port, E_Port, EX_Port, XISL_Port, Trunked port

https://storageadminthai.wordpress.com 11/27
5/24/2020 Storage admin THAI

ตัวอย่างการสร ้าง Flow Monitor

้
เปรียบเทียบการใชงาน Flow Vision กับ appliance AMP

Flow Monitor
สําหรับสร ้าง traffic ทดสอบระบบ และ hardware โดยสามารถระบุขนาดของ frame หรือ pa ern ได ้ตามต ้องการ
โดย feature นีไม่ควรรันในระบบ production ที active แล ้วเนืองจากจะสง่ ผลกระทบ หลักการคือการสร ้าง
Simulator port (SIM-Port) ขึนมาเหมือนเป็ น F_Port บน Switch ทีต ้องการทดสอบทังสองฝั ง หรือแม ้แต่บน switch
เดียวกันได ้

การสร ้าง SIM port

https://storageadminthai.wordpress.com 12/27
5/24/2020 Storage admin THAI

การคอนฟิ ก Flow generator

Flow Mirror
คือการสร ้าง duplicate frame แล ้วสง่ ต่อไป 3 destination ได ้ดังนี
1. CPU Flow mirroring คือการสง่ ไป CPU local (CFM)
2. Local Flow mirroring คือการ mirror flow ไปที port อืน (LFM)
3. Remote Flow Mirroring (RFM) ใชกั้ บ Brocade AMP

https://storageadminthai.wordpress.com 13/27
5/24/2020 Storage admin THAI

FCIP Admin

April 23, 2018 | AdminThai | Leave a comment

ขนตอนส
ั ํ หร ับการคอนฟิ ก FCIP
า
1. เตรียม parameter สําหรับการคอนฟิ ก VE_Port และ FCIP tunnel
– ใช ้ FCIP mode อะไร? FCIP only or Hybrid
– GbE port, IP address, Netmask, MTU size
– IP route, gateway
– Tunnel ID, commit rate, FCIP tunnel parameters

2. คอนฟิ ก hardware port ให ้เหมาะสมกับ media type และ mode

– คอนฟิ ก FCIP mode: extncfg –ve-mode (20VE, 10VE) , extncfg –show
– คอนฟิ ก GbE speed: portcfgge –set -speed <speed>
– เคลียร์คอนฟิ กของ active extension configuration: extncfg –config -default

3. ทําการ persistently disable VE_port

portcfgpersistentdisable (VE_port Number)
4. assign IP สําหรับแต่ละ Ethernet port
portcfg ipif <ge#.dp#> create ip_addr netmask/pfx
portshow ipif ge#.dp#
ตัวอย่าง

5. คอนฟิ ก IP route สําหรับใชงาน

้ IP gateway (optional)
portcfg iproute [slot/port] create <destination IP address> <netmask> <local gateway>

https://storageadminthai.wordpress.com 14/27
5/24/2020 Storage admin THAI

portshow iproute ge#

ตัวอย่าง

6. ตรวจสอบการเชอมต่
ื อ 2 IP interface ทีจะนํ ามาสร ้างเป็ น FCIP tunnel
portcmd –ping ge#.dp# -s source_IP -d destination_IP
portcmd –traceroute ge#.dp# -s source_IP -d destination_IP

7. สร ้าง FCIP tunnel (circuit ID จะ default เป็ น 0 เสมอ)

portcfg fciptunnel slot/port create –local-ip IP –remote-ip IP –min-comm-rate –max-comm-rate

เพิม circuit เข ้าไปใน tunnel (ต ้องระบุ curcuit ID)

portcfg fcipcircuit slot/ve_port option circuit_ID [options] [optional_arguments]

https://storageadminthai.wordpress.com 15/27
5/24/2020 Storage admin THAI

switchshow
portcfgpersistententenable VE_port No.
portshow fciptunnel
portshow fcipcircuit

8. configure FCIP feature อืนๆเชน ่ compression, QoS

9. คอนฟิ ก tunnel สําหรับแต่ละ HCL (Hot Coade Load: การ upgrade firmware แบบ no downtime)
– แต่ละ circuit จะต ้องมี 2 IP address

https://storageadminthai.wordpress.com 16/27
5/24/2020 Storage admin THAI

ตรวจสอบ HCL
portshow fciptunnel –circuit –config –ha
portshow fciptunnel –hcl-status

10. ตรวจสอบคอนฟิ กและการเชอมต่

ื ั การใชงาน
อ ฟั งก์ชน ้

WTOOL
เป็ น command สําหรับทดสอบ Tunnel performance โดยการสร ้าง traffic ทดสอบผ่าน Tunnel ทีสร ้างไว ้

https://storageadminthai.wordpress.com 17/27
5/24/2020 Storage admin THAI

Path MTU Discovery (PMTUD)

command ไว ้ตรวจเชค ็ ค่า MTU size ทีรองรับได ้บน network ทีเชอมต่
ื ออยู่
– สง่ ICMP echo request ขนาด 64 Byte เพือสร ้าง connection ของ ICMP
– สง่ 3 ICMP echo request แต่ละขนาดทีอยูใ่ น MTU table
– หากการสง่ สําเร็จจะสง่ ขนาดทีใหญ่ขนเรื
ึ อยๆตามทีระบุใน MTU table
– โดยปกติควรทราบค่า MTU ของ link ทีใชงานอยู
้ ่ ละกําหนดแบบ fix ค่า
แ

FCIP Theory
https://storageadminthai.wordpress.com 18/27
5/24/2020 Storage admin THAI

April 19, 2018April 20, 2018 | AdminThai | Leave a comment

FCIP คือ protocol ที FC วิงผ่าน IP ได ้เพือประโยชน์ด ้านต่างๆ เชน
่ ลดค่าใชจ่้ ายและระยะทางในการเชอมต่
ื อเพิมขึน
หรือ link ระหว่าง site เป็ น IP network ไม่ใช ่ dark fiber

ในภาพของ Fabric จะมอง FCIP link เสมือน ISL และจะมองไม่เห็นการเชอมต่ ื อ IP Network รวมทัง Protocol
TCP/IP ก็จะมองไม่เห็น FC fabric, protocol ด ้วยเชน
่ กัน เนืองจาก FC Frame ถูก encapsulate สง่ ผ่าน TCP/IP
packet

Brocade switch ทีรองร ับ FCIP

– 7840 switch (GEN5)
– SX6 blade (Gen6 X6-4 and X6-8 Director)

่ สามารถทํา FCIP tunnel หากันได ้

โดยทังสองรุน

FCIP Components

1 Tunnel ประกอบไปด ้วย 1 port GbE หรือมากกว่า (license Advanced Extension License) โดยสองฝั งต ้อง
config GbE port ให ้เหมือนกันเชน
่ service, commit rate, etc.
1 VE_Port ก็คอ
ื 1 FCIP tunnel
https://storageadminthai.wordpress.com 19/27
5/24/2020 Storage admin THAI

1 circuit ก็คอ
ื 1 GbE port ทีถูกใชใน
้ Tunnel, โดย 1GbE port นํ าไปใชได
้ ้หลาย circuit

พอร์ตของ switch ทีเชอมผ่ ื าน FCIP จะคอนฟิ กเป็ น Virtual E_Port (VE_Port) ซงคล
ึ ้ายกับ E_Port เพียงแต่
การสง่ ผ่านข ้อมูลเป็ น IP ไม่ใช ่ FC และ VE_port จะใช ้ TCP flow contro แทนที Buffer credit
VE_port ไม่ support FC ISL trunking แต่รองรับ FCIP Trunk, และรองรับ Dynamic Path Selection และ
DLS Dynamic Load Sharing, 1 VE_port ใช ้ GbE port มากกว่า 1 ได ้
Best practice แนะนํ าให ้ implement multiple circuit trunk แทนทีจะให ้มีหลายๆ VE port ต่อ fabric

VE_Port มีอยูด
่ ้วยกัน 3 modes (10 VE_port ใชได
้ ้ 10VE_port, 20 VE_port ใชได ้ ้ 20VE_Port และ Hybrid
mode ใชได
้ ้ 10VT_port และ IPEXT)
ขันตอนการสร ้าง VE_Port ระบบจะ assign port GbE ให ้อัตโนมัต ิ แต่ port จะถูก assign ตาม VE_Port number

https://storageadminthai.wordpress.com 20/27
5/24/2020 Storage admin THAI

(h ps://storageadminthai.wordpress.com/2018/04/19/fcip-theory/4-20-2018-10-37-34-am/)

(h ps://storageadminthai.wordpress.com/2018/04/19/fcip-

theory/4-20-2018-10-37-49-am/)
Metrics & Load balancing

แต่ละ circuits จะต ้องเลือกว่าจะใช ้ Metric เบอร์ 0 (default active) หรือ เบอร์ 1 (failover) โดย Metric 1 จะถูกใชก็้
ต่อเมือ link ของ metric 0 ใชไม่
้ ได ้

สว่ น algorithm ทีใชส้ ําหรับการ Load balancing จะมีสองแบบ

1. Failover Group โดยภายในแต่ละ Group จะต ้องมีทงั metric 0 และ metric 1)

2. Spillover (v8.0.1) ต่างกับแบบ failover เพราะจะ switch มาใช ้ circuit สํารองก็ตอ ้

่ เมือมีการใชงานหนาแน่ น ใน
ขณะทีแบบ failover จะ switch มาใชงาน ้ circuit สํารองก็ตอ
่ เมือ failover group down เท่านัน

FCIP Trunking
คือการ add circuit มากกว่า 1 เข ้าในยัง 1 Tunnel โดยจะชว่ ยเพิม bandwidth และ redundancy ทังนีจะต ้องใช ้
license Advance Extension License)

https://storageadminthai.wordpress.com 21/27
5/24/2020 Storage admin THAI

Hot Code Load Support

ชว่ ยให ้การ upgrade firmware บน switch 7840 และ SX6 ทําได ้โดยไม่ม ี downtime
HCL firmware update ทําได ้เพราะมี DP0 และ DP1 ซงจะ ึ upgrade firmware ไปทีละ DP และในระหว่างนัน
จะทําการ failover traffic ไปอีก DP
เมือ HCL ถูกคอนฟิ ก จะมีการสร ้าง tunnel ขึนมา 3 แบบ Main tunnel (MT), Local backup tunnel (LB) และ
Remote Backup tunnel (RB)
ในระหว่าง HCL firmware update จะแก ้ configuration ต่างๆไม่ได ้และ performance จะเหลือครึงเดียว
แสดงค่าคอนฟิ กด ้วยคําสงั portshow fciptunnel –circuit –config –ha

Compression

่ 7840 และ SX6 สามารถทํา hardware compression ได ้ โดย apply กับแต่ละ FC frame และแต่ละ FC
ทังสองรุน
tunnel โดยจะมีการ compress ก่อนสง่ เข ้ากระบวนการ encapsulate เป็ น TCP/IP packet

Adaptive Rate Limiting (ARL)

เป็ นเสมือนการทํา QOS เป็ นระบบเพือจํากัด traffic บน circuit ทีสง่ ออกไป โดยสามารถจํากัด minimum และ
maximum commit rate ได ้ ระบบจะปรับอัตโนมัตข ิ นอยู
ึ ก ั network condition ในขณะทีใชงาน
่ บ ้ feature นีเหมาะ
้
กับระบบทีใชงาน FCIP แชร์รว่ มกับ Network infrastructure, ต ้องใช ้ license Advanced Extention (เฉพาะ 7840)

ARL algorithm มี 3 modes: Static (default) ซงจะปรั

ึ บกลับเป็ น minimum เมือมีการตรวจพบ network error,
Modified Multiplicative Decrease ซงจะค่
ึ อยๆลดค่าลงจากการคํานวณ, Time-based Decrease เป็ นการลดค่าเมือ
ตรวจพบ network error ทีละ step ตามระยะเวลาทีถูกกําหนดไว ้แบบ fix

https://storageadminthai.wordpress.com 22/27
5/24/2020 Storage admin THAI

การนําไปใชง้ าน

FC-FC ROUTING ADMIN

April 17, 2018 | AdminThai | Leave a comment

เริมต ้นจะต ้องมี license Integrated Routing License

ทัง backbone และ edge fabric จะต ้องไม่มก ี ารเซต ACL แบบ Strict mode
switchdisable
fcrconfigure –bbfid (set Fabric ID (FID) ทุกๆ backbone switch โดยต ้องมีคา่ ไม่ซากั
ํ น)
fosconfig –enable fcr (enable FC routing service)
https://storageadminthai.wordpress.com 23/27
5/24/2020 Storage admin THAI

switchenable (enable switch)

portdisable
portcfgexport (config EX_port ของ backbone switch) จากรูปเซตที port 3 ของ backbone switch ดังนี
> portcfgexport 3 -a 1 -f 10 -d 120 (-f = FID fabric id ของ edge, -d=FD front domain id ของ edge)
portenable
check connectivity – issue following command on Edge switch: switchshow, fabricshow
check connectivity – issue following command on Backbone switch: fcrfabricshow, fcrphydevshow
(show device ทีแชร์ระหว่าง fabric)
สร ้าง LSAN zone บน ทังสอง fabric โดยใช ้ PWWN (ควรตังชอ ื zone ให ้เหมือนกันจะได ้ maintain ง่าย) และ
ชอื zone ขึนต ้นด ้วย LSAN_
cfgactvshow, lsanzoneshow -d เพือแสดง lsan zone configuration

Troubleshooting
ด ้วยการใช ้ command lsanzoneshow, fcrproxydevshow, fcrphydevshow, fcrrouteshow, fcrxlateconfig,
fcrresourceshow

Best practice คือเปลียน Translate domain ID ให ้เป็ นค่าเดียวกันกับ Front domain ID ของ device ทีถูก export
มา

https://storageadminthai.wordpress.com 24/27
5/24/2020 Storage admin THAI

Storage admin THAI

Powered by WordPress.com.
REPORT THIS AD

https://storageadminthai.wordpress.com 25/27