Symmetrix Internals ­ Architecture Overview 1 

Symmetrix Internals 

Module 1: Symmetrix Architecture Overview 

© 2008 EMC Corporation. All rights reserved. 

Welcome to the first module of the Symmetrix Internals course. Some of this may be a review of the prerequisite materials,  but it is critical that we have a solid understanding of the architectural concepts and terms as this will be the foundation for  the remainder of this class.

Copyright © 2008 EMC Corporation. All Rights Reserved. 

Symmetrix Internals ­ Architecture Overview 2 

Module 1 – Symmetrix Architecture Overview 
Ÿ After completing this module, you will be able to:  Ÿ Diagram the basic architecture of a Symmetrix and define  the following terms: 
– Front­end  – Back­end  – Cache 

Ÿ Describe the difference between Physical Disk and  Logical Volume  Ÿ Explain the data flow for read and write operation  including the following terms 
– Read hit, read miss  – Fast write  – Delayed fast write
© 2008 EMC Corporation. All rights reserved. 

Copyright © 2008 EMC Corporation. All Rights Reserved. 

Symmetrix Internals ­ Architecture Overview 3 

Symmetrix Evolution 
Symmetrix 4  Symmetrix 2 
Symmetrix 4400  4Mb DRAM  256MB Cache  Board  5.25” HDA  Symmetrix  4800 

Symmetrix 6  Symmetrix 4.8 
3630/5630  3830/5830  3900/5900 

Symmetrix 3 
Symmetrix 5500­3  16Mb DRAM  1GB Cache Board 

3330/5330  3430/5430  3700/5700 

DMX800  DMX1000  DMX2000 

Symmetrix  3000*  Hyper Volume  Extension  3.5” HDA  Symmetrix ESP  SDMS  EOS  EDM 

DMSP  System Calls  Ultra SCSI  SA­Failover  PowerPath  Fibre Channel  SDDF 

Symmetrix 5 
8130  8430  8730 

Symmetrix 6.5  DMX­2 


‘90  ‘91 


‘93  ‘94 





>4GB Cache  SymmOptimizer  File SMMF  New TF Splits  Switch SRDF R1/R2  FC Fabric Support 

‘00  ‘01  ‘02  ‘03  ‘04  ‘05  ‘06  ‘07 

Symmetrix  4200  Dynamic  Sparing  Non­  Disruptive  Microcode  Load 

Symmetrix 5230­4  InfoMover  Symmetrix 5100­9  Celerra  RAID­S  FDRSOS  FWD SCSI  SRDF Ext Dist  SRDF Host Comp  Symmetrix Manager (ECC)  DataReach  MPLF  TimeFinder  3380/3390 Intermix  3GB/9GB Intermix 

Symmetrix 5.5 
8230  8530  8830 

Symmetrix 7  DMX­3  DMX­3  950 
DMX1500  DMX2500  DMX3500  DMX4500 

Symmetrix  5500­9  5200­3  5200­9  SRDF  PDS Assist  SDS  HDC 

© 2008 EMC Corporation. All rights reserved. 

The Symmetrix represents 17 years of development and refinement.  As we see in the chart above, each generation has  added performance, connectivity, and usability features.

Copyright © 2008 EMC Corporation. All Rights Reserved. 

Symmetrix Internals ­ Architecture Overview 4  EMC Storage Platform Portfolio  Customer  Requirements  DMX­3/DMX­4  DMX/DMX­2  CLARiiON  CX Series  Customer  Investment  © 2008 EMC Corporation.  At the high end we have the Symmetrix DMX­3 and the DMX­4.  . At the mid­tier. Copyright © 2008 EMC Corporation.  Although this presentation is intended for Engineering it is important to note that the Symmetrix DMX series Direct Matrix  Architecture and  Enginuity™ offers uncompromising performance in both sustained and burst IO environments. we will continue to offer and expand our  CLARiiON family of products. All Rights Reserved. All rights reserved.

  In the DMX/DMX­2 series this was the DMX800.  There are two configurations for the 950. All Rights Reserved.  . All rights reserved. TB (protected) Memory Directors Max. either a single system by with  up to 180 disks or a system bay and a storage bay with up to 360 disks.Symmetrix Internals ­ Architecture Overview 5  Symmetrix DMX 950 6­slot Specifications  EXPANSION Disk Adapters Drive channels Number of disks (min/ max) Max.  These systems provide the capabilities as the other  DMX models. Useable Global Memory Useable connectivity (Combinations may be limited or restricted) © 2008 EMC Corporation. Copyright © 2008 EMC Corporation. TB (raw) Max.  1 DA Pair 8 32 ­ 180  90  78  2  32 GB  2 DA Pairs 16 64 ­ 360  180  157  2  64 GB  • 8 x Fibre Channel  only  • 16 x Fibre Channel  • 8 x GigE remote  replication  • 10 x Gigabit  Ethernet iSCSI  All of the DMX series contain a 19” rack mounted system.  In the  DMX­3 and DMX­4 series this is the DMX 950. but at a lower disk count and lower price point.

440  719 435  4–8  216 GB  4 DA pairs DMX 4500  64  480–2. director count. DMX­3 and DMX­4 supports  configurations of up to 1920 drives (2400 via RPQ) ­ 11 Bays including 10 Mohawk Storage Bays and 1 System Bay.053 526  4–8  256 GB  • 48 x Fibre Channel  • 24 x FICON  • 48 x ESCON  • 8 x GigE remote  replication  • 64 x Fibre Channel  • 48 x FICON  • 64 x ESCON  • 8 x GigE remote  replication  • 64 x Fibre Channel  • 40 x FICON  • 64 x ESCON  • 8 x GigE remote  replication  • 64 x Fibre Channel  • 32 x FICON  • 64 x ESCON  • 8 x GigE remote  replication  • 24 x GigE iSCSI © 2008 EMC Corporation. and maximum cache sizes of the DMX­3 and  DMX­4 series machines.  . 2400 drives in total. Global Memory Useable connectivity (Combinations may be limited or restricted) 1 DA pair DMX 1500 16 96–240 119 102 2–8 64 GB 2 DA pairs DMX 2500 32  192–960  479  301  2–8  144 GB  3 DA pairs DMX 3500 48  360–1. TB (protected) Memory Directors  Max. All rights reserved.400  1. TB (raw)  Max. Copyright © 2008 EMC Corporation. Each  Mohawk Storage Bay may contain up to 16 DAEs with up to 15 drives each for a total of 240 drives per Mohawk Storage  Bay. Front view of a 1 System Bay and 4 Mohawk Storage Bays. All Rights Reserved.  • 48 x GigE iSCSI  • 40 x GigE iSCSI  • 32 x GigE iSCSI  This slide shows the minimum and maximum drive counts.Symmetrix Internals ­ Architecture Overview 6  Symmetrix 1500­4500 24­slot Specifications  INCREMENTAL SCALABILITY  Disk Adapters  Drive channels Number of disks (min/ max)  Max.

  Mainframe hosts connect using either  ESCON or FICON front­end directors and open systems host connect using SCSI over Fibre Channel and iSCSI protocols  using Fibre Channel and ISCSI front­end directors. refer to the Open Systems Support matrix and the e­Lab  Navigator. Copyright © 2008 EMC Corporation.  For a more specific list of the platforms and specific details. All Rights Reserved.  Hundreds of hosts can be connected to the same array and therefore the  Symmetrix can be the repository for all data in an Enterprise.  The Symmetrix is an Enterprise Storage Platform and can emulate both mainframe Count Key Devices (CKD) and open  systems Fixed Block Architecture (FBA) devices within the same storage systems.  . All rights reserved.Symmetrix Internals ­ Architecture Overview 7  Flexible Host Connectivity  Ÿ  Enterprise Storage Platform  Ÿ  Same Storage System can  Support both Mainframe and  Open Systems  –Mainframe CKD devices  ØESCON (EA)  ØFICON (EF)  –Open Systems FBA  devices  ØFibre  Channel (FA)  ØiSCSI (SE)  © 2008 EMC Corporation.

 while supporting existing configurations.k.  There are three functional areas:  •  •  •  Shared Global Memory ­ provides cache memory  Front­end ­ the Symmetrix connects to the hosts systems using Channel Adapter a.  All members of the Symmetrix family share the same fundamental architecture.  Each  director includes multiple independent processors on the same circuit board. All rights reserved.  What differentiates the different generations and models is the number. referred to as Disk Adapters or Disk  Directors. All Rights Reserved. type.a Channel Directors. The modular hardware framework allows  rapid integration of new storage technology.Symmetrix Internals ­ Architecture Overview 8  Symmetrix Architecture  Front­end  Channel  Director  Shared Global Memory “Cache” Back­end  Disk Director  Ÿ All Symmetrix share a similar basic architecture © 2008 EMC Corporation. each director includes multiple independent processors on the same circuit board. and an interface­specific adapter board.  . and the  technology used to interconnect the front­end and back­end with cache.  Back­end – is how the Symmetrix controls and manages its physical disk drives. Copyright © 2008 EMC Corporation.  Like front­end directors. and speed of the various processors.

 and back­end adapters.  M ot orola  68060  TE R M P O W E R  SW C 2  V C C  E N A B L E  SW C 1  D IS A B L E  TE R M P O W E R  SW D 2  V C C  E N A B L E  SW D 1  TE R M P O W E R  D IS A B L E  SW E2  V C C  E N A B L E  SW E1  TE R M P O W E R  D IS A B L E  SW F 2  V C C  E N A B L E  SW F 1  D IS A B L E  M ot orola  68060  S C S I  H O S T  A D A P TE R  E M C  C O R P O R A TI O N  TH STORA E  AR H TE TS E  G CI C   C PYR G H O I T 1995  H PKI N O TON.  Today we  support a variety of  73. and 300 GB drives from a number of different vendors.  For example; a Host Adapter may run Fibre Channel protocol on two of the  processors and iSCSI on the other two.  The pair is often referred to as Channel Adapters  (CAs) or Host Adapters (HAs). associated adapter and the physical disk drives.  Remember all data flows from the front­end to the back­end and vise­versa through cache memory.Symmetrix Internals ­ Architecture Overview 9  Front­end and Back­end  Ÿ Physically the front­end is not in the front and the  back­end is not in the back!  – Front­end and back­end are logical concepts and has nothing to  do with the physical placement of the components in the system  PO WER  T O  T ER M IN ATI O N  SW C 2  SW D 2  SW E2  SW F2   TER M PO WER    PO SIT IO N  =  PO WER  F O R  T ER M IN ATI O N  C O M ES F R O M C ABL E  VC C                      PO SIT IO N  =  PO WER  F O R  T ER M IN ATI O N  C O M ES F R O M  BAC KPL AN E  TER M IN ATO R S SW C 1  SW D 1  SW E1  SW F1   EN ABL E  IN  U P PO SIT IO N  L ED  U N D ER  SW IT C H  I S O N  D ISABL E  IN  D N  PO SIT IO N  L ED  U N D ER  SW IT C H  I S O FF   SYMM­4  Ÿ Front­end connects  hosts to the system  – Director  – Adapter  M ot orola  68060  TE R M P O W E R  SW C 2  V C C  E N A B L E  SW C 1  D IS A B L E  TE R M P O W E R  SW D 2  V C C  E N A B L E  SW D 1  TE R M P O W E R  D IS A B L E  SW E2  V C C  To Hosts  E N A B L E  SW E1  TE R M P O W E R  D IS A B L E  SW F 2  V C C  E N A B L E  SW F 1  D IS A B L E  M ot orola  68060  S C S I  H O S T  A D A P TE R  E M C  C O R P O R A TI O N  TH STORA E  AR H TE TS E  G CI C   C PYR G H O I T 1995  H PKI N O TON.  The back­end includes the Disk Adapters. 146. Mezzanine card are used on the directors to handle the appropriate interface.  .  The front­end includes the host directors and the associated adapters. mezzanine cards.  M A  PO WER  T O  T ER M IN ATI O N  SW C 2  SW D 2  SW E2  SW F2   TER M PO WER    PO SIT IO N  =  PO WER  F O R  T ER M IN ATI O N  C O M ES F R O M C ABL E  VC C                      PO SIT IO N  =  PO WER  F O R  T ER M IN ATI O N  C O M ES F R O M  BAC KPL AN E  TER M IN ATO R S SW C 1  SW D 1  SW E1  SW F1   EN ABL E  IN  U P PO SIT IO N  L ED  U N D ER  SW IT C H  I S O N  D ISABL E  IN  D N  PO SIT IO N  L ED  U N D ER  SW IT C H  I S O FF   SYMM­4  Ÿ Back­end connects  the physical drives  – Director  – Adapter  – Physical drives  © 2008 EMC Corporation.   The Disk Adapters are the same  universal directors as the used for the front­end but with different microcode. All Rights Reserved. All rights reserved. Today each front­end director has four independent processors or slices. The  physical drives are dual­ported Fibre Channel disks providing redundant connections to pairs of Disk Adapters.   Front­end directors connect through the midplane to adapter boards which contain the  interface specific protocols and hardware.  Each processor  can support a different protocol.  M A  When we refer to the front­end and back­end we are referring to the logical configuration and not the physical. Copyright © 2008 EMC Corporation.

3 GHz  Track Table  Processor a  PowerPC 1.3Ghz  Processor c  PowerPC 1.  Traditionally the Symmetrix has been a bus architecture.  All power  and cooling is redundant and the DMX supports on­line component replacement and on­line software upgrades and  reconfiguration.3 GHz  Shared Global Memory Back­end Disk Director  Processor d  PowerPC 1. the number of connections increase  linearly allowing nearly infinite scalability. All rights reserved.  Availability – The Symmetrix DMX sets a new standard in availability by the elimination of buses and switches. The result is even greater performance. while continuing to  deliver high service levels. and  consolidated applications and provides the unique ability to react to bursts of unexpected activity.  .3Ghz  Status and  Communications  MAILBOXES  Processor a  PowerPC 1.Symmetrix Internals ­ Architecture Overview 10  Symmetrix DMX Architecture  Front­end Channel Director CACHE SLOTS  Processor d  PowerPC 1. Copyright © 2008 EMC Corporation.3 GHz  Ÿ Direct Matrix  – Each Director has a point­to­point connection to each Cache Board  © 2008 EMC Corporation. decision support.  Performance – In shared bus architecture. The Direct  Matrix Architecture  provides performance for a broad range of demanding transactional.  Scalability – As additional memory boards and directors are added to the system.3Ghz  Processor c  PowerPC 1. however the DMX changed this with its Direct Matrix (DMX)  architecture where each director has a direct connection to each memory board. All Rights Reserved. there is often contention for the bus which limits performance.  availability and scalability.3Ghz  Processor b  PowerPC 1.3Ghz  Cache  Processor b  PowerPC 1.

 a  theoretical maximum of 4GB per memory card is possible.  The  Global Memory technology supports multiple regions and 16 connections on each global memory director. With 4 regions per board.  Internally the communications protocol between the directors and memory is fibre channel over copper­based physical  differential data connections.  Each memory board has sixteen ports with one connection to each  director.  The real advantage of Direct Memory Architecture cannot be appreciated until you visualize it as in the picture above. All Rights Reserved. and 500MB write. In a fully  configured Symmetrix system.  .  (500MB Read + 500MB write) X 4 Regions = 4GB  Therefore a full configuration with 8 memory boards would have a maximum internal system throughput of 128GB. Each of the four processors on a director can connect concurrently to different memory boards. All rights reserved. Copyright © 2008 EMC Corporation.  Current DMX systems uses M9 memory architecture. Each region on a board can sustain a data rate of 500MB read.  Each front­end and back­end director has direct connections to memory allowing each director to connect to each memory  board.Symmetrix Internals ­ Architecture Overview 11  Direct Matrix Architecture  64GB  Memory  64GB  Memory  64GB  Memory  64GB  Memory  64GB  Memory  64GB  Memory  64GB  Memory  64GB  Memory  © 2008 EMC Corporation. These 128 individual point­to­point connections facilitate up to 128 concurrent global  memory operations in the system. each of the sixteen directors connects to one of the sixteen memory ports on each of the  eight global memory directors.

 without consuming  cache bandwidth. This enables communication between the directors. All rights reserved. All Rights Reserved.  In the Direct Matrix Architecture.Symmetrix Internals ­ Architecture Overview 12  Inter­Director Communications  © 2008 EMC Corporation. Copyright © 2008 EMC Corporation.  . contention is also minimized because control information and commands are transferred  across a separate and dedicated message matrix. The advantage of this becomes more apparent as we talk about read and write operations and the  information flow through the system later in this module.

  The data  residing in cache is ordered through an Age­Link­Chain.  The goal is to do service  all I/O operations from cache. the prefetch track value is increased to 8. the next sequential access will initiate the prefetching of the next 5  tracks on that volume. for every sequential access.  As data is touched (read operation for example). Prefetch is initiated by 2 sequential  accesses to a volume. prefetch is turned on for that logical volume.  This allows the system to maintain only the most frequently accessed data to remain in cache memory. Any  non­sequential accesses to that volume will turn the prefetch off.  After the next 100 sequential accesses to that volume.  When sequential access is detected.Symmetrix Internals ­ Architecture Overview 13  Symmetrix Cache Management  Ÿ Symmetrix Cache management is based upon the  following principles:  – If data comes from cache. As data is placed into cache or accessed within cache. it is  aged. adjacent data will  be needed soon  v Prefetch algorithm detects sequential data access patterns  and subsequent tracks are staged data from disk to cache  CACHE SLOTS  Ø Data re­use  v Accessed Data will probably be used again  Ø Least recently used data is flushed from  cache first  v Only keep active data in the cache  v Free up cache slots that are inactive to make room for more active data  © 2008 EMC Corporation.  This way the response time will be at memory speeds rather than the mechanical speeds of  physical disks. it moves to the  top of the Age­Link­Chain.  While today we have caches sizes as large as 256GB. Copyright © 2008 EMC Corporation.  The performance principles for a Symmetrix are not unlike those used in host operating systems. the access time is at memory speeds  – If data comes from disk. After 100 sequential accesses to that volume. cache is not an infinite resource and one of the primary principles for  performance is to maintain only the most active data in cache. All rights reserved.  . the access time will be the mechanical  speed of  physical disks  Ø Locality of Reference  v If a data block has been recently used. All Rights Reserved. the Symmetrix will stage the next two successive tracks  into cache.  Once turned on.

 the total I/O response time would be something on the order of 1 millisecond or less. Copyright © 2008 EMC Corporation.  . The host sends read request to a channel address. All rights reserved. Processor Shared Global Memory CACHE SLOTS Back­end Disk Adapter 3.  1)  To the host.  2)  The Host Adapter uses configuration information to map the address to a logical volume and scans the track table to  discover if the requested blocks are already resident in cache and if so where. All Rights Reserved.  4.  2.  Requested data located in cache ­ Cache Hit! HA retrieves data and sends to host Read operation completed at memory speed!  © 2008 EMC Corporation.Symmetrix Internals ­ Architecture Overview 14  Read Operation ­ Cache Hit  Front­end Host Adapter 4. the Age­Link­Chain is updated to reflect the recent access and the track is moved to top of Least Recently  Used (LRU) queue as it is now the most recently used.  With a Cache hit. the Symmetrix appears as a physical drive.  Host sends READ request Host Adapter (HA) checks Track Table 3. Track Table Status and Communications 1.  4)  The Host Adapter reads the data from cache and passes it back to the host  At this point. 2. 1.  3)  In this this case the requested blocks are already in cache and we get a Cache Hit.

 the Channel Director will disconnect from the channel (known  as “long miss”). it must now reconnect  the channel.  2. Processor 3. All Rights Reserved. In earlier architectures. DA retrieves data from disk (updates track table) HA is notified that data is in cache HA retrieves data and sends to host © 2008 EMC Corporation.  3.  2)  The Host Adapter checks the track table to see if the data is in cache.  If the requested data is in the process of prefetch  (known as “short miss”).  . If the Channel Director has disconnected from the channel.  This enables the host to perform other operations. If  the data being requested is not in the process of prefetch. again via the communication matrix. All rights reserved.  3)  The Host Adapter notifies the Disk Adapter through the communication matrix to get the requested data and place it in  an available location in cache. all directors monitor the mailbox area in cache to see if there is work for it. 6. 1. that the data is now in cache. 2.  5.  Basically. Copyright © 2008 EMC Corporation. 1. Track Table Status and Communications Processor 5.  6)  The Host Adapter check the track table to locate the data in cache and from this point. the operation that occurs is  exactly the same as a read cache hit.Symmetrix Internals ­ Architecture Overview 15  Read Operation ­ Cache Miss Front­end Host Adapter Shared Global Memory CACHE SLOTS Back­end Disk Adapter 6.  1)  Again the host sends a read request. the Channel Director will not disconnect from the channel.  4)  The Disk Adapter retrieves data from physical disk and places it in an available cache slot.  5)  The Host Adapter is notified by the Disk Adapter. the communication between directors used “mailboxes”.  In this case it is not and we get a Cache Miss. 4.  Host sends READ request HA checks Track Table ­ Data Not in Cache HA notifies DA using Message Matrix 4.  The communication matrix in the  DMX eliminates the added overhead on cache of continuously polling the mailbox.

 it will move to the end of the Chain  and subsequently cycle out of cache making the slot available for other use.  If the track(s) already exists in cache as write  pending (waiting to be written to disk).  Write pending tracks are not subject to the LRU algorithm.  1.  When the Channel Director checks the track table for an  available slot in cache.  I/O #  2 then consists of a write to the first block on that same track. the Channel  Director will write the first block (I/O # 2) to the same slot in cache where the last block (I/O# 1) on that track is already  residing.  Fewer CPU cycles are spent waiting for the physical  I/O to complete. it then enters the LRU Age­Link­Chain as the most recently used data. All Rights Reserved.Symmetrix Internals ­ Architecture Overview 16  Write Operation – Fast Write Front­end Host Adapter  3. When the track is  marked as write pending.  3)  Host is notified that write is complete. and 2) it becomes the Least Recently Used  data in cache. the data will be read  from cache and written to the physical disk.  Therefore.  Processor  2.  The effect of a write cache hit is that the host is immediately gets an I/O complete as soon as the write is received in  cache. all copies are marked as write pending for that track.  Processor  Shared Global Memory CACHE SLOTS  Back­end Disk Adapter 4.  Host sends WRITE request to HA  Write Complete sent to host  4.  3.  2.  CD places data in an available cache slot  Tracks marked as Write Pending ­ DA will  de­stage at earliest convenience  Data remains in cache until replaced by  LRU algorithm  © 2008 EMC Corporation.  1)  Host sends write request to Channel Director  2)  Channel Director locates an available cache slot and places data in cache.  If the data is frequently  accessed.  . the entire track is marked as write pending.  Remember that the data remains in cache until 1) it is committed to disk. Copyright © 2008 EMC Corporation. it will see that the track in question is already flagged as a write pending.  For  example. All rights reserved.  This greatly enhances the performance of the host itself.  When the data is destaged to disk (removal  of write pending flag).  4)  As soon as the Disk Adapter(s) that are managing the physical copy(ies) of the data are available.  If the data is not accessed. the Channel Director will write the data to the existing slot in cache. it will remain  towards the front of the Chain.  Note:  Even if the host only writes/updates one block. I/O # 1 consists of a write to the last block on the first track on the first cylinder of Logical Volume 001.  Track Table Status and Communications 1.

Symmetrix Internals ­ Architecture Overview 17  Delayed Fast Write  Ÿ Occurs when the Write Pending Ceiling is reached  Ÿ Write Pending Ceiling for:  – Logical Volume Level  – Symmetrix System Level  Ø At most 80% of Symmetrix cache slots can contain write pending data  Ÿ Cache algorithms optimize cache utilization and “fairness”  © 2008 EMC Corporation.  Managing each individual volume’s write activity (via the dynamic fast write ceiling) enables Enginuity to typically prevent  system­wide delayed write situations.  By default. All Rights Reserved. Copyright © 2008 EMC Corporation.  It is important to remember that there will always be cache resources available for reads.  . All rights reserved. the 80% fast write  ceiling ensures that at least 20% of cache resources will be free for new requests.

  . Copyright © 2008 EMC Corporation.  DMX­3 and above:  When the Symmetrix is IMPL’ed (Initial Microcode Program Load).  By default.  It is important to remember that there will always be cache resources available for reads.  This is often referred to the configuration value.  This is a  fixed limit.  Managing each individual volume’s write  activity (via the dynamic fast write ceiling) enables Enginuity to typically prevent system­wide delayed write situations. the total user available cache is determined.   If a logical volume is very active with writes. based upon the write activity of each logical volume. All rights reserved. All Rights Reserved.  The  system will set am upper limit of 4% of the total user available cache as the logical volume write pending limit. the total user available cache is determined. the 80% fast write  ceiling ensures that at least 20% of cache resources will be free for new requests.  DMX­2 and below:  When a Symmetrix is IMPL’ed.  Enginuity will dynamically increase the device write pending limit up to three times the configuration value.  The maximum number of slots each logical  volume may use for writes (Device Write Pending Limit) is based upon the number of logical volumes and the size of the  user available cache.  The Device  Write Pending limit is dynamically adjusted from the configuration value up to three times the configuration value and then  back down.Symmetrix Internals ­ Architecture Overview 18  Fast Write Ceiling  Ÿ Cache algorithms optimize cache utilization and “fairness”  Ÿ Cache allocation dynamically adjusted based on current  usage  DMX­2 and below  Ø Maximum number of write pending slots per Symmetrix Logical Volume  based upon configuration  v Known as “Fast Write Ceiling” or “Write Pending Ceiling”  Ø Fast Write Ceiling can dynamically increase by 3X  DMX­3 and above  Ø Each logical volume is allowed 4% of total available cache  (5% of the System Write Pending limit (80%))  © 2008 EMC Corporation.

 the entire  Symm’s performance is impacted.  2.  Processor  -  Track Table Status and Communications 4. All rights reserved.  When the Symm System Fast Write Ceiling is reached. only that volume’s performance is impacted.  1.  . because the volume has reached its Fast Write Ceiling  or the entire Symm has 80% of its cache slots containing “write pendings”.  6.  1.  5)  The Host Adapter processes the write in a similar manner as a fast write.  1)  Host Sends Write request  2)  The Host Adapter does not find available cache slots for writing.  Processor  2.  5.  If cache were bypassed and the data written  directly to disk.  Host Adapter  Shared Global Memory CACHE SLOTS  Back­end Disk Adapter 3.  Host sends WRITE request to HA  HA cannot locate free cache slot and signals  DA to destage  DA will do a forced de­stage of Write Pendings  to free cache slots  4.Symmetrix Internals ­ Architecture Overview 19  Write Operation ­ Delayed Fast Write Front­end 6.  It is likely  that information just written by a host will be read in the near future. the data would not then be available directly from cache for the next request.  6)  Host receives a I/O Complete  Again. Copyright © 2008 EMC Corporation.  3)  Disk Adapter frees up cache slots.  When the Volume Fast Write ceiling is  reached.  4)  The Disk Adapter signals the Channel Director through the Communication Matrix. this operation takes significantly longer than a fast write but ensures that the I/O flows through cache. All Rights Reserved.  3.  5.  DA signals HA of available slots  HA places data in an available cache slot  Write complete sent to host  © 2008 EMC Corporation.

 Fibre Channel is the interface of choice. It is supported on the DMX using the new Multi­Protocol Channel  Director.  For SAN  connectivity. iSCSI is ideal for storage and server consolidation environments that require low cost connectivity that  leverages existing IP networks. 1Gb  Ethernet for SRDF attach.   Both  switched fabrics and arbitrated loop SANs are supported.  This director can be configured to support FICON.Symmetrix Internals ­ Architecture Overview 20  Open Systems Connectivity Options  Ÿ Fibre Channel Directors (FA)  – Eight Ports  – Supports up to 4Gb/sec speeds per port  – Single­mode and multi­mode configurations  Ÿ iSCSI (SE)  – Four Ports  – 1Gb/sec  – Low cost connectivity using existing IP network infrastructure  © 2008 EMC Corporation.  The Unified Director contains  four processors.  iSCSI allows block level access over IP networks. and SCSI Front­end  directors are supported only in legacy non­DMX systems.  Fibre Channel—The DMX supports an eight port four processor Fibre Channel Director. Legacy open systems often use parallel SCSI. All rights reserved. networked storage (SAN or NAS) is the preferred method to connect Open Systems hosts with storage. The optional Long wave laser uses 9 micron single mode optics for distances of 10K and greater.  DMX3 uses Unified Directors which uses the same hardware to support multiple protocols. The standard fibre channel  connection uses Short­wave Laser optics and multimode fiber optical cables for distances of up to 500 Meters over a 50  micron cable. and 1Gb Ethernet for iSCSI  host attach.  Today. All Rights Reserved.  . Copyright © 2008 EMC Corporation.

  FICON may also use single mode fiber optics for distances of up to 10KM and beyond. this bus and tag has been replaced  with ESCON because of increased speed and flexibility. The original mainframe connectivity was  through parallel interfaces with bus and tag cables.Symmetrix Internals ­ Architecture Overview 21  Mainframe Connectivity Options  Ÿ ESCON (EA)  – Eight Ports  – Supports data transfer rates up to 17 MB/sec per port  – Single­mode and multi­mode configurations  Ÿ FICON (EF)  – Four Ports  – Data transfer rates of up to 4Gb/sec per port  – Direct Connect  – Switched Fabric  © 2008 EMC Corporation. As such. ESCON. Greater distances are supported using media converters.  . Copyright © 2008 EMC Corporation. It offers superior performance and extended distance as compared to its  predecessor. All rights reserved.  Except for a few legacy systems. FICON uses multimode fiber optics and supports distances of up to 500 meters.  Mainframe connectivity is through either ESCON or FICON serial channels.  FICON is Fibre Channel for mainframes. most mainframe customers will adopt FICON as their primary mainframe channel  connectivity over the next few years.  ESCON uses multimode fiber optics and supports distances of up  to 3 kilometers. All Rights Reserved.

 6 or 8 directors depending on model and  configuration. On the DMX­3. All Rights Reserved. and adapters. Copyright © 2008 EMC Corporation.  .  Protocol specific requirements are provided by software or firmware that is loaded into the director during  IMPL.  These provide a common director board that supports all  interfaces.  Today the DMX supports Unified or Universal directors. providing redundancy and continuous availability in the event of repair  or replacement to any one Channel Director. Each Channel Director has multiple microprocessors and supports multiple  independent data paths to the global memory to and from the host system.  Minimum of 2 directors per system for redundancy and a maximum of 4. Channel Directors are installed in pairs. four 1. All rights reserved.  Adapter  Normally.3 GHz PowerPC dual processors are used on each director  board. Mezzanine cards.Symmetrix Internals ­ Architecture Overview 22  Host Director and Adapter Pairs  Ÿ  Front­end directors also called Host  Adapters (HA) or Channel Adapters (CA)  –  –  –  –  ESCON – EA  FICON – EF  Fibre Channel – FA  iSCSI – SE  Director  Host  Ÿ  Unified (Universal) Director provides  common hardware  –  Emulation code provides support for specific  protocols  –  Mezzanine cards provide interface­specific  hardware  Ÿ  Adapter provides physical connection  Ÿ  Each director has four processors  –  Processor a – bottom  –  Processor d – top  Ÿ  Cards are Field Replaceable Units (FRUs)  and hot swappable  © 2008 EMC Corporation.

Copyright © 2008 EMC Corporation.  This is referred to as disk and cache scrubbing.  Disk Adapters are also called Disk Adapters or DAs.  DAs are installed in pairs on in the card cage and provide primary path to some drives and alternate path to others. All rights reserved. This feature maximizes data availability  by diagnosing marginal media errors before data becomes unreadable.  The DA also invokes dynamic sparing (if the Dynamic Sparing option is enabled).  . They are responsible for staging read information in cache from the  physical disk and flushing write pendings to disk for write operations. the Disk Adapter is responsible for proactive monitoring of  physical drives and cache memory. All Rights Reserved.  When it is not staging data in cache or destaging data to disk. DA are  Field Replaceable Units (FRUs) and hot swappable.Symmetrix Internals ­ Architecture Overview 23  Disk Director and Adapters Pair  Ÿ Interface to physical disk drives  Processor  d  Processor  c  Processor  b  Processor  a  0  1  0  1  0  1  0  1  –  4Gb dual­ported Fibre Channel drives  –  Arbitrated Loop configuration  Ÿ Disk Adapter is responsible for:  –  Staging read information into cache  from the physical disk  –  Flushing write pendings to disk for  write operations  –  Disk and cache scrubbing  –  Data rebuilding in the event of drive  failure  –  Invoking dynamic spares as  necessary  Ÿ Eight independent ports per DA  –  Primary path to drives  –  Alternate path for availability  © 2008 EMC Corporation.

  With the latest DMX. an additional 15 more can be daisy chained together.  In the event of processor failure.  With the earlier  DMX. the configurations were referred to a 9 disk and 18 disk per loop configurations depending on the number of DAs in  the system. Disk Adapters are always installed in pairs and during  normal operation each processor/port only sees every other drive. remember a single director normally only services every other drive.  While not shown in the diagram above. All rights reserved.  . Copyright © 2008 EMC Corporation. All Rights Reserved. there could be up to 15 direct  connected drives and as the configuration grows.Symmetrix Internals ­ Architecture Overview 24  Shadow Partner Failover  Processor  d  Processor  c  Processor  b  Processor  a  0  1  0  1  0  1  0  1  0  1  2  3  4  5  Ÿ  Disk drives are dual­ported  Ÿ  Each processor/port only sees every  other drive on the loop under normal  operation  Ÿ  In the event of processor failure.  The number of drives per loop are model and configuration specific. the “shadow partner”  director takes over the management of all disks on the loop.  The physical drives are dual­ported 2 GB fibre channel drives.  Again. the physical drives are housed in Disk Array Enclosures that include redundant  power supplies and Link Control Cards that provide by­pass capability making it possible to hot­swap drives without  impacting the integrity of the arbitrated loop. the  Shadow partner director takes over  the functionality for all disks on that  loop  Ÿ  Shadow Partner Pairing:  –  –  –  –  Dir 1 & 16  Dir 2 & 15  Dir 5 & 12  Dir 6 & 11  0  1  0  1  0  1  0  1  Processor  d  Processor  c  Processor  b  Processor  a  © 2008 EMC Corporation.

 dedicated XOR capable microprocessors.  500GB BL500LP 300GB  Cheet300LPX FR300LFX  T300155  146GB  Cheet146LPX IBM146FX  FU146LFX  Cheet146LDX  Cheet146X15  FU146LDX  HIT146FX15  HIT146LDX  73GB  Cheet73LPFX Cheet73LDFX  Cheet73FX15  IBM73LDFX  Cheet73LDDX  Cheet73DX15  FU73LDDFX  HIT73LDX15  HIT73LDDFX  L/LP= Low Profile  F = Fibre  15 = 15KRPM  D = Depopulated  X=XOR Capable  DD=Double Depopulated  Copyright © 2008 EMC Corporation.200. and Fujitsu.Symmetrix Internals ­ Architecture Overview 25  Symmetrix Disk  Ÿ EMC specifies large buffer and XOR capable drives  Ÿ Four size drives are currently supported  – 73 Gigabyte  – 146 Gigabyte  – 300 Gigabyte  – 500 Gigabyte  – 500 Gigabyte SATA II (DMX­4 Only)  Ÿ 7. All drives are manufactured to meet EMC’s quality standards and unique product specifications. while Engineering defines a GB as 1024 X 1024 X 1024.  Note: Marketing defines a GB as 1000 X 1000 X 1000. All rights reserved.  .000 RPM and 15. 10.  The physical drives are dual­ported 2 GB fibre channel drives that EMC OEMs from several vendors including IBM.  These  specifications include.  Seagate. 146. and large onboard buffer memory (4MB – 32MB). All Rights Reserved. They are available in  73.  Hitachi.000 RPM  Ÿ Provided by a number of manufacturers  – Seagate  – Fujitsu  – Hitachi/IBM  © 2008 EMC Corporation. 300 and 500 GB capacities and with 10K and 15K RPM  speeds.

 there is a high probability that a nearby piece of  information will be used shortly thereafter. can remove and replace the board without  powering down the system. The CE procedure includes destaging all data on the effected cache board and fencing off the  board in order to prevent loss of data. there is a significant improvement in performance. they cannot be swapped between families. Because these  boards have different designs.  Cache boards are designed for each family of Symmetrix.Symmetrix Internals ­ Architecture Overview 26  Symmetrix Global Cache Directors  Ÿ Memory boards are referred to as  Global Cache Directors and contain  shared memory  Ÿ Maximum of 8 Cache Directors  –  8 GB  –  16 GB  –  32 GB  –  64 GB  Ÿ Starting with the DMX­3. All Rights Reserved. When this working set of data is in  cache memory.  The latest DMX systems use M9 architecture.  . All rights reserved. following scripted procedure.  These cache memory principles have been used for years in host as well as storage systems.  Data Re­use—If a given piece of information is used. Copyright © 2008 EMC Corporation. Symmetrix systems are based on the principle that the working set of data at any  given time is relatively small when compared to the total subsystem storage capacity. cache is  mirrored and therefore always installed  in pairs  Ÿ Boards are comprised of memory chips  and divided into four addressable  regions  Ÿ Memory boards are Field Replaceable  Units (FRUs) and hot swappable  © 2008 EMC Corporation.  Intelligent global memory configurations allow Symmetrix DMX systems to transfer data at electronic memory speeds that  are much faster than physical disk speeds. The performance improvement achieved depends on  both of the following principles:  •  •  Locality of Reference—If a given piece of information is used. there is a high probability that it will be re­used shortly  thereafter.  Hot swappable means that a Customer Engineer.

 All Rights Reserved.Symmetrix Internals ­ Architecture Overview 27  Redundant Global Memory  Ÿ DMX­3 introduced the use of a Symmetrix mirrored  memory architecture  Ÿ Data written to primary board then to secondary board of  the memory pair  Ÿ All reads are from primary region of a memory board  Ÿ If either the primary or secondary board fails. all directors  drop the failed board. and switch to non­mirrored write  mode and only use the good board of the failed memory  pair  Ÿ Data is striped between memory boards  © 2008 EMC Corporation.  Mirrored memory is a new architectural change with DMX­3  All writes are initially done to the primary region.  . Copyright © 2008 EMC Corporation. Writes are then carried out to the secondary region. algorithms in Enginuity will enable the Directors to take  full advantage of all memory cards present when reading and writing.  Any failure condition of a memory board causes all  directors to drop the failed board and switch to a normal write mode to the surviving board.  While there is primary and secondary memory. All rights reserved. so for example memory in  slot 0 and 1 will have alternating Primary and Secondary regions. these are alternated across all memory boards.

  . All Rights Reserved. Approximately 16 Bytes of cache  space is used for each track. individual directors. the cache slots will be the size of the largest track size. Cache is allocated in  tracks and is referred to as cache slots. which are 32Kbytes for open systems and 57 Kbytes for mainframes.  The primary use for cache is for staging and destaging data between the host and the disk drives.  So. All rights reserved. a 2GB volume would use approximately 1MB of cache for track table space. If the Symm is  supporting both FBA and CKD emulation within the same frame.  The Track Table is used to keep track of the status of each track of each logical volume.  Performance data includes I/Os per second.  CACHE SLOTS  Track Table  Status and Communications  The actual size requirements for cache depends on the configuration. and individual devices (logical volumes). but again.  You can see  that cache requirements depend on the actual configuration.Symmetrix Internals ­ Architecture Overview 28  Symmetrix Shared Global Memory  Ÿ Shared Global Memory contains  three types of information  – Cache Slots: temporary repository for  frequently accessed data (staging area  between host and physical drive)  – Track Table: directory of the data  residing in cache and of the  location/condition of the data residing  on Symmetrix physical disk(s)  – Communications and status: contains  performance and diagnostic information  concerning Symmetrix and allows  independent front­end and back­end to  communicate  – DMX uses a message matrix for control  and communications  © 2008 EMC Corporation.  Global memory is also used to maintain all diagnostic and short­term performance information. Copyright © 2008 EMC Corporation. the actual requirements is a function of the configuration and application access patterns.  The Symmetrix maintains  diagnostic information for every component within the architecture. The CQS system  provides sizing guidelines and the configuration verification during the creation of a “bin file” will also provide  configuration specific requirements. all cache slots are 64Kbytes for both open systems and mainframe. With DMX3. cache hit  rate and read/write percentage for the entire system. The general rule that “more is better” also applies to  cache.  This  information is accumulated and stored as part of normal operations.  57K track size.

 TimeFinder.  .Symmetrix Internals ­ Architecture Overview 29  Enginuity Overview  Ÿ Operating Environment for Symmetrix  – Enginuity is the emulation code. All Rights Reserved.  It is also  know as the micro­code. Copyright © 2008 EMC Corporation.  Enginuity will be discussed in detail later in this course.  and other optional software products  © 2008 EMC Corporation. All rights reserved. service processor code and other  software used by a Symmetrix to implement core functions  – Each processor in each director is loaded with specific emulation  code  – Downloaded from service processor to directors over internal LAN  Ø Zipped code loaded from EEPROM to SDRAM (control store of director)  – Enginuity is what allows the independent director processors to act  as one Integrated Cached Disk Array  Ø Also provides support for advanced functionality like SRDF.  Enginuity Operating Environment is the brand name given to the operating system that runs in the Symmetrix.

 Examples of proactive monitoring are:  “Disk Scrubbing” or Disk Error Correction and Error Verification: The Disk Adapters use idle time to read data and  check the polynomial correction bits for validity. each disk device has several spare cylinders available. and write the corrected data back to cache. the Symmetrix service processor automatically dials the EMC Customer  Support Center and notifies the host system of errors via sense data.  When the test completes. If a disk read error occurs. The Disk Adapter writes several worst case patterns to that track searching for media errors.” The Disk Adapter increments a soft error counter with each bad block detected.  The Symmetrix is designed for continuous operation  through planned and unplanned events. Symmetrix reads the data from disk and takes the  defective cache memory block offline until an EMC Customer Engineer can repair it. This process is called “error verification or  scrubbing. Error verification maximizes data  availability by significantly reducing the probability of encountering an uncorrectable error by preventing bit errors from  accumulating in cache.  Proactive monitoring allows  early detection of failing components . Copyright © 2008 EMC Corporation. the Disk Adapter rewrites the data to an available spare cylinder.  When the internal soft error threshold is reached. All Rights Reserved.  The disk microprocessor maps around any bad block (or blocks) detected during the worst case write operation.  “Cache Scrubbing” or Cache Error Correction and Error Verification: The Disk Adapters use idle time to periodically  read cache. This  entire process is called “error verification.  .Symmetrix Internals ­ Architecture Overview 30  Continuous Data Availability  Ÿ Single­bit error correction for Cache  Ÿ Proactive disk and cache scrubbing  Ÿ Non Disruptive Enginuity upgrades  Ÿ Online configuration changes  Ÿ Full system battery backup in the event of an AC Power failure  –  Entire Symmetrix Subsystem will run on battery if AC Power for up to 5  minutes  –  Allows the destaging the contents of cache  Ø Vaulting was introduced with the DMX­3  Ÿ Continuous Operation even if failures occur to any major  component:  –  Automatic fencing of failed components  –  Redundancy built into most major subsystems  –  Hot component replacement  © 2008 EMC Corporation. verifying the write operation. All rights reserved. correct errors. the Disk Adapter reads all data on that track to  Symmetrix cache memory. thus  skipping defects in the media. To further safeguard the data.” When the directors detect an uncorrectable error in cache. If the  number of bad blocks per track exceeds 32 blocks. the Disk Adapter rewrites the data from cache to the disk device.

 disk size and power requirements increase. disk size and power requirements increase. As cache size. the time  required to destage data increases.Symmetrix Internals ­ Architecture Overview 31  Vaulting  Ÿ In the event of a power failure. requires shut down within  5 minutes of power­off  – Vaulting ensure the contents of cache can be saved well within this  limit  © 2008 EMC Corporation. the time  required to destage data increases  – Time to vault contents of cache is predictable  Ÿ Underwriters Laboratories Inc. Power Vault will save global memory to specific vault devices on power down. the objective is to quickly  destage the contents of cache to a persistent location to  prevent data loss  Ÿ Data vaulting is a Symmetrix feature that became  available with DMX­3  – Current DMX destage algorithm is non­deterministic  – As cache size.  Data vaulting is a feature introduced with the DMX­3. All Rights Reserved. then on power up the data will be  loaded to cache so that it may be destaged to the correct location. Power vault was designed to limit the time necessary to power off the box on battery  power. All rights reserved. Copyright © 2008 EMC Corporation.  .

  Copyright © 2008 EMC Corporation. the back­end director will get it and put it into cache  Ø Cache miss  Ÿ  A host write request is also processed by the front­end director  –  If a slot is available.  . the write is processed immediately ­ Fast Write  –  If not. All rights reserved. the back­end director must first destage write pendings to free up cache slots  Ø  Delayed Write © 2008 EMC Corporation. All Rights Reserved.Symmetrix Internals ­ Architecture Overview 32  Module Summary  Ÿ  The major components of a Symmetrix are:  –  Front­end directors that connect to host  –  Back­end directors that connect to physical disks  –  Global memory which is used to stage and destage data  Ÿ  Direct Matrix Architecture provides direct connections between each director  and each memory board  Ÿ  The Symmetrix emulates a disk drive and presents volumes to attached hosts  –  Count Key Devices (CKD) for Mainframe  –  Fixed Block Architecture (FBA) for Open Systems  Ÿ  A host read request is processed by the front­end director  –  If the requested data is already in cache  Ø Cache hit  –  If not.

Sign up to vote on this title
UsefulNot useful

Master Your Semester with Scribd & The New York Times

Special offer for students: Only $4.99/month.

Master Your Semester with a Special Offer from Scribd & The New York Times

Cancel anytime.