You are on page 1of 137


William Occam was a philosopher and monk who was a minimalist in life and because of  his frequent usage of the simplicity principle, his name has become associated to  simplicity.  Other ways the expression can be interpreted is: “keep it simple”  With QFabric, we have used simplicity to solve some of the toughest data center  problems by keeping it simple.  In fact, Juniper has always solved very hard networking problems with simplicity and  innovation.



4 .

5 .

 in a Gartner Data center conference: Customer surveys identified following  two items as their burning topics. delivering  better experience is priority because it is core of their business. the Facebooks.  In the very large production data centers — like the Googles.Recently. . ‐ Need for a Cloud strategy ‐> Experience ‐ Power and Cooling –> Operations costs There is always a tradeoff between experience and economics in the data center. However on the other hand many classic IT data centers ‐ cost is an issue and they might  be willing to tradeoff experience for economics.

 Web2.  In addition. 7 .  In this session.  This is helping customers to consolidate data center infrastructure and manage costs to  deliver superior application performance. we will discuss data center evolution and how QFabric will help  transform data center networking. Mobility.Fundamentally. a reliable and high performance wide‐area network is enabling application  delivery over the WAN. the role of IT infrastructure is to provide users connectivity to  applications and services.0 and newer technologies have introduced many new ways information  can be exchanged:  ‐ Client device to Client device or  ‐ Client device to Computing utility or  ‐ Computing utility to Computing utility.

  ‐ availability ‐a way to support strong user SLAs (around throughput. packet loss and  security) Networking has not progressed and is now a barrier slowing the pace of innovation in  the rest of the data center. storage has risen in prominence  in recent years.  Applications have become federated with architectures such as Service‐Oriented Architectures. Server virtualization is helping businesses gain efficiency by consolidating many physical  servers into fewer high‐performance virtualized servers. 8 .  causing an underlining shift in traffic pattern.  Web Services.The application architectures have evolved from client‐server to distributed apps.  Of all the traffic types traversing an Ethernet network. the data center network needs to offer: ‐ high performance ‐ scale.  The newer applications are increasing the communication between server to server  causing more east west traffic within the data center. latency. This traffic type has its very own unique characteristics and demands a  separate treatment than other traditional Ethernet traffic. and  Software as a service. To support both virtualization and convergence.

 Let’s look at how customers are building clouds.Clouds come in many sizes and shapes.  Customers are initially building small pools of resources —with compute and storage  resources this can be a small cloud. Larger the pools better the efficiencies and the  network is the foundation for building those pools leading to a cloud ready architecture. 9 .

The numbers of physical servers are flattening out but the numbers of virtual servers  have been grown exponentially. but  the cost of managing virtual networks has increased the operational expenses  drastically. Virtualization provides capital expenditure benefits. 10 .

   11 .The first order of data center transformation is server virtualization in small pools.  primarily to gain operational efficiency in compute infrastructure. The second order of  transformation will be to extend consolidation beyond servers and create dynamic  cloud‐ready infrastructure to support operational flexibility and business agility.

 prior to the Internet.0 front ends. But fundamentally what we did is we took that application that was  contained within the server and we disaggregated it across the network. The rest of it is traffic between servers.  Remember.  we’re still going after the client and we have more traffic going into the client than ever  before. to our partners — and  touch not thousands but tens of thousands — maybe millions of users. back in the day.  and all that traffic that used to be in a single server now is exposed across a network — . and all the inter‐process  communication that that application had — that was contained in the memory of the  server. And in client‐server what you  had was the monolithic server with a monolithic application in it.The Internet has forever changed and is continuing to change the data center. But today it only accounts for about 25% of the total traffic on a data center  network. Yes. federated  applications. with rich Web 2. It was a Darwinian event. But what the Internet gave us was the  opportunity to reach out — to our employees. and what it exposed was the fundamental weakness in client‐server. what we had was a fundamental shift in the data patterns in the network. there was no network for  the storage. traffic between servers and storage. all  applications were client‐server — that was state of the art. we had direct attached storage. So we had to change the way we designed the  applications.  those architectures would never scale.  [CLICK] Necessity drove a change in the architecture and we moved to what today we  call “service oriented architectures” (or SOA). So. And you could  never do that with client‐server. And  where did it start? It started with the application. connected to a stateful  client. all that traffic was inside the server. And so. to our customers.  [CLICK]But inside that server what we found was a bunch of encapsulated traffic. they were designed to support hundreds of  users — maybe a few thousands of users. only a fraction of the traffic was actually on a physical network. But along  came the Internet. and ninety‐five percent of all the traffic that went out onto a physical network  was traveling between the server and the client. You see.  suddenly. See. So.

a fundamental shift in data patterns.  12 .

 enabling optimal application behavior.With 95% of data center traffic moving north and south in the tree between users and  servers. 13 . This  architecture needs flat networks with any to any connectivity that reduces latency and  jitter. today’s traffic patterns find most network traffic—up to 75%—is east to west. The newest role of the network is to provide a foundation for the cloud solution. However.  traveling between devices within the data center. Traditional hierarchal “tree” network architecture worked fine in the early days. traversing the data center  requires as many as five network hops. As a result. which directly  impacts application performance. adding both latency and jitter.

Legacy data center architectures have two fundamental problems:  They’re too complex  and too topographically diverse. 14 . which impacts performance and the user experience.

  15 . if the VM is instantiated outside this bubble. But when apps grow scalability becomes an issue  with tree structures.   The more hops required to complete a transaction. The resources are close together as possible. we have a server and storage resources that are typically  contained in a localized bubbles. application performance is often dependent on the  physical location of servers that are trying to communicate—that is. the more latency that transaction is  subjected to. it might suddenly find itself three  network hops away from data source and the application will slow down. where each of the  resource reside in the tree hierarchy relative to one another.In today’s data center network. However. Thus trees force to proactively manage the location of the VM in the physical  environment in order to maintain predictable application behavior. the VM and its external data sources would ideally reside within the  same bubble.  So why are bubbles interesting? When provisioning or dynamically migrating a virtual  machine instance. In a typical tree configuration. which  works fine when we have few apps. contributing to unpredictable application performance.

 if that same VM migrates outside the shadow. when an appliance such as a firewall or  load balancer is inserted inline in the network. it will operate  properly. When the VM is instantiated within the shadow of its appliances. the application may cease to run at all. A typical segmentation (VLAN) is defined. at best it will run  slower. 16 . these attributes are generally relevant to a  specific branch in the network—essentially they cast a shadow down that branch of the  tree. At worst.Another problem with tree architecture is that. However.

 IT must manage them individually.   Since each switch is an autonomous device.In a network.  This causes the number of interactions (often  referred to as “control traffic”) between the switches. . link aggregation groups (LAGs). there are two predominant points of management:  ‐ the switches and  ‐the interactions between the switches. quality of service (QoS) and security—all  examples of protocols that must be applied across the network and configured on every  device to support the overall design. even if they are not directly  connected. to grow geometrically. which  creates significant overhead in large data centers.  These switches also communicate with each other by using shared network protocols  such as routing.

000  switches can create 5 million interactions. network  operations will typically segment the network into smaller sub‐networks.  this runs counter to the desire to consolidate all servers and storage in the data center  into a single large. 10 switches can generate 45 such  interactions. Unfortunately. Since it is nearly impossible to deal with this level of increasing complexity.This explosion of interactions follows a simple formula of n(n‐1)/2 where “n” represents  the number of switches. 100 switches can generate nearly 5.  Based on this formula. 18 . more efficient and more elastic pool of resources—the vision behind  cloud computing.000 potential interactions. and 1.

19 .

 as well as increases reliability. which  improves performance. such as vMotion (the ability to move a VM  around the data center). By speeding up  the access layer and allowing for concepts. since it has the operational simplicity of a switch. Less hardware means there are fewer components. space and cooling. and is the ideal foundation for moving workloads  around the data center dynamically. with  virtualized server and storage environments.Business Benefits of QFabric This slide presents the business value points of QFabric. power. the nature of the architecture allows customers to lower their OpEx and CapEx.  Lastly. QFabric  is also simple to manage. Application performance is an  important component of moving to an architecture that uses QFabric. .  yet maintains the simplicity of managing a single device. The third point is simplicity. The second value point is that QFabric is the ideal foundation for the modern cloud. with a flat any‐to‐any  connectivity where every port is equal. It scales well. allowing for over 6000 ports. not only the end users but also the administrators can benefit.

. The second issue is called “Metcalfe’s Revenge”. Processing has to be repeated at each hop  in the network or. any‐to‐any  topology to connect everything in the data center together. and  then using virtualization to create the traffic separation that is required.Three Problems to be Solved The problems are related to the basic flaws in a tree structure in a data center. more importantly for the cloud. the complexity increases geometrically:  (N(N‐1))/2. Traffic is trying to go east and west in an  architecture optimized for north‐south traffic. which means that.  Lastly. One of the features of QFabric is that it is managed as a single device: N = 1. This can lead to inconsistent application behavior when the  application is moved around in the network. This is why convergence  is important: getting storage and all the networks to be in one physical network. it matters where the application is  placed relative to its data. Juniper’s QFabric provides a flat. as the capacity of  the network is expanded in a linear fashion. there’s the tree structure itself. The first  problem involves having to manage several separate networks.

 overlay  and switch fabrics.  .Three Types of “Fabrics” Three types of fabrics can be considered in the marketplace today: marketing.

  . It reality it is not a fabric and thus has no real  benefits for the customer.Marketing Fabric The basic tree structure made out of Ethernet networks is considered by some  marketing departments as a fabric.

 In the past. Charles Clos. . who came up with a minimum number of devices required to build a  non‐blocking network. This  invariably translates to inefficient use of resources. each node in the spine is connected to every leaf and every  leaf to every spine.Protocol Overlay Fabric The second kind is called a “protocol overlay fabric”. but once it gets to the point where there are multiple  paths. the Spanning Tree Protocol (STP) was used to  overcome the issue. Ethernet is efficient at  the first hop (plug‐and‐play). particularly bandwidth. This is a design that uses a classic  spine and leaf topology where the leaves are the access nodes into the network and the  spine is the interconnect. it has shortcomings. but STP allows one path to be used while blocking others. This is a classic non‐blocking topology that could be traced back to  Mr. Why hasn’t it been used at the  data center? It hasn’t because of the shortcomings of Ethernet. This has been used in the wide area network for years.

  However. They are used to create Layer 2 tunnels (similar to MPLS. it eliminates  the need for STP. More importantly. two new protocols have been developed. This leads to a flatter  topology and makes every access port relatively equal. Juniper has developed an even better solution. thus using all the bandwidth. there are still two tiers of individual switches. Although this leads to a dramatic improvement to the networks of the  past. . The first one  is TRILL (Transparent Interconnection of Lots of Links) and the other is SPB (Shortest Path  Bridging).Protocol Overlay Fabric To overcome STP’s disadvantage. but at the Layer 2  level) and traffic can then be spread across different tunnels.

 it  virtualizes locality — like before. is managed as a single device. There is no need to run any protocol (TRILL. It is the flattest of all the topologies. but instead of two tiers. . allowing for a single network as it  enables convergence. known as a “Switch Fabric”.Switch Fabric This leads to the third fabric type. any‐to‐any  connectivity. It is also simpler  as it is managed as a single device (N=1). Also. every port is equal — and it eliminates the need to run  STP. which makes it the fastest.  Other benefits include being more efficient. and has flat. SPB) inside the fabric as it is the  hardware that does the transport from point A to point B. It represents building a  data center fabric that behaves as a single switch. Fewer devices allow for power savings  (which are directly related to cooling savings) as well as space savings. hence. the name and behavior. just as the fabric inside a  switch. it has  only one. This fabric type has the benefits of the previous fabric. A simpler solution with less devices implies  that customers can realize substantial cost savings.

Given the problems with legacy data center network designs. 27 .” The ideal next‐generation network architecture for modern data centers would directly  connect all processing and storage elements in a flat. a new architectural  approach is required. any‐to‐any network fabric. scale elegantly. As  Yankee Group researchers put it: “The data center network is now the backplane of the  virtual data center. this next‐generation architecture would  address the latency requirements of today’s applications. support virtualization.  Optimized for performance and simplicity. one that is transformational and innovative. and eliminate  much of the operational expense and complexity of today’s hierarchical architecture. not incremental. cloud  computing. convergence and other data center trends.

28 .

29 .

30 .

 with the QFabric architecture. to just one. 31 .  At the heart of this strategy is Juniper’s 3‐2‐1 Data Center Network Architecture. QFabric is the “1” in 3‐2‐1.Juniper Networks has developed a comprehensive strategy designed to make this new  fabric‐based data center network design a reality. which  eliminates layers of switching to flatten today’s three‐tier tree network structure to two  layers and.

 Unfortunately real networks don’t look like this – largely  because ‐ Large number of ports that need to be aggregated ‐ Multiple oversubscribed switching tiers used to aggregate those large number of ports  and still try and do it for lower cost than a full‐fledged any‐to‐any full‐mesh 32 . most agile and most efficient network contain only 2 switches (for  availability) It has the lowest latency and any‐to‐any connectivity at full port‐capacity  over a non‐blocking fabric.The simplest.

 One of the big problems that we have in a virtualized  environment is that we have a set of virtual connections instead of physical connections. We acqired a company called Altor. The major benefit  is getting  visibility into what those flows are. regardless of whether it’s a physical flow or virtual flow.  33 . and setting policy that is one  policy across the network.  Juniper is the only company today that can let you set one policy that runs across both  the SRX and vGW.With the SRX.  So Virtual Control is an application that we developed with VMware that allows keeping  virtual and physical policies in sync. how they operate. where it allows you to enforce  policies between the networking flows.  vGW is a firewall for virtualized server environments. between VMs. we can deal with the physical flows.  The inter‐data center connectivity we do very well today with MPLS and VPLS. Junos Space virtual control.

34 .

35 .

36 .

  Everything is equal distance and everything is one network hop away.Now we have a single pool or single bubble across the entire data center. it’s the ideal seamless resource pool foundation. 37 .  From that  standpoint.  The Stratus project is what created the QFabric.

38 .

 We have been very active in doing the  patent applications. because there is are many unique innovations in QFabric. 39 .The QFabric has been in development for 3years and we have 125 pending patents  applications and have been granted three so far.

 N equals one.QFabric truly is a revolutionary architecture. 40 . it has a really  well defined operational model that people understand — that of a single switch. but it  scales without complexity. resilient fabric where everything is exactly one hop away. Although interesting enough. What  we are building is a flat.

We really had to rethink the fundamental way to scale a switch. We had to look at every  aspect of the design to optimize how a switch can scale at high performance.  Data plane: The only way to scale the data plane is to push the intelligence to the edge. The  intelligence is what deals with the real world complexity of Ethernet, the different  protocols the switch has to communicate with external devices. But what’s in the middle  is simply transport. It’s simply moving the bits from point A to point B. We don’t have to  have intelligence in the middle. By having the intelligence out there on edge, I can scale  at speed. Modern data centers want to go as fast, we are at 10 Gig now. People are  already asking for 40 and 100 Gig soon. That’s the only way to scale.  Control Plane: On the other hand, the control plane is a little bit different. We want the intelligence to  be everywhere. Intelligence has to be local, where the switching happens, but the switch  also has to have a central consciousness to it, so that things are well coordinated. That’s  really what we talk about — “federated intelligence”. It addresses scale, but it also  retains resiliency.  Management Plane: Finally, we want a management plane where N = 1. It has the operational model of a  single switch. When we say N = 1, it means that it is one device to manage and there are  no interactions within the fabric itself. The fabric takes care of the management details.  We don’t run spanning tree or Trill to try to manage the loops, because loops are  managed the same way they are in the switch — by the control plane itself.  Since we truly have a single control plane, via federated, we can have a completely  different management scheme. So it is like a single pane of glass to manage QFabric as if  it’s a single device. 


Let’s take you through a bit of a journey here to try to explain the architecture. I’m going  to start with the concept of a chassis switch. It could be an 8200 from us. It could be a  Nexus 7000, Catalyst 6500, or an HP 12000. They are all basically very similar in how  they behave. We have line cards, which contain the ports. We have some sort of a  center plane or back plane that you plug into. Then there is fabric circuitry, which  interconnects all the ports in each line card to all the other ports in the line cards.  Ethernet packets come in, some initial processing at the egress port, and then the bits  are sprayed across the backplane in a non‐blocking fashion and reassembled at the far  side and then Ethernet out. What you experience as a user is “Ethernet in and Ethernet  out”, but you don’t manage these bits. It’s a very efficient transport. 


On the control plane side, there is a single CPU that ends up being the central brain. We  call it route engines. Cisco calls it a supervisor card. It basically is the central brain, but  the intelligence is also federated, because each of the line cards has intelligence. Where  is the state managed? The answer is “yes”. It’s local, because that is what gives the  switch its speed. It’s also centralized, so it can do control plane learning. I learn a new  MAC address. Every port knows about it — not because I had to flood to get there, but  because it does control pane learning.  The CPU also is the point of connection for the management plane. It projects out the  CLI, or the GUI, or the interface to a more sophisticated environment like Junos Space,  Tivoli, or so forth. It also runs a set of software that automates a lot of the software that  runs the management of the switch. I plug a new line card in. It’s automatically  detected, discovered, configured, and then brought into part of the system. 


 What we don’t like is the scaling  model.  With most vendors’ solutions. that’s as far as it scales..We questioned traditional model and  evolved the chassis architecture into distributed chassis architecture. Now I have to go to a  multi‐tier type of tree structure. 44 . Because when we fill up all the slots.. we kept the operational model. a new switch needs to be purchased to add capacity. but we changed the way it scales. So. This is where QFabric innovation journey began...We like the operational model of the single switch.

  It’s Ethernet in and it’s Ethernet out. using the efficient  algorithm. It also gives greatest resilience. Each QF/Node device has 48 10‐Gig ports. Instead of using copper traces to  connect things. So we call these the QF/Nodes and center chassis are the interconnect chassis.  In between. Notice there are no connections between these  two devices on the data plane itself. This fabric is faster than any Ethernet chassis switch  made today. They don’t have to run multiple  protocols. we have four 40‐Gigabit fibers connecting it up to center with standard fibers. This works exactly the same way as a fabric  inside of a chassis switch. They don’t run protocols.  Now. it means the devices can be  simpler. and the fabric is simply… the interconnect bits here are  simply transport. It’s all  built into the hardware itself. here’s the amazing thing. All links are active. It’s less than five microseconds to go from a port here to that port there with  maximum cable lengths. we can have up to four of these interconnect chassis. we use fiber optics. Basically. will say. and less expensive.  What do the physical components actually look like? We put the fabric bits into a chassis and we  optimize the line cards for server connectivity — a 1RU. This configuration would support 128 of the  QF/Node devices. It’s simply transport. because they want to treat  this as a network. Everything in the  real world connects to the QF/Node. The other thing is. They can be faster. because this is a non‐congesting type of  environment. “This packet is going up this fiber and coming back down that fiber”. with one fiber connection  to each one.  For large scale. it really  starts with the separation of the fabric from the line cards.  We will never have a single point of failure. Most of  the processing is done at the ingress port and some processing is done at the egress port. it is at this point in time when customers begin to get curious. We get a much better scale and physical connectivity. But these are not switches.We start by methodically breaking the pieces up physically. just  like a switch. the minimum configuration is two of these chassis. because they only have to do transport. so we can span it across a  large area. the jitter in latency is extremely  low. This way we go from being able to support 8 line cards to  128 line cards. Now. On the data plane side. When it’s transport. It’s coordinated from the top to manage link status and so forth. so  OM4. top‐of‐the‐rack.  They don’t have to deal with the complexities of the real world. The hardware.  The reason we draw the picture as a circle is that’s really the way it behaves.  45 . type of design. denser. because it is a relatively small number of ASICs. it’s Ethernet in and Ethernet out. with an efficient transport protocol in between. They do one thing and one thing only.

 because they only have to do transport.  Now. The hardware. “This packet is going up this fiber and coming back down that fiber”. Basically.  We will never have a single point of failure. will say. with an efficient transport protocol in between. Notice there are no connections between these  two devices on the data plane itself. we have four 40‐Gigabit fibers connecting it up to center with standard fibers. because they want to treat  this as a network. Each QF/Node device has 48 10‐Gig ports. This works exactly the same way as a fabric  inside of a chassis switch.We start by methodically breaking the pieces up physically. we can have up to four of these interconnect chassis. it’s Ethernet in and Ethernet out. just  like a switch. Now. with one fiber connection  to each one. The other thing is. we use fiber optics. the jitter in latency is extremely  low.  46 . denser. and the fabric is simply… the interconnect bits here are  simply transport. because it is a relatively small number of ASICs. This way we go from being able to support 8 line cards to  128 line cards. It’s coordinated from the top to manage link status and so forth. So we call these the QF/nodes and center chassis are the interconnect chassis. This fabric is faster than any Ethernet chassis switch  made today. top‐of‐the‐rack. They do one thing and one thing only. But these are not switches.  It’s Ethernet in and it’s Ethernet out. They don’t run protocols.  In between. On the data plane side. Everything in the  real world connects to the QF/Node.  For large scale. It’s all  built into the hardware itself. It’s simply transport. This configuration would support 128 of the  QF/Node devices. it really  starts with the separation of the fabric from the line cards. it is at this point in time when customers begin to get curious. here’s the amazing thing. because this is a non‐congesting type of  environment. Instead of using copper traces to  connect things. type of design. the minimum configuration is two of these chassis. It’s less than five microseconds to go from a port here to that port there with  maximum cable lengths. using the efficient  algorithm. When it’s transport. We get a much better scale and physical connectivity.  The reason we draw the picture as a circle is that’s really the way it behaves.  What do the physical components actually look like? We put the fabric bits into a chassis and we  optimize the line cards for server connectivity — a 1RU. All links are active. and less expensive. Most of  the processing is done at the ingress port and some processing is done at the egress port. They don’t have to run multiple  protocols. so  OM4. They can be faster.  They don’t have to deal with the complexities of the real world. so we can span it across a  large area. it means the devices can be  simpler. It also gives greatest resilience.

 it really  starts with the separation of the fabric from the line cards. So we call these the QF/nodes and center chassis are the interconnect chassis. Instead of using copper traces to  connect things.  47 .  We will never have a single point of failure. “This packet is going up this fiber and coming back down that fiber”. using the efficient  algorithm. It’s simply transport. so  OM4. This configuration would support 128 of the  QF/Node devices. Everything in the  real world connects to the QF/Node.  They don’t have to deal with the complexities of the real world. will say.  For large scale. because this is a non‐congesting type of  environment. On the data plane side. Each QF/Node device has 48 10‐Gig ports. This way we go from being able to support 8 line cards to  128 line cards.  The reason we draw the picture as a circle is that’s really the way it behaves. it means the devices can be  simpler. When it’s transport. it is at this point in time when customers begin to get curious. because it is a relatively small number of ASICs. here’s the amazing thing.  In between. because they only have to do transport. All links are active. and less expensive. with one fiber connection  to each one. and the fabric is simply… the interconnect bits here are  simply transport. so we can span it across a  large area. Most of  the processing is done at the ingress port and some processing is done at the egress port. They do one thing and one thing only. just  like a switch. the jitter in latency is extremely  low. Now. we can have up to four of these interconnect chassis.  Now. They can be faster. we have four 40‐Gigabit fibers connecting it up to center with standard fibers. because they want to treat  this as a network. This fabric is faster than any Ethernet chassis switch  made today. It’s all  built into the hardware itself. The other thing is. Basically. This works exactly the same way as a fabric  inside of a chassis switch. It’s coordinated from the top to manage link status and so forth. They don’t have to run multiple  protocols. the minimum configuration is two of these chassis. top‐of‐the‐rack. The hardware. It also gives greatest resilience.We start by methodically breaking the pieces up physically. we use fiber optics. We get a much better scale and physical connectivity.  What do the physical components actually look like? We put the fabric bits into a chassis and we  optimize the line cards for server connectivity — a 1RU. denser.  It’s Ethernet in and it’s Ethernet out. It’s less than five microseconds to go from a port here to that port there with  maximum cable lengths. it’s Ethernet in and Ethernet out. They don’t run protocols. with an efficient transport protocol in between. Notice there are no connections between these  two devices on the data plane itself. But these are not switches. type of design.

48 .

49 .

 It’s  configured and its local information is setup and spread across the fabric.Director is also what provides the single management plane.  if I plug in a new QF/Node device. it’s automatically detected and discovered. It is a single consciousness  that we can talk to and it projects out a CLI or GUI or a DMI interface into more  sophisticated orchestration environments. It also does a lot of automation. For example.  50 .

The distributed control plane is implemented on the interconnect and QF/Node devices  and is centrally managed by “control” Cluster of physical redundant servers. All control traffic is carried over two separate GE links to control. Control plane isolated the from the data plane 51 .

 QFabric has resiliency built in at many stages: Hardware. Management and Software. Control Plane. Data  Plane.No Single point of Failure. 52 .

53 .

54 .

The distributed control plane is implemented on the interconnect and QF/Node devices  and is centrally managed by “control” Cluster of physical redundant servers. Control plane isolated the from the data plane 55 . All control traffic is carried over two separate GE links to control.

All control traffic is carried over two separate GE links to control.Cluster of physical redundant servers. Control plane isolated the from the data plane 56 .

FCoE Transit Switch:   The QFX3500 offers a full featured DCB implementation that provides strong  monitoring capabilities on the top‐of‐rack switch. FC Initiation Protocol (FIP) snooping provides perimeter protection. 57 . the QFX3500 eliminates the need for FCoE  enablement in the SAN backbone.  ensuring that the presence of an Ethernet layer does not impact existing SAN  security policies.  Organizations can add a converged access layer and interoperate with existing  SANs without disrupting the network. In addition.  FCoE‐FC Gateway:   In FCoE‐FC gateway mode.  The QFX3500 allows up to 12 ports to be converted to Fibre Channel without  requiring additional switch hardware modules.

 and the Director.There are three unique pieces of hardware. 58 . There is the interconnect chassis. the  QF/Node.

We have eight times 16. in  that sense. These are the eight front‐ facing fabric cards. The back side has the dual power and redundant fans. or 128 40‐Gig connections. The middle stage is  fabrics and redundant control boards. Again.  59 . These are QSFP standard  connectors. That’s 44 Terabits per  second. which is an inordinate amount of cross‐sectional bandwidth.The interconnect chassis is in a half‐rack environment — so we can actually stack two on  top. Each one has 16 40‐Gigabit ports.2 Terabits per second. these are not switches. The front has the air intake and has the business side. which is counting both directions. Each control board has two different connections to the control plane. but if you add it up using marketing math. We  use standard Ethernet connectors everywhere. We can have a maximum of four.  that is 10. which are about monitoring and managing the  chassis itself.

60 .

61 .

 It’s a quad chip with enough memory and lots of  networking.Director is a 2RU Intel‐based server. 62 . If you have two different power grids coming into your data center we  recommend connecting them on different power grids.

63 .

64 .

 because there is are many unique innovations in QFabric. 65 . We have been very active in doing the  patent applications.The QFabric has been in development for 3years and we have 125 pending patents  applications and have been granted three so far.

66 .

67 .

This picture shows minimum configuration that will be shipped initially.  68 . This will  be good up to 64 devices or just over 3. Two chassis with  two connections each will give three‐to‐one oversubscription at the QF/Node.000 ports.

 That would take the configuration up to  6.144 ports. 69 .The maximum configuration would be adding two more chassis that can basically rewire  it so QF/Node can have one connection each.

The QFabric architecture provides a clear path to a single‐tier data center network. without requiring a wholesale replacement of the existing network.  allowing customers to deploy the QFX3500 first as a high‐performance data center top‐ of‐rack switch  and then transition it to a QF/Node edge device in the QFabric architecture at their own  pace.The QFabric architecture provides complete investment protection.  .  helping customers improve application performance and attain operational flexibility  with minimal administrative overhead.

I believe there will be cool applications that will  show up as a result of QFabric. What are the applications that can take advantage of that? What  will come as a result of it? “..” ‐ Andy Ingram (VP of Marketing.In some ways.. FSG) 71 . we have now interconnected everything in the data center to one giant  compute/storage the data center is the computer.

72 .

73 .

74 .

75 .

76 .

 so it is still proprietary. I can’t tell you how long it took to draw all these lines.  77 . but they have taken a different  approach. This  is a pretty typical way that you build a spinal leaf type of topology for a non‐blocking  fabric. they are using a Trill‐like protocol called “fabric path”. When you do this. what you have is a  whole bunch of loops.Assumptions: *Ports: 6000 ports *OS: 3:1 ToR ‐> Fabric If we build a 6000‐port network. we would have the 4 chassis.  What you find is you can’t actually build this. which would turn off all this  bandwidth. have two rows of Nexus 7000’s. we would have 125 of the  edge nodes.  The scary thing is that each one of these lines represents 20 different links or more. which  means we have minimized the number of pieces of hardware — the number of devices  — and made it as simple as possible. What that looks like for Cisco fabric path is we have Nexus 5000’s at the  edge. Layer 3. so rather than doing spanning tree. and I have another instantiation to get my Layer 3  functionality for the data center because the protocol they run here is Layer 2 only. We took a clean sheet of paper and designed from the ground up.  Our competition is trying to do the same thing.  Our competitors are trying to build a non‐blocking flat network out of the existing  building blocks. This would give us a complete non‐blocking environment that behaves as a  single switch in Layer 2. It is not Trill and it is  not interoperable with anything else.

But what it does is it creates Layer 2 tunnels — but it is only Layer 2. They actually have  separate hardware to do Layer 3, which creates its own set of challenges, because now  you actually have to try to do capacity planning between two flows of traffic that you  never had to measure before.  As a point of comparison, we have 1/3 the number of devices, require 2/3 less power,  90% less floor space, and we are 7 to 10 times faster.  Source: ‐ Data Sheets ‐ Design Documents ‐ Internal Testing results ‐Reference Links: e/n7k_sys_specs.html‐ 618603.html *Competitive Configuration: Spine: ‐ Chassis 18 slot with 16 payload slots ‐Linecards are only capable of 230G fabric switching ‐10G linerate per linecard: 23 ports ‐ Latency: 5usec within linecard ‐TRILL like supported Edge: ‐ToR latency: 2usec ‐10G downlink: 36 ports ‐10G uplinks: 12 ports ‐No TRILL like supported


Some data centers build different kinds of networks for different kinds of apps and we  believe that one network should solve all the problems, if done right. We picked 6,000  as a big number, but that also plays out if you have 500, 1,000, 3,000, or 6,000. The QFabric architecture can scale from just a few hundred to thousands of  server/storage ports, helping customers build highly scalable, high‐performance, highly  efficient cloud‐ready (private, public or hybrid) data center infrastructures. Source: ‐ Data Sheets ‐ Design Documents ‐ Internal Testing results ‐Reference Links: de/n7k_sys_specs.html ‐618603.html 1‐516396.html *Competitive Configuration: Spine:


‐ Chassis 18 slot with 16 payload slots ‐Linecards are only capable of 230G fabric switching ‐10G linerate per linecard: 23 ports ‐ Latency: 5usec within linecard ‐TRILL like supported Edge: ‐ToR latency: 2usec ‐10G downlink: 36 ports ‐10G uplinks: 12 ports ‐ No TRILL like supported


Assumptions: (Average numbers) Power/KWH $0.11  HVAC & Lighting / KWH $0.13  Rack Space / Year $9,000  Network Engineer/per yr $200,000 


Assumptions: (Average numbers) Power/KWH $0.11  HVAC & Lighting / KWH $0.13  Rack Space / Year $9,000  Network Engineer/per yr $200,000 


 we started in the middle in terms of how the fabric scales  and the price point scales. 81 .The QFabric itself is in customer trials as we speak. We will have 40 and 100 Gigabit access  speeds as well. We will have mega fabrics that will ultimately scale to 10s of  thousands of physical ports and will have 100’s of thousands of virtual ports. The trials will probably last 4 to 6 months. We will  also scale down that will be very economical.  In terms of future directions. Because this is solution and not a  product we go through intensive and extended customer trials. We are expecting to  bring it to market in Q3 of this year.  depending on the customer.

 and the quality thereof.  We believe this will transform the data center network. QFabric will make it simpler to manage. which gives it a better level of agility. QFabric will make the data  center better. as well as take the cost to a lower level. we  believe we can drive user experience. 82 . Instead of having the tradeoff.QFabric: The performance and operational simplicity of a single switch and the  scalability and resiliency that you would expect from a single network. QFabric will make it better for  doing virtualization. and the economics to a  higher level.

” ‐ Andy Ingram (VP of Marketing. I believe there will be cool applications that will show up as a result of  QFabric. and  support virtualization... and storage and  compute resources.  eliminate the complexity of legacy hierarchical architectures.we always said the network is the computer.A change in data center network design is needed to ensure that organizations can take  full advantage of their investments in new applications. FSG) 83 . convergence. It’s time to break the network barriers  and build a network environment that is optimized for performance and simple to  operate.. What are the applications that can take advantage of that? What  will come as a result of it? “. In some ways. virtualization. The most efficient way for resources to interact is for them to be no  more than a single hop away from each other. scale elegantly. we have now interconnected everything in the data center to one giant  compute/storage farm. and cloud computing and other demanding  requirements for the next‐generation data center. QFabric architecture would address the latency requirements of today’s applications. but now the data center is the  computer.

 offers flexible latncy modes with cut through or store‐&‐ forward : both with sub microsec latency. enabling customers to protect their  investments in existing data center aggregation and Fibre Channel storage area network  (SAN) infrastructures ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Features Junos L2 and L3 Rich DCB implementation FCoE Transit Switch / FIP snooping FCoE‐FC Gateway (NPIV) 40G ready hardware 84 . For converged server environments. high den 10G switch designed specifically for data center deployments It  has max 63 10 g  ports.Here is rear view of QFX3500 switch It is high perf.  It is a high performance switch . 4 40 g ports Featuring 48 dual‐mode 10G ports. storage systems. the QFX3500 is also a standards‐based Fibre  Channel over Ethernet (FCoE) transit switch and  FCoE to Fibre Channel (FCoE‐FC) gateway.  blade servers. and four QSFP+ ports in a 1 U form factor QFX3500 delivers rich Layer 2 and Layer 3 connectivity to devices such as rack servers.

Laye2 switching & Feature Rich DCB ULL cut through or store‐&‐forward. Server virtualization  support in hardware Layer 3 switching ULL cut through or store‐&‐forward.  Layer 3 protocols in 2H2011 FCoE transit Switch / FIP Snooping and can provide FCoE‐FC Gateway functionlait for up  to 12 FC Ports 84 . Large MAC table of 96K.

 lesser number of hops ‐ enable faster communication  and minimizes overall application latency and shrink data center footprint. For them. faster access to transactions = more  money.  In financial  and HPC sector.High frequency trading in financial services use real time market feeds to enact millions  of trades per second. Low Oversubscription  in  low or non‐blocking configurations is a key criterion for gaining competitive advantage.wirespeed perf and port density. there has been tradeoff   between latency .   ‐‐‐‐‐‐‐‐‐‐ Not anymore  with QFX3500 Port density means fewer devices. High throughput with ability to send large files or many small files within a certain  amount of time  is critical for market data delivery  Financials require 85 . seismographers. military and academic institutions. high perforamnce : low latency. Financial institutions  such as JPMorgan rely on high speed  networks to carry these transactions. Scalability  and port density means that the network can be expanded to meet increasing demands. Cisco or BNT. The most common users of HPC systems are  scientific researchers. If  we look at existing players such as Arsita.   High‐performance computing (HPC) uses parallel processing for running advanced  intensive operations efficiently and quickly.

 which leads to greater numbers of devices. Juniper superior to others that use similar merchant silicon ( BNT) with Full L3 . Delivering sub‐microsecond low latencies demand cut through and shared memory  switching technologies. higher  CAPEX and OPEX. and more management complexity. not only that latency is not consistent.Advanced  L2 features and Migration path to Fabric ‐‐‐ 86 . Arista offers two different products for two separate niches.  The Arista 7124 features low‐latency characteristics and is suited for symmetric  traffic flows and consistent environments such as HPC. so customers may not  even find them suiatbe for this.QFX3500 combines high performance with ultra low latency with consistent per and  high port dens. Arista 7124 cannot  provide high port density. not store‐and‐forward  latency mode and cannot handle asymmetric 1 and 10GbE speeds or the types of traffic  Cisco has very high latency.  The Arista 7148SX offers up to 48 10GbE ports but has higher latency and jitter then  7124 switch. Arista 7100 switches can only do cut‐through mode. QFX3500 <1us low  latency guarantees near instantaneous  information.

applications or storage that users  can access through a web dynamically. The reqs are : Scale High Port density Large number of VLAN’s Large MAC address tables (VMs) : as East‐West VM traffic in flat L2 network ‐ need large MAC tables on edge of network I/o Convergence to reduce number of CNA’s and achieve economies With QFX3500.Cloud‐based applications provide unique advantages for on‐demand provisioning and  elastic computing  capacity with a pay‐as‐you‐go pricing model. Target is “small‐scale” Private and Public Clouds for L2/L3 10G server  access ‐‐‐‐‐‐ Cloud computing takes the form of web‐based tools . 87 .

88 . with no path to fabric and limited virtualz  support. QFX 3500 provides Management Simplification reqired for clouds provider As part of fabric.Juniper’s solutions provides the scale and elasticity needed for Cloud Large (63) 10GbE port density With Largest 96K MAC address tables . multiple QFX 3500 can be managed as a single device. which  leads to less complexity and savings in opex. it Support large L2 domain Cisco can only provide max 48 port with an expansion module . they don’t full full I/o  convergence and have limited mac table W can easily beat Arista as it has no sacle.

Also staorage convergence with Fcoe transit and gateway fun helps consolidate resorce  and save cost. The incumbenet we see here will be Cisco with 4900M and Nx5548. L3 Small –mid Enterprise DC : 10 G used for DC Aggregation .For A typical Enterprise such as GM.mid level enterprise and large  : Agregation : 10G. On top of these Large Enterprise: need 10G in access.  Key characterists are  high availability . port density and availability of  L2/L3 switching and routing protocol . The Enterprise market is segmented into Small . 89 . Mercado. data cneter is a cost center.


91 . sapce usageas  well as amangeability as part of fabric. it provides optimun cost/port in terms of opex and power.QFX stands out amongst all the switches in these 3 segments In HFT/HPC it is the Fastest (sub‐microsecond at all packet sizes) and with L3 at all ports In Cloud it offers te largets port density and virtualzation sacle In enterprise.

Competitive vendors can support only a subset of LA features.partial L3 but lacks full L3  BNT offers ultra low latency and L3 but lacks FC gateway 92 .   Arista offers ULL. 40 GE uplinks (maybe). Cisco offers FCoE and FC gateway functionality but  lacks : ULL Full L3 to every port VEPA or  40E uplinks.



 bigger.  Similarly for enterprise datacenters. customers are forced to compromise on  performance and deploy catalyst 4900 to meet budget.Su: To meet these different needs . It  can address multiple DC applications ‐that  previously could only be addressed with multiple switches or by sacrificing  functionality. Cisco 5548 with its 48  10g ports and path to fabric is suitable. For Scaled datacenters.  cheaper and Without adding complexity . customers have to choose different switches today. QFX3500 superior in each segment of 10GE TOR with No compromises on faster.  for financial applications  where low latency is critical Arista 7100 is preferred  though it does not offer port density and scale. Introducing‐ Performance rich QFX3500.





100 .


102 .





Depth 28” Air flow Front to back 106 .


























132 .