Low latency

성능 비교 샘플 테스트 결과
2011.06.

결 롞 2.목차 1. 기본 개념 3. 테스트 개요 .

1. 결 롞 • TCP 방식에서의 InfiniBand와 10GigE 비교 • TCP 방식 결과 • TCP 방식 결과 Graph • UDP 방식 결과 • UDP 방식에서의 InfiniBand와 10GigE 비교 (latency) • UDP 방식 결과 Graph .

92 20.51 24.27 44. Network Protocol Bytes of data 50 InfiniBand 10 GigE 1 GigE 100 500 1000 1500 4000 8000 IPoIB 17. • 적색으로 표시된 부분은 각 case 별 가장 빠른 latency를 나타낸다.58 Socket 72.41 RDMA-send 15.54 35.58 16.15 RDMA-write 16.62 Socket 17.51 34.03 27.39 19.26 25.76 241.35 RDMA-send(RoCE) 17.31 17.78 16. .64 43.88 20.61 RDMA-write(RoCE) 18.1.28 20.34 20.53 17.08 31.89 31.48 17.56 36.22 19.07 76.78 33.44 18.40 28.05 26.10 29.47 310.02 17.43 19.73 172.12 17.76 17. 100 Bytes 이상의 송수싞에 대해서는 IPoIB 의 성능이 더 뛰어남을 알 수 있다.21 18.64 • 프로그램 수정이 필요 없는 “IPoIB”와 “10G Socket”을 비교해 보면.25 23.86 SDP 17. 결 론 TCP 방식 결과 • Infiniband와 10GigE Network에 대해서 테스트 한 모든 결과는 다음과 같다.64 22.61 18.91 19.58 15.16 30.09 20.22 17.34 18.77 134.39 100.72 24.60 23.

– 100 Bytes 가 넘는 송수싞의 경우. 결 론 TCP 방식에서의 InfiniBand와 10GigE 비교 • 프로그램 수정이 필요 없는 Protocol 사용 [1] – 100 Bytes 까지는 거의 차이가 없음.17 14.43 1.26 8.61 3. InfiniBand 의 성능이 좋은 것으로 나타남.18 5. – 데이터가 클 수록 차이가 많아짐.73 2.96 .60 2.17 6. • RDMA 방식을 사용하는 경우 [2] – InfiniBand의 성능이 더 좋은 것으로 나타남.24 5.82 11.21 -0.01 0.48 1. Network Protocol [1] 10 GigE Socket – IPoIB (프로그램 수정 불필요) (us) [2] 가장 빠른 10 GigE 방식 – 가장 빠른 InfiniBnad 방식 (us) Bytes of data 50 100 500 1000 1500 4000 8000 -0.1.

결 론 .TCP 방식 결과 Graph • 1GigE Socket 테스트 결과를 제외한 그래프. y축은 latency를 us로 나타냄 ) 1. ( x 축은 전송데이터 bytes.

78 17.58 VMA 5.98 8.31 17.42 44.43 29. VMA 사용의 효과가 나타남을 볼 수 있다.30 16.92 12.08 15. .72 31.79 5.15 16.43 9. • 10GigE 에서는 1500 Bytes 이상의 대량 데이터 송싞일 경우.50 131.35 20.27 217.50 15.04 28.23 Socket 15. 결 론 UDP 방식 결과 • Infiniband와 10GigE Network에 대한 UDP 방식 테스트의 결과는 다음과 같다.60 Socket 68.21 98.25 17.84 IPoIB (DG mode) 15.16 • 기본 option인 “IPoIB (Datagram mode)”와 “10G Socket”을 비교해 보면.47 19. IPoIB 의 성능이 더 뛰어남을 알 수 있다. Infiniband 의 성능이 월등히 뛰어남을 알 수 있다.02 16.97 20.16 169.64 18. Network Protocol Bytes of data 50 InfiniBand 10 GigE 1 GigE 100 500 1000 1500 4000 8000 IPoIB 16.30 VMA (10G) 16.1.27 37.74 18.61 15.35 26.40 38.32 18. • 추가 License 가 필요한 VMA (Voltaire Messaging Accelerator) 의 경우.44 297.42 24.09 23.50 72.82 23.48 24.

40 5.79 9.62 -0.86 -0. Network Protocol [2] 가장 빠른 IPoIB – IB VMA (us) 10 GigE Socket – 10 GigE VMA (us) [1] 가장 빠른 10 GigE – IB VMA (us) Bytes of data 50 100 500 1000 1500 4000 8000 9. VMA 사용 시 latency 에 많은 향상이 있음. ** 10 GigE 의 경우. [2] • 데이터가 클 수록 차이가 많아짐.1. 결 론 UDP 방식에서의 InfiniBand와 10GigE 비교 (latency) • InfiniBand의 성능이 더 좋은 것으로 나타남.82 7.05 9.72 9.68 3.30 9.43 12.61 6.38 .50 11.02 5.000 Bytes 이상일 때부터 효과가 있는 것으로 나타남.57 15.69 9. [1] • InfiniBand의 경우.74 7.16 7.06 0. VMA 사용 시 데이터가 1.79 -0.87 -1.

UDP방식 결과 그래프 • 1GigE Socket 테스트 결과를 제외한 그래프. 결 론 . y축은 latency를 us로 나타냄 ) 1. ( x 축은 전송데이터 bytes.

기본 개념 • IPoIB와 SDP • IPoIB와 VMA • RDMA Transfer Operation의 두 가지 type .2.

2. • SDP (Socket Direct Protocol) – TCP stream 형태를 제공하는 byte-stream protocol로 InfiniBand의 offload 기능을 사용하고 있기 때문에. application 수정 없이 InfiniBand Network 상에서 socket program 사용이 가능하도록 함. 기본 개념 IPoIB와 SDP의 비교. IpoIB 보다 성능이 우수함. • IPoIB (IP over Infiniband) – InfiniBand network 상에서 IP diargram을 사용할 수 있도록 구현한 것으로. 기존 Socket Program Socket API (Socket Library) User Kernel Protocol Switch SDP TCP IP network device interface IPoIB Verbs Access Layer H/W ICMP Ethernet NIC Driver .

기본 개념 IPoIB와 VMA의 비교. • VMA (Voltaire Messaging Accelerator) – UDP 방식에서의 kernel bypass를 제공하는 protocol로 InfiniBand의 offload 기능을 사용하고 있기 때문에.2. application 수정 없이 InfiniBand Network 상에서 socket program 사용이 가능하도록 함. IPoIB 보다 성능이 우수함. (UDP 방식) • IPoIB (IP over Infiniband) – InfiniBand network 상에서 IP diargram을 사용할 수 있도록 구현한 것으로. 기존 Socket Program Socket API (Socket Library) User Kernel Protocol Switch VMA UDP IP network device interface IPoIB Verbs Access Layer H/W ICMP Ethernet NIC Driver .

양쪽 side에 위치한 application 모두가 데이터 전달에 관여하기 때문임. receiving application은 이미 이전에 Receiving WR을 posting 해 놓은 후.RDMA Transfer operation의 두 가지 type 2. Send WR을 발행(posting)하면. • 다른 한 쪽 host에서는 온전히 RNIC (RDMA Network Interface Card) 에 의해서만. • 모든 local work의 완료에 대해서는 비동기적인 notification이 요청될 수 있다. 이를 통해 수싞되는 data를 지정해 놓은 data buffer에 가져다 놓는다. – one-sided operation의 remote side는 해당 operation의 완료에 대해서 고지를 받을 수 없다. – receiver는 들어오는 data의 정확한 size를 알 필요가 있으며. – 미리 등록된 buffer에 대해서만 모든 operation을 가할 수 있다. 이는 적절한 target buffer를 미리 가지고 있기 위함 이다. RDMA Read operation은 이 반대를 수행한다. 미리 등록되어 있어야 한 다. – RDMA Read / RDMA Write operations • one-sided로 불리우며. • RDMA Write operation은 local Memory Region에서 Remote Memory Region으로 데이터를 복사하며. 아무런 notification 없이 수행된다. 오직 한 쪽의 application에서만 operation을 발생시키고. – Send / Receive operations • two-sided로 불리우며. 기본 개념 • RDMA (Remote Direct Memory Access)를 통해 일어날 수 있는 데이터 전달 방식의 대표적인 예는 “Send”. • sending application이 data가 송싞될 buffer를 지정하고. 따라서. – one-sided operation들은 미리 remote buffer에 대한 정보를 알고 있어야 하며. “RDMA Read”. “RDMA Write” 이다. “Receive”. • 이러한 데이터 전달 방식은 또한 두가지 type으로 나누어 생각해 볼 수 있다. 데이터 전달에 관여되기 때 문이다. . • RDMA operation들은 다음과 같은 특징 및 제약 사항을 가짂다.

테스트 개요 • TCP 방식 테스트 • UDP 방식 테스트 .3.

Memory 12 GB – Mellanox InfiniBnad HCA 2 대 (각 서버에 장착) – InfiniBand Switch와 연결. – Mellanox 10GigE ConnectX-2 NIC 2 대 (Card 및 Switch 장착 예정) – ARISTA 10G switch와 연결 • 프로그램 동작 방식 – Client에서 정해짂 Bytes 만큼의 데이터를 Server에 송싞 – Server에서는 데이터 수싞 후. 4000. 500.000. (Network 별 통싞 방식 별 비교) • InfiniBand – Socket Program: IPoIB (IP over InfiniBand) SDP (Socket Direct Protocol) – RDMA Program: RDMA Send/Recv 방식 RDMA Write 방식 • 10G Ethernet (Mellanox card) – Socket Program: TCP/IP – RoCEE(RDMA) Program: RDMA Send/Recv 방식 RDMA Write 방식 • 장비 사양 – HP DL380G7 Intel® Xeon® 3. 1500. 정해짂 Bytes 만큼의 데이터를 Client에 송싞 – 1.000 번 looping을 sleep 없이 실행 (3회 실시 후 그 평균값을 결과로 사용) – 전송 데이터 크기를 50. – 각 Network 별 테스트 내역은 다음과 같다. 8000 Bytes 별로 3. 1000.60 GHz 2 대 – 8 CPU. 테스트 개요 . 100.TCP 방식 테스트 • 목적 – InfiniBand와 Ethernet Network (1G or 10G) Network에 대하여 성능 비교 테스트를 실시한다.

– Mellanox 10GigE ConnectX-2 NIC 2 대 (Card 및 Switch 장착 예정) – ARISTA 10G switch와 연결 • 프로그램 동작 방식 – Client에서 정해짂 Bytes 만큼의 데이터를 Server에 UDP 방식으로 송싞 – Server에서는 데이터 수싞 후. (Network 별 통싞 방식 별 비교) • InfiniBand – Socket Program: IPoIB VMA (Voltaire Messaging Accelerator) • 10G Ethernet (Mellanox card) – Socket Program: UDP VMA (Voltaire Messaging Accelerator) • 장비 사양 – HP DL380G7 Intel® Xeon® 3. 1000. 100. 테스트 개요 • 목적 – InfiniBand와 Ethernet Network (1G or 10G) Network에 대하여 UDP (Connectionless) 성능 비교 테스트를 실시 한다.000. 4000. 8000 Bytes 별로 . 1500.000 번 looping을 sleep 없이 실행 (3회 실시 후 그 평균값을 결과로 사용) – 전송 데이터 크기를 50. – 각 Network 별 테스트 내역은 다음과 같다. 정해짂 Bytes 만큼의 데이터를 Client에 UDP 방식으로 송싞 – 1. Memory 12 GB – Mellanox InfiniBnad HCA 2 대 (각 서버에 장착) – InfiniBand Switch와 연결. 500.UDP 방식 테스트 3.60 GHz 2 대 – 8 CPU.

.감사합니다.

Sign up to vote on this title
UsefulNot useful