概要
Chelsio社T4 T420-CRのiSCSI転送速度測定、及びChelsio社、Intel社10GbEネットワークアダプタとの比較を行った。
Intel 10GbE及びChelsio 10GbEでネットワークを構成した際のそれぞれのパフォーマンスの比較を行った。
システム構成
- A. iSCSI Target
M/B ： Supermicro X8DTE-F
CPU ： E5620 x1
MEMORY ： 2GB x3
HDD ： HGST Ultrastar 7K3000 3TB x14
RAID ： MegaRAID SAS9260-4i
RAID ARRAY ： HDD x14 RAID6
OS ： CentOS 5.5 64bit
iSCSI Target ： iscsitarget-1.4.20.2
- B. iSCSI Initiator
M/B ： Intel S5520URR
CPU ： E5520 x1
MEMORY ： 4GB x1
HDD ： HGST Ultrastar 7K3000 2TB x1
OS ： CentOS 5.5 64bit
iSCSI Initiator ： iscsi-initiator-utils-6.2.0.871-0.16.el5
10GbE ネットワークアダプタ
- Chelsio T420-CR （FW：1.3.10.0, Driver：ChelsioUwire-1.0.2.26）
- Chelsio S320E-LP-CR （FW：7.11.0, Driver：cxgb3toe-1.5.1.6）
- Chelsio N320E （FW：7.11.0, Driver：cxgb3toe-1.5.1.6）
- Intel EXP9502CX4 （FW:1.8-0, Driver：ixgbe-3.4.24-NAPI）
測定方法
- システムB.でiSCSI Target Deviceをマウントしxdd6.5により転送速度を測定した。
- Intel 10GbEではIOAT + DCAの有無での転送速度を測定、Chelsio T4, T3ではTOEの有無による転送速度を測定した。
- stressによりCPUに負荷をかけCPU Load100%の状態で測定した。
測定結果
表記は以下の通り
|
SW = Sequential Write SR = Sequential Read RW = Random Write RR = Random Read (単位：MB/S) |
SW IO = Sequential Write IO SR IO = Sequential Read IO RW IO = Random Write IO RR IO = Random Read IO (単位：iops) |
1. Chelsio T420-CR
TOE off, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 8.68 | 5.27 | 16943.55 | 10291.29 | 6.61 | 1.2 | 12905.11 | 2342.08 |
| 4KB | 69.83 | 25.21 | 17049.32 | 6154.65 | 55.42 | 12.28 | 13530.53 | 2998.45 |
| 256KB | 508.59 | 284.85 | 1940.1 | 1086.61 | 459.5 | 84.12 | 1752.87 | 320.9 |
| 1MB | 794.37 | 444.47 | 757.57 | 423.88 | 691.39 | 156.06 | 659.36 | 148.83 |
TOE on, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 11.2 | 5.85 | 21879.4 | 11431.57 | 11.17 | 1.16 | 21819.39 | 2261.12 |
| 4KB | 75.45 | 25.82 | 18419.68 | 6303.74 | 93.31 | 11.78 | 22780.15 | 2876.19 |
| 256KB | 666.74 | 389.97 | 2543.42 | 1487.6 | 651.79 | 95.5 | 2486.37 | 364.29 |
| 1MB | 856.27 | 617.43 | 816.61 | 588.83 | 836.75 | 161.23 | 797.98 | 153.76 |
2. Chelsio S320E-LP-CR（cxgb3toe-1.5.1.6）
TOE off, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 8.44 | 5.44 | 16488.53 | 10617.88 | 8.63 | 1.58 | 16850.79 | 3089.15 |
| 4KB | 59.21 | 26.01 | 14454.9 | 6350.22 | 57.32 | 13.85 | 13994.58 | 3382.03 |
| 256KB | 541.41 | 320.21 | 2065.32 | 1221.49 | 547.7 | 80.41 | 2089.32 | 306.75 |
| 1MB | 698.8 | 433.03 | 666.43 | 412.97 | 707.37 | 146.38 | 674.6 | 139.6 |
TOE on, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 10.51 | 5.56 | 20519.84 | 10860.54 | 10.31 | 1.47 | 20137.23 | 2877.36 |
| 4KB | 67.25 | 26.66 | 16418.04 | 6508.31 | 63.76 | 13.67 | 15566.12 | 3337.51 |
| 256KB | 606.67 | 364.2 | 2314.26 | 1389.3 | 591.79 | 82.15 | 2257.52 | 313.38 |
| 1MB | 814.19 | 595.03 | 776.48 | 567.47 | 794.45 | 146.58 | 757.65 | 139.79 |
3. Chelsio N320E（cxgb3toe-1.5.1.6）
TOE off, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 9.16 | 5.09 | 17898.76 | 9944.82 | 9.25 | 1.19 | 18059.95 | 2331.69 |
| 4KB | 62.01 | 24.93 | 15137.96 | 6086.06 | 75.86 | 11.71 | 18521.04 | 2859.61 |
| 256KB | 536.15 | 323.49 | 2045.23 | 1234.02 | 505.2 | 84.31 | 1927.18 | 321.61 |
| 1MB | 651.21 | 440.87 | 621.04 | 420.44 | 643.2 | 144.39 | 613.4 | 137.7 |
4. Intel EXP9502CX4（ixgbe-3.4.24-NAPI）
※LRO = Disabled
IOAT + DCA off, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 8.86 | 3.88 | 17305.66 | 7571.78 | 8.21 | 1.18 | 16032.64 | 2297.55 |
| 4KB | 16.43 | 17.93 | 4010.27 | 4376.9 | 21.98 | 10.82 | 5366.37 | 2641.16 |
| 256KB | 340.99 | 245.53 | 1300.78 | 936.61 | 364.6 | 82.26 | 1390.85 | 313.81 |
| 1MB | 469.87 | 348.45 | 448.1 | 332.3 | 455.94 | 143.77 | 434.82 | 137.11 |
IOAT + DCA on, CPU Load 100%
| BlockSize | SR | SW | SR IO | SW IO | RR | RW | RR IO | RW IO |
|---|---|---|---|---|---|---|---|---|
| 512B | 10.07 | 4.42 | 19667.14 | 8628.19 | 10.11 | 1.22 | 19739.25 | 2377.61 |
| 4KB | 32.72 | 20.03 | 7987.49 | 4890.64 | 43.01 | 10.74 | 10501.35 | 2621.26 |
| 256KB | 448.56 | 270.4 | 1711.13 | 1031.48 | 458.85 | 95.72 | 1750.36 | 365.14 |
| 1MB | 693.25 | 428.85 | 661.14 | 408.98 | 643.21 | 149.79 | 613.41 | 142.85 |
各ネットワークアダプタの比較
■TOE及びIOAT+DCA有無によるCPU Load = 100%時の転送速度比較
TOE及びIOAT+DCAを有効にすることでCPU負荷時の転送速度が速くなることが確認出来た。
■TOE及びIOAT+DCA有効、CPU Load = 100%時の転送速度比較
※N320EはTOE有効設定が無いためTOE無効での速度で比較
Read・Write共にT420-CRのパフォーマンスが最も高い事が確認出来た。
■Chelsio T420-CR, S320E-LP-CR, N320E及びIntel EXP9502CX4の性能比較
※TOE及びIOAT+DCA有効、CPU Load = 100%時の転送速度比較
※N320EはTOE有効設定が無いためTOE無効での速度で比較
