この自宅10GbE環境にお別れを！(こんにちは、40GbE)

　ここ数年、自作向けマザーボードにもようやく10GbE NICが載るようになりましたが
筆者の自宅でも、2年前に導入した10GbE NIC環境がメインPC - 録画PC間で活躍していました。

　今回、この環境を40GbEにリプレースしたので記録を残しておきます。

[リプレースの理由]

• パフォーマンスの限界
  →録画機の一時保存領域にはNVMe SSD(Samsung 950 Pro)を使い、
  録画したデータをメインPCのNVMe SSD(Samsung 960 Evo)に転送しています。
  が、10GbEではもはや帯域が足りない。
• 安くなった
  →10GbE NICでは、Intel X540-T2あたりの互換カードが安いと
  以前一部で話題になりましたが、それとほぼ同程度の価格になっている。
• 面白そう
  →趣味としては申し分ないネタ加減である。

[購入したもの]

• Mellanoxの40/56GbE Ethernetカード MCX314A-BCBT 新品 2枚 (購入元……ebay)
  →ConnectX-3 EN というシリーズ。PCIe3.0 ×8接続で、2ポートのQSFP+を備える。
  購入価格は1枚あたり1.8万円未満。
• 40/56GbE対応QSFPケーブル(3m) 1本 (購入元……Amazon)
  →即納できそうなケーブルが3mしかなく、しかたなく購入。本当は1mでよかった。
  購入価格は約8,300円。

　国内の通販サイトで当該NICを探すと、売価9万円とか言われますが
探せば新品でも2万円程度で買えるんですね。
型落ちモデルになっているのも安い理由なのかもしれない。

[外観]

ピントがおかしいですか気にしない。2ポートのNIC

背面。イスラエル製のカードです

ポートはQSFP+用

・カード
PCIe 3.0×8接続、そして2ポートのQSFPコネクタ。
40GbEとなると、単純計算で5GB/sの最大速度なわけですから
PCIeもそれなりの帯域が必要になるわけですね。
ヒートシンクがついてますが、発熱も気になるところです。


・ケーブル
QSFP+という形状で、最大56Gbpsを転送できます。
ただし、56Gbpsは同じメーカーのスイッチ経由で接続した際の最大速度で
PC間の直接接続の場合、40GbEになります。
ケーブルは3mでちょっと長すぎる。ちなみに、2台のPC間は1m未満です。

[導入]

今回はメインPC、録画兼Hyper-Vマシン(両方とも Windows 10 Pro)に導入。
ドライバはMellanoxのサイトからダウンロードしました。
日本のサイトに置いてあるドライバは古いため、本国サイトにアクセスして
ドライバパッケージであるWinOFの、Ver.5.22をダウンロードします。
最新ではないですが、ちゃんとWindows 10にも対応してて偉い。

　なお、ドライバをインストールする際に
カードのファームウェアが古いと『バージョンアップしとくか？ん？』みたいな表示が出ますが、
上げても上げなくても、Mellanoxのサイトにある『mlxup』というユーティリティをダウンロードし、
管理者権限で実行すれば勝手に最新版を見つけて、実行すれば適用してくれます。メッチャ簡単。

mlxupの実行。適用後は再起動が必要

[通信テスト]

　導入はなにもなく無事完了しましたが、こんなに速いストレージは準備できません。
NVMe SSD同士での転送でも10GbE以上の速度は出ると思いますが、
とりあえずネットワークのスループット計測では定番の"iperf"を使う事とします。

　で、さっそくiperfを実行してみたんですが……なんか遅い。

10GbEの壁は超えたけど……

　40Gbpsとはいわなくても、30Gbpsくらい出て欲しいもんですが。
いいところ11Gbpsしか出ません。これでは10GbEに毛が生えたレベルです。
なんでやろと思って調べていますが、けっこうチューニングが必要なようです。
ほとんど何も設定できてないしな……

[遅い原因と思われるもの]

• 双方のサーバーにある省電力設定。
• OSがWindows Server 2012/2012 R2//2016ではない。
• その他設定漏れ。

[まとめ]

　なんという期待外れな結果かと思いますが、まだまだ性能向上の余地があると考えて
これから設定をあれこれいじっていきたいと思います。