Infiniband mit FreeBSD 2016 Edition

Noch ein paar weitere Erkenntnisse:

Die Karte scheint automatisch im Ethernet Modus zu laufen, wenn das mlxen Modul geladen ist, was auch Sinn macht.

root@server:~ # sysctl -a | grep sys.device.mlx4
sys.device.mlx4_core0.mlx4_port1: eth
sys.device.mlx4_core0.board_id: HP_0F60000010
sys.device.mlx4_core0.hca: MT26448
sys.device.mlx4_core0.fw_ver: 2.9.1200

Wenn man etwas an der MTU schraubt, kann man auch bessere Bandbreiten erzielen.

root@server:~ # ifconfig mlxen0 mtu 9000
root@server:~ # iperf -c 10.0.0.2 -P 2
------------------------------------------------------------
Client connecting to 10.0.0.2, TCP port 5001
TCP window size: 35.0 KByte (default)
------------------------------------------------------------
[  4] local 10.0.0.1 port 64132 connected with 10.0.0.2 port 5001
[  3] local 10.0.0.1 port 48068 connected with 10.0.0.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  5.30 GBytes  4.55 Gbits/sec
[  3]  0.0-10.0 sec  5.29 GBytes  4.55 Gbits/sec
[SUM]  0.0-10.0 sec  10.6 GBytes  9.10 Gbits/sec

Es sollte eigentlich auch möglich sein, die Karte, wenn sie im Ethernet Modus betrieben wird, direkt an einen SFP+ Port eines Ethernet Switches wie z.B. dem Mikrotik CRS226-24G-2S+ RM anzuschließen, den man schon für unter 300€ bekommen kann. Er ist mit zwei SFP+ Ports und 24 1Gbit RJ45 Ports ausgestattet. Evtl. lege ich mir so einen mal zu und teste auch das mal.