Noch ein paar weitere Erkenntnisse:
Die Karte scheint automatisch im Ethernet Modus zu laufen, wenn das mlxen Modul geladen ist, was auch Sinn macht.
root@server:~ # sysctl -a | grep sys.device.mlx4
sys.device.mlx4_core0.mlx4_port1: eth
sys.device.mlx4_core0.board_id: HP_0F60000010
sys.device.mlx4_core0.hca: MT26448
sys.device.mlx4_core0.fw_ver: 2.9.1200
Wenn man etwas an der MTU schraubt, kann man auch bessere Bandbreiten erzielen.
root@server:~ # ifconfig mlxen0 mtu 9000
root@server:~ # iperf -c 10.0.0.2 -P 2
------------------------------------------------------------
Client connecting to 10.0.0.2, TCP port 5001
TCP window size: 35.0 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.0.1 port 64132 connected with 10.0.0.2 port 5001
[ 3] local 10.0.0.1 port 48068 connected with 10.0.0.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 5.30 GBytes 4.55 Gbits/sec
[ 3] 0.0-10.0 sec 5.29 GBytes 4.55 Gbits/sec
[SUM] 0.0-10.0 sec 10.6 GBytes 9.10 Gbits/sec
Es sollte eigentlich auch möglich sein, die Karte, wenn sie im Ethernet Modus betrieben wird, direkt an einen SFP+ Port eines Ethernet Switches wie z.B. dem Mikrotik CRS226-24G-2S+ RM anzuschließen, den man schon für unter 300€ bekommen kann. Er ist mit zwei SFP+ Ports und 24 1Gbit RJ45 Ports ausgestattet. Evtl. lege ich mir so einen mal zu und teste auch das mal.