Ich habe inzwischen wie hier beschrieben ein buildworld laufen lassen, das hat auf dem HP N36L mal eben knapp unter 5h gedauert. Danach sah aber alles wie vorher aus. ib0 und ib1 waren noch da aber sys.device.mlx4_core0.mlx4_port0 findet man nicht in sysctl. :-(
In der FreeBSD Infiniband Mailingliste fand ich auf anhieb auch keine Lösung. Ich werde mal noch weiter testen aber bisher sieht das nicht so erfolgsversprechend aus. Ab FreeBSD 11 scheint man kein buildkernel und buildworld mehr machen zu müssen. Evtl. funktioniert es damit. Evtl. teste ich das mal noch, wenn es stabil genug ist.