520byte Festplatten umformatieren

Die SAS Platten für den T5120 hatte ich von ebay - 20€ für vier Stück. Bei der Solaris Installation bin ich dann über folgenden Fehler gestolpert:

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@0,0 (sd4):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@1,0 (sd5):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@2,0 (sd6):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@3,0 (sd7):
        Unsupported logical block size 520

Die Platten scheinen aus einem HP P9500 zu stammen. Sie waren noch in den original Caddys.

Zum Glück liegt der Sun Server auf meinem alten Fileserver, der zufällig auch einen SAS Kontroller hat. Die Caddys passen mit etwas gefummel auch in die 3,5" Schächte.

sasinsas

Also Ubuntu 16.04 gebootet, die setblocksize Sourcen runtergeladen und kompiliert (die build-essentials scheinen schon installiert zu sein auf der Live-CD).

Leider hat es mit /dev/sda nicht funktioniert, nach etwas Recherche fand ich dann heraus, dass man noch die sg3-utils braucht.

Danach kann man mit sg_scan -i die Platten identifizieren und dann mit z.B. setblocksize -b512 /dev/sg1 reformatieren.

»

Sun T5120 - so sieht ein Boot aus

Wir befinden uns hier in einer ALOM Konsole via SSH. Wie man dafür einen Nutzer anlegt erkläre ich in einem anderen Post.

Der Powersupply Fault kommt von nur einem angeschlossenen Netzteil. Der Server hat nun 64GB RAM... :) Das ist der erste Boot nach dem RAM Upgrade.

sc> poweron
sc> Chassis | major: Host has been powered on
console
Enter #. to return to ALOM.
Fault | critical: SP detected fault at time Sat Mar 17 14:32:49 2018. Generic Powersupply fault at PS0 asserted
0:0:0>
0:0:0>POST 4.33.6 2012/03/14 08:28
0:0:0>
0:0:0>Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.
0:0:0>POST enabling CMP 0 threads: ffffffff.ffffffff
0:0:0>VBSC mode is: 00000000.00000001
0:0:0>VBSC level is: 00000000.00000001
0:0:0>VBSC selecting Normal mode, MAX Testing.
0:0:0>VBSC setting verbosity level 2
0:0:0>Basic Memory Tests....Done
0:0:0>Test Memory....Done
0:0:0>Setup POST Mailbox ....Done
0:0:0>Master CPU Tests Basic....Done
0:0:0>Init MMU.....
0:0:0>NCU Setup and PIU link train....Done
0:0:0>L2 Tests....Done
0:0:0>Extended CPU Tests....Done
0:0:0>Scrub Memory....Done
0:0:0>SPU CWQ Tests...Done
0:0:0>MAU Tests...Done
0:0:0>Network Interface Unit Port 0 Tests ..Done
0:0:0>Network Interface Unit Port 1 Tests ..Done
0:0:0>Functional CPU Tests....Done
0:0:0>Extended Memory Tests....Done
2018-03-17 14:40:11.596 0:0:0>INFO:
2018-03-17 14:40:11.655 0:0:0>	POST Passed all devices.
2018-03-17 14:40:11.709 0:0:0>POST:	Return to VBSC.
2018-03-17 14:40:11.762 0:0:0>Master set ACK for vbsc runpost command and spin...
Chassis | major: Host is running
ChassisSerialNumber ALK09503DD
hostname sv3254
LOCATION Soss;RZ2;B12;32


SPARC Enterprise T5120, No Keyboard
Copyright (c) 1998, 2012, Oracle and/or its affiliates. All rights reserved.
OpenBoot 4.33.6, 65408 MB memory available, Serial #89118602.
Ethernet address 0:21:28:4f:d7:8a, Host ID: 854fd78a.



Bad magic number in disk label
Can't open disk label package
ERROR: boot-read fail
Boot device: sdsmirror  File and args: -v
Bad magic number in disk label
Can't open disk label package
ERROR: boot-read fail

Evaluating:

Can't open boot device

{0} ok

Das Datum war komischerweise richtig, die Uhrzeit völlig falsch. Zeit vom Einschalten bis zum Ende ca. 8 Minuten. Am längsten haben die Extended Memory Tests gedauert.

»

Sun T5120 - ILOM Passwort resetten

Falls man sich nicht mit root:changeme am ILOM anmelden kann, gibt es eine einfache Prozedur um das root-Passwort zurückzusetzen.

Dazu muss man sich mit der seriellen Schnittstelle des ILOMs verbinden (der RJ45 Stecker neben dem ILOM Ethernet Port).

root@spider:~# screen /dev/ttyUSB0 9600

ORACLESP-ALK09503DD login: default
Press and release the physical presence button.
Press return when this is completed...
Password: 
Waiting for daemons to initialize...

Daemons ready

Oracle(R) Integrated Lights Out Manager

Version 3.0.12.4.v r71977

Copyright (c) 2010, Oracle and/or its affiliates. All rights reserved.

->

Username ist hier default, das Passwort ist defaultpassword. Bevor man das Passwort eingeben kann, muss man einmal den Locator-Button vorne oder hinten an der Kiste drücken.

Das root-Passwort kann man dann mit set /SP/users/root password neu setzen.

Oben der Button ist der Locator-Button.

t5120-locator

»

Sun T5120

Ich habe ein neues Spielzeug bekommen - einen Sun T5120.

t5120-1-1

Das ist der Nachfolger des Sun T2000. Er wurde Ende 2007 vorgestellt. Entwickelt daran haben Sun und Fujitsu, die den Server auch unter eigenem Namen anboten.

Darin werkelt ein UltraSPARC T2. Das besondere an dem sind die 8 Threads pro Core. Mein T5120 ist mit dem 8 Core Prozessor bestückt, kann also 64 Threads bearbeiten. Das war nicht schlecht für 2007 und ist auch heute noch bemerkenswert. Besonders schnell soll er trotzdem nicht sein aber ich werde demnächst mal benchmarken.

t5120-2

Er kann mit maximal 128GB DDR2 RAM bestückt werden, meiner hat derzeit nur 32GB verbaut. Dazu kommen noch ein DVD Laufwerk und vier 2,5" SAS Einschübe, die bei mir leer waren, jetzt sind vier 146GB 15k SAS Platten verbaut.
In der Grundausstattung bietet er vier 1Gbit NICs, meiner hat noch weitere vier Ports auf einer PCIe Karte verbaut. Man kann noch zwei weitere PCIe Karten verbauen, alternativ passen auch zwei XAUI Karten rein, die jeweils einen 10Gbit Port bieten. Die 10Gbit Controller sind dabei in der CPU integriert, das sind also eigentlich nur breakout Karten.

t5120-3

Ansonsten hat er noch ein Lights Out Management (LOM), mit dem man den Server aus der Ferne starten, stoppen und einiges mehr machen kann. LOM wird als serielle Schittstelle und einen dedizierten Netzwerkport angeboten.

»

Neuer Fileserver Teil 11 - neuer SAS Controller, ESXi 6.5U1 Update

Heute habe ich einen IBM M1215 (LSI 3008) eingebaut, der musste auch auf IT Mode umgeflasht werden, aber IBM legt da zum Glück keine Stolpersteine in den Weg.
Die Performance scheint mir etwas besser zu sein. Derzeit läuft ein Scrub mit 600MB/s auf den drei Platten. Einen Fehler gabs bisher nicht, aber beim alten Controller hat man es auch erst nach Wochen gemerkt.
Falls das Problem mit dem Controller hier nicht mehr auftritt, liegt das Problem sehr wahrscheinlich am FreeBSD Treiber oder an der Firmware des Controllers selbst.

Man könnte es sehr wahrscheinlich auch in der Firmware der Festplatten fixen aber da müsste man erstmal einen Fehler nachweisen. Mit Seagate hatte ich zwar Kontakt, aber da kommt man wohl nur weiter, wenn das Problem bei wirklich vielen Leuten auftritt. Bisher konnte ich nur einen Leidensgenossen finden.

Da ich den Server zum Einbau des Controllers eh herunterfahren musste, habe ich gleich noch ein ESXi Update gemacht. VMWare macht einem das auch nicht ganz einfach, aber ich habe diese Anleitung gefunden. Die Command-Line-Methode funktioniert auch mit dem kostenlosen ESXi.

Update:

Beim ersten Scrub wurden ein paar kaputte Checksummen auf einer der Platten gefunden, sie konnten aber alle repariert werden. Ich habe dann noch einen zweiten Scrub durchlaufen lassen, bei dem dann alles ok war. Bisher keine SATA/SAS Errors.

Greenshot-2017-10-30-01.18.37

Hier sieht man schön, dass das System bei so einem Scrub wirklich etwas tut. Die CPU Temperatur stieg von 36°C auf 40°C (dunkelgrün).

»