Hallo zusammen. Lange ists her. Ihr habt euch vermutlich schon sehnlichst gefragt was los war.

Tja. Die letzte Woche war so ziemlich die Hölle für mich. Mitten in der Klausurenphase gehen auch noch alle Services down. Richtig geil.

Nachdem ich jetzt die letzten Tage nicht auf meine Klausuren lernen konnte sondern nur daran saß die Server wieder zum laufen zu bekommen kann ich euch nun berichten was passiert ist.

Erst sind die 3 NVME verreckt. Dann sind heute nochmal 2 SATA SSDs kurz vor dem verrecken.

Dann konnte mein Kubernetes Cluster plötzlich aus dem nichts einfach keine DNS Dinge mehr auflösen. Nach tagelangem Debugging, mehreren Backup-Einspielungen von verschiedenen Zeitpunkten, dem kompletten neuaufsetzen des Clusters und einer sehr produktiven Debugging Session mit @waaaaargh im @OpenLabAugsburg haben wir heute zufällig folgende Entdeckung gemacht:

Die Kubernetes-Nodes konnten zwar den jeweils anderen Node auf dem selben Proxmox Host erreichen, aber nicht mehr die anderen auf anderen Nodes. Nach mehreren Stunden debugging und Netzwerkanalyse mit Wireshark haben wir zufällig mal folgende Option in der Flannel config ausprobiert die uns die Talos-KI von der Talos Dokumentation rausgespuckt hat: tx-checksum-ip-generic: false

Danach hatte sich erst nichts geändert und wir dachten es hätte nicht funktioniert aber plötzlich habe ich auf meinem Handy gesehen, dass ich Matrix Nachrichten empfange und nachdem sich dann die Vaultwarden Pods neugestartet hatten und Iceshrimp auch, waren sie wieder da.

Ich kann euch nicht sagen warum jetzt plötzlich diese Option braucht aber die KI meinte es ist ein "VXLAN checksum offload issue" was auch immer das heißen mag und warum auch immer es jetzt so plötzlich auftrat ohne, dass ich etwas daran geändert hätte oder es vorher von Nöten gewesen wäre.

Es tut mir sehr leid für die lange Downtime aber ich habe wirklich mein bestes gegeben, dass alles wieder so schnell wie möglich online ist.
Vielen vielen vielen Dank auch an @waaaaargh der sich so viel Zeit genommen hat und mit mir gemeinsam verzweifelt ist. Ohne dich hätte ich das nicht geschafft.

Ich hoffe ihr freut euch, dass alles wieder geht. Vorerst. Ich muss tatsächlich aber in der kommenden Zeit noch ein paar Dinge umstellen und updaten, da wir aktuell auf einem älteren Stand sind. Das kann nochmal zu ein paar Downtimes führen aber ich hoffe nie wieder so lange und so frustrierende. Vorallem bitte nicht in der Klausurenphase.

Gute Nacht euch allen. Jetzt kann ich beruhigt schlafen.
Euer Admin.