仮想化

Proxmox の Web 管理画面のノードのサマリーに表示されるネットワーク転送量グラフは、最初から存在するネットデバイスのグラフになる。分離したクラスターネットワークの転送量は少ないハズだが、じゃあ実際のところどうなんだということで調べてみた。

今に始まったことじゃないけど、バックアップを実行するタイミングでノードのシステムログに次のメッセージが残る。

Dec 28 07:38:29 x300 corosync[1085]: [KNET ] link: host: 3 link: 0 is down
Dec 28 07:38:29 x300 corosync[1085]: [KNET ] host: host: 3 (passive) best link: 0 (pri: 1)

◇結論

随分遠回りしてしまったけど、2.5inch SSD では限界らしく、各ノードの OSD を NVMe な M.2 SSD に変更したら安定運用できている。

最近、特定のノードの OSD が数日毎に down する事象が発生していた。
2.5 inch SATA の SSD を OSD として使用していて、syslog を見る限りでは物理的な要因で落ちているらしい。

11月21日に Proxmox 8.3 がリリースされていた。
いつもどおり管理画面のアップデートから内容をサラッと読んでアップグレードを実行。

十分な物理メモリーがノードにあれば swap を完全に無効化しても良いだろう。
ただし、メモリーのオーバーコミットを前提としているようなシステムだとノードが不安定になるかもしれない。

4月24日にリリースされていた。注目は VMWare ESXi からのインポートウィザード、Linux カーネルが 6.8 になったこと等。

管理画面からいつもどおりアップデートを実行、ノードを再起動することで新しいカーネルが適用される。
自鯖環境では特に問題なくアップデートが完了した。

クラスタで Ceph を運用していると気になるのが SSD の寿命。５ちゃんねるでも少し話題になっていた。自鯖環境は各ノードとも、2022年11月に TSUKUMO で購入した WD Blue SN570 NVMe SSD 1TB（TBW600）で統一している。

先日 Proxmox のアップデートを実行したら Ceph が 18.2.2 になっていたけど、画像のとおり OSD を再起動していなかったから 18.2.1 のままで動作中だった。

Proxmoxサンプル記事です。