【PVE】Proxmox VE【KVM, LXC】NODE-2
- 1 :login:Penguin:2024/04/11(木) 10:49:45.45 ID:8tgVZdvA.net
- Proxmox VEについて語りましょう!
Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます
【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/
【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能
【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/test/read.cgi/linux/1381916363/
- 2 :login:Penguin:2024/04/11(木) 10:50:04.79 ID:8tgVZdvA.net
- 勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成
- 3 :login:Penguin:2024/04/11(木) 17:18:04.64 ID:Hfg72VNC.net
- >>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。
- 4 :login:Penguin:2024/04/11(木) 20:02:44.00 ID:1cumj1yf.net
- 乙
> 1001 名前:1001 []: Over 1000 Thread
> このスレッドは1000を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒
前スレ完走まで10年超えで草
- 5 :login:Penguin:2024/04/11(木) 21:39:36.04 ID:DDVcaDW8.net
- 300までに9年、残りで1年くらいだったな
- 6 :login:Penguin:2024/04/12(金) 08:38:56.98 ID:etktpG2b.net
- すげえな
VMwareの影響か知らんけど
- 7 :login:Penguin:2024/04/12(金) 09:43:41.59 ID:qjVadYHY.net
- >>6
影響でしょう
- 8 :login:Penguin:2024/04/12(金) 20:15:06.16 ID:V/kew/aY.net
- これからは、VMware関係スレが
- 9 :login:Penguin:2024/04/13(土) 12:11:12.74 ID:v/AkNgnq.net
- 前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
>WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった
恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で(pmxcfsでceph.confを同期+α)
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
(ソースコード見ればいいのだろけど、すごく面倒・・・)
pvecephコマンドも基本的にはproxmoxのディレクトリ構造前提にCephをコマンド操作してる程度の動きなんだと思う
(pvecephでCephの認証キー?とかをクラスタ間で送受信もしてるはず)
※以下日記なのだけど・・・
【現在】 NASサーバーx1台、Proxmoxx2台
【今後(妄想)】 NASサーバーx1台、Proxmoxx3台(CephとHAを運用したい)
妄想中に思い付いたのだが・・・
追加でNASサーバーを冗長化したいと思ったら、いっそProxmoxx5台にしてCephを中心にNAS化したほうが管理が楽じゃないか?
(なお電気代がヤバイので無謀な気もする)
- 10 :login:Penguin:2024/04/13(土) 12:33:55.92 ID:/8ovMMuD.net
- 2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ
- 11 :login:Penguin:2024/04/15(月) 19:21:37.36 ID:fRj4O/TW.net
- 普通の1000BASE-Tで3台3OSD(2.5インチSSD)構成のProxmoxだけど、ストレージの速度は
VM(ubuntu)のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。
- 12 :login:Penguin:2024/04/16(火) 12:23:19.23 ID:NhU3tAT8.net
- >>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか?
- 13 :login:Penguin:2024/04/16(火) 12:23:31.09 ID:NhU3tAT8.net
- >>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか?
- 14 :login:Penguin:2024/04/16(火) 12:24:10.57 ID:NhU3tAT8.net
- ごめん、2どかいてしまった。
- 15 :login:Penguin:2024/04/16(火) 19:06:59.62 ID:8Lk4PPte.net
- Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの?
N100の安miniPCで追加ドライブ用意するのが面倒
(Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないw)
- 16 :login:Penguin:2024/04/16(火) 20:46:42.01 ID:A3/wW9/s.net
- raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか
- 17 :login:Penguin:2024/04/16(火) 22:28:39.62 ID:mI+fghI5.net
- >10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした(想定の範囲)
(一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず)
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな(今度試してみよう・・・)
- 18 :login:Penguin:2024/04/16(火) 22:34:01.06 ID:mI+fghI5.net
- >>12
3台でCeph,HA,VMが共存できます
ただ、手元にPRIMERGY10台(使用中4台)あるから・・・
- 19 :login:Penguin:2024/04/16(火) 22:46:23.70 ID:mI+fghI5.net
- >>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず
いま調べてる途中なんだけど、Cephのモニターかマネージャーノード(両方?)が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
(内容(原因)追ってるんだけど、inotifywaitでは?特定できてない)
それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ!
- 20 :login:Penguin:2024/04/17(水) 02:43:13.08 ID:4BQwGIn7.net
- Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
( find / -mmin -1 の結果から、それっぽいの見つけた )
123456.log , 123456.sst(6桁?の数値.logと.sst)が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・
- 21 :login:Penguin:2024/04/17(水) 18:41:45.47 ID:Yk0P1tcC.net
- UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
(たいした容量は必要ない)
- 22 :login:Penguin:2024/04/18(木) 02:02:02.25 ID:sxqnCYwL.net
- 今日の悲しい報告
fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた
Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・
Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・
- 23 :login:Penguin:2024/04/18(木) 07:02:23.16 ID:ZsCkLYIp.net
- >>20
OSDじゃなくLinuxのインストール側のディスクはHDDにしたほうが安全だね。。
- 24 :login:Penguin:2024/04/18(木) 16:35:24.54 ID:uoBtp6XI.net
- PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)
データ用SSD180GB(MLC)x14個
起動用SSD32GB(SLC)x14個 ← これ、窓から投げ捨てて
起動用に100GB+α以上で高耐久のSSD調達しないと(涙)
- 25 :login:Penguin:2024/04/18(木) 21:42:57.67 ID:Kdf+IRuC.net
- >>24
どんな構成なのか気になる・・・
- 26 :login:Penguin:2024/04/19(金) 12:23:07.99 ID:mQduTie0.net
- >>24
起動用はもう、HDDでいんじゃね?(笑
実際のところ、Proxmox起動用と、iso保存用は、HDDを使うのとSSD使うのどっちがいいんだろうね。
- 27 :login:Penguin:2024/04/19(金) 12:24:14.61 ID:wZPPiKHf.net
- ISO置き場は読み込み速度がほしいのでSSDにしてるな
- 28 :login:Penguin:2024/04/19(金) 13:33:58.38 ID:v99+h0jJ.net
- Optaneでいいよもう
- 29 :login:Penguin:2024/04/19(金) 17:35:56.25 ID:ipLNXoOs.net
- /var/lib/ceph/mon 以下をtmpfsにしちゃうとか
- 30 :login:Penguin:2024/04/19(金) 18:14:15.03 ID:ZWzGj4KO.net
- 逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
- 31 :login:Penguin:2024/04/19(金) 23:40:58.82 ID:5OhZYjuR.net
- >>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBx3をZFS・RAIDZで冗長化(4台分)
Proxmox x3+予備マシンx1、NASx1、実験用x1
[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180x3をCephに使う(マシン3台+1台)2個は予備
Proxmox x3+予備マシン*1、NASx1、実験用x1
[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 (Cpehの書き込み量に対して不安)
NASに使ってるSSDとかHDDをCephに集結して、Proxmox x5+1(予備)でCephを構築してNASも兼ねる
- 32 :login:Penguin:2024/04/19(金) 23:55:22.06 ID:5OhZYjuR.net
- >>26
HDD、1万回転のSASのなら使ってないのが・・・
>Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD(ただし、信頼性の高いメーカー・モデルが良い)
HDDは電源切断直後に衝撃を与えると簡単に壊た
>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・
>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい(ちょっと曖昧)
- 33 :login:Penguin:2024/04/21(日) 04:19:58.10 ID:+W2a3iqk.net
- Cephのベンチマーク
Proxmoxの3台のノードでCephを構築
3ノードで同時に書き込み(シーケンシャル)をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec
- 34 :login:Penguin:2024/04/27(土) 09:31:54.96 ID:+GfuMO2X.net
- Proxmox VE 8.2 released!
https://forum.proxmox.com/threads/proxmox-ve-8-2-released.145722/
- 35 :login:Penguin:2024/04/27(土) 10:09:04.96 ID:M8dkRrrB.net
- ついに来たな
- 36 :login:Penguin:2024/04/27(土) 10:10:27.03 ID:6v5SZCGA.net
- なんか変わったん?
- 37 :login:Penguin:2024/04/27(土) 14:16:11.46 ID:eLbjLiTZ.net
- へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
ttps://qiita.com/oishi-d/items/0cc452a022fa1ea07a7b
戻し(PVE→ESXi)もできるようになると面白いと思う。
- 38 :login:Penguin:2024/04/27(土) 20:40:22.11 ID:y3s0D4bu.net
- >>37
なんと
前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな
- 39 :login:Penguin:2024/04/27(土) 23:30:42.39 ID:38nUrolh.net
- ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ
- 40 :login:Penguin:2024/05/01(水) 12:13:10.01 ID:yauHbW51.net
- >>39
バグか仕様かは知らないが
直ってない
- 41 :login:Penguin:2024/05/07(火) 23:10:49.83 ID:6CprziQV.net
- >>40
これ変わらないと将来片方壊れたとき復元できないんだよな
- 42 :login:Penguin:2024/05/08(水) 00:10:42.82 ID:muzT1nO8.net
- DebianやUbuntuのZFS RAID1なら問題ないの?
- 43 :login:Penguin:2024/05/08(水) 01:34:52.53 ID:zpyAB8xc.net
- >>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う(より容量の多きい)に交換も可能
- 44 :login:Penguin:2024/05/08(水) 19:06:40.48 ID:tbsAi4FE.net
- >>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと?-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶
- 45 ::2024/05/09(木) 01:18:37.80 ID:cDB0ceXi.net
- >>44
ちょっと気になったから実際に試してみた
◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順?
(BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・)
インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
( disk 0にインストール先 disk 1~ に --do not use-- を選択 )
インストール後に、以下の手順でbootやら、ZFSミラーやらを構築
gdisk /dev/sdxでパーテーションを作成 (Mirror先が /dev/sdb の場合)
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )
以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2
zpool statusで既存のプールのディスク名を確認「 例)scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
(容量に関する警告が出来る場合は -f で無視できる)
データのミラーリングが完了したら構築完了
参考用検索ワード 「proxmox Host_Bootloader」
16 KB
新着レスの表示
掲示板に戻る
全部
前100
次100
最新50
read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★