KVM(Kernel based Virtual Machine)を語れ ２

1 ：login:Penguin：2012/01/01(日) 12:02:24.44 ID:j6P2SYaT.net

落ちてたので立ててみた。

本家
http://www.linux-kvm.org/page/Main_Page

参考: Linux カーネル仮想マシンを探る
http://www.ibm.com/developerworks/jp/linux/library/l-linux-kvm/index.html

前スレ
http://engawa.2ch.net/test/read.cgi/linux/1254504654/

471 ：login:Penguin：2013/02/07(木) 18:39:36.28 ID:2mak0S6u.net

>>470
BIOSで何らかのオプションが無効になってるとか？
vなしのE3-1245にSL6.3の環境ですが
怪しい感じも無くインストール、ログインまでいけましたよ

472 ：login:Penguin：2013/02/08(金) 01:56:44.07 ID:EJKL/a7r.net

>>471
CPUとしては全然別物

473 ：446：2013/02/08(金) 09:29:49.76 ID:s+XsNCZ6.net

ちょっとなかなか高負荷にならず、間空いちゃってすいません。
>>460
rw,relatime,vers=3,rsize=8192,wsize=8192,namlen=255,hard,proto=tcp,timeo=56,retrans=2,sec=sys,
mountaddr=**,mountvers=3,mountport=58074,mountproto=udp,local_lock=none,addr=**
asyncは指定してません。デフォなのでおそらくsyncですね。

>>461
ddで100MBのファイルを5回書き込み、1MBのファイルを500回書き込みとやってみましたが
いずれもキャッシュに載ってしまって200MB/sとかです。
それ以上のサイズは、本稼働中なんでちょっと厳しいｗ

>>462
readが0〜8000kで平均1000k、writeが0〜5000kで平均1500kといった感じでした。

474 ：login:Penguin：2013/02/08(金) 09:58:47.24 ID:sq66tPlr.net

>473
乙です。

NFSの引数はあまりわかってないですが、
今のところ、見せてもらった情報からは、
NFSがボトルネックのような内容見えてない気がします。
iowaitは気になりますが、コア８つでロードアベレージが
７ってことは、コア単位で言えば、待ちは１つ以下になるし。

使ってるグループウェアの仕様上のボトルネックみたいな
ものはないんでしょうか。同時接続数がいくつまで・・とか、
無駄にiowaitを生じさせるような動作をしてるとか・・・

475 ：login:Penguin：2013/02/08(金) 10:21:13.30 ID:EJKL/a7r.net

>>473
NFSのオプションにいくつかイケてない内容があるです

それはクライアント側のマウントオプションだけど、

rsize=8192,wsize=8192　これもっと大きい数字にできる。
うちはrsize=1048576,wsize=1048576

mountproto=udp　これ事故る元。
tcpに変えた方がいいです。

syncかasyncかはサーバ側で exportfs -v しないと解らないです。
そこに必ず表記が出ます。

476 ：474：2013/02/08(金) 10:26:33.85 ID:sq66tPlr.net

NFSの引数について判らなかったために
随分適当なことを言ってしまったみたいですね、
すみません。

rsize, wsizeは昔は8192にするのは定石だったと思いますが、
今はもっとずっと大きいんですね・・・

477 ：login:Penguin：2013/02/08(金) 10:42:02.04 ID:EJKL/a7r.net

NFSは枯れててあまり最新のネタって無いですからね、仕方ないと思います。
適当でも普通に動いちゃうし。

dstatの結果を見る限り、かなりディスクに負荷かかってるんじゃないかと思います。
ランダムアクセスで常時Read/Writeが1〜2MB/sって、そこそこリソース食ってると思う。

ストレージの無負荷のDiskMark値がないとなんとも言えんけど、
HDD2台のRAID1構成のNFSサーバに、KVMゲストからDiskMarkしたときは、
4kランダムで1〜4MB/sくらいでした。
RAID6遅いし、使ってるディスクの仕様が解らんけど、ストレージもある程度酷使されてると予想。

478 ：login:Penguin：2013/02/08(金) 10:46:20.85 ID:onEADul2.net

>>475
proto=でなくmountproto=だからあまり問題ないんでは？

479 ：446：2013/02/08(金) 10:57:16.80 ID:s+XsNCZ6.net

何度もありがとう、参考になります。

>>474
メーカーにさんざん調べさせた結果、もうどう叩いてもこちら側の問題ではなく
サーバー側ディスクIOパフォーマンスの問題である、というのが最終回答でした。
実際、仮想化物理ホストのローカルHDDに載せてしまえば、現スペックでも
こんな程度のユーザー数、アクセス数は余裕で裁ける程度なんですよね。

>>475
なるほど、rwsizeは拡大方向で、計測しながら変更してみます。
mountprotoは無指定なのでデフォ値ですね。これもtcpに変えたら
どれくらいパフォーマンスが落ちるかを計測しつつ検討してみます。
ちなみにfstabのマウントオプションは rsize=8192,wsize=8192,timeo=56,hard,nointr です。

で、nfsサーバー側でexportfs -v をしたところ、asyncでした。
<world>(rw,async,wdelay,insecure,no_root_squash,no_subtree_check)
実際nfsサーバー側で見てる限り、iowaitなんか全くないし
その他負荷もさっぱりなんですよね。
深夜の無負荷時にhdparmでも実行してみます。

480 ：login:Penguin：2013/02/08(金) 10:59:43.83 ID:EJKL/a7r.net

これは確かにネタが少なくて調べるの大変なんですが、

NFS マウントオプション tcp

これでぐぐったら出てくるよ。（修行中とか言われてリンク貼れなかったｏｒｚ）

この辺りに書いてあるです。