2ちゃんねる スマホ用 ■掲示板に戻る■ 全部 1- 最新50    

ファイルシステム総合スレ その19

1 :login:Penguin:2020/06/13(土) 14:45:47.76 ID:Qx8FdC0t.net
● 前スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

● 関連スレ
ジャーナリングファイルシステム
https://mevius.5ch.net/test/read.cgi/unix/979408065/l50

OpenSolaris/Illumos (OpenIndiana, etc.) 6
https://mevius.5ch.net/test/read.cgi/unix/1337411922/l50

FS関連スレ
https://medaka.5ch.net/test/read.cgi/os/1137387538/l50
過去スレ, 関連リンクは >>2-10 あたりで.

2 :login:Penguin:2020/06/13(土) 14:46:13.83 ID:Z2kbkgRY.net
ext4でいいだろ

3 :login:Penguin:2020/06/13(土) 14:46:22.96 ID:Qx8FdC0t.net
● 過去スレ
01 https://pc.2ch.net/test/read.cgi/linux/1006743807/l50
02 https://pc5.2ch.net/test/read.cgi/linux/1063025258/l50
03 https://pc8.2ch.net/test/read.cgi/linux/1101495293/l50
04 https://pc8.2ch.net/test/read.cgi/linux/1136695633/l50
05 https://pc8.2ch.net/test/read.cgi/linux/1152348695/l50
06 https://pc11.2ch.net/test/read.cgi/linux/1164457481/l50
07 https://pc11.2ch.net/test/read.cgi/linux/1173530292/l50
08 https://pc11.2ch.net/test/read.cgi/linux/1190788761/l50
09 https://pc11.2ch.net/test/read.cgi/linux/1225001916/l50
10 https://pc11.2ch.net/test/read.cgi/linux/1238673446/l50
11 https://hibari.2ch.net/test/read.cgi/linux/1256639505/l50
12 https://hibari.2ch.net/test/read.cgi/linux/1281277564/l50
13 https://engawa.2ch.net/test/read.cgi/linux/1311812102/l50
14 https://engawa.2ch.net/test/read.cgi/linux/1326613113/l50
15 https://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
16 https://hayabusa6.2ch.net/test/read.cgi/linux/1363315915/l50
17 https://mao.5ch.net/test/read.cgi/linux/1421502118/l50
18 https://mao.5ch.net/test/read.cgi/linux/1514472651/l50

4 :login:Penguin:2020/06/13(土) 14:46:31.54 ID:Z2kbkgRY.net
標準が一つあればいいよ

5 :login:Penguin:2020/06/13(土) 14:47:01.24 ID:Qx8FdC0t.net
● 関連リンク 1
ext4        http://www.bullopensource.org/ext4/ (リンク切れ)
reiserfs/reiser4  http://www.namesys.com/ (リンク切れ)
xfs        http://oss.sgi.com/projects/xfs/ (リンク切れ)
jfs        http://jfs.sourceforge.net/
nfs        http://nfs.sourceforge.net/
ntfs        http://sourceforge.jp/projects/sfnet_linux-ntfs/
fuse        http://fuse.sourceforge.net/
btrfs       http://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)    http://www.nilfs.org/ja/ (リンク切れ)
zfs        http://zfsonlinux.org/
http://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome (リンク切れ)

6 :login:Penguin:2020/06/13(土) 14:47:26.30 ID:Z2kbkgRY.net
LinuxでNTFSってどれだけ安心して使えるの?

7 :login:Penguin:2020/06/13(土) 14:47:38.56 ID:Qx8FdC0t.net
● 関連リンク 2
en:List of file systems
http://en.wikipedia.org/wiki/List_of_file_systems
Linuxファイルシステム技術解説
http://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html
Linuxの次世代ファイルシステムは「バターFS」!?
http://www.atmarkit.co.jp/news/200807/10/btrfs.html
Linux ジャーナリング・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp
Linux フラッシュ・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp
Linux filesystem benchmark 2008/1-2
http://www.t2-project.org/zine/1/
http://www.t2-project.org/zine/4/
Filesystem Specifications - Links & Whitepapers
http://www.forensics.nl/filesystems
Linuxファイルシステムベンチマーク ext3, ext4, JFS, ReiserFS, XFS, NILFS2
http://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html
http://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
[Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux
http://www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs
Oracle Solaris ZFS 管理ガイド
http://docs.oracle.com/cd/E19253-01/819-6260/

● リンク切れ
File Systems in Linux
http://www.linux.org/lessons/advanced/x1254.html

8 :login:Penguin:2020/06/13(土) 14:48:29.39 ID:Z2kbkgRY.net
LinuxでNTFSってNTFS-3Gやろ?

https://wiki.archlinux.org/index.php/NTFS-3G

NTFS-3G is an open source implementation of
Microsoft NTFS that includes read and write support
(the Linux kernel only supports reading NTFS).
NTFS-3G developers use the FUSE file system to
facilitate development and to help with portability.

9 :login:Penguin:2020/06/13(土) 14:49:09.69 ID:Z2kbkgRY.net
ふむ?2つあるのか?

https://wiki.debian.org/NTFS


NTFS Drivers
Two NTFS filesystem drivers are currently available:

ntfs-3g

Recommended driver, actively maintained and supported in Debian.
Userspace NTFS driver via FUSE, provides read and write access.
Based on, and a major improvement to ntfsmount and libntfs.

Available in the ntfs-3g package.

ntfs

Included in the upstream kernel starting from version 2.6, provides read-only access and limited write support. Not actively developed.
Not currently built with Debian's kernel packages, "ntfs" has been symlinked to "ntfs-3g" as it relates to fstab and mount commands.

10 :login:Penguin:2020/06/13(土) 14:49:49.21 ID:Z2kbkgRY.net
やっぱりNTFS-3Gの方が主流なのか

11 :login:Penguin:2020/06/13(土) 14:50:40.06 ID:Z2kbkgRY.net
あと確かexFATも採用されたんだよな

12 :login:Penguin:2020/06/13(土) 14:51:23.59 ID:Z2kbkgRY.net
ここが公式なのか?

Open Source: NTFS-3G
https://www.tuxera.com/community/open-source-ntfs-3g/

13 :login:Penguin:2020/06/13(土) 15:57:48.95 ID:XQkBrwtd.net
COWなファイルシステムbcachefsをよろしく
https://www.patreon.com/bcachefs

14 :login:Penguin:2020/06/15(月) 19:21:45.81 ID:T0jtHtjd.net
この手のキャッシュfsって一時的な流行だったな
自前で鯖立ててる事なんてないしクラウドだし
パーソナルユーズじゃ使わんし

15 :login:Penguin:2020/06/15(月) 19:27:05.92 ID:JQPCCq8R.net
bcachefsをキャッシュfsと言う人は内容を理解していないのでは

16 :login:Penguin:2020/06/15(月) 19:38:31.26 ID:tLLgY4qi.net


17 :login:Penguin:2020/06/21(日) 17:30:56.13 ID:O4Z3U+Zh.net
xfsはCoWオプションがDefaultで有効化されたけど
もはや別のFSだよなこれ・・・
xfs2とかに名前変えてくれないと混乱するだろ

18 :login:Penguin:2020/06/21(日) 17:35:41.94 ID:2ZA7XCje.net
CoWのXFSとかbtrfs以上に安定か分からんFSだな

19 :login:Penguin:2020/06/21(日) 17:47:42.82 ID:Ey66DmLb.net
俺は去年からCoW版のxfsを使ってるけど結構な頻度でフリーズするよ。
β段階でフォーマットしたから今は改善されてるのかもしれないけど
そんなにすぐに安定するのだろうか。
とはいえ何度フリーズしてもデータの破損は一切ないから堅牢性には問題なさう。

20 :login:Penguin:2020/06/22(月) 18:42:21.89 ID:PBVm8C5i.net
ここにいる人は気にしないかもしれないが、ファイルフォーマットなんてインストールの時位しかしないから、使ってみたくても面倒。
あと8GBしかメモリ積んでないマシンでCoW耐えられるのか、わからん。

21 :login:Penguin:2020/06/22(月) 20:09:28.12 ID:GhYuvuyR.net
俺は8GBでCoW使ってるけど当然耐えられないよ。
毎日やばい勢いでスワップしてる。

22 :login:Penguin:2020/06/22(月) 20:10:32.93 ID:GhYuvuyR.net
これを標準にするとかxfsは正気なのか?
https://i.imgur.com/JIy4dxZ.png

23 :login:Penguin:2020/06/22(月) 21:39:14.81 ID:jsCZAx7k.net
zfsといいxfsCoWといいCoWなファイルシステムメモリ食いすぎ。全然メモリ食わんbtrfsが逆に異常に見えてきた……

24 :login:Penguin:2020/06/23(火) 10:59:55.02 ID:bz63LbH0.net
XFSはともかくZFSはメモリを大量に使うことを前提に開発されているからな
設定でどれだけ使うか調節もできる

25 :login:Penguin:2020/06/23(火) 11:21:16.96 ID:JqW2o58Y.net
CoW だと、メタデータだけコピーして実態は同じ所にあるから、ファイルコピーが高速になる、という事は、OSの大半を同じパーテーションに入れとけば、マシン内のファイルコピーは最小になる、
って理解でOK?

26 :login:Penguin:2020/06/23(火) 14:35:12.72 ID:wXZV3c2I.net
なぜOSの大半がコピーされることが前提なのだ

27 :login:Penguin:2020/06/23(火) 14:48:01.94 ID:JqW2o58Y.net
書き方まずかった。
/boot, swap, / でパーテーション分ければと言いたかったです。
コピーや書き込みが多いのは/var の下でOS大半ではないですね。

28 :login:Penguin:2020/06/23(火) 17:04:40.92 ID:W/ROWWlJ.net
cpのソースコードを弄って
reflink=autoにしないと意味ない。
もしかしたらパッチ当たって既にautoになってるかもしれないけど。

29 :login:Penguin:2020/06/24(水) 22:53:20.90 ID:4/Ga7nWs.net
そもそも/varがコピーが多いのか?という疑問

30 :login:Penguin:2020/06/25(木) 00:08:52.68 ID:+Jjb2Lv+.net
/var以外でも頻繁にコピーをする用途ってあまりないよね
バックアップくらい

31 :login:Penguin:2020/06/27(土) 10:26:28 ID:W1LMqDXe.net
There's A Proposal To Switch Fedora 33 On The Desktop To Using Btrfs

https://www.phoronix.com/scan.php?page=news_item&px=Fedora33-Desktop-Btrfs-Proposal

32 :login:Penguin:2020/06/28(日) 00:12:59.48 ID:c2mJMuRG.net
fedoraがbtrfsか
すでに本番環境で何年も使われてるからやっと主流になるか

33 :login:Penguin:2020/06/28(日) 00:21:33.81 ID:8IutlZvy.net
RHEL8でサポートしなくなったのに、何で???
と疑問しかない。

34 :login:Penguin:2020/06/28(日) 00:35:30.99 ID:4YXgPDuk.net
最もLinuxデスクトップでシェアが高いchromebookがbtrfs使い始めたからね

35 :login:Penguin:2020/06/28(日) 02:14:48.12 ID:6x1y6/9w.net
現状商用サポートできるレベルではないFSだけど、
知見は貯めておきたいんじゃない。
RHELとFedoraじゃ求められるレベルに天と地ほどの差があるじゃん。

36 :login:Penguin:2020/06/28(日) 02:20:06.74 ID:xzLdTpz+.net
Facebookはメインでbtrfs使ってるし普通に商用でも使えそうだけどな
最近は悪い話聞かないし開発早いからだいぶ良くなっているんじゃないか?

37 :login:Penguin:2020/06/28(日) 05:27:52.01 ID:ARemQej4.net
ちょこちょこ問題があって文句も言われてるけど既に動いてて利用されてる物が、なんだかんだ改良されていつの間にかみんなで使い始め、品質も良くなってくるいつものOSS的な流れ?

38 :login:Penguin:2020/06/28(日) 10:31:59.71 ID:SSA0VpHa.net
ファイルシステムはハードウェアやカーネルの進化で常に品質落ち続けるイメージがあるわ

39 :login:Penguin:2020/06/28(日) 11:48:10.39 ID:M2jebi1L.net
ファイルシステムの開発とか割に合わない仕事だし有能な人が減ってるだけじゃないかな?

40 :login:Penguin:2020/06/28(日) 12:40:14.89 ID:rvvVEAOB.net
zfsなファイルサーバを立てるのだが、OSはFleeBSDかLinuxかどちらがよかんべ?

41 :login:Penguin:2020/06/28(日) 12:47:34.00 ID:Ed0K+LNn.net
綴り間違えるようなあやふやな物は使わない方がいいのではないかと思います

42 :login:Penguin:2020/06/28(日) 12:54:54.10 ID:WkQqwnsk.net
何故zfsを使いたいかも、重要じゃないか。
ファイルサーバなら他のファイルシステムでもいい。

43 :login:Penguin:2020/06/28(日) 13:04:25.74 ID:Jcs8bruE.net
>>36
主語と目的語が逆かと。Btrfsにメインで関与しているのがChris Mason(Facebook在籍のエンジニア)で、
2017年のredditの議論[1]や、文中引用のMasonへのインタビュー[2]でも、Facebookが業務をBtrfs
中心で回しているとは読めない。2020年の現在も、安定性から中心に据える選択はないのでは。

[1] How does Facebook Use BTRFS? : btrfs
https://www.reddit.com/r/btrfs/comments/5smw96/how_does_facebook_use_btrfs/
[2] How Facebook Uses Linux and Btrfs: An Interview with Chris Mason
By Swapnil Bhartiya -December 29, 2016
https://www.linux.com/news/how-facebook-uses-linux-and-btrfs-interview-chris-mason/

44 :login:Penguin:2020/06/28(日) 16:27:19.68 ID:cpyOJbwi.net
透過的圧縮機能かな

45 :login:Penguin:2020/06/28(日) 19:24:43.21 ID:W9AQ7Zqx.net
サーバーは知らんけどchromebookで使われている時点でデスクトップ用途なら問題ないって証明されてるからね

46 :login:Penguin:2020/06/28(日) 20:35:47.33 ID:GDR9Ccop.net
問題なく
btrfsになんと相応しくない言葉だろう
地雷原に立ってるが動かないから平気さ、とかか?

47 :login:Penguin:2020/06/30(火) 08:52:02.79 ID:J7+wnmHE.net
>>43
Chris Masonさん、数年前にbtrfsのメンテナをSUSEの中の人に引き継いで以来
あまり関与してない感じだが、何か新しい物でも作ってるのだろうか。

48 :login:Penguin:2020/07/11(土) 15:55:57.19 ID:PLArcxTM.net
https://www.phoronix.com/scan.php?page=news_item&px=NVMe-ZNS-Linux-5.9

> NVMe ZNS Support Coming To Linux 5.9
>
> ZNS is similar to existing SMR (Shingled Magnetic Recording)

NVMe SSDも瓦になるのかよ……

49 :login:Penguin:2020/07/11(土) 17:18:51.13 ID:qoNJCP6A.net
そこだけ取り上げてその理解だったら英語は全く読めてないってことになるな。

50 :login:Penguin:2020/07/13(月) 03:26:24 ID:VcFceqoy.net
録画してた4月27日のまる見え見てたら
ビデオレターで「皆さん、ハンス・ライザーって知ってますか?」「ビル・ゲイツやスティーブ・ジョブズと肩を並べるIT長者ですよ」と言っていた

ベゾスとかエリソンとかそっち系の金持ちかと思ってすぐにはピンと来なかったが
「妻が姿を消しハンスに殺人の容疑が!」と聞いて
わかった
その先はこれから見る

51 :login:Penguin:2020/07/14(火) 06:02:53.04 ID:RiPGVLco.net
はえーそんなんやってたのか

52 :login:Penguin:2020/07/14(火) 09:11:17.75 ID:HI6pnatv.net
定期的に放送している気もしないでもない

53 :login:Penguin:2020/07/14(火) 09:12:04.78 ID:HI6pnatv.net
っていうかそんなに金持ちなのか

54 :login:Penguin:2020/07/16(木) 11:41:07.08 ID:lTHSBXZi.net
Approved: Fedora 33 Desktop Variants Defaulting To Btrfs File-System

https://www.phoronix.com/scan.php?page=news_item&px=Fedora-33-Btrfs-Desktop-Approve

55 :login:Penguin:2020/07/16(木) 11:52:09.51 ID:Gq0XBddZ.net
fedora Silverblueもbtrfsになるのかな
CoWなファイルシステムと相性よさそう

56 :login:Penguin:2020/07/16(木) 16:43:21.24 ID:4vInGINf.net
FSのCoWって、可能性じゃなく実用としてはどんなところで使われてるんだろう。
スナップショットくらいしか想像できない。
いやほんと想像だけで言ってるんだけどさ。

57 :login:Penguin:2020/07/16(木) 17:17:59.49 ID:4BcKRsux.net
Mac だとコピー速くなった、って宣伝してた。

58 :login:Penguin:2020/07/17(金) 09:55:06.10 ID:LKpCRHWl.net
dockerとかコンテナ系の類はCoWうまく使ってる好例なんじゃないか

59 :login:Penguin:2020/07/17(金) 15:12:59.39 ID:o5oFDI3o.net
Linuxじゃないけどbeadmとか

60 :login:Penguin:2020/08/22(土) 08:10:58.39 ID:zJL0+534.net
NTFSドライバがカーネルのメインラインに入るかもしれない
FUSEを使う必要がなくなるかも

61 :login:Penguin:2020/08/23(日) 04:46:07.99 ID:Qf5/KlJg.net
やったぜ。

62 :login:Penguin:2020/08/23(日) 13:20:12 ID:lT35mbNq.net
ゲットだぜ

63 :login:Penguin:2020/08/24(月) 15:23:54.81 ID:uULo3V23.net
ちゃんとソースを貼らんと現時点で入ってるだろ(>>9)ってなるぞ
Paragon Sends Out Updated NTFS Driver They Want To Mainline For The Linux Kernel
https://www.phoronix.com/scan.php?page=news_item&px=Paragon-Linux-NTFS-Driver-V2
Linux kernel maintainers tear Paragon a new one after firm submits read-write NTFS driver in 27,000 lines of code
https://www.theregister.com/2020/08/18/paragon_tries_to_contribute_ntfs/

64 :login:Penguin:2020/08/29(土) 05:53:19.99 ID:L6fPViuV.net
Paragonがコード提供するのか
期待できる

65 :login:Penguin:2020/08/29(土) 08:07:16.25 ID:8WyUQPOJ.net
これもうNTFSでいいじゃんってなるな
安定してて圧縮にスナップショットもあるんだろ?

66 :login:Penguin:2020/08/29(土) 08:43:03.25 ID:C8UyrLLc.net
重複排除も実装してくれればかなり使えそう

67 :login:Penguin:2020/08/29(土) 09:46:27.10 ID:NNjxVsPm.net
>>65
あんな糞遅いFSなんか誰も使わん

68 :login:Penguin:2020/08/29(土) 10:02:37.17 ID:F9p/D2v8.net
安定してるのも透過圧縮くらいまでな気がする
落ちないで失敗するだけなのはすごいのかも知れんが

69 :login:Penguin:2020/08/29(土) 10:16:28.92 ID:cH7xQpFG.net
だいぶ昔7~8年ぐらい前だかにUbuntuJPの中の人が「現状LinuxにはNTFSレベルにマトモなファイルシステムはない」とか言い切ってたけど最近はどうなん?

70 :login:Penguin:2020/08/29(土) 10:29:15.55 ID:piRDXs8F.net
初心者ですが教えてください
東北地方ではファイルスステムというらしいのですが、本当ですか?

71 :login:Penguin:2020/08/29(土) 13:19:28.61 ID:mTgL9Xdc.net
>>69
XFSとext4では長期安定稼働実績があるから、何がマトモでないと言うのか。

72 :login:Penguin:2020/08/29(土) 21:50:11.26 ID:zGbRacDB.net
>>71
今は安定稼働実績あるけど7〜8年前だと CentOS5 でようやく XFS に対応したばかりで、
定期的に不具合出てて安定稼働しているとはとても言えない状態だった。

ext4 も ext3 から切り替わったばかりでまだ安定稼働するか判断付きかねてた頃でしょ。

HDD の容量が爆発的に上がっていったけどハードそのものが低温病ならなんやらで安定
せず、ファイルシステムやRAIDコントローラ側でハードのクソさをカバーしないと
いけなかった時代。

73 :login:Penguin:2020/08/30(日) 14:08:33.65 ID:jqHrp93B.net
NTFSが糞遅くて駄目ならZFSなんて論外すぎだろ
そんなに早いのがいいならFATでも使っとけって話

74 :login:Penguin:2020/08/30(日) 15:21:03.25 ID:JFXs6U4t.net
FAT ってそんなに早いの?

75 :login:Penguin:2020/08/31(月) 16:06:37 ID:+k36k+AB.net
FS無し直書きこそ最速

76 :login:Penguin:2020/09/01(火) 12:39:30.93 ID:ZNCYJYql.net
>>70
フェエルスステム

77 :login:Penguin:2020/09/06(日) 19:26:23.11 ID:Hb36AyGk.net
>>74
ディレクトリエントリ列挙は遅いゴミ

78 :login:Penguin:2020/09/17(木) 16:10:19.80 ID:Ie2RgQir.net
NILFS2のスナップショットに期待して10年近く待ちまちつづけてるんだけど
まえにubuntu16.04で試した時はスナップショットとれなかった

79 :login:Penguin:2020/09/17(木) 16:32:52.71 ID:QmY9mJTP.net
どういうこと?
NILFS2でスナップショット取れないことなんてないでしょう

80 :login:Penguin:2020/09/22(火) 06:50:11.51 ID:0hJqG6HE.net
Linuxで改装型ストレージやりたいんだけどサポートしているファイルシステムは無いのかな
それともファイルシステムではない部分で動かしたほうがいいのか

81 :login:Penguin:2020/09/23(水) 22:18:27.89 ID:PvhXP5UC.net
>>80
この種のストレージは知らんのですが、ご教示を。

82 :login:Penguin:2020/09/24(木) 00:01:05.71 ID:B7IhQ4k2.net
>>81
>>80 の意図はわからんが、HDD に SSD キャッシュをつける構成の事だと思う

書き込み直後のファイルやアクセス頻度の高いものは SSD 側に置いて
それ以外は HDD に置くことで、見た目の速度は SSD で容量は HDDってやつ

オープンソース・フリーソフトの中では ZFS が実装しているとは聞いたことがある

ただ、もし安定して運用できるのであればベンチャー系IT企業が必ず商品化
して売り出すはずなんだが成功してるというのは全く聞かない

個人が使う分には安定していると錯覚するぐらい安定するけど
中小企業に使わせると途端にボロがでるぐらいの安定度なんじゃないかな

83 :login:Penguin:2020/09/24(木) 00:03:42.70 ID:mhBC+NOL.net
AppleのFusion Driveとかそうなんじゃないの
あれはまぁプロプライエタリなので実装の詳細は不明だけども
しかし・・・最近はAppleは1TB SSDとかを直接載せてFusion Driveはなくなってきてるので成功したとは言えないのかも
一方で、AppleのFusion Driveが超絶クソみたいな話も聞かないけどな

84 :login:Penguin:2020/09/24(木) 00:39:39.15 ID:B7IhQ4k2.net
Wikipedia で Fusion Drive について見てきたがブロック単位でファイルシステム非依存
とあったから単なる SSHD じゃないかと

そもそも階層化することによりレイテンシは遅くなる場合もあって上手くいかないんじゃないかな
サーバ向けのRAIDカードは SSD+HDDの階層化ではなくDIMM(〜4GB)+電池+HDD構成なので
SSD+HDDより速いけど、HDD部分をSSDにする場合(DIMM+電池+SSD)は遅くなるから DIMM
つけない(SSDのみ)で構成しろってメーカから言われるね

ストレージ屋は階層化製品を勧めてくるけど、SSDの利益率が高いだけで
本当は階層化しても速くならないんじゃないかと俺は勘繰ってるわ

85 :login:Penguin:2020/09/24(木) 06:22:20.45 ID:OSKKA/Vx.net
bcacheではいかんのか?

86 :login:Penguin:2020/09/24(木) 07:10:12.23 ID:mu6Yi75A.net
キャッシュと改装型ストレージは別物だよ
ZFSもbcacheも改装型ストレージではない

87 :login:Penguin:2020/09/24(木) 12:15:20.71 ID:B7IhQ4k2.net
>>86
重複して持つの(キャッシュ)は階層型じゃないってこと?
つっても実装考えたら重複しないとやってられないと思うが...

88 :login:Penguin:2020/09/24(木) 12:50:26.45 ID:f/nd+NYm.net
Windowsなら階層ストレージできる
Linuxでのやり方は知らん
この記事が分かりやすいかもね
https://decomo.info/wiki/blog/2018/2018-08-09

89 :login:Penguin:2020/09/24(木) 14:09:42.13 ID:nhTV4RmJ.net
よく使うファイルを上位の高速デバイスに置く、と説明されるより
禄に使われないファイルを下位層の遅いデバイスにに移動する、と説明される方がわかりやすいのでは。

透過型アーカイブ?

90 :login:Penguin:2020/09/24(木) 14:35:09.33 ID:2wla6/8F.net
開発止まってるけどbtierとか

91 :login:Penguin:2020/09/24(木) 16:16:10.72 ID:KaFKLemI.net
QNAPのQtierも改装型ストレージだね
これはJBODを使った実装みたい
https://www.qnap.com/solution/qtier/ja-jp/

92 :login:Penguin:2020/10/05(月) 20:51:01.55 ID:qlesfWop.net
Btrfsの記事2つ

Incremental backups with Btrfs snapshots
https://fedoramagazine.org/btrfs-snapshots-backup-incremental/

Recover your files from Btrfs snapshots
https://fedoramagazine.org/recover-your-files-from-btrfs-snapshots/

93 :login:Penguin:2020/10/28(水) 11:53:23.59 ID:4MBfAWWw.net
Fedora 33出たぞい

94 :login:Penguin:2020/11/23(月) 10:36:34.84 ID:PX3bnZ2G.net
btrfsでraid1を組んだ場合、ディスクが一つ壊れたらそのまま壊れたディスク外しても稼働し続ける?

95 :login:Penguin:2020/11/25(水) 19:41:52.12 ID:gz3xH+ch.net
するよ
mount オプションに degraded つけてね

96 :login:Penguin:2020/11/25(水) 19:59:25.54 ID:lWyNnFzC.net
mdmdm使うRAID1じゃなくて、btrfsのraid1で稼働中で、電源入ってる最中に、メンバーディスクが見えなくなるレベルの大故障したけど動き続けました
もちろんデータ本体のほかSystem, MetadataもRAID1にしておくように(btrfs filesystem df で確認する)。

97 :login:Penguin:2020/11/25(水) 20:27:18.07 ID:ys9Kevoo.net
おお、ありがとう。
前に色々弄ったからbtrfsのコマンドはそこそこわかるし、それなら行けそうだ

98 :login:Penguin:2020/11/30(月) 17:39:20.37 ID:GhjFG7G2.net
>>22
DBサーバ、httpサーバみたいな使い方じゃないと思うけど8GBで苦しそうなんだが、CoWのファイルシステムだとメモリどれ位積めばいいの?
btrfsはそれ程メモリ大食いでないのも謎なのだけど。

99 :login:Penguin:2020/12/01(火) 21:01:02.18 ID:Rk5Th4du.net
OpenZFS2.0来たぞ
https://github.com/openzfs/zfs/releases
zol勢が主導権握って最初のメジャーリリース。

100 :login:Penguin:2020/12/02(水) 00:51:17.75 ID:pHB49Aks.net
キタ━━━━(゚∀゚)━━━━!!

101 :login:Penguin:2020/12/02(水) 12:30:43.20 ID:UyolvWPz.net
OpenZFSはGigazineにも記事になってたけど、おまいらの誰かが書いたの?

102 :login:Penguin:2020/12/02(水) 12:38:32.74 ID:EbfJ4YWH.net
Btrfsがカーネル5.4以降は安定化したって本当ですか?

103 :login:Penguin:2020/12/02(水) 17:53:39.97 ID:S4Metex0.net
>>102
ふーん( ´_ゝ`)

104 :login:Penguin:2020/12/04(金) 14:57:00.02 ID:5E9mJMP1.net
XFSとZFSはあるのに(しかもそこそこ有名)
なんでYFSはないの?

105 :login:Penguin:2020/12/04(金) 15:01:48.73 ID:42eJnIbm.net
What does YFS stand for?
https://www.abbreviations.com/YFS

106 :login:Penguin:2020/12/04(金) 15:26:29.46 ID:5E9mJMP1.net
探せばあるもんだな

yFS: A Journaling File System Design for Handling Large Data Sets with Reduced Seeking
https://www.usenix.org/conference/fast-03/yfs-journaling-file-system-design-handling-large-data-sets-reduced-seeking

YFS, a High Performance Global File System That is Backward Compatible with AFS
https://www.sbir.gov/sbirsearch/detail/354028

YFS - Yet-Another File System
https://github.com/FlorianPusse/YFS

107 :login:Penguin:2020/12/05(土) 08:21:38.50 ID:I27uOiuv.net
Btrfsが安定したみたいだから皆で移動しようぜ(俺はしないけど)

108 :login:Penguin:2020/12/05(土) 14:42:57.62 ID:0qEeFgg2.net
昔はDVDコピーして保管してたからファイルシステムもそれにあったものをと思ってたけど、法律で禁止されたら、大人しく従うので、扱うファイルサイズが劇的に減ってバックアップの時間やファイルが壊れない事とか気にしなくなちゃった。
RAIDも組まなくなったし。
昔が異常だったのかも。

109 :login:Penguin:2020/12/07(月) 08:36:32.58 ID:IBxCgvLS.net
>>107
待てよ、お前にだけ良い格好なんてさせないぜ!

>>99
やったぜ

110 :login:Penguin:2020/12/16(水) 14:01:01.29 ID:6XXxpXQI.net
>>107
よし、行こうぜ
(行かないけど)

111 :login:Penguin:2020/12/19(土) 10:28:24.27 ID:1M3ThgxR.net
b 僕は
t とっても
r ロンリー
f ふーん
s シスター

112 :login:Penguin:2020/12/19(土) 11:44:29.71 ID:qcUaZawe.net
Btrfs:
Boobs 'n' Titties, Real Fuckin' Sex

113 :login:Penguin:2020/12/21(月) 15:39:25.67 ID:vMbmecIY.net
Windows 10 バージョン20H2にて、チェックディスクを行なったさいにファイルシステムが破損する不具合を独誌Planet 3DNow!が報告している。

同誌によれば、管理者権限で実行したコマンドプロンプトから「chkdsk C: /f」コマンドを実行すると、
再起動後に「NTFS FILE SYSTEM」エラーとともにブルースクリーンが発生し、正常に起動できなくなる場合があるという。
12月度の月例パッチにあたる「Build 19042.685」を適用した環境で発現が確認されている。
また、この不具合は仮想環境でも発生することから、特定のハードウェアに起因しないとしている。

不具合が発生した場合は、自動または手動によるシステムの修復が必要。すでにフィードバックHubを通じてMicrosoftに報告が行なわれているという。

Windows 10のチェックディスクでファイルシステムが破損する不具合
https://pc.watch.impress.co.jp/docs/news/1296477.html
https://pc.watch.impress.co.jp/img/pcw/docs/1296/477/01_l.jpg


\(^o^)/オワタ

114 :login:Penguin:2020/12/23(水) 22:25:19.48 ID:puKvYVTf.net
さすがMicrosoft!
俺たちへの嫌がらせを平然とやってのけるッ

115 :login:Penguin:2021/01/06(水) 19:04:54.63 ID:E6HmvEhu.net
MSはなんでReFSやめてしまったんやろな
btrfsも先行き不透明感あるし難しいのかね

116 :login:Penguin:2021/01/06(水) 19:15:25.87 ID:WNjEJ6KT.net
refsって止めちまったのかい?
ブート出来ない時点で使わんがね。

117 :login:Penguin:2021/01/10(日) 14:34:37.92 ID:m4QtNq0y.net
え、ReFSやめたの?
OSを超えて共通で使えるファイルシステムとなると結局Windows系になるのにExFATは機能不足だし
NTFSは機能山盛りでWindows以外で書き込むのは怖いしで
ちょうどいい中間になってくれたらと思ってたのに

118 :login:Penguin:2021/01/13(水) 03:35:46.45 ID:DVhKFdcr.net
bcacheは個人で使うにも安定性はイマイチだよ
数日ほど連続稼働させてると内部でエラーを起こして強制的にキャッシュドライブが外される

ライトバック設定の場合はシステムが即フリーズする
ライトスルーとライトアラウンドならキャッシュが無い状態で稼働し続けるものの、
キャッシュドライブをカーネルがロックしたままなので再起動するまで元通りにできない

119 :login:Penguin:2021/01/14(木) 18:41:08.33 ID:et/AaPUC.net
時々壊れるのを気にしなければBtrfsが最強だな。

120 :login:Penguin:2021/01/14(木) 18:59:49.00 ID:r6N0ZmOC.net
せやな
Linux板住人諸氏は当然バックアップを取っていることでしょうから問題なし

121 :login:Penguin:2021/01/14(木) 19:29:12.05 ID:8kW9H0o7.net
うむ
Fedora には足を向けて寝られない

122 :login:Penguin:2021/01/15(金) 08:53:08.53 ID:JdPf2J/L.net
>>119
そこってかなり大事な要素だと思うんだが…

123 :login:Penguin:2021/01/15(金) 11:04:30.91 ID:pFJP7GFV.net
ゆうほど壊れる?

124 :login:Penguin:2021/01/15(金) 19:06:27.45 ID:F1XOiULN.net
俺の場合は、USBメモリをFATで使ってて誤って抜いてFATを壊したのは何回かあるが、
他、ハードディスクやSSDでNTFS、XFS、ext4、HFS+を使ってて壊れたことは記憶にない。
しかしBtrfsは壊れたことがある。
これを実用に耐えないくらい壊れると見なすか、バックアップを取ってれば良い話と見なすか、Btrfsは運が悪かっただけで、
上記2行目で挙げた他のファイルシステムに劣らないくらい堅牢だと見なすかはわからん。

ZFSは使ったことがない。AppleのAPFSや、MicrosoftのReFSは使ったことあるけど経験が少ないのでなんとも。

あとBtrfsはデータとメタデータのチェックサムを使って破損を検出する(ZFSも同様)ので、破損をしっかり検出しているだけであって、
他のファイルシステムは破損に気づいてないだけだという主張もあるね。XFSやext4はデータのチェックサムを使わないね。
ま、Btrfsもこのスレで否定的レスがつかないくらい進歩してくれますように祈っていますよ。

125 :login:Penguin:2021/01/15(金) 20:01:49.72 ID:o/yWD+3r.net
アイコンを見るだけでデータが破壊されるNTFSの脆弱性
https://pc.watch.impress.co.jp/docs/news/1300447.html

126 :login:Penguin:2021/01/15(金) 20:06:19.09 ID:wSNn+C+R.net
アイコンは16年の歴史があるからな!!!




アイコン16歳(´・ω・`)

127 :login:Penguin:2021/01/15(金) 20:08:04.13 ID:vAyutpx0.net
>>124
起動ディスクをUSB メモリをzfsでソフトウェアraid1にするといいぞー
安心感が違う。

128 :login:Penguin:2021/01/16(土) 05:47:48.71 ID:I6JLgKGd.net
実際にやってみたらガチで壊れた
https://dotup.org/uploda/dotup.org2361590.webm

129 :login:Penguin:2021/01/16(土) 07:45:35.62 ID:edFVkFUY.net
zip内のでもクラッシュするてヤバくね
ドザなんてビギナーだらけだし
対策放置してる間は格好の的

130 :login:Penguin:2021/01/16(土) 10:26:48.99 ID:Vzy6ynJv.net
下手をするとウェブブラウザで踏んだリンクがfile://C:/とかでもダメだったりしてな
試してみる勇気はない

131 :login:Penguin:2021/01/17(日) 06:39:37.83 ID:F/wGP8VN.net
>>125
嫌な奴への復讐に使えるやないかw

132 :login:Penguin:2021/01/17(日) 16:59:00.56 ID:Sk6MR5jr.net
>>124
その終盤にある主張に半分同意
NTFSは一見ファイルが無事なようで中身が壊れるサイレント損傷が多い
フリーズすると直前の10〜20秒に更新されたファイルが高確率で壊れた
安全に更新するためにバックアップを作ってから更新するソフトでもバックアップごと壊れる

133 :login:Penguin:2021/01/17(日) 21:43:31.55 ID:X/j5Pza0.net
今のSSD/HDDはメディア自体がECC(誤り訂正符号)で書き込むから
データやメタデータへのチェックサムは不要だと思う
メディアのECCで足りない場合はRAID-5やRAID-6にしてスクラブで
定期的に修正すればいい

と言いたいところだが、個人だとRAID-5/6組めないからねぇ

SMART でコレクタブルエラーやアンコレクタブルエラーが頻発して
ない状態でのサイレントな損傷はメモリかマザボの不良かFSのバグか

最近知ったのだがAMDのCPUだとサーバじゃなくてもECCメモリ使える
らしいので入れてみたい

134 :login:Penguin:2021/01/17(日) 22:07:32.83 ID:YYKfpRUY.net
>>133
SSDとかECCモリモリですよね。(じゃないと耐えられない)

raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。
(zfs のraidzは大丈夫。あとはbtrfsも含めてサイレントクラッシュする。)

Ryzen CPU(グラフィック内蔵のAPUはPROシリーズのみ)はECCに対応してるが、マザーが対応してないとムリ。ECCメモリ使えるけどECC機能が使えない感じ。
またECC対応してても、訂正した時にOS通知されるかはまた別問題。
なかなか苦労します。

DDR3メモリ以降、row hammerの危険に晒されてるのでECCはあった方がいい。もしくはDDR5(標準で32bit毎にECC)まで我慢。

135 :login:Penguin:2021/01/17(日) 23:09:17.14 ID:X/j5Pza0.net
>>134
> raid5や6はパリティが壊れるとサイレントクラッシュするのですよ。

意味わからん
RAID-5でストライプが2つ、RAID-6なら3つ同時に壊れない限り
クラッシュしないでしょ?

そもそもサイレントクラッシュ(I/O Error を返さない)するのはパリティ
計算して正常だった場合で、相当な確率になるはずでは?

そうじゃなきゃハードウェアRAID製品のスクラブ機能は一体何をしている?
(それとも md/lvm の RAID-5 はリード時にメディアエラーじゃない限り
パリティを読んでないってこと?)

136 :login:Penguin:2021/01/17(日) 23:50:50.72 ID:YYKfpRUY.net
>>135
壊れたパリティを元に、正常なデータをハードウェアraidなりソフトウェアraidが壊しちゃうのよ。
パリティが真の設計だからね。

137 :login:Penguin:2021/01/18(月) 00:03:16.56 ID:Vu8dGznQ.net
それもあるし、パリティは、「消失したデータ」を復元することはできても、
一体どれが誤ってるのかわからない状況だと、どれが誤りかを識別して訂正はできないと思う(何かがおかしいということが分かるに過ぎない)
サイレントクラッシュって書き込み途中での電源断で起きるということだからパリティが壊れることもデータが壊れることもあるわけで

138 :login:Penguin:2021/01/18(月) 01:13:27.67 ID:1g4OJJqS.net
>>137
> サイレントクラッシュって書き込み途中での電源断で起きるということだから

内容は間違ってないが、悪いけどそれは話のすり替えだ
話がそれ過ぎたし、この話題はもうやめますね

139 :login:Penguin:2021/01/18(月) 16:23:37.31 ID:AJc196VC.net
https://pc.watch.impress.co.jp/docs/news/1300761.html

 画面上にアイコンが表示されただけでWindows 10のドライブが破損するNTFSの脆弱性について、
米Microsoftが修正する旨の発言を行なったことが海外メディアで伝えられた。

140 :login:Penguin:2021/01/18(月) 16:43:02.31 ID:dazYikCn.net
何でアイコンの表示とファイルシステムが結びついてんだ

141 :login:Penguin:2021/01/19(火) 06:53:23.26 ID:kYmffXAa.net
ZFSとかのミラーリングで片系のパリティだけ損傷した場合はどうなるの?

142 :login:Penguin:2021/01/19(火) 07:13:24.13 ID:j+yCeuMg.net
NTFSを捨ててbtrfsを使おう(提案)
https://github.com/maharmstone/btrfs

143 :login:Penguin:2021/01/19(火) 10:34:09.51 ID:upb7F6zS.net
結局NTFSってFAT32を無理矢理拡張したようなもんでしょ?
そうでなければバックグラウンドサービスで常時断片化を解消しようとする筈がない

少なくとも大事なデータをしまっておく気にはなれないよね

144 :login:Penguin:2021/01/19(火) 10:46:26.30 ID:4vT3g5Ot.net
「Linuxのファイルシステムは断片化しない!」と吠えてた奴がいたな

145 :login:Penguin:2021/01/19(火) 10:51:56.26 ID:/3d5Dr9+.net
>>144
断片的に書き込むからね

146 :login:Penguin:2021/01/19(火) 12:27:42.15 ID:Fc+0MPzG.net
「Linuxはウイルスに感染しない!」よりはマシだからセーフ

147 :login:Penguin:2021/01/19(火) 12:44:15.91 ID:/3d5Dr9+.net
アプリによってファイルの上書きが、メモリ上のものを既存ファイルに追記のケースと、別名保存完了後に既存ファイルを消してリネームのケースがあって、断片化に影響してる気がするけど、あってる?

148 :login:Penguin:2021/01/19(火) 14:10:36.49 ID:s0futnPp.net
合ってないと思う
本当に追記モードで書ける場合ってごく僅かだと思うし

149 :login:Penguin:2021/01/19(火) 14:12:40.28 ID:7UmUKAt0.net
Linux のファイルシステムが断片化しにくいというのはなぜだっけ
EXT ファイルシステムのことだよね
Windows の FAT や NTFS が断片化しやすいのは過去の互換性を重視しているタメレガシーな仕様を引きずっていると思われるが

150 :login:Penguin:2021/01/19(火) 15:29:07.50 ID:FmzE4vXX.net
ちょくちょくe4defragしてるけどext4も~/.cache内とか普通に断片化しまくってるし

151 :login:Penguin:2021/01/19(火) 18:18:33.08 ID:BK3Mr0Sm.net
>>149
配置の様子を見ることが出来ない、集計表示するツールが普及していないだけ

152 :login:Penguin:2021/01/19(火) 19:42:29.98 ID:7UmUKAt0.net
>>151
ええーw

153 :login:Penguin:2021/01/19(火) 20:04:02.54 ID:upb7F6zS.net
>>151
今別パーティションのUFSなんだけど、1年ちょっと使ってこんなもん 書き換え頻回
https://i.imgur.com/3iSmcOv.png

ext4も似たようなもんなんじゃないの
数字にどんだけ信憑性があるのかだし、最近Linuxでext4使ってないから知らんけど

154 :login:Penguin:2021/01/19(火) 20:13:22.02 ID:e+sIKpUU.net
>>153
ffsのfragmentationは、断片化って意味じゃないぞ

155 :login:Penguin:2021/01/19(火) 20:15:48.77 ID:jL0Xv4LA.net
>>153
そのフラグメントとファイルシステムの断片化は別物
fragmentationはファイルシステム内の空きフラグメント x 100/全フラグメント
https://docs.oracle.com/cd/E24845_01/html/819-0386/fsfilesysappx-20581.html#fsfilesysappx-10

156 :login:Penguin:2021/01/19(火) 20:32:32.85 ID:upb7F6zS.net
>>154,155
今まで完全に勘違いしてた アハハ( ´▽`)
そっちのフラグメントの指標だったのね

放置プレイせず指摘してくれてありがとう

157 :login:Penguin:2021/01/21(木) 00:36:18.40 ID:Cfby4q5X.net
そういえば
Windows95が出た時代は当然FAT16なんだけど
クラスタサイズがセクタサイズに合わせた512byteなのが普通だった
そのため断片化も激しく、当然のようにOSにビジュアルなデフラグツールが付属することになった
(それまでもDOS上のデフラグツールは出ていて売れていた)

一方、同時期のUnix系のOSは、ほとんどが4Kブロックサイズを採用していたため
512byteのDOS系と比較すると断片化が少なかったのは当然かもしれない
これはNTFSの「極小ファイルはMFTに保存」等とは違う、単純な理由での「断片化しにくい」になり
そのイメージが続いているのかもしれない
もしかしたらと思ったけどswapがファイルであったことはさすがに関係ないかな

158 :login:Penguin:2021/01/21(木) 08:27:17.48 ID:O8ejFMFO.net
Win95からFAT32だった筈だが…

159 :login:Penguin:2021/01/21(木) 08:44:51.40 ID:+PmEnWYW.net
FAT32はOSR2からでしたね
ext2は断片化しても気にするなって感じじゃなかった?

160 :login:Penguin:2021/01/21(木) 09:13:42.80 ID:4jdzXuHO.net
む、何か記憶違いがあったな

クラスタサイズが512なのはFDDの時代だけかな
領域サイズに応じてクラスタサイズが肥大化するため
それを避けるために導入されたのがOSR2でのFAT32だっけか
いや領域サイズの上限がファイルサイズの上限と同じ2Gで、そっちの限界回避か

98の5インチFDDの頃からノートンとかでデフラグしていたのは確実
Win3.1時代は忘れた

161 :login:Penguin:2021/01/21(木) 09:14:46.06 ID:4jdzXuHO.net
いや、FDDはFAT12か

もういいや

162 :login:Penguin:2021/01/21(木) 09:38:57.39 ID:Om004d0Z.net
結論

Windowsのファイルシステム
→断片化を解消しないとパフォーマンスが著しく低下する為デフラグツールが発展した
システムデフォルトで常時断片化を監視しているのが何よりの証拠

Unix/Linuxのファイルシステム
→Windowsほど断片化を気にする必要が無い為デフラグツールも少ない
必須ツールならもっと普及している筈である

163 :login:Penguin:2021/01/21(木) 10:37:58.76 ID:ieOcyzfJ.net
結論

信者はキチガイ

164 :login:Penguin:2021/01/21(木) 19:43:45.77 ID:h4ldsjZW.net
とりあえずルート以外をbtrfsにした

165 :login:Penguin:2021/01/22(金) 02:07:58.45 ID:4OwQpeSw.net
>>142
ええやんこれ
Winで思ってた以上に普通に使えてる

166 :login:Penguin:2021/02/02(火) 06:14:30.95 ID:C7wARh6S.net
CentOS7でxfsをブロックサイズ8192で作るとmountできないのですが、そういうもの?
スレチなら誘導していただけると嬉しいです。

167 :login:Penguin:2021/02/04(木) 20:25:16.41 ID:o/O4MlkW.net
>>142
win上でext*にアクセスするドライバ入れてるとリムーバブルドライブを解除できなくなったので
そのドライバを削除したことを思い出した

168 :login:Penguin:2021/02/10(水) 01:35:39.90 ID:sU2CY6a6.net
WindowsでBtrfs 【ファイルシステム】
https://mevius.5ch.net/test/read.cgi/win/1612888512/

169 :login:Penguin:2021/02/13(土) 23:32:12.14 ID:RkDmna+g.net
ワッチョイ導入に賛成の方も反対の方も議論にご参加ください。

Linux板ワッチョイ導入議論スレ
http://rosie.5ch.net/test/read.cgi/operatex/1612610722/

170 :login:Penguin:2021/02/17(水) 13:00:57.80 ID:Ls2ZfyF7.net
Btrfs Has Many Nice Improvements, Better Performance With Linux 5.11

General performance improvements with upwards of "tens of percent" for some workloads.

ttps://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Linux-5.11-Improvements

171 :運用情報臨時板でワッチョイ導入議論中:2021/02/28(日) 00:04:29.68 ID:u2QLnUui.net
Watch Out For Possible Data Loss On Early Linux 5.12 Kernels
https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.12-Early-Buggy-Issue

PhoronixというサイトがLinuxカーネル 5.12がファイルシステムを粉々に破壊する可能性を指摘している

172 :運用情報臨時板でワッチョイ導入議論中:2021/02/28(日) 11:45:06.29 ID:kEYfL1//.net
ローリングリリースの OS だとこういうのが頻繁におこるってことだよな

173 :運用情報臨時板でワッチョイ導入議論中:2021/02/28(日) 14:51:40.61 ID:+8n729a4.net
5.12はまだリリース前でRCですらない

174 :運用情報臨時板でワッチョイ導入議論中:2021/03/02(火) 14:36:21.69 ID:ltODSBW/.net
昔はXFSをファイルサーバー用途にするとよくメモリ枯渇起こしてたけどマシになった?

175 :運用情報臨時板でワッチョイ導入議論中:2021/03/02(火) 17:19:37.34 ID:PMcixi7q.net
Xfsはデスクトップ用途に使ってもメモリカツカツだよ

176 :運用情報臨時板でワッチョイ導入議論中:2021/03/02(火) 19:01:39.03 ID:bSGaYo9c.net
XFSまだCoWでやたらスワップしたりしてんの?

177 :運用情報臨時板でワッチョイ導入議論中:2021/03/02(火) 19:42:40.09 ID:PMcixi7q.net
>>176
ブラウジング程度の用途なのにメモリ8GBでカツカツよ

178 :運用情報臨時板でワッチョイ導入議論中:2021/03/02(火) 21:10:11.16 ID:bSGaYo9c.net
うげー、辛いなそれは。
XFSってやたら推されてるけど、なんか常にパフォーマンス上の問題抱えてない……?

179 :運用情報臨時板でワッチョイ導入議論中:2021/03/03(水) 01:51:01.43 ID:Vr69vVJU.net
必要なスペックは高いけど
データが破損した事は一度もないから信頼はしてる

180 :運用情報臨時板でワッチョイ導入議論中:2021/03/03(水) 09:22:57.93 ID:Nxx8V343.net
DD コマンドで作成した領域をループバックでマウントして利用してるんだけど
専用のファイル領域に作成したものより安定性が低いようなことを噂で聞いたことがある
単なるファイルだから間違って消したりもできるわけだけど他にどんな問題があるの?

zfs やバター FS を loopback で使ってるんだけど楽だから

181 :運用情報臨時板でワッチョイ導入議論中:2021/03/03(水) 10:02:39.62 ID:cTNqxe23.net
ファイルシステムとしてマウントするだけなら問題は無いんじゃ無いかな。
ループバック用に回避処理が入っていなければ重ねたレイヤの数だけエラー処理とか複合するんで
普段は良くてもトラブル時は面倒なことが起こるかもしれないけど、気にするほどじゃないと思う。
よほど大きなサイズでも無い限りキャッシュのダブりとかも気にするほど影響は無いだろうし。

ただ一時的では無いスワップ領域にするのはお勧めしない。

182 :運用情報臨時板でワッチョイ導入議論中:2021/03/03(水) 10:49:49.05 ID:Nxx8V343.net
>>181
なるほどエラー解析時にレイアの重なりで複雑になるという意味ですね
キャッシュのダブりは OS 側のファイルキャッシュとファイルシステム側で作動するキャッシュがあるのですね

一時的ではない Swap 領域というのは OS が利用するスワップという意味ですか?
最近のカーネルだとループバックのスワップでも安定性に問題がなくなったと認識してます Ubuntu でもデフォルトではディスクパーティションにスワップ領域を切らなくなりました

183 :運用情報臨時板でワッチョイ導入議論中:2021/03/03(水) 12:14:56.73 ID:lgKPKR6M.net
ハンスが再来年出所する予定らしいけどreiser4が取り込まれることはありますか?

184 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 02:31:02.56 ID:h4SDn5Ek.net
>>183
15年でext4が進化し、より先進的なZFSやbtrfsの開発が進んでいるから
今さら感

185 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 08:51:33.95 ID:1fWCdnHn.net
でもZFSがメインラインに入る可能性はゼロだしRedhatはbtrfsやめちゃったし15年経ってもこれだっていうFSは無いね

186 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 10:15:25.72 ID:4HJQ6+m7.net
現状見てる感じなんだかんだでRedHatにbtrfsが凱旋したりして

187 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 12:27:18.42 ID:dyXFLsEj.net
凱旋というより出戻り

188 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 18:29:03.56 ID:8yj3ez/J.net
Linux 5.12 Lands Fix For File-System Corruption Caused By Swapfile Issue
www.phoronix.com/scan.php?page=news_item&px=Linux-5.12-Corruption-Fixed

スワップファイルへの書き込みがスワップファイルを置いているパーティションへの書き込みになるバグ

189 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 18:48:23.13 ID:mFfY0Y2/.net
5.12はまだまだβ版だからバグあっても一般ユーザーは気にせずOK

190 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 21:34:11.29 ID:Dt5ajJ3o.net
xfs は!?
ext4 は HDD によくて xfs は SSD にいいってのを信じて使ってるんだけど

191 :運用情報臨時板でワッチョイ導入議論中:2021/03/05(金) 22:57:30.27 ID:h4SDn5Ek.net
>>190
むしろ逆のイメージ。REGZA HDDレコーダーにXFSが採用された実績から大容量(TBクラス)ストレージ向けかと
現状ではXFSとext4でできることに大差はないから、rootにあえてXFSを採用することはないと思う
SSDに良いFSで性能など実績があるのはF2FSのイメージが強い

192 :運用情報臨時板でワッチョイ導入議論中:2021/03/06(土) 09:53:05.28 ID:Zg8wx6H4.net
俺もついさっきrootfsをf2fsでフォーマットし直したところだよ
grubのバージョンがf2fsに対応してなかったから
systemd-boot入れ直す必要があったけど
(/bootを分けるのはUEFIな今の時代なんか嫌)

193 :運用情報臨時板でワッチョイ導入議論中:2021/03/08(月) 10:27:32.36 ID:m8kidDD6.net
Btrfs Will Finally "Strongly Discourage" You When Creating RAID5 / RAID6 Arrays

https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Warning-RAID5-RAID6

むしろ今まで警告なかった方が不思議

194 :運用情報臨時板でワッチョイ導入議論中:2021/03/08(月) 21:02:47.03 ID:2AQsZVyg.net
つーかいまだに駄目なのか

195 :運用情報臨時板でワッチョイ導入議論中:2021/03/09(火) 03:37:55.27 ID:sGJz7SaS.net
カーネルに取り込まれたネイティブexFATはまだ使わないほうが良いぞ

・数GBに1〜2クラスタの頻度で書き込んだデータが破損する
・タイムスタンプのロケールの処理が正しくなく、Windowsとやり取りすると数時間ずれる
・Windowsでマウントするときエラーを検出することがあった
・去年ここで書いた、メタデータを更新するとタイムスタンプが破壊されるバグは直ってる
・性能はFUSE版よりかなり良い

kernel 5.8

今はデフォルトで有効になってるからブラックリストで無効化する必要がある

196 :運用情報臨時板でワッチョイ導入議論中:2021/03/09(火) 03:39:17.92 ID:3Q1wWz8h.net
まともに使うなら
未だにxfsとext4の二択だよね実質。

197 :運用情報臨時板でワッチョイ導入議論中:2021/03/11(木) 04:07:15.23 ID:T7COWFgR.net
>>195
5.8なんて既にEOLしてんぞ

198 :login:Penguin:2021/03/11(木) 13:38:40.74 ID:c/de+RjG.net
>>193
確かに。警告無かったことを知らなかったわ

199 :login:Penguin:2021/04/28(水) 06:59:54.63 ID:RDsHbwe/.net
Debian11からいよいよBtrfsに乗り換えてもいいですか?

200 :login:Penguin:2021/04/28(水) 14:03:05.37 ID:qAuPbk02.net
まだBtrfsで消耗してるの?

201 :login:Penguin:2021/04/28(水) 16:03:01.63 ID:w2riUtF+.net
Btrfs楽やでホンマ

202 :login:Penguin:2021/04/28(水) 16:04:27.29 ID:/Rv/1bAq.net
reiser4一択
ちょっとバラ肉にしたぐらいで開発者収監しすぎなんだよなあ

203 :login:Penguin:2021/05/05(水) 06:43:36.88 ID:22KTqCb5.net
WindowsでもBtrfs様々やで
https://github.com/maharmstone/btrfs

204 :login:Penguin:2021/05/05(水) 13:25:13.38 ID:ecRafJ7U.net
Winはntfsが結構優秀だから要らんよ

205 :login:Penguin:2021/05/05(水) 13:40:15.01 ID:I8H8pma2.net
NTFSはそこそこ優秀かも知れんが
管理するOSがWindowsではちょっとマンセーは無理

206 :login:Penguin:2021/05/05(水) 14:21:43.34 ID:ecRafJ7U.net
Windowsは互換性に関してはマジで凄い
Linuxで10年前のソフトを最新環境で動かそうとすると苦労するからね

207 :login:Penguin:2021/05/05(水) 17:44:23.14 ID:qtfZkKcP.net
Linuxはソースあるからね
emacs(1976年)もTeX(1978年)も現役

208 :login:Penguin:2021/05/05(水) 18:01:25.19 ID:2Vd9UitC.net
ed (1970年代前半) も sed(1973年) も一応現役

209 :login:Penguin:2021/05/05(水) 21:27:14.92 ID:XrnixLKD.net
sed は一応でなくて、シェルスクリプトの一部のように使うだろ。

210 :208:2021/05/05(水) 21:39:56.99 ID:0Vx+wHoK.net
そりゃそうか 俺も使うし
それも結構な頻度で愛用している

211 :login:Penguin:2021/05/07(金) 19:15:48.16 ID:N73gosRP.net
sedってコマンドなのかと思ってたわよ

212 :login:Penguin:2021/05/07(金) 19:27:04.20 ID:DfASJ4ip.net
viも同じようなもんよ

213 :login:Penguin:2021/05/28(金) 06:51:44.05 ID:w5WT5sqk.net
スレでもたまに名前が上がってたBcachefsって目的はすごい良いな、Btrfsが躓いてるからちょっと期待しちゃう

Bcachefs は、 Btrfs と ZFS の機能をよりクリーンなコードベース、より安定性、より高速、 GPL 互換のライセンスを提供することを目的とした次世代の CoW ファイルシステムです。

214 :login:Penguin:2021/05/28(金) 07:02:11.16 ID:gICJRhZd.net
Bcachefs一時期毎月20ドル支援してたんだけど、Btrfsが良い感じになって来たので、支援止めちゃった

215 :login:Penguin:2021/05/30(日) 18:23:59.48 ID:kdTnPrQw.net
目指すだけならどこも凄い事を主張するからなあ・・・

216 :login:Penguin:2021/05/30(日) 21:33:08.26 ID:xzSC8kpf.net
openZFSが最新版でかなり高速化するらしい

217 :login:Penguin:2021/05/30(日) 23:07:19.53 ID:Yv4FXzOw.net
速くする方法が分れば、他のファイルシステムも続くから頑張って欲しいな。

218 :login:Penguin:2021/06/08(火) 20:35:14.27 ID:A0+5/fSQ.net
カーネル5.13でzstd関連のコードが刷新されるから
圧縮使ってる人は楽しみな更新になるね

219 :login:Penguin:2021/06/13(日) 12:57:08.28 ID:Ri2lWsvA.net
Bcachefsの公式ページを読んだら
コードが綺麗ばかり主張していて、実際githubを覗いてみたら
確かに綺麗なのかもしれないけどコメントが少なすぎて誰も触れない事には変わりない感じだった。

220 :login:Penguin:2021/06/13(日) 19:11:57.13 ID:Z14yD/aZ.net
$ sudo btrfs sub snap @ /media/user/debian/@
$ sudo btrfs sub snap @home /media/user/debian/@home

このコマンドの参考ページを教えて下さい

221 :login:Penguin:2021/06/13(日) 20:22:25.19 ID:XbYcfZqj.net
$ man 8 btrfs-subvolume

222 :login:Penguin:2021/06/18(金) 12:55:21.67 ID:VQxMXzTC.net
debianスレにも書いたんですが、ext5って開発されていないんですか?
ということはいずれどこも(debianも)btrfsかxfsになるんですか?

223 :login:Penguin:2021/06/18(金) 13:28:58.70 ID:m1DWeQ1B.net
開発されない
ext4の改良が続いている

224 :login:Penguin:2021/06/19(土) 11:20:25.99 ID:zGtebo9v.net
ちょっとお聞きしたいのですが、新規に買ってきた4TBの東芝製HDD(MN08ADA)をmkfs.ext4でフォーマットしてマウント(USB-HDDケースに入れています)すると、
何もファイル操作をしていないにもかかわらず頻繁にアクセスするのですが、(umountするとアクセスしなくなります)、
-O ^metadata_csumとしてフォーマットするとアクセスしないのですが、一体何が起きているのでしょう?
USB-HDDケースが行けないと思って内蔵SATAにしてみても動作は同じでした。
試しに最初の300MiBだけフォーマットしてマウントしてみたらしばらくアクセスした後、静かになりました。
metadata_csumの有り無しで変わるのですから、ココらへんがおそらく原因だとは思うのですが、4TB分チェックが何かが終わるまで待つしかないのでしょうか?

225 :login:Penguin:2021/06/19(土) 11:25:16.81 ID:zGtebo9v.net
自己解決しました。おそらくext4lazyinitだと思います。
もうしばらく放置しておこうと思います。
ntfs、btrfsでは何も起きなかったのでハードウェアの故障はないと思っていたのですがやっぱりext4の機能でした。
どうも失礼しました。

226 :login:Penguin:2021/06/19(土) 15:25:22.43 ID:qiYDT/X/.net
完全にBtrfsブームが来ているな
FedraチームFacebookの全面バックアップは心強い

227 :login:Penguin:2021/06/20(日) 07:20:53.86 ID:FlGke6Iy.net
Btrfsのスワップファイルを使おうとしたけど
素で使うとスナップショット出来ない代わりに生データだし
暗号化スワップとして使うと今度はスナップショット可能になるという理不尽
そりゃFedoraも匙投げてスワップ自体を無効化しますわ
BtrfsにLVMを組み合わせてスワップパーティションを作るというダサい方法しかないし

228 :login:Penguin:2021/06/20(日) 08:59:55.55 ID:HPXkdzsb.net
変なことしないで普通にスワップパーティション切れば良いだけでは?

229 :login:Penguin:2021/06/20(日) 09:41:51.35 ID:4MEPIPC1.net
うちはデータ用のext4のパテに置いてるわ

230 :login:Penguin:2021/06/20(日) 10:39:15.38 ID:K3gWEfdY.net
>>229
やっぱりそうなるよね
Btrfsは消去する可能性のあるデータの扱いに絶望的に向いてない。

>>228
サブボリュームが便利だったから
スワップ問題さえなければBtrfsで大半賄えたから惜しかった。

231 :login:Penguin:2021/06/20(日) 10:47:38.20 ID:q1GmI6Tf.net
>>230
> Btrfsは消去する可能性のあるデータの扱いに絶望的に向いてない。
うちは1年近くほぼ24h稼働させててビクともしないけどな
ラズパイでUSBx2+SDのストライピングと言うなんちゃってだけどさ

232 :login:Penguin:2021/06/20(日) 11:44:40.23 ID:HPXkdzsb.net
俺も4年近くBtrfsファイルサーバ運用してて、btrfs deviceコマンド使って何度もストレージ構成変更もしたけど、何も問題起こらないなぁ。
エンタープライズとかでは無いけどね

233 :login:Penguin:2021/06/20(日) 15:10:27.93 ID:OtoPgzgM.net
消去する可能性のあるデータはCoW有効だと断片化が進むからな
ここ1年くらい半導体不足だから難しいけどスワップが要るくらいならメモリもっと積むという手もある

最近はbtrfsも徐々に、使えるものになってきているのは確かだろう
職場で使われている「法人向けNAS」として販売されている製品がデータ領域デフォルトでbtrfsになってて当初はオイオイ大丈夫かと思ってたけど
今のところは大丈夫っぽい。ちなみに壊れても対処するのは俺じゃない(重要)

あとは、ディスクフルになるとヤバいなどという噂もあったが改善したのだろうかね。

234 :login:Penguin:2021/06/20(日) 15:12:33.54 ID:FlGke6Iy.net
いやスナップショットとCoWの関係で
削除できてるんだか出来てないんだか分かりにくいという意味ね。
CoW無効化したファイルでもスナップショットは取れるみたいだし
削除という方向では難しい。

235 :login:Penguin:2021/06/20(日) 15:15:33.95 ID:FlGke6Iy.net
>>233
CoWは前述の理由でファイルを削除したら逆に空き容量が減るパターンがあるから
ディスクフルだと危険だよ。
空き容量を増やそうとした操作で更に空き容量を減らしてドツボにはまる。

236 :login:Penguin:2021/06/20(日) 15:32:40.87 ID:q1GmI6Tf.net
>>233
> ディスクフルになるとヤバいなどという噂
友人のラズパイ(うちのサブボリュームを暖簾分けしたもの)は
diskfullをやらかして起動不能になり涙で枕を濡らしてますた

237 :login:Penguin:2021/06/20(日) 15:46:21.40 ID:FlGke6Iy.net
スナップショットをという扱うという決断をした瞬間から
Btrfsの空き容量を増やす手順は複雑怪奇になる。

238 :login:Penguin:2021/06/20(日) 16:03:58.94 ID:q1GmI6Tf.net
timeshift使うくらいならまだいいけど
色々と欲を出すと悲惨な目に遭いそう

なお私はconky出して常にディスク使用量を監視してます

239 :login:Penguin:2021/06/20(日) 17:26:59.08 ID:HPXkdzsb.net
残容量がそんなに気持ち悪い変動したこと無いなぁ

240 :login:Penguin:2021/06/20(日) 17:49:16.26 ID:q1GmI6Tf.net
まあ一応ね

241 :login:Penguin:2021/06/20(日) 21:11:28.58 ID:XLIEy/bI.net
空き容量が一方通行なのは難易度高めだよね

242 :login:Penguin:2021/06/20(日) 21:15:36.56 ID:q1GmI6Tf.net
そんなこと無いけどなあ
スナップショット全部始末して、それでも駄目ならfilesystem defrag -r
これで容量が戻らなかった事無いけど

243 :login:Penguin:2021/06/20(日) 21:29:09.11 ID:FlGke6Iy.net
スナップショット全部始末って・・・
まあ戻らないことはないだろうけどさぁ・・・
それデータ退避させて再フォーマットに次ぐ最終手段やん

244 :login:Penguin:2021/06/20(日) 21:36:52.57 ID:q1GmI6Tf.net
俺の場合スナップショットはシステム改変前の保険や
send前の準備くらいにしか使ってないからねえ
もっと高度な事やってる人なら億劫だろうけど

245 :login:Penguin:2021/06/20(日) 21:42:05.45 ID:XLIEy/bI.net
それ正解。
非常に賢いBtrfsのお手本のような使い方。

246 :login:Penguin:2021/06/20(日) 21:47:09.44 ID:3XBt4m04.net
スナップショットをバックアップのように使ってるのが間違いなのよ
バックアップは別に取ってスナップショットは定期的に整理すべき

247 :login:Penguin:2021/06/20(日) 22:02:17.88 ID:HPXkdzsb.net
Btrfsはバックアップも取りやすいしね

248 :login:Penguin:2021/06/20(日) 22:22:30.11 ID:q1GmI6Tf.net
マウントしたまま完全なdumpが出来る様な感じですからね

249 :login:Penguin:2021/06/21(月) 01:24:02.85 ID:L8foBMDQ.net
>>247-248
スナップショットを tar で固めるだけだったら別に取りやすいって事は無いんじゃないの?

Btrfs はサブボリュームとかのメタ情報のバックアップができなくてバックアップが困難
と逆に感じたんだが

250 :login:Penguin:2021/06/21(月) 02:34:03.18 ID:jDt+eB73.net
>>249
> スナップショットを tar で固めるだけだったら別に取りやすいって事は無いんじゃないの?
send/receive機能使った事無いのかな

> Btrfs はサブボリュームとかのメタ情報のバックアップができなくて
その様な些細な情報に拘るよりも
サブボリュームをリネームしておけば管理しやすいのに
そこまで完ぺきな状態保存をしたいならddでも使っときましょうかね

251 :login:Penguin:2021/06/21(月) 09:08:05.47 ID:L8foBMDQ.net
>>250
> send/receive機能使った事無いのかな

なるほど増分バックアップを取るという意味では dump に近い物があるのか
勉強になりました

> その様な些細な情報

メタ情報バックアップできないっておかしくない?
別の誰かが作ったシステムをクローンしたい時に dd しかないのは厳しいわ

ビジネスでやったらバックアップできないシステムを採用するのがおかしいって
後でぐじぐじ言われまくる(=言い訳レポートだの再発防止だの工数が爆発的に
増える)のが見えてるんで使えないよ

252 :login:Penguin:2021/06/21(月) 12:16:09.75 ID:O6mftrCi.net
考えた方が違うんじゃないかな。
サブボリュームをほぼストレージとして見れば問題ないし、完全なコピーが欲しければddなりなんなり旧来の方法が取れないわけでもないし。
単にレイヤーと選択肢が増えただけだよ

253 :login:Penguin:2021/06/21(月) 15:53:15.32 ID:3rzkFLuT.net
Btrfsを本番で運用しているFacebookはどうしてるんだろうね

254 :login:Penguin:2021/06/23(水) 19:00:39.82 ID:GsIL/Hxh.net
Btrfsでdiscard=asyncにしたら起動するたびにドライブの使用ランプがカリカリ始めたんだけど
これって他の人も同じ?

255 :login:Penguin:2021/06/29(火) 21:52:12.01 ID:K1arQqhz.net
カーネル5.14でbtrfsが更に改良・高速化されるらしい
開発ラッシュやばい

256 :login:Penguin:2021/06/30(水) 00:02:44.48 ID:zTG01lTx.net
もうBtrfsで良さそうだね
ネイティブ暗号化くらいしか弱点ないでしょ

257 :login:Penguin:2021/06/30(水) 04:50:09.03 ID:ik/23AzL.net
あとRAIDが非推奨のままずっと放置されてる

258 :login:Penguin:2021/06/30(水) 05:54:37.78 ID:XBjkZFiO.net
RAIDはHBAかLVM使えばええやろ
ファイルシステムがやらなければいけないことではない

259 :login:Penguin:2021/06/30(水) 06:14:36.60 ID:mXQXM/0G.net
RAID10あたりは問題ないしね

260 :login:Penguin:2021/06/30(水) 09:02:44.67 ID:yJpclQIV.net
スナップショット使うファイルシステムでHBAやLVMでのRAID-5/6はやめとけ
スナップショットはランダムリード/ライト多いから相性が悪い
使っているうちにフラグメンテーションで使い物にならなくなる

回避するためにはHBA使うのやめてRAID-Zだのそれに類似したVirtual系
RAIDの技術が必要なんだが実装ツラい割に効果も薄いんだろ

ラックマウントタイプのストレージ製品でもRAID-10でしか使わせない製品も
出始めてるし、業界としてRAID-5/6は切り捨てなんだとおもう

261 :login:Penguin:2021/06/30(水) 09:38:03.62 ID:QIl8oURk.net
ファイルシステムによらず、RAID5はテラバイト級媒体にはそもそも使わない方が良い
障害復旧中に壊れていくのを数回見た
RAID6は知らない

262 :login:Penguin:2021/06/30(水) 11:26:56.84 ID:r3QHhm+R.net
RAIDZは広く使われてるよ
RAIDはストレージの可用性確保の手段なんだから代替方法なんかない

263 :login:Penguin:2021/06/30(水) 19:44:02.88 ID:MEBTTE23.net
機能として存在する以上は安定してほしいよね

264 :login:Penguin:2021/06/30(水) 19:51:08.40 ID:2x4FXU9Q.net
RAID関連は実績のあるファイルシステムでないと使う気にはならない

265 :login:Penguin:2021/06/30(水) 22:09:30.83 ID:yJpclQIV.net
ファイルシステムの実績もだけどパーツ冗長(特にコントローラ)も必要だわ

HBAが中途半端に故障して壊れてもないHDDを故障扱いしまくってデータ
ロストさせた(実際はデータロストしてない)障害が一番厄介なトラブルだった

266 :login:Penguin:2021/07/01(木) 01:40:54.64 ID:yz4Mm0BT.net
一般ユーザーがしないような構成を組むと
想像もしていなかったような不具合踏むことが多々あるわな

267 :login:Penguin:2021/07/04(日) 01:22:49.64 ID:dO3rYTst.net
Btrfsはdiscardマウントオプションでまだ壊れた報告がチラホラあるね
とりあえず手動trimに切り替えた

268 :login:Penguin:2021/07/07(水) 20:02:33.20 ID:SKdz/k2Y.net
Linux 5.14 Works Around Compatibility With Some Digital Camera exFAT File-Systems
www.phoronix.com/scan.php?page=news_item&px=Linux-5.14-exFAT

269 :login:Penguin:2021/07/23(金) 06:19:56.52 ID:zqR55IXg.net
WindowsでBtrfs 【ファイルシステム】
https://mevius.5ch.net/test/read.cgi/win/1612888512/

270 :login:Penguin:2021/08/14(土) 11:15:08.22 ID:Zs+glBhP.net
Linux上で以前targetcliで作ったZVOL (/dev/zvol/mypool/fc0) が「使用中」状態に
なったままになってます。再起動してもOSを再インストールしても「使用中」状態です。

# zfs destroy mypool/fc0
cannot destroy 'mypool/fc0': dataset is busy
# umount /dev/zvol/mypool/fc0
umount: /dev/zvol/mypool/fc0: not mounted.

未使用の状態かそれが無理なら強制削除したいんですがどうしたらいいでしょうか?

271 :login:Penguin:2021/08/14(土) 12:12:14.38 ID:Zs+glBhP.net
>>270
解決しました。理由はイニシエータ側で作ったLVMをターゲット側が起動時に
自分のものとしていたため。

272 :login:Penguin:2021/08/15(日) 14:01:19.23 ID:6oNwxX6g.net
exFATがDebian11でサポートされるようになったらしいね Debian newsにそう書いてあった

273 :login:Penguin:2021/08/21(土) 08:54:19.08 ID:fjPA48lm.net
うーん、ZFSはイマイチですね・・・。
Proxmoxで3*HDDをRAIDZ1にして、2*SATA SSDをキャッシュにしてVMを作ったのですが、
前情報通りアクセスが増えるとメモリ消費量が10GBとか跳ね上がる・・・。
1200Mb/s出ていたものがカーネルパニック?で20Mb/sとかに落ち込んでしまう。
2GBのファイルをランダムコピーしたら、一瞬で終わるものと数十秒かかるものが発生。
うーん、ZFSはかなりじゃじゃ馬な印象です。メモリが潤沢にあれば良いのかも。
やはり記憶域スペースですかね・・・・。

274 :login:Penguin:2021/08/21(土) 11:04:11.49 ID:BiYUjqs+.net
確かに自分もデスクトップ用途で多目的に利用しているんだがバター FS の方が適してると考えるようになってきた

275 :login:Penguin:2021/08/21(土) 16:49:26.25 ID:4kjF9FRm.net
>>273
重複排除が有効になってたりしない?

276 :login:Penguin:2021/08/21(土) 17:05:17.20 ID:dh93U5+W.net
今度、Debian11 インストールしようと思うが、Btrfs でいいのか。

277 :login:Penguin:2021/08/21(土) 19:31:29.41 ID:BiYUjqs+.net
コピーオンライトをファイル単位でユーザーが使えるのはバター FS だった

278 :login:Penguin:2021/08/29(日) 04:14:21.43 ID:OSnjE7oK.net
OpenZFS2.1で実装されたdRAIDってどうなの
再構築が高速なのは良いことだけど、その後新しいホットスペアを追加したら結局再構成が始まるんでは?
RAID-Z2と何が違うんだろ

279 :login:Penguin:2021/08/29(日) 09:40:27.05 ID:1yXXr9+s.net
openzfs-2.1.0
kernel-5.13
fedora34

ZFSで例えば2つのプールpool1, pool2 があるとして,ブート時にpool1は自動で
インポートしたいけどpool2はしたくない場合,どうすればいいですか?
<(_ _)>

280 :login:Penguin:2021/08/29(日) 15:01:28.74 ID:/+B08fjB.net
>>278
いましがた dRAID の説明を初めて読んできた初心者なので参考まで

> その後新しいホットスペアを追加したら結局再構成が始まるんでは?

語弊がある書き方をするけど再構築が高速になるトレードオフとしてホットスペア
にデータを事前にデータを書き込んでおく(準備しておく)ってだけじゃん

リビルド中に2本目と3本目が相次いで壊れてデータロストするリスクを(リビルドを
高速化することで)回避するためのものだから効率が悪い・二度手間な処理を行う
のは至極まっとうな話では?


> dRAIDってどうなの

全てのディスクを均等に使用してしまうことによって HDD/SSD の故障時期が重な
る可能性が高まるという点で逆にリスクを上げてるアホな仕組みだと思った

商用の FS (NetApp や Isilon, Spectrum Scale FS) において同じ仕組みは個人的
には聞いたことが無いので期待できない



> RAID-Z2と何が違うんだろ

いや、RAID-Z や RAID-Z2 に対してホットスペアをどうするかのオプションだから
違うとかじゃなくて「dRAID 構成の RAID-Z2」とか「dRAID 構成ではない RAID-Z2」
とかそんな感じで別物ではないぞ?

281 :login:Penguin:2021/08/29(日) 17:27:42.09 ID:OSnjE7oK.net
>>280
RAID-Z2 と RAID-Z+dRAIDホットスペア1本はほぼ一緒では?と言いたかった。

ホットスペア本数に制限がないので、冗長度を好きなだけ上げられてかつread性能も上がるのが利点なのかな?

商用はIBMが既にやってるらしいけどね。

282 :login:Penguin:2021/08/29(日) 18:07:19.22 ID:OSnjE7oK.net
RAID再構築とdRAIDのホットスペア追加の違いをもう少し考えてみた
RAID再構築はパリティ再計算のために、生き残ったドライブの全データを読み込む必要がある?が
dRAIDは追加スペア分の空き容量を生き残ったドライブに分配するだけなので、生き残りがn本なら各ドライブ1/(n+1)のデータだけ読めばよい?
あとパリティ計算がいらない。

あれ?割と良いのでは?

283 :login:Penguin:2021/08/29(日) 18:18:49.26 ID:/+B08fjB.net
>>282
> RAID再構築とdRAIDのホットスペア追加の違いをもう少し考えてみた

流石に比較が間違ってるだろ、それ

RAID-Z + ホットスペアも dRAID 構成の RAID-Z2 も HDD が壊れた直後
にRAID再構築が実施されるのであってホットスペアを補充するタイミング
じゃない

dRAID の場合はそれに加えてホットスペアを補充した際にも再ストライプ
目的で2回目の再構築が走る=つまり2度手間

dRAID の1回目の再構築の際にはパリティ計算している
だから2回目の再構築の時は不要ってだけだ

パリティが要らないっておかしいと思えよ

284 :login:Penguin:2021/08/29(日) 18:43:20.22 ID:/+B08fjB.net
失礼
× パリティが要らないっておかしいと思えよ
○ パリティ計算が要らないっておかしいと思えよ

> 商用はIBMが既にやってるらしいけどね。

Erasure Code Edition って新しい別構造の奴か
確かに Spectrum Scale でスペアを仮想化するって事が可能ってあるね

285 :login:Penguin:2021/08/29(日) 19:01:05.63 ID:OSnjE7oK.net
>>283
>RAID-Z + ホットスペアも dRAID 構成の RAID-Z2 も HDD が壊れた直後
>にRAID再構築が実施されるのであってホットスペアを補充するタイミング
>じゃない

いやもちろんそれはわかってるけど
dRAIDの場合は再構築もディスク読み書きが分散されるからまあ気にしなくていいかと思った。
けど分散されて早くなるってだけで読み書きする総量は変わらないのか…

286 :login:Penguin:2021/08/29(日) 19:08:49.26 ID:OSnjE7oK.net
>>279
pool2のcanmountプロパティにnoautoをセットかな

287 :login:Penguin:2021/09/09(木) 15:30:55.07 ID:Ti5gtG1m.net
LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言
Liam Tung (Special to ZDNet.com) 翻訳校正: 編集部 2021-09-08 14:01
https://japan.zdnet.com/article/35176373/

288 :login:Penguin:2021/09/09(木) 16:08:17.82 ID:yZA2ccAk.net
ファックファック言わなくなってる…😳

289 :login:Penguin:2021/09/09(木) 17:02:00.90 ID:bMPZjWuq.net
linuxで作ったntfsドライブがwindows10で読み込めない
ディスクをアタッチして起動するとフォーマットするか聞いてくる
linux側から見るとデータが書き込まれてるのに

290 :login:Penguin:2021/09/10(金) 11:20:22.80 ID:AU+z5FwG.net
>>289
チャレンジャーだなぁ。

291 :289:2021/09/10(金) 12:20:17.15 ID:gkerD8uH.net
色々試したけど結局フォーマットした
ネットだとwindowsからlinuxで読めないトラブルはあるんだけど逆はあんまり出てこないんだよね
フォーマットしたディスクはlinuxで一応読み込めたけど気づいた事がある
ディスク丸ごとフォーマットしたはずなのに何故か数メガの未使用領域が出来てる
これが関係してんのか?

292 :login:Penguin:2021/09/10(金) 14:37:10.89 ID:4r6H+99Z.net
>>289 >>291
断定できないが蓋然性として高い要因は、NTFSのログ構造(LFS)がWindows7以前がver1.1、
Windows8以後がver2.0と更新している関係で出る不具合。これはWindows同士でも起こり得る
トラブルの一つで、LinuxのNTFS-3Gドライバはver1.1準拠なので、同様の事情(>>287の新・
標準ドライバがこの件を解決しているかは、知らないが)。以下、詳細は↓。

NTFS-3G - ArchWiki
https://wiki.archlinux.jp/index.php/NTFS-3G

293 :289:2021/09/10(金) 15:39:43.90 ID:gkerD8uH.net
>>292
情報thanks

確かにwindows7の頃はこの手の問題に遭遇したことはないな

294 :login:Penguin:2021/09/10(金) 16:41:55.52 ID:H/thhANN.net
>>292
それならば、Linuxで作成したVer1.1のNTFSが、より新しいバージョンにも対応しているWindows 10で読めないということはないはずで、
>>289の言っている問題を説明するものではない。

そのLFSのバージョンが問題になるのは、Windows 10等新しいWindowsからNTFSのディスクを、「安全に取り外す」をしないで取り外し、
Windows 7等古いWindowsに接続した場合。
「安全に取り外す」と、Windowsは当該NTFSのLFSをVer1.1に変換するので、問題は起こらないが、
しないでいきなり外すと、古いWindowsはLFSを解釈できないので、最近の操作が適用されていないように見えるなどの不具合が発生する・・・とのこと。

295 :login:Penguin:2021/09/10(金) 17:32:25.87 ID:4r6H+99Z.net
>>294
蓋然性が高い要因を挙げただけで、他にないとは書いてないが。>>292で紹介したリンク
(NTFS-3G - ArchWiki)の"トラブルシューティング"に、Windows8・10の別の不具合もしっかり
記述してある。人に難癖つける前に、確認すべき。

296 :289:2021/09/10(金) 20:08:27.27 ID:gkerD8uH.net
色々試してわかった
ディスク丸ごとだと駄目でパーティションを作ってフォーマットすると読み込む事が出来る

297 :289:2021/09/10(金) 20:19:19.59 ID:gkerD8uH.net
>>294
>>295
お騒がせして申し訳ないw
けどこれがntfsのバージョン関係してるのかはわからない
win7で試したいけど環境ないんでね

298 :login:Penguin:2021/09/12(日) 19:56:44.85 ID:Q/6ceb7l.net
初心者スレから誘導されてきました。


HDD4台構成のraidz1がデグレードになってしまい慌てて交換用HDDに取り替えたのですがうまくリビルドができないです
交換用のHDDが/dev/sdeで「zpool replace tank 14576820926089804651 /dev/sde」を実施しても
cannot replace 14576820926089804651 with /dev/sde: already in replacing/spare config; wait for completion or use 'zpool detach'と出るだけでリビルドが走っている様子も見えません
この場合、どのようにすればリビルドを開始することができるのでしょうか?教えてください

299 :login:Penguin:2021/09/12(日) 20:49:07.39 ID:s2hUCnQh.net
>>298
真の有識者が来るまでの時間稼ぎにしかならないかもだけど取り敢えず
losetupでループアタッチしたプールでは当然ながら問題無かった
再同期やscrub等が動いていない事を確認し、不良ディスクをzpool offline tank 数字 してから
replaceしてみては如何だろうか

自分だったらだけど、まだDEGRADEDで済んでいるうちにスナップショット取って
余裕のあるディスクへzfs sendで退避した上でプール作り直してしまうけど

300 :login:Penguin:2021/09/22(水) 20:53:27.48 ID:iZQWyrHm.net
Linux板のくだ質スレから誘導されました。
現在、CentOS+btfs&snapperの自作NASを課内で使っています。
スナップは1時間毎で、直近の2週間と月1を残し続けています。

現行
メイン機(上記のマシン)
サブ機(rsyncで毎晩丸ごとメイン機のデータを取得。メイン機が壊れた場合の保険)

希望
メイン機をサブに回して、新規で高速なNASを作成したいです。
どのようなファイルシステムを選ぶのが良いか、アドバイスを貰えたらと思っています。

新メイン機は下記のハードを用意しています。
0. Ryzen Pro 1700 or 3600, 2x16GB@3200MEM
1. SataSSD128GB(OS)
2. NVMeSSD512GB(R3年度ファイルを保存する作業フォルダ)
3. CMR8TB(過年度のファイルを保存)
4. CMR8TB(rsyncで2,3番を毎晩バックアップ)

質問
1番はどの鳥が良いでしょうか?現行機はCentOSです
2番は現行機と同じルールでスナップを撮りたいです。fsは何が良いでしょうか?
3番はスナップは不要と思っています。現行機は過年度のデータもスナップ対象でした。

3,4番はext4で構わないと思っていますが、1番の鳥と2番のfsに何を選べば良いかアドバイス貰えると嬉しいです。

よろしくお願いします。

301 :login:Penguin:2021/09/23(木) 06:01:04.99 ID:AxTVswon.net
どんなファイルが多いとか、普段の使い方とか、現状どんな時に不足を感じるかとか、性能測定が必要では?
btrfsから(比較すると機能の少ない)ext4に変更したいというからには細かいファイルが多いのかな?
これまでCentOS使いということはサポート長いほうが良いだろうからDebian系に抵抗なければUbuntuサーバが良いのでは?

302 :login:Penguin:2021/09/23(木) 21:54:34.10 ID:G3mdAv3f.net
CentOS で btrfs つかっていたけど RHEL 系が btrfs のサポートやめちゃったから
別のディストリに移って btrfsを使うか、RHEL系のままスナップショットありの別の
FS に移行するべきかって話でしょ。

4. でバックアップ体制があるなら多少不安定な奴を選択しても良い状態だから
好きなの選べばいいんじゃないかな。
個人的には opensuse で btrfs ってのが一番理解を得られる線だと思う。

303 :login:Penguin:2021/09/23(木) 22:07:57.63 ID:5GvGB4Pa.net
Oracle LinuxにしてUnbreakable Enterprise Kernel使えばbtrfsのサポートを(Oralceが)やってるぞ
サポート申し込まなくても機能としては使える

304 :303:2021/09/23(木) 22:08:53.68 ID:5GvGB4Pa.net
Oracleは好き嫌いが分かれるので、あくまで選択肢の1つとして・・・ということでお願いします

305 :login:Penguin:2021/09/24(金) 09:14:00.18 ID:8pmJ0Xha.net
みなさまありがとうございます。
説明不足がある中で、面倒なこちらの状況を把握して、明快なアドバイスで助けてくださったことに、感謝しています。


SuSEのサーバ利用は私の中で盲点でした。
サーバではOracle含むCentOS代替系が慣れの面で楽だとは思っていましたが、
好きなのを選べば良いと言って貰えると、今回はopensuse+btrfsでやってみます。
SuSEは学生時代に使っていた9.3振りです。大変にありがとうございました。

306 :login:Penguin:2021/09/24(金) 09:51:15.88 ID:dzf13hIH.net
ココ↓は?

https://twitter.com/rokkotsukasa/status/1374706883424968711

https://twitter.com/rokkotsukasa/status/1410902330979979265
(deleted an unsolicited ad)

307 :login:Penguin:2021/09/27(月) 10:11:27.65 ID:8b0UHmE8.net
ddrescue 絡みで以下

$ sudo mount -o subvol=@ /dev/loop0p2 /mnt

$ sudo btrfs scrub start /mnt
scrub started on /mnt, fsid 98d2193c-b09e-4f8b-b78d-dc9ff9906263 (pid=1929)

<< scrub が一瞬にして終わり、

$ watch sudo btrfs scrub status /mnt

$
Every 2.0s: sudo btrfs scrub status /mnt kyo: Sat Sep 25 13:17:40 2021

scrub status for 98d2193c-b09e-4f8b-b78d-dc9ff9906263
scrub started at Sat Sep 25 13:17:35 2021 and was aborted after 00:00:00

<< この行からまったくスクラブしてないことが読み取れる

total bytes scrubbed: 0.00B with 0 errors
次はどうすればよいですか?

308 :login:Penguin:2021/09/29(水) 18:34:19.27 ID:fGc1oPa1.net
windowsでNTFS圧縮したフォルダってlinuxで使うと問題あるのかな?
linuxでNTFSを扱う事にリスクがあるのは知ってるけど圧縮する事でそのリスクがさらに大きくなったりするのかどうか

309 :login:Penguin:2021/10/02(土) 15:29:45.10 ID:kc4v6amD.net
>>308
昔、PC-DOSに標準付属だったFAT16ファイルシステム圧縮ソフトを使ってたが、他のシステムと互換性が無くてファイル交換に困った。
あまり特殊な機能を使うと、Windowsの異なるバージョン間でもファイルの読み書きが出来なくなる可能性が有るから、あまりオススメはしない。
XP時代にあれだけ推していたダイナミックディスクがdepricatedになったみたいにね。
Linuxの事は知らんん。

310 :login:Penguin:2021/10/02(土) 15:31:47.16 ID:kc4v6amD.net
>>308
ZFS等の他のファイルシステムのファイル圧縮機能を使って、Samba等のCIFS系でネットワーク越しに共有するとかでは駄目なの?

311 :login:Penguin:2021/10/02(土) 19:04:03.09 ID:EgCcoSU6.net
NTFS圧縮のどこが特殊な機能だよ

312 :login:Penguin:2021/10/02(土) 20:31:54.58 ID:EB7kVLAn.net
そもそもLinuxのNTFSサポート(特にrw)はリバースエンジニアリングの賜物だし、あんまり信用しない方がいいと思うけどなあ。カーネルモジュールのroで使うのが無難だと思うよ。

313 :login:Penguin:2021/10/02(土) 23:12:43.44 ID:KqC7ziZl.net
こないだMSと契約してて仕様見れる企業がLinux用ドライバ書いてくれたとかなかったっけ?

314 :login:Penguin:2021/10/03(日) 19:44:44.17 ID:2jfRA+HE.net
でもMSが書いてるわけじゃないからねえ。btrfsとか仕様を自分たちだけで決めて実装してるものだって、完璧ではないわけだし、
ファイルシステムは個人的には枯れてることや、トラブルシュートのノウハウの蓄積が重要かなと思う。
まあAPFSを普段使ってて何言ってるんだって感じだが、ユーザーはめちゃ多いからなあ。

315 :login:Penguin:2021/10/04(月) 13:08:55.60 ID:TXzl7kYV.net
>>314 FAT32実装でも完璧になることはほぼないよ

316 :login:Penguin:2021/10/04(月) 19:36:08.93 ID:fn2oJW0l.net
>>315
うん、だからext4とかxfsとかしか使わないよ。
NTFSマウントしたかったらVM経由でCIFSマウントするわ。

317 :login:Penguin:2021/10/21(木) 18:38:36.21 ID:AxEaN9Vn.net
クライアントマシンのルートパーティションをBtrfsからext4に戻してみた
扱い簡単だし日々のバックアップなんかdumpで十分じゃねとか思って

318 :login:Penguin:2021/10/22(金) 00:37:11.94 ID:LPm9gNbQ.net
Fedoraの傾向からすると
今後はバックアップだけじゃなくて高速化でもBtrfsの機能を活用する方向だから
新しいディストリを使うならBtrfsにしておいたほうが良い

319 :317:2021/10/22(金) 07:30:15.12 ID:DPzRrjD6.net
さすがFSスレ住民 未来を見据えてらっしゃる
再フォーマット&データリストアはワケないんで近いうちに出戻りBtrfsやるかも知れないっす

320 :login:Penguin:2021/10/23(土) 04:27:16.95 ID:I1Xbj+ci.net
Facebookの全面協力で安定してきたから
最新のカーネルを扱えるならBtrfsでも良いけど
DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな

321 :login:Penguin:2021/10/24(日) 09:22:16.94 ID:1yf+lTo0.net
Debian11を使用中なんですが、

> DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな
との事なのでZFSを仕込んでみました
https://i.imgur.com/ND3SXwC.png

322 :login:Penguin:2021/10/24(日) 17:47:04.20 ID:lKWonQWJ.net
ZFSはメモリ消費が激しすぎてイマイチでしょ。
最近のBtrtfsのメリットは
Btrfsを前提とした周辺機能が充実してきた事。
例えばFedora35からはソフトウェアの更新がBtrfsで高速化される事になった。

323 :login:Penguin:2021/10/24(日) 19:24:24.84 ID:DfnSHm2O.net
ちょっと前まではbtrfsディスっとけばできる男を演出できてたけど
最近はbtrfsを褒めるほうが有能そうな雰囲気出せる時代になってきたん?

324 :login:Penguin:2021/10/24(日) 19:35:29.46 ID:jhNfOHT2.net
俺は一貫してBtrfsの素晴らしさを讃えてきたので……というのはともかく、風向きが変わってきたなとは思う

325 :login:Penguin:2021/10/24(日) 19:41:59.94 ID:lKWonQWJ.net
昔から壊れるという欠点を除けば素晴らしいファイルシステムだった。
最近のカーネルでその欠点が急速に改善されているからメインでOKという流れ。
FedoraがデフォルトをBtrfsにしたのに阿鼻叫喚になっていないし本当に安定してきてるんだと思うね。

326 :login:Penguin:2021/10/24(日) 20:49:19.85 ID:SkXAlUtd.net
最近のカーネルにCentOS 8の4.18はともかく、debian 11の5.10は含まれないの

327 :login:Penguin:2021/10/24(日) 21:28:44.29 ID:4t2MKVSe.net
ZFSがメモリ食いなんてまだ言ってる人いるんだくらいの感想

328 :login:Penguin:2021/10/25(月) 00:04:16.92 ID:iwYvMRD6.net
カーネル5.4で安定化したらしいからdebian11なら大丈夫じゃない?
それ以降のカーネルでも高速化が入っていたりするから新しいに越したことはないだろうけど

329 :login:Penguin:2021/10/25(月) 00:16:24.92 ID:iwYvMRD6.net
あとは透過圧縮で利用するzstdの改善が5.13で入った
安定面ではなくパフォーマンス面で考えるとカーネル5.10だともったいない気がする

330 :login:Penguin:2021/10/25(月) 05:51:44.96 ID:kkWUslu3.net
ZFSはまあまあメモリ食う時もあるけどあまり気にした事ないな
心配ならARC制限すればいいし
Btrfsはパフォーマンスが上がるのか
個人レベルでは問題視する様な不具合は見てないし今後がますます楽しみ

331 :login:Penguin:2021/10/25(月) 06:45:49.20 ID:ZAX3MeqU.net
>>329
知らなかったから調べてみたらBtrfsでzstd圧縮を利用している場合5〜15%パフォーマンスアップとあるね。必須とまでは言わないけど、あれば嬉しい感じ

332 :login:Penguin:2021/10/25(月) 09:40:15.48 ID:qncdQ78l.net
ext4でcrc32c_intelが有効になっているか確認する方法ありますか?
カーネルモジュールは組み込まれていて、
dumpe2fs -hで見ると、crc32cとだけ表示されています。
intelの使ってるのでしょうか…?

333 :login:Penguin:2021/10/25(月) 12:08:31.07 ID:FE+vN1GH.net
https://wiki.archlinux.jp/index.php/Ext4#.E3.83.A1.E3.82.BF.E3.83.87.E3.83.BC.E3.82.BF.E3.83.81.E3.82.A7.E3.83.83.E3.82.AF.E3.82.B5.E3.83.A0.E3.82.92.E6.9C.89.E5.8A.B9.E5.8C.96.E3.81.99.E3.82.8B
https://ext4.wiki.kernel.org/index.php/Ext4_Metadata_Checksums

334 :login:Penguin:2021/11/07(日) 02:36:58.41 ID:/DYcsXrN.net
今やwindowsでもBtrfsは使えるんやで
https://github.com/maharmstone/btrfs

335 :login:Penguin:2021/11/09(火) 11:16:06.66 ID:C2t7c7MT.net
EXT4って巨大ファイル(数十GB〜数百GB)のファイルを削除しようとしたらめちゃくちゃ遅くない?
ずっと前からそうで久々に新しいシステムセットアップして最近は改善されたかな?と思ったけど同じだった

336 :login:Penguin:2021/11/09(火) 20:10:11.07 ID:os//3YxP.net
ext3じゃなくて?

337 :login:Penguin:2021/11/09(火) 22:15:53.46 ID:C2t7c7MT.net
ext4でもそうなんだよな

338 :login:Penguin:2021/11/10(水) 12:55:17.02 ID:Gmm1clxh.net
inodeに削除フラグ立ててるだけならおかしいよね
SSD のハードウェア側で何か処理が行われているのかな

339 :login:Penguin:2021/11/10(水) 18:23:09.04 ID:NkSwIMlY.net
まさかマウントオプションでTrim有効にしてないか?

340 :login:Penguin:2021/11/10(水) 20:25:56.39 ID:HeWruaDL.net
ext4は昔からNTFSと比べると削除は遅いよ

341 :login:Penguin:2021/11/12(金) 21:57:58.67 ID:9wzH1mCG.net
On-Disk Format Changes Ahead To Improve "Painful" Parts Of Btrfs Design

https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Improving-Painful-Parts

そろそろ安定してきたっぽいからbtrfsに乗り換えようかと思ってたけど
来年Disk Format変わるのかよ……

342 :login:Penguin:2021/11/13(土) 01:26:17.24 ID:e0PvumLs.net
そうだとしても乗り換えてOKでしょう
Fedora34でBtrfsにして35へのアップグレードも済ませたけど相変わらず安定だよ
即座に壊れたカーネル4.xx時代とは大違い

343 :login:Penguin:2021/11/13(土) 01:29:53.82 ID:e0PvumLs.net
Fedoraが透過圧縮有効のBtrfsをデフォルトにして問題なしだから
カーネルさえ新しければデスクトップ用途ではまず問題は発生しないと思う

344 :login:Penguin:2021/11/13(土) 02:04:13.93 ID:GWxfAFmk.net
Fedora の方がRedhatの見立てより正しかったのか。
xfs Cow を頑張るべきかで楽しみ増えたね。

345 :login:Penguin:2021/11/13(土) 02:17:42.38 ID:jL/cp8Sk.net
見立てが正しいとかじゃなくて性質の違いじゃないかなあ。
半年ごとに新しいバージョンが出て、サポート期間が1年のものと、
10年近くサポートしなければいけないものでは、物事の決定が大きく変わるよ。
Fedoraで徹底的にbtrfsのバグを潰して、RHELに再導入したいんじゃないかな。
ちゃんと動くなら、btrfsはどう考えてもRHELの売りにはなるから。

346 :login:Penguin:2021/11/13(土) 02:20:55.49 ID:e0PvumLs.net
RHELは単純にRedHatの従業員にBtrfsのメンテナが居ないという理由だったはず。
Btrfs側にパッチを当てる権限がないと商業利用でメインに据えるのは難しい。

347 :login:Penguin:2021/11/14(日) 01:41:15.55 ID:05NxiEGH.net
bcachefsを使ってる方いますか?使い心地を伺いたく。
たまにしか使わないvmを、使うときはssdの速度、保存は大容量のhdd、といいとこ取り出来たらいいなと思ったので。

348 :login:Penguin:2021/11/14(日) 22:17:45.69 ID:8yaYENO9.net
Bcachefsはやめときな。
開発が事実上個人に依存している上に
Btrfsが安定化した今となっては存在意義が薄れてる。

349 :login:Penguin:2021/11/14(日) 22:53:51.95 ID:9NKXbiYN.net
BcacheFSの作者にはPatreonで投げ銭してたけどBtrfsが普通に快適で順調に安定性も上がってるようだったから投げ銭止めちまったな。

350 :login:Penguin:2021/11/15(月) 22:07:17.58 ID:4zDn1QCD.net
>>348
>>349
ありがとうございます。
このスレでも使われてなさそうで、常用はまだまだという感じました。
大人しくメインライン入りを待ちます。

351 :login:Penguin:2021/11/16(火) 02:02:48.51 ID:jPDcGScd.net
いや、メインライン入りしても使わないほうがいい
Bcachefsはリソースが足りてないから常用はまだまだというか多分無理
素直に安定化したBtrfsを利用するのがおすすめ

352 :login:Penguin:2021/11/18(木) 03:36:45.41 ID:qTns37yC.net
結局のところBtrfsの圧縮はlzoかzstdどっちがいいのか教えて偉い人

353 :login:Penguin:2021/11/18(木) 04:04:50.86 ID:15FxU4NQ.net
>>352
zstd:1一択
FedoraチームがCPU使用率と圧縮率のバランスから検証した結論
自分も1年以上zstd:1で運用してるけど快適そのもの

354 :login:Penguin:2021/11/18(木) 06:57:17.00 ID:yAyQZrWM.net
マジか。長らくlzoだったけどzstdにするかな?
RaspberryPi4な自宅ファイルサーバだからCPU弱いけど

355 :login:Penguin:2021/11/18(木) 10:07:14.65 ID:kJ0Z9QmQ.net
zstdが進化しすぎてlzoはもはや存在意義がない
圧縮率、圧縮速度、解凍速度、全てでzstdが上回ってる
しかもzstdは未だにアルゴリズムの改善による高速化が続いてるから差は広がるばかり
強いて弱点を挙げるなら古いカーネルとの互換性くらいかな

356 :login:Penguin:2021/11/18(木) 10:20:13.51 ID:PS7LS2tl.net
zstdの圧縮アルゴリズム自体が負荷が少なくて
しかも圧縮率でもほぼ全てのケースで
gzipとかの系統の圧縮方法より縮むみたい
(さすがにlzoよりは多少負荷かかるだろうけど)

将来的にgzip使ってるとこをを完全に置き換えそう
自分でもarm系の非力な環境でtarに使ってると
時間ベースで倍以上早い感じ

357 :login:Penguin:2021/11/18(木) 12:17:53.39 ID:vBDA9b/+.net
開発中の5.16カーネルでZstd更に速度アップ(四年前のコードが新しく)

358 :login:Penguin:2021/11/18(木) 13:05:16.60 ID:ePhyqPG7.net
今fstabでcompress=lzoとかしてるんだけど、既存のファイルは別に今すぐzstdにしなくていいけど今後作られる新規のファイルとかはzstdで圧縮してほしいと思ったらcompress=zstdにするだけでいいの?

359 :login:Penguin:2021/11/18(木) 13:12:53.19 ID:KkteLCRf.net
上記に書かれてるのはcompress=zstd:1かな。
自分はcompress-force=zstd:1にしてる。
zstdはアルゴリズム自体に圧縮の可否の判定コードが組み込まれているから
compress-forceでも問題ないらしい。(実際に使ってるけどデメリットは感じない)

360 :login:Penguin:2021/11/18(木) 13:23:27.34 ID:GASrRsZg.net
BtrfsもZstandardもFacebookが本番環境でゴリゴリに利用しながら開発協力してるから進化が早いね

361 :login:Penguin:2021/11/19(金) 00:01:05.30 ID:olu0IGqg.net
リーナスがbtrfsの時代を見越して特権でマージしてからはや12年
やっといい感じになったのか
一時期の停滞はなんだったんだろうな

362 :login:Penguin:2021/11/19(金) 02:04:08.97 ID:zywWlpj/.net
compress-forceはやめたほうがいいぞ
画像や動画や音声みたいにすでに圧縮されていて圧縮する意味がないファイルまで圧縮するから

363 :login:Penguin:2021/11/19(金) 02:21:10.12 ID:9V6nr5YI.net
だからそれをzstdなら自動で判定してくれるって話なんじゃないの?
俺はcompress=zstdにしてるけど

364 :login:Penguin:2021/11/19(金) 03:24:10.20 ID:jLZ82X+D.net
>>362
zstdなら自動判定で圧縮出来ないファイルは無視するから大丈夫だよ
compress-force=zstd:1でこんな感じ
https://i.imgur.com/G535ZqH.png

365 :login:Penguin:2021/11/19(金) 07:22:27.39 ID:9u0Wrd2T.net
forceとはいったい……

>>364
そんなの見れるんだ、コマンド教えて

366 :login:Penguin:2021/11/19(金) 14:45:20.50 ID:KKx0Rm7F.net
zstd以外の圧縮形式だと本当に全部圧縮する
zstdは賢いからforceで問題ない

>>365
https://github.com/kilobyte/compsize

367 :login:Penguin:2021/11/19(金) 16:59:38.83 ID:9u0Wrd2T.net
>>366
おー、Debianにもパッケージあるし、見れた。ファイルサーバで試したら思ってたよりすげー圧縮してたわ。
ありがとう。

368 :login:Penguin:2021/11/19(金) 22:14:57.88 ID:dMVwvFav.net
まじでここ最近のBtrfs進化凄まじいな
圧縮によってSSDが長持ちする効果も。
個人ユースレベルの話だけど、fedora34、35と使っててトラブルなし

>>366
横からですがGJ!

kernel 5.16でbtrfsパフォUP
ttps://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Linux-5.16

369 :login:Penguin:2021/11/21(日) 14:51:49.00 ID:bYykWTis.net
qemuイメージをbtrfs上で使う場合、どのような方法がオススメでしょうか? thin provisipningが目的で、qcow2自体のsnapshotや圧縮は使っておりません。
・qcow2+nocow(btrfs)
・raw+cow(btrfs)
・raw+cow(btrfs)+compress(btrfs)
・raw+nocow(btrfs)
・その他など

370 :login:Penguin:2021/11/21(日) 16:13:24.94 ID:shHqGKFO.net
thin provisioningがディスク容量の削減を指すんだったら
qcow2の圧縮にzstdを使ったら「初期イメージは」RAWの
20%以上ぐらい?まで縮んだなあ…
debianインストール済みイメージで、/はext4、ディスク使用量
約2GBで、イメージサイズは300MB台だった記憶
インストールして初期イメージ作成までは一旦RAWで作って、
空き容量いっぱいにddでzero埋めファイルを作ってから削除、
それからqcow2変換ってことをしたけど

371 :370:2021/11/21(日) 16:25:51.92 ID:shHqGKFO.net
圧縮方式はデフォルトでzstdは勘違いだった

372 :login:Penguin:2021/11/21(日) 21:17:36.62 ID:a95bCROj.net
牛さんパワーktkr

373 :login:Penguin:2021/11/22(月) 03:14:17.87 ID:Sspgrqlg.net
うーん、btrfs上のqcow2はcowだとパフォーマンス劣化が激しいという記事や、btrfs NOCOW filesにはchecksumや圧縮が効かない?ようなんですよね。。
https://btrfs.wiki.kernel.org/index.php/Compression#How_does_compression_interact_with_direct_IO_or_COW.3F
ならば、cowや圧縮はqcow2ではなくbtrfsに任せるよう、rawが良いのかなと考えたのですが、ネットに事例見当たらず、考え違いしてないか気になりまして。。

374 :login:Penguin:2021/11/22(月) 10:33:10.09 ID:tMXPzEWO.net
自分は/homeとか/varとか、書き換え頻度の高そうな
マウントポイントだけ分離するために別のRAWイメージファイルを
作成して、メインのqcow2イメージとは別に
追加でマウントとかしてた
例えばqemu内のfstabでは sdb1を/var とか sdb2を/home とか

頻繁に書き換えのあるディレクトリだけを
別のディスクイメージにまとめて、/のファイルシステム上では
そこへのシンボリックリンクにしてしまってもいいかも

375 :login:Penguin:2021/11/22(月) 10:35:56.55 ID:tMXPzEWO.net
redditでちょうどそんなこと議論してるスレッドがあった
https://www.reddit.com/r/btrfs/comments/fcntc6/qcow2_on_btrfs_performance/

これ読んで、Btrfs上でなら自分はこうするかも
・Btrfs上でqemuイメージ専用のサブボリューム作成
  ・そのサブボリュームはマウントオプションでCoW無効・圧縮無効
・/以下メインのディスクイメージはqcow2
   ・一旦RAWイメージで環境をインストールして安定させてからqcow2変換
・/home, /varほか用に同じサブボリューム内に別でRAWディスクイメージを作成
  ・こっちは chattr +c <RAWイメージファイル> で個別にBtrfs圧縮だけ有効

376 :login:Penguin:2021/11/22(月) 23:15:14.86 ID:Sspgrqlg.net
みなさん、アドバイスありがとうございます。
rawにした方がパフォーマンスはいいけど、qcow2の方が他のメリットがあるから?使う人が多いような印象を受けました。
rawを試してみようと思います。

377 :login:Penguin:2021/12/11(土) 15:09:53.92 ID:uaIAfbTU.net
Btrfsは開発が活発で気持ちいい
https://btrfs.wiki.kernel.org/index.php/Changelog
これなら最新カーネルを使おうという気になるね

378 :login:Penguin:2021/12/11(土) 16:21:22.87 ID:QzQGI3Jf.net
いやならないけど

379 :login:Penguin:2021/12/12(日) 08:17:39.09 ID:cpwBL7PZ.net
使ってみようかなという気にはさせるねバター FS
新しいハードディスク買ったんだけど今回は zfs から変えてみた

380 :login:Penguin:2021/12/12(日) 20:35:12.39 ID:vXaeyJFG.net
「Btrfs」って「バター FS」って読むの?
「ビートゥリーFS」って読んでたや

381 :login:Penguin:2021/12/19(日) 17:24:06.42 ID:mSL3klp3.net
Windows機からLAN経由でLinux機の共有フォルダにアクセスした場合に
Linux機の共有フォルダがext4でフォーマットしてあるHDD上に作られているにも関わらず
Windows機側から問題なく読み書きできるのは何故なのでしょうか?

Windows機にはサードパーティ製のext4ドライバをインストールしていないので不思議です

382 :login:Penguin:2021/12/19(日) 17:48:44.26 ID:M0LazKhz.net
ext4じゃなくてCIFSを読んでいるからです

383 :login:Penguin:2021/12/19(日) 18:01:02.94 ID:mSL3klp3.net
>>382
レス有難う御座います
てっきりデフォルトのWindowsがext4を読めるようになったのかと思っていました
Windows機とLinux機で使えるように外付けHDDをext4でフォーマットしようと思ったのですが無条件では無理なんですね

384 :login:Penguin:2021/12/20(月) 00:14:48.35 ID:zMHkIVHO.net
>>381
sambaはSMBを喋るからね

385 :login:Penguin:2021/12/21(火) 00:41:30.48 ID:VORHfyX5.net
ここ1ヶ月ほどでbtrfsのエラーが急に増えたのですが、このエラーの直し方ご存じの方いますか?
デバイスはWDS512G1X0C nvmeです。

Dec 20 10:24:57 xxx kernel: BTRFS warning (device nvme0n1p4): csum failed root 257 ino 284 off 101092372480 csum 0x3423b0e6 expected csum 0xb17c434b mirror 1
Dec 20 10:24:57 xxx kernel: BTRFS error (device nvme0n1p4): bdev /dev/nvme0n1p4 errs: wr 0, rd 0, flush 0, corrupt 1453, gen 0

$ sudo btrfs dev stat /disk/btrfs_nvme0n1p4
[/dev/nvme0n1p4].write_io_errs 0
[/dev/nvme0n1p4].read_io_errs 0
[/dev/nvme0n1p4].flush_io_errs 0
[/dev/nvme0n1p4].corruption_errs 1457
[/dev/nvme0n1p4].generation_errs 0

386 :login:Penguin:2021/12/21(火) 06:10:52.48 ID:TC2x/Bp/.net
それ破損エラーたけど
SSDが壊れているのでは?

387 :login:Penguin:2021/12/21(火) 08:17:40.23 ID:Ll1T4oMZ.net
ZFSの機能について質問させて下さい
スナップショット・ブックマーク・チェックポイント それぞれどういうものでどう機能するのでしょうか
今のところバックアップや有事のrollback等、スナップショット機能+sendくらいでニーズは満たしてはいるのですが

>>385
$ sudo btrfs dev stats -z /disk/btrfs_nvme0n1p4 でステータスリセット後にscrub
それでも同様になるならストレージ交換を推奨

388 :login:Penguin:2021/12/21(火) 08:38:54.22 ID:4osIJ+cx.net
エラーが急に増えた、とかいうことはまだ読めるんじゃないか
それだったら先にデータをバックアップしたほうが良くないか?

389 :login:Penguin:2021/12/21(火) 08:45:40.45 ID:Ll1T4oMZ.net
それもそうですね
dev stats 使える人ならばたぶんバックアップのやり方も知っているでしょう

390 :login:Penguin:2021/12/21(火) 11:05:51.12 ID:LG40fTb8.net
そもそもファイルシステム関係あるの?

391 :login:Penguin:2021/12/21(火) 11:43:39.02 ID:Zj9XuLmV.net
どっちかと言えばハードウェアの領域か

392 :login:Penguin:2021/12/21(火) 20:19:44.01 ID:VORHfyX5.net
>>386,387,388
アドバイスありがとうございます。
エラーはhw故障の可能性でしたか。。
バックアップは取りました。
btrfs scrub、試して様子見てみます

393 :login:Penguin:2022/01/30(日) 16:43:37.08 ID:YDeubZLZ.net
385 (369)です。
btrfsのcorruption_errですが、原因が(多分)判明したので報告します。
原因はDirectIOだった様です。
ttps://www.reddit.com/r/btrfs/comments/pwkkmj/comment/hepr7ct/?utm_source=share&utm_medium=web2x&context=3
ttps://www.spinics.net/lists/linux-btrfs/msg25940.html

394 :login:Penguin:2022/01/30(日) 16:44:46.57 ID:YDeubZLZ.net
自分の場合、qemuでWindows guestをqcow2 image(NoCoW,nocomp)、cache mode=none で使っており、raw(CoW,comp)に変更した後もcache mode=noneのままでした。writebackにしたらcorruption_errが発生しなくなりました。
btrfsのDirectIOは、NoCoWでは問題ないが、CoWだと問題がある(?)ようです。
ttps://lwn.net/Articles/442355/
ttps://bugzilla.redhat.com/show_bug.cgi?id=1914433#c19
ファイルシステムのDirectIOを使う際は、Stable pages(?)もチェックしておく必要があるということを初めて知りました。。

395 :login:Penguin:2022/01/30(日) 16:59:25.31 ID:YzatN2Pg.net
btrfsのDirectIOについては、ttps://btrfs.wiki.kernel.org/index.php/Gotchas#Direct_IO_and_CRCs に記載されてました。

396 :login:Penguin:2022/02/22(火) 03:39:13.71 ID:2ssZI16J.net
$ timeshift-launcher &
で あるスナップショットで 非共有サイズが109メガバイトだとして、具体的に以前の状態からどんな変更をくわえたかの
具体的情報は、どうすればわかるのでしょうか?

397 :login:Penguin:2022/03/11(金) 19:30:11.42 ID:+/x0RjOc.net
OpenZFS 2.1.3 Released With Many Fixes - Phoronix
https://www.phoronix.com/scan.php?page=news_item&px=OpenZFS-2.1.3

398 :login:Penguin:2022/03/12(土) 21:51:56.02 ID:Rf7pMd17.net
TimeshiftでRsyncでバックアップしたのですが、
RestoreしようとするもInvalid argumentと出てRestore出来ません。
TimeshiftみたいなのってVPSでは使えないものなのでしょうか?
ちなみにbtrfsでフォーマットされたパーティションです…

399 :login:Penguin:2022/03/13(日) 02:14:25.83 ID:/q/1mXoW.net
引数間違ってるって書いてるやん
間違えてるんでしょう

400 :login:Penguin:2022/03/14(月) 07:02:05.97 ID:S1lHKHAK.net
>>397
更新内容
Release zfs-2.1.3 ・ openzfs/zfs ・ GitHub
https://github.com/openzfs/zfs/releases/tag/zfs-2.1.3

401 :login:Penguin:2022/03/17(木) 08:17:01.36 ID:Xqtw5Hi8.net
うちは全てのマシンにUPSをおごる金など無い
昨日の大規模停電は図らずもファイルシステムの信頼性を確認する出来事となった
電力回復後fsck的なものも走らず復旧するZFS・Btrfs つよい

402 :login:Penguin:2022/03/17(木) 23:23:35.45 ID:fuiYI/4E.net
Debian ではいつインストーラーにOpenZFSを付けてくれるんだろ。
https://wiki.debian.org/ZFS
xfs に関しては、上記のwikiには記載ないとかドキュメント化で差があるけど。

403 :login:Penguin:2022/03/18(金) 00:47:17.84 ID:yCqU+awR.net
mainパッケージ入り出来ないうちは無理なんじゃね

404 :login:Penguin:2022/03/21(月) 21:55:13.33 ID:RpudRr3o.net
Btrfsについにブロック単位での重複排除が来た
https://github.com/Zygo/bees

405 :login:Penguin:2022/03/21(月) 23:05:41.80 ID:NkBSbpzk.net
マジ!!?

406 :login:Penguin:2022/03/21(月) 23:23:12.49 ID:PMPLxowA.net
キタ━━━━(゚∀゚)━━━━!!

407 :login:Penguin:2022/03/21(月) 23:59:22.85 ID:FOQLXsvF.net
ユーザースペースのなら前からあったような

408 :login:Penguin:2022/03/23(水) 06:35:53.49 ID:W+gk/0wT.net
10TBあたりわずか1GBのハッシュテーブルを使用できます
ファイルシステム全体の重複排除-スナップショットを含む
btrfs圧縮で動作します-圧縮ファイルと非圧縮ファイルの任意の組み合わせを重複排除します
デーモンは、btrfsツリー検索を使用して新しいデータを段階的に重複排除します
シャットダウン後の迅速な再起動のための永続的なハッシュテーブル
データセットが大きくなってもRAM使用量は増加しません
ライブで動作します-スケジュールされたダウンタイムは必要ありません

おいおい神か!?
もうzfsを使う理由がなくなってきたな

409 :login:Penguin:2022/03/23(水) 08:43:47.82 ID:oNwCL5VO.net
raid6はいつ安定しますか…?

410 :login:Penguin:2022/03/27(日) 14:09:56.65 ID:BHPkkIfn.net
>>408
> データセットが大きくなってもRAM使用量は増加しません

これってZFSだとメモリ食うやつだよね?
ZFSしか使ったことないけど次は調べてbtrfsするかな

411 :login:Penguin:2022/04/11(月) 13:31:32.14 ID:28SRxXFF.net
ext4でいいじゃん・・・

412 :login:Penguin:2022/04/11(月) 16:02:18.94 ID:hvOblzS0.net
Fedoraで2年間Btrfsを圧縮有効にしてtimeshiftも使ってるけど一切不安定になったことがない。
以前にDebianでBtrfsを試して即座にデータが吹き飛んだ頃と比べると相当安定してきたと感じてる。
最新のカーネルを使えるなら今はBtrfsが第一選択肢でもいいんじゃないかな。

413 :login:Penguin:2022/04/11(月) 17:23:02.02 ID:1RMzXaNK.net
・空き容量が不正確
・空き容量カツカツでの運用は非推奨
・scrubを定期的に実行しないといけない
・vmイメージの置き場所にはあまり適さない
・ext4と比べると容量食い
ってな感じのことを聞いたんだけどほんと?

414 :login:Penguin:2022/04/11(月) 18:48:41.13 ID:WGF5H3C+.net
・btrfsユーティリティが正確な容量を教えてくれる
・空き容量カツカツは大抵のフォイルシステムで非推奨じゃね?
・定期実行しなくても問題出ない
・VMイメージの置き場所には適さないけどオプション指定があったような
・透過圧縮もあるのでむしろ食わない

415 :login:Penguin:2022/04/11(月) 19:57:21.84 ID:HZzXsyjN.net
・ちんちんシュッ!シュッ!シュッ!

416 :login:Penguin:2022/04/11(月) 20:23:34.01 ID:sEAd7XzV.net
イメージ置くならlvm推奨、raid5,6使うならdevice-mapper推奨、quota使うならxfs推奨

417 :login:Penguin:2022/04/11(月) 21:07:01.93 ID:/rTzXMzJ.net
VMイメージやDBファイルについてはCoWを無効化した方が良いとArchWikiにあるな
ファイルやディレクトリ単体で無効化できる模様

418 :login:Penguin:2022/04/12(火) 16:02:03.24 ID:OdAks5dN.net
自動でその設定してくれんかな
sqliteとか多すぎて手動で設定するの大変だよ

419 :login:Penguin:2022/04/12(火) 16:16:50.72 ID:8C6toS04.net
パフォーマンス追求するケースの話であって一般的にはそこまで困らんでしょ

420 :login:Penguin:2022/04/12(火) 20:03:02.55 ID:XoxKNETm.net
>>417
chatter +C dir
だけで良いのでしょうか?

421 :login:Penguin:2022/04/12(火) 23:40:33.09 ID:urXgeN0C.net
CoWを無効にすると圧縮も無効になるから一長一短だよ

422 :login:Penguin:2022/04/13(水) 07:21:15.65 ID:ELY+bluI.net
多少性能低下するだけだしVMディスクイメージはCOW有効化するな
無効化したらスナップショットからのお手軽ロールバック出来なくなるし

423 :login:Penguin:2022/04/13(水) 10:08:48.71 ID:fv2dkzRd.net
スナップショットをVM Consistentでとれる確証がなければ、やめておいた方がいいよ

424 :login:Penguin:2022/04/13(水) 14:29:58.02 ID:hXXP1Y6R.net
>>413
・ツール類に信頼がおけない

EXT4の感覚でUUIDを変更したら
特に警告等なく完了したがその後エラーを検出してファイルにアクセスできなくなった

425 :login:Penguin:2022/04/13(水) 14:47:06.35 ID:hXXP1Y6R.net
>>413
空き領域まわりは強いクセがあるな
btrfsの場合は常に5GB以上は空けておかないと安心できない

btrfsは未使用領域を"chunk"と呼ばれる1GB(公式の説明)のブロックで切り出してから書き込むが
切り出すときに用途を固定してしまう(実データ・メタデータ・システム)
全ての未使用領域を切り出したあとにメタデータ領域が枯渇すると実データ領域に空きがあっても一切のファイル操作ができなくなる

ファイルの削除は可能だが空き領域が回復しないことも多い
メモリ上では削除成功したことになってもディスク上ではメタデータの更新に失敗するため
こうなったら復旧するには特殊な手順が必要になる

426 :login:Penguin:2022/04/13(水) 14:51:31.77 ID:hXXP1Y6R.net
NTFSはフォーマット時にメタデータ領域を切り出すが
空き領域が枯渇するとメタデータ領域を実データ用に転用したり、メタデータ領域を拡張する仕組みがあるので
最後まで表示通りに書き込みができる
その代わり断片化が激しくなる

427 :login:Penguin:2022/04/13(水) 15:32:39.16 ID:dVO4/n+j.net
なる
パフォーマンスを取るか緩く安定を取るかみたいなもんか

428 :login:Penguin:2022/04/13(水) 15:33:43.53 ID:+IAQCF5I.net
空き容量はメタデータ云々といよりスナップショットの関係だよ
スナップショット取ってる場合には、削除が空き容量の増加にならないからという単純な話
スナップショット使ってないパーティションで何度も空き容量不足になってるけど一度も壊れた事はない (カーネル5以降の話)

429 :login:Penguin:2022/04/16(土) 14:26:12.78 ID:tF/izOz2.net
サーバーはともかく
デスクトップPCならBtrfsに切り替えても問題ない頃合いだね
Fedoraがデフォルトにしてしばらく大きな不具合は見つかってないし

430 :login:Penguin:2022/04/16(土) 16:04:38.05 ID:t4vxTGvP.net
なんかええんかそれ

431 :login:Penguin:2022/04/16(土) 16:22:16.47 ID:y438Thu7.net
レッツビギン 使ってみればわかるさきっと

432 :login:Penguin:2022/04/16(土) 17:45:27 ID:4lwQorlw.net
未だに10年前と同じ感覚でbtrfsを語ってる人たまに居るよね
くっそ古いカーネル使ってるならその認識で合ってるかもしれないけど

433 :login:Penguin:2022/04/16(土) 17:52:11 ID:nOVJDdzD.net
ファイルシステムはカーネルバージョンでガッツリ変わるからな
btrfsだけでなくext4やxfsも変わってる

434 :login:Penguin:2022/04/16(土) 17:53:43 ID:y438Thu7.net
怖いのはFS信頼性よりヒューマンエラー(ヒューマンとは俺自身含む)と思ってる
有事への備えさえしておけば先進のFSでも大丈夫
ラズパイですら再フォーマット無しにほぼ放置で2年ちょっと経過

435 :login:Penguin:2022/04/16(土) 19:32:29 ID:b4hVpIAm.net
今でこそBtrfsを愛用しているけど
カーネル4.xx時代はヒューマーンエラーとかいうレベルじゃない不安定さで使い物にならなかったよ
前兆なしでサルベージすら不可能な壊れ方するからヤバかった

436 :login:Penguin:2022/04/16(土) 19:47:51.64 ID:y438Thu7.net
使用開始時はさすがにおっかないFSだと言う認識はあった
当時のラズパイOSのカーネルはよく覚えてないけど5.4.*とかだったかなぁ

ラズパイでの試験運用開始時は十重二十重にスナップショット取ったり
日時バックアップしたりを欠かさなかった

437 :login:Penguin:2022/04/16(土) 20:07:09 ID:b4hVpIAm.net
調べるとBtrfsは丁度カーネル5.4から安定してきたらしい
確かにそのくらいからBtrfsユーザーの阿鼻叫喚が鳴りを潜めた気がする

438 :login:Penguin:2022/04/16(土) 20:15:32.08 ID:y438Thu7.net
「ラズパイだからいいややってみよ バックアップも取るし」くらいの安易な気持ちだったのを覚えている
運が良かったのか引きが強かったと言えるのかわからんけど特にFSが飛ぶ事も無く現在に至る
使用開始後調子に乗ってPCでも使い始めるまでにそれ程時間はかからなかった

439 :login:Penguin:2022/04/16(土) 20:41:33.26 ID:ALi/F0DO.net
ふっるいカーネルと言われると3とか4あたりを想像するわ
5.4ってまだ2〜3年前くらいじゃね

440 :login:Penguin:2022/04/16(土) 20:54:53.45 ID:Cxdwk3KI.net
従って今日はそのふっるいカーネルの感覚で語ってる者はいないと言う事だな

441 :login:Penguin:2022/04/17(日) 00:25:54.64 ID:FWZKWgiO.net
Fedoraはdnfインストールでreflinkを扱ったりと
既にBtrfsの利用を前提とした周辺ソフトウェアの最適化に取り組んでたりするから
他のディストリにも成果が流れてBtrfsがデフォルトになっていくだろうね

442 :login:Penguin:2022/04/17(日) 01:51:38.91 ID:XLgIjm9T.net
ZFS みたいにメモリが沢山ないとパフォーマンスが出ないみたいな低スペ野郎は使えない制限はBtrfsにはないんですか?
ext4 と比べるとディスク容量は少し食うみたいですが。

443 :login:Penguin:2022/04/17(日) 03:03:00.73 ID:FWZKWgiO.net
XfsでCoW有効にした時にはメモリ食いすぎて常にカツカツだったけど
Btrfsは省メモリで特にロースペに厳しいとかはないね
透過圧縮も普通に有効にしてる

444 :login:Penguin:2022/04/17(日) 15:47:14.78 ID:xi4dvUYy.net
btrfsもそれなりにスペック依存性あって、
職場NASをHP ProLiant MicroServer(Athlon II NEO N36L)から
Ryzen 5 Pro 3600自作機に更新したらメチャ早くなった。どっちもCentOS7。

なので試しに自宅NAS(4HDD@UbuntuServer)を200GEから2400Gに変更したら早くなったので、
今は欲を出して余りHDD全部(4x3.5CMR, 4x2.5CMR, 1x3.5SMR)を繋ごうと考えてSATAカード物色中。

445 :login:Penguin:2022/04/17(日) 19:40:20.31 ID:o3E9K/21.net
BtrfsというかZstdの進化が凄まじいから
なるべく最新のカーネルを扱えるディストリの方がいいよね
今だと公式にBtrfsをデフォルトにしてるFedoraがベストかな

446 :login:Penguin:2022/04/17(日) 19:51:44.94 ID:o3E9K/21.net
Btrfsのカーネル選び
5.4〜 安定化(事実上これ以前は非推奨)
5.16〜 Zstd圧縮のパフォーマンスが大幅に向上
Ubuntu 22.04でもカーネル5.15だから入れ替えないならFedoraしかない
本格的な普及はサーバー向けの定番ディストリに5.16が降りてくる来年以降かな

447 :login:Penguin:2022/04/18(月) 00:12:22.45 ID:H/gUmSKT.net
ほなCentOS Stream使いましょうねえ

448 :login:Penguin:2022/04/18(月) 00:46:36.56 ID:7pkk+FE/.net
>>447
先生、質問です。
CentOS Stream はインストーラがBtrfsに対応していますか?
RHEL が Btrfs を利用しないとインストーラに出てこない気がしました。

449 :login:Penguin:2022/04/18(月) 01:32:56 ID:xB+OMS2q.net
インストーラが対応してないどころかbtrfs-progsのパッケージもないしそもそもカーネルが対応してない
自分でビルドして入れれば使える

450 :login:Penguin:2022/04/18(月) 18:36:05.91 ID:pP5e1xMZ.net
先生スパルタ過ぎませんか…?

僕はArchで行きます

451 :login:Penguin:2022/04/18(月) 18:51:32.65 ID:JAVvjsLe.net
CentOS Stream だと、/ に一式インストールした後、カーネルのリビルドして、必要なパッケージ入れて分ける予定のパーティションはその後フォーマットして色々移動させてから、残りは btrfs-convert でext4 から Btrfs に変換するんかな。

452 :login:Penguin:2022/04/18(月) 19:19:47 ID:WCMNsdhx.net
昔はデスクトップでArch使ってたけど
BtrfsやZram等、結果的にFedoraのデフォルト構成に近い部分が多くなって
だったら最初からFedoraでいいじゃんと思って以来ずっとFedoraだな

453 :login:Penguin:2022/04/20(水) 08:15:50.77 ID:4V340LVP.net
今、透過的圧縮対応のファイルシステムって何が主流なんですか
バターFSですか

454 :login:Penguin:2022/04/20(水) 20:01:34 ID:Z3bbGBjd.net
デスクトップ用途だとFedoraのデフォルトインストール設定が
Btrfs+zstd圧縮だから圧倒的にBtrfs
サーバーだと実績を考えてまだ無難なZFSで動かしてるケースが多いんじゃないかな

455 :login:Penguin:2022/04/20(水) 20:25:16.48 ID:EEBifDNl.net
ZFS ハードル高いのとRHELはxfs、Debianはext4 だと思うけど。

456 :login:Penguin:2022/04/20(水) 20:39:53.00 ID:fQvTkgaj.net
xfsはRedHatがBtrfs駄目だからって言ってCOW持ち込んだらすげーぶっ壊れになったり、32bit環境で致命的なバグ出した事あったり、急に鉄板ハイスピードFS扱いになったりととにかく評価が安定しないイメージ

457 :login:Penguin:2022/04/20(水) 22:02:13.27 ID:ZDR7sTAh.net
RedHatは社内にBtrfsのメンテナがいないから導入予定はないらしい
Btrfs側のバグが原因で不具合発生した場合にRedHatで解決できないのが理由かな

>>455
透過圧縮の話題だぞ

458 :login:Penguin:2022/04/20(水) 22:04:48.14 ID:Myq2ka8B.net
ちんちんシュッ!シュッ!シュッ!

459 :login:Penguin:2022/04/20(水) 22:06:29.81 ID:Qm6iTfJp.net
Redhatクラスの会社はエンジニアが必要ならいくらでも雇えると思うけど、そもそも市場にbtrfsのメンテできるエンジニアがほとんどいないとかなんかな
まぁしょうじき政治的な理由な気がする

460 :login:Penguin:2022/04/20(水) 22:20:36.07 ID:0X67q2nR.net
自宅だと最新kernel追えるが、職場だと怖いね

461 :login:Penguin:2022/04/20(水) 22:38:36.47 ID:ZDR7sTAh.net
>>459
RedHatの言うメンテナってのは本家のコードへのコミット権を保有してるレベルの話だから簡単じゃない

462 :login:Penguin:2022/04/20(水) 22:42:14.55 ID:+dTCpvcy.net
>>458
ニキ

463 :login:Penguin:2022/04/20(水) 23:48:54.56 ID:Qm6iTfJp.net
>>461
その基準だと最終権限はリーナスしか持ってないしサブシステム単位の権限を基準にしてもext4すら使えなくなるが

464 :login:Penguin:2022/04/21(木) 01:09:55.47 ID:I5yQjODX.net
だからXfsがデフォルトなんでしょうよ

465 :login:Penguin:2022/04/21(木) 01:24:26.88 ID:srfaurpM.net
xfsの人oracleだけど

466 :login:Penguin:2022/04/21(木) 01:47:41.95 ID:KalF/zpO.net
私が間違っておりましたm(_ _)m

467 :login:Penguin:2022/04/21(木) 12:54:53.07 ID:5U6ZkiPz.net
>>459
落ちて来たとは言えFacebookから引き抜けるほどお金積める気がしない…

468 :login:Penguin:2022/04/21(木) 20:20:13.80 ID:Zk6H540j.net
Facebookは業務でバリバリBtrfsを使っていて現場の情報も入ってくるから
やりがい作戦での引き抜きも困難だろうしな

469 :login:Penguin:2022/04/22(金) 08:12:03 ID:jZiBDVrO.net
元々Redhatには、btrfs主要開発者のjosefさん(現Facebook)が在籍してたんだけどな。
会社の方針が変わったから転職したのか、
転職しちゃって開発者がいなくなったからサポートやめたのかどっちだろ。

470 :login:Penguin:2022/04/22(金) 16:52:47 ID:5g5kzzmH.net
Stratisっていつ完成する予定なんだ

471 :login:Penguin:2022/04/23(土) 21:07:58.07 ID:qZnjF4sP.net
フリーランスに立ちはだかる「常駐」の壁。慣例を打ち壊し、
“テレワーク”案件3割→8割へと成長を遂げた「クラウドテック」の軌跡

リモートワーク求人専門サイト「プロリモート」がリニューアルオープン、業務委託契約の求職者と企業をマッチング

1/3以上が採用につながる高マッチング率、リモートワーク×エンジニア・デザイナー専門の
人材紹介サービス「ReworkerAgent」正式リリース場所からも時間からも自由な働き方を実現!

『ReWorks(リワークス)』リモートワーク特化型転職サイトとして 3月5日 リニューアル

副業・兼業マッチングサービス「クラウドリンクス」登録者数2万人突破
中小企業で進む副業人材の採用、96%が継続採用を希望

茨城県日立市、県外からの「テレワーク移住者」に最大151万円の助成金

長野市、市内に移転・事業所設置し、移住することで最大550万円の支援金を支給

フリーランスが活用できる「最大1,000〜3,000万円・補助率50%〜75%」の
『ものづくり・商業・サービス補助金』とは?概要や条件を解説

472 :login:Penguin:2022/04/24(日) 14:24:37.94 ID:NHQlztSx.net
Open ZFSの zfs-dkms今日降って来るのかと思ってたけど来ないのかな
リリース予定日とかってどこかに載ってたりする?

473 :login:Penguin:2022/04/24(日) 14:49:03.18 ID:qCQScQBJ.net
どのディストリのどのバージョン?
なおOpenZFS の 2.1.4 なら sid と bullseye-backports には来てるけど

474 :login:Penguin:2022/04/24(日) 15:41:29.65 ID:NHQlztSx.net
Arch Linuxで2.1.4使ってます

475 :login:Penguin:2022/04/24(日) 15:55:49 ID:d66q6a18.net
次のバージョンはまだリリースされてないよ
https://zfsonlinux.org/

476 :login:Penguin:2022/04/24(日) 20:58:53.21 ID:NHQlztSx.net
>>475
ありがとうございます

477 :login:Penguin:2022/04/25(月) 01:49:54.00 ID:UGDT6XoN.net
archでzfsなんて使うもんじゃないよ

478 :login:Penguin:2022/04/25(月) 02:14:07.93 ID:qqwuYFp1.net
archなんて使うもんじゃないよ

479 :login:Penguin:2022/04/29(金) 23:54:58.67 ID:s+FK0s2a.net
aufsみたいな、FSの上にFSを被せる系のFSで
今安定しておすすめのやつってどれになんの?

480 :login:Penguin:2022/04/30(土) 08:59:34.13 ID:l4CFJUkJ.net
OverlayFS

481 :login:Penguin:2022/05/08(日) 18:53:38.55 ID:840uxcKI.net
Fedora36めっちゃいいぞ
完全にGnome一強時代の到来を感じさせる作り

482 :login:Penguin:2022/05/08(日) 20:41:55.97 ID:XFL8YPf4.net
ファイルシステムにGnome関係ないやん

483 :login:Penguin:2022/05/08(日) 21:10:39.72 ID:840uxcKI.net
誤爆っす

484 :login:Penguin:2022/05/09(月) 18:57:31.40 ID:KxV+cFub.net
Fedora36に際してはBtrfsをやめるなんて議題にも上がらなかったところを見ると
デスクトップに関してはBtrfsは安定したと考えて良さそうだね

485 :login:Penguin:2022/05/12(木) 05:32:10.71 ID:IH8uyqjg.net
SUSEなんて何年も前からエンタープライズ領域でbtrfs使ってるからな

486 :login:Penguin:2022/05/15(日) 14:09:34.67 ID:SB3ccrEq.net
>>444だが自宅NASも本格稼働して嬉しいので書き込む。
M.2. ext4 /
2xSataSSD btrfs(raid1) ~/work
3xCmrHDD btrfs(raid0) ~/tmp
1xSmrHDD ext4 ~/arc

SATAカードは起動が遅いので外した。
snapperは便利だけれど自宅では不要だった。職場では評判良い。
鳥はUbuntu, CentOS7(kernel3→5), SuSEの順で試して大差ないので、好みの問題でdebianにした。
CPUは最初の200GE以外は、R3-1200, R5-2400G, RPro5-4650Gを試して差がない。メモリも1x8GB, 2x8GB, 2x16GBで変化なし。

487 :login:Penguin:2022/05/28(土) 03:18:22.46 ID:NSOwZ8lu.net
aufsってカーネルのメインラインからいつの間にか外れてたんだな

488 :login:Penguin:2022/05/29(日) 16:31:35.70 ID:1BV98f7M.net
ZFSのARC上限を制限するチューニングですが、これってどんなpros/consありますか?
ZFSでなくても、Linuxなどはメモリがあるだけキャッシュするのが一般的と思ってます。(手元のbtrfs使ってるPCのbuff/cacheは17Gi表示)
わざわざ制限するのはどういう理由からか、知っている方いれば教えて頂きたく。

489 :login:Penguin:2022/05/30(月) 09:15:53.34 ID:wJQ/WRFV.net
>>488
DBサーバーだったら、DB自体がキャッシュするから、ファイルキャッシュしない方がいいよ。メモリ勿体ない。

490 :login:Penguin:2022/05/30(月) 11:13:19.91 ID:uyd0SUnZ.net
>>489
ありがとう。用途はNAS、docker、vm少々です。
DBサーバーだとARCよりDBにメモリ回した方が良さそうですね。参考になります。

491 :login:Penguin:2022/05/31(火) 18:09:50.63 ID:bZp66LZU.net
XFS 5.19で改良・高速化予定
ttps://www.phoronix.com/scan.php?page=news_item&px=Linux-5.19-XFS

492 :login:Penguin:2022/06/01(水) 18:58:04.34 ID:dOLmiJfZ.net
Btrfsが安定した今ではもう用済みのFSだな

493 :login:Penguin:2022/06/01(水) 19:59:57.13 ID:CRtSl/+G.net
Btrfs の良いところって透過的圧縮?

494 :login:Penguin:2022/06/01(水) 20:51:56.99 ID:+2lVFzvV.net
良いところ・・・
・fsck不要、マウントが成功すればファイルシステムはclean(ということになっている)
・スナップショット、サブボリューム機能
・Copy on Writeのファイルコピー
・透過的圧縮
・ファイルシステムの機能としての複数デバイス機能(JBODっぽいやつ、RAIDなど)。ただしRAIDはRAID5など未完成。
・send/receive機能

他の~~ファイルシステムだってその機能はあるだろ!というのもあるけど、別にBtrfsだけの機能という話ではないので・・・

495 :login:Penguin:2022/06/01(水) 20:58:14.09 ID:0rwCsUmC.net
ブロック単位での重複排除も期待できる

496 :login:Penguin:2022/06/01(水) 21:06:15.90 ID:LSU9vOwc.net
俺は xfs 使ってるから助かる
実際に恩恵を受けるのはあとだろうが

497 :login:Penguin:2022/06/01(水) 21:31:24 ID:Pey+ovy8.net
シングルディスクだとXFSにするかBtrfsにするか迷う

498 :login:Penguin:2022/06/01(水) 21:58:21.64 ID:8yJK90kV.net
Btrfsは凄い高機能な割にリソース食わないのが結構嬉しい

499 :login:Penguin:2022/06/01(水) 23:58:59.25 ID:DS4CLYHo.net
btrfsはファイル内容のcheck summingがあるので安心感ある。

500 :login:Penguin:2022/06/03(金) 08:33:27.69 ID:DazIiVq4.net
ZFSでZVOL使うのとBtrfsで.imgファイル作って使うのに特質すべき差ってある?

>>495
これが出来たら良いのに

501 :login:Penguin:2022/06/03(金) 08:54:01.39 ID:uBwlU6Ky.net
>>500
普通に出来るぞ>>404

502 :login:Penguin:2022/06/03(金) 10:51:57 ID:Dqry4wE4.net
Btrfs の色々な機能を使っている人は、インストール時点では/に一通りをインストールしてから、新規のパーティションのフォーマットをBtrfsで適切なフラグ付けて、mount オプションも適切なフラグ付けてってされていますか?
その後、/var の中身を移動させるとか。
インストーラの時の設定のみで良いのか疑問です。

503 :login:Penguin:2022/06/03(金) 11:49:54.71 ID:xcPUldd7.net
昔xfsでCoWを有効にした時には
ディストリのインストーラーのソースコードを弄ってフラグ変更したな
再フォーマットでID変わると不具合出る事があるからその方が安全だと判断した

504 :login:Penguin:2022/06/03(金) 12:28:46 ID:Y9pyqtcH.net
>>501
ありがとう
パッチ当てなくても良いのか、後で試してみる

505 :login:Penguin:2022/06/04(土) 13:30:50.83 ID:KfY54W04.net
>>502
Arch Linuxをbtrfsオンリーで使っている。
他のディストリ事情は分からないけど、btrfs自体は圧縮やCoWのOFF/ONは後でディレクトリとファイル単位でできるし、subvolumeも後でpoolからいくつでも切り出せる。
一部のmount optionもsubvolume単位で変えられる。
自分の場合、partitionを分ける理由はsubvolumeで変えられないoption(autodefragとか)を使いたいときぐらい。
使い方次第だけど、分けたくなったら後でsubvolumeを切り出したりresizeすればいいかと。
/varとかはrsyncで適当に移動しているけどArchは動いている。
1byteの差も許せない場合はlivecdとbtrfs send/recvを使うのかな。やったことないけど。

506 :login:Penguin:2022/06/04(土) 13:50:50.68 ID:8D7RtrEH.net
これは生きてるんかな
https://github.com/bianster/mysqlfs
mysqlfs
MySQLfs is Linux userspace filesystem which stores data in a MySQL database. It uses FUSE to interface with the kernel.

507 :login:Penguin:2022/06/06(月) 04:14:57.99 ID:dUD2Slaj.net
>>505
btrfsのマウントオプションは今のところ
最初にマウントされた時点のオプションが
同じファイルシステムからの後のマウントにも一律に適用されるのであって
例外はほとんどない(それこそsubvol指定ぐらいである)はずなんだけど
「サブボリューム単位で変えられるオプション」って逆に一体どういった物のことなんです?

上記の理由で圧縮周りもCoW無効もサブボリュームトップのディレクトリにプロパティを適用する事でしか
いちファイルシステムに混在で運用出来ないって認識なんですが……

ttps://btrfs.readthedocs.io/en/latest/btrfs-man5.html#mount-options

508 :login:Penguin:2022/06/06(月) 13:43:25.52 ID:pqWX/OuS.net
>>507
あ!申し訳ない。。btrfs WiKi FAQ を見直したら確かにsubvol以外はまだ Planned だった。。訂正します。
ただ、圧縮とCoWはsubvolではなくディレクトリ、ファイル単位にできている。
https://wiki.archlinux.jp/index.php/Btrfs#CoW_.E3.81.AE.E7.84.A1.E5.8A.B9.E5.8C.96
chattr +C で CoW無効、chattr +c 圧縮有効かな。確認は lsattrやcompsizeで。
空ファイル以外はファイル作成後の変更は効かないかも。。

btrfsはopenSUSEが標準でrootfs対応していてsubvolumeやsnapshotも色々考えられているようなので、VMなどに入れて参考にするのも良いかと。

509 :login:Penguin:2022/06/06(月) 18:08:26.83 ID:prkafuiv.net
>>508
chattr で CoW 無効にしても swap file にしようとすると結構ボロボロだった経験が…
今はマシになったかな?

510 :login:Penguin:2022/06/06(月) 18:57:02.07 ID:pqWX/OuS.net
>>509
swapfile、どうなんですかね。。
btrfs使い始めた頃はswapfile無く、ずっとswap partition切っているので分からず。。
使っている方の情報知りたいですね。

511 :login:Penguin:2022/06/06(月) 19:25:13.95 ID:xU/tX20b.net
CoW のおかげでファイルコピーが早く終わるシチュエーションが思いつかない

512 :login:Penguin:2022/06/06(月) 20:02:57.70 ID:w0jkq8L7.net
ファイルコピーがCoWってのはBtrfsの1つの側面に過ぎなくて、
Btrfsの重要なところは、既存ファイルの上書き保存であっても、(chattrで無効化してなければ)常にCoWがなされるってところなんだ。
つまり、既存ファイルの上書きでも、ブロックが上書きされるんじゃなく、新しいデータが別のブロックに書き込まれてから、
当該ファイルがそのブロックを参照するようにメタデータが変更される。

だから何だと言われると困るが・・・

513 :login:Penguin:2022/06/06(月) 21:16:10.91 ID:pqWX/OuS.net
cpでreflink使うと巨大ファイルのコピーでもすぐ終わるのが便利。raw imageの簡易バックアップとか。
reflinkはCoWの副産物の認識。
変更箇所が少なければ容量の節約にもなってるはず。。

514 :login:Penguin:2022/06/07(火) 06:25:40.64 ID:fVuIiiKk.net
CoWなのに上書きはそのまましちゃうファイルシステムなんて存在するの?

515 :login:Penguin:2022/06/18(土) 02:18:08 ID:r1TLOhzS.net
いまのカーネルはスワップファイルとその物理領域をロックして直接アクセスするので性能はスワップパーティションと変わらない
そのときcowは発生しない

516 :login:Penguin:2022/06/19(日) 16:03:31.02 ID:qsibPTFk.net
ZFSですが、ashift、recordsize、volblocksizeなど重要パラメータがいくつもあるようで、最適設定が分からずにいます。
詳しい方のアドバイス頂きたく(できれば仕組みや考え方も。。)

用途:ホームサーバ(NFS、KVM)
H/W:CPU:Xeon E3-1220 V2 RAM:16GB SSD:CT1000MX500 x2 HDD:ST8000DM004 x2
ホストOS: Debian 11 bullseye (OpenZFS)
KVMゲスト: Linux、OpenMediaVault、Windows10

この用途だと、SSDとHDDのashift=12(4K)、データ倉庫のrecordsize=1M、VM用zvolのvolblocksize=16K かなと考えているのですが。

517 :login:Penguin:2022/06/23(木) 16:58:16.36 ID:TMc4AaIu.net
5.20でXFSがIOuringを使うようになるみたい
btrfsも対応中で近いうちに使えるようになる

518 :login:Penguin:2022/06/23(木) 17:38:09.63 ID:Ep5Zy0Ip.net
>>516
> HDD:ST8000DM004 x2
私だったらの話ですがこのドライブ(SMR)をZFSで使うのは割と勇気が要ります
事例リサーチの上でご決断を

ashiftは12で良いでしょう
recordsize や zvolブロックサイズについてはより詳しい人をお待ち下さい

519 :login:Penguin:2022/06/23(木) 19:52:23 ID:v0yzdsN/.net
>>518
ありがとうございます。
SMRは確かに遅いけど、現状自分の使い方だとbtrfsであまり気にならないので、ZFSでもいけるかなと。
さすがにWin10 VMは難があると思うのでSSDへの配置も考えてます。

520 :login:Penguin:2022/06/24(金) 00:22:37.02 ID:76F5ouZf.net
>>519
私もだいぶ前バラクーダ2TBでZFSを試した事があり
その時S.M.A.R.Tのなんだかの値がやたら増えたんです
(なんてやつだったかは忘れてしまいました)

「ZFSをSMRドライブで使うとデータロストするかもよ」みたいな記事もある様で
怯えた私はCMRドライブを手に入れバラクーダはテレビ録画用(FSはXFS)に回してしまいました

521 :login:Penguin:2022/06/29(水) 21:10:55.45 ID:ZhJGgCK1.net
Metaの巨大なデータセンターでメモリを大幅に節約するための「透過メモリオフロード」とは?
https://gigazine.net/news/20220621-meta-transparent-memory-offloading/

522 :login:Penguin:2022/07/25(月) 12:10:29.58 ID:oBMCUNvG.net
ZFSの暗号化ですが、ZILやl2arc使う場合特に注意する点あります?
attach先poolの暗号化が適用される、であってますかね?

523 :login:Penguin:2022/08/15(月) 08:35:31.40 ID:Wqm7CiAN.net
OpenZFSでdRAID使っている方います?
安定性や性能、使い勝手はどうなのか参考にさせて頂きたく。

524 :login:Penguin:2022/08/19(金) 15:16:48.11 ID:9vosFDnq.net
このところautofsとかいうのにハマりつつある
車輪の再発明?別にfstabや手動マウントでじゅうぶん?
いやー面白いじゃん マウントしてないのにcpコマンド打ったりしたときに自動マウントされて通ったりするの

525 :login:Penguin:2022/08/19(金) 15:57:20.70 ID:iSOCHkdV.net
そういえばそんな仕組みもありましたね。
ftpのマウントとかと組み合わせると案外便利なのかもしれませんね。

526 :login:Penguin:2022/08/19(金) 16:02:37.91 ID:9vosFDnq.net
なおNFSとSMB(CIFS)は余裕で設定できた

527 :login:Penguin:2022/08/19(金) 17:59:05.93 ID:9vosFDnq.net
>>525
これなかなかいいですよ
https://i.imgur.com/EQX9tLI.png

528 :524:[ここ壊れてます] .net
幾多のNASやFTPやクラウドストレージをマウントしていてもサービス再起動するだけで一括アンマウント
mountコマンドやfuseで使えるものならなんでも動的マウントが可能
WANストレージを多用する人には有用 かもね

529 :login:Penguin:2022/08/20(土) 17:03:02.98 ID:w2f/OM+r.net
>>527
ええなそれ

530 :login:Penguin:2022/08/20(土) 17:14:13.96 ID:Puzy2tFv.net
>>529
代表的なプロトコルの設定例はこちら
Autofs - ArchWiki
https://wiki.archlinux.jp/index.php/Autofs

531 :login:Penguin:[ここ壊れてます] .net
なおautofsはローカルストレージにも使える
fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
例えばバックアップ用やマル秘ファイル満載のHDD、使うまではオフラインにしておくなんて事が可能
多少の電気代とコマンド叩くカロリー節約にはなる

532 :login:Penguin:2022/08/20(土) 22:40:25.42 ID:seP7+Qij.net
> fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
これLinuxでは結構手こずるわ
FreeBSDなら当該行頭の#を消すだけ

533 :login:Penguin:2022/09/12(月) 11:27:55.61 ID:EKZ5iDu6.net
外付けのデータがこっそり壊れてる可能性がある、
というのを極力避けるためにwindows捨ててlinux(btrfs)使う価値ある?

そもそもそんな破損の仕方はそれほど起こらない?

534 :login:Penguin:2022/09/12(月) 12:29:19.52 ID:wJlIRGX5.net
OSやファイルシステムのせいにする以前に
ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
付け加えるとしたら消えたら困る様なデータの保管先が中古ドライブだったらもってのほか

535 :login:Penguin:2022/09/12(月) 13:27:25.39 ID:EKZ5iDu6.net
> ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
定期的に新しいHDDに移してはいるんやけどね
10TBとかのデータをまったくの欠け無しにどんどん世代交代してくなんて可能なんかと不思議でさ
保存中に気づかない欠けが発生したりしないもんかと

その点ファイルシステムがハッシュチェックしてくれたら少なくとも気づくことはできるかなと思った
zfsやらbtrfsやらを使ってる人でその宇陰でデータ破損に気づけたという経験をした人はここにいる?

536 :login:Penguin:2022/09/12(月) 13:31:33.85 ID:8VmosxAD.net
クレクレ君が張り付いてんなら俺は何も情報出さんよ
普段どんな構成で運用してて現在どんな状態か等を「正直に」カミングアウトすれば別かもしれんが

537 :login:Penguin:2022/09/12(月) 14:01:17.47 ID:saGl8sEK.net
ファイルシステムの機能以前にそんなに完全性を気にするなら普通はベリファイなりハッシュチェックなりかけるので…

538 :login:Penguin:2022/09/12(月) 18:05:47.10 ID:ty0CoN/s.net
Oracle Linux 9 は btrfs サポートするのかー、と今調べた。
RHEL 9 も次では btrfs 復活させないのだろうか。

539 :login:Penguin:2022/09/12(月) 19:21:01.75 ID:/T1h+qWP.net
情報出さんよと煽れば情報貰えると思ってる
クレクレ君が張り付いてるな

540 :login:Penguin:2022/09/12(月) 19:50:06.79 ID:iumAOYEz.net
欠けるってなんだ
ディスクのチェックすり抜ける破損なんてあるか?

541 :login:Penguin:2022/09/12(月) 21:01:49.15 ID:zezXgxg3.net
> 情報出さんよと煽れば情報貰えると思ってる
>>536か?
あの短い文章で気持ち悪さを醸し出せるって大した才能だよ

542 :login:Penguin:2022/09/13(火) 00:27:35.82 ID:/2PyzOea.net
>>538
Oracle Linuxは普通に8でもbtrfs使えるので・・・
そりゃ自分のところで作ってるんだから当たり前である

543 :login:Penguin:[ここ壊れてます] .net
もうsolarisぶん投げたんだからzfs移植してくれればいいのに

544 :login:Penguin:2022/09/13(火) 10:55:34.31 ID:26SDvzTI.net
>>540
> 欠けるってなんだ
> ディスクのチェックすり抜ける破損なんてあるか?

RAID スクラビングでググれ
H/w RAID 製品だとデフォなんで結構あるんじゃね?

545 :login:Penguin:[ここ壊れてます] .net
>>544
そういうのはあるけど
質問者のいうファイルシステムを変えたからって回避できる問題ではないよね

546 :login:Penguin:2022/09/13(火) 13:04:17.87 ID:IWngxX9u.net
oracle にはzfsをGPL化して解放して欲しい。
もう面倒見る気ないでしょ。

547 :login:Penguin:2022/09/13(火) 15:20:48.56 ID:26SDvzTI.net
変更しないデータは iso ファイルで固めた後にパリティアーカイブコマンド
(par2 コマンドとか MultiPar(Windows) とか) でパリティ付けてるわ。

誤り訂正符号なんでパリティをギガ単位でつけておけばギガ単位でデータロスト
しても修復できるんでお勧め。

548 :login:Penguin:2022/09/14(水) 08:36:54.95 ID:3+fnCgkr.net
arch の XFS のドキュメント見てたら、カーネル5以降で使えるようになった機能への記載もあって良かったよ。
CoWはよくわからんが。
https://wiki.archlinux.jp/index.php/XFS

549 :login:Penguin:2022/09/14(水) 12:38:59.56 ID:bYfFHp12.net
RHELがbtrfs捨てたんだからbtrfsはもうダメって雰囲気から、未だにbtrfs採用しないとかRHELは遅れてんなみたいな雰囲気にまで変わったのは何気にすげーわ

550 :login:Penguin:2022/09/14(水) 13:52:40.76 ID:nq/UBHqF.net
RHELというかRed Hatには早くファイルシステムレベルの透過圧縮を実現して欲しい。
アプリ側で圧縮展開なんて面倒すぎてやってられん。。

551 :login:Penguin:2022/09/14(水) 14:21:54.84 ID:3+fnCgkr.net
>>550
どのオペレーションの事言ってるの?
圧縮するとパフォーマンスに影響あるから、理解して使わないとダメだと思うのだけど。

552 :login:Penguin:2022/09/14(水) 17:32:22.56 ID:5xcyS0Dn.net
確かに適用先は気をつける必要があるね。
自分の場合はサービスアプリの大量のJSONログ。zstdならAWS EBS節約にかなり効果ある。
通常のOS領域でも、lz4ならパフォーマンス上がるという報告もあるし。

553 :login:Penguin:2022/09/15(木) 11:18:18.47 ID:lBhke55s.net
Redhatはbtrfs捨てた代わりにstratisとかいうの開発してただろう
使ってる人いるのか知らんけど

554 :login:Penguin:2022/09/15(木) 11:54:40.70 ID:Cc+Q8Ruh.net
ここからのリンクでRAID5,6 でbtrfsは、まだ問題抱えている気はする。
パーソナルユースでRAID5,6 使う人は多くないから問題ないのかな。
https://btrfs.wiki.kernel.org/index.php/Using_Btrfs_with_Multiple_Devices

CoW はDBのファイルシステムに向かないという話もあったと思う。
そんな事を気にし始めるとext4いいね、って一周するんだけど。

555 :login:Penguin:2022/09/15(木) 12:02:30.08 ID:Cc+Q8Ruh.net
直っているねかも
Btrfs RAID 5/6 Sub-Page Support Readied For Linux 5.19
https://www.phoronix.com/news/Btrfs-RAID5-RAID6-Subpage

556 :login:Penguin:2022/09/15(木) 12:04:36.92 ID:U8x9yY/A.net
RHはxfsに梶切っていた認識。
btrfsは開発facebookメインで圧縮もfb自身が実環境で使ってる記事あった気がする。
世界最大級のサービスで使われてるのは強みかな。

557 :login:Penguin:2022/09/15(木) 15:05:48.87 ID:tkXHiVbC.net
>>554
これってデータベースが更新頻度の高い巨大なバイナリだからって意味だよね?
cowの利点は活かせないけど特段デメリットも無い気がする EXT 4に比べるとパフォーマンスが落ちるぐらいかな

558 :login:Penguin:2022/09/15(木) 16:29:17.79 ID:FJNLk0E4.net
RHはxfsに舵を切ったんじゃなくてファイルシステムからは撤退でしょ
EMCやNetAppと違って利益に直結しないbtrfsにお金かけられないよ

559 :login:Penguin:2022/09/15(木) 17:05:26.20 ID:TtrJqiPo.net
btrfsはファイル毎にCoW切れるからDBも行けるよ。まぁ本気でやるなら専用パーティション切れってのは確かだけど

560 :login:Penguin:2022/09/15(木) 18:15:23.16 ID:RUJ684lp.net
レッドハットはXFSに行ったけどfedoraはbtrfsなんだよな?

561 :login:Penguin:2022/09/16(金) 01:39:51.29 ID:UTE3VPOH.net
デスクトップだけね
fedoraサーバーはbtrfsではなかったはず

562 :login:Penguin:2022/09/16(金) 01:45:24.63 ID:UQnaXGMd.net
Fedora Server で btrfs インストール時に選べるよ。
ただ LVM との組み合わせではリストに出てこないから、利用できないと思われているかも。

563 :login:Penguin:2022/09/16(金) 18:46:30.95 ID:6/pTtJMl.net
RedHatは社内にBtrfs詳しい人がいないから採用予定はないってさ
ここで言う詳しいは客からのバグ報告を基にBtrfs側に修正パッチ投げられるレベルの話ね

564 :login:Penguin:2022/09/16(金) 21:58:38.00 ID:kHteBK8Y.net
それでいうと、RedHatはじゃぁ、「サポート」しているパッケージ、ソフトウェアは全部、その「詳しい」人が社内にいるのか・・・と思ってしまうのだが、そうなのか?
まぁあれだけのサポート料とるからには、そうなのかもだが。

565 :login:Penguin:2022/09/17(土) 00:39:25.45 ID:MKyVd3Sm.net
>>564
結構のカバー率でいるよ
XはカバーしきれないからWayland作ったし
PulseAudioも外から触れないからPipeWireを作った
RedHatはサポート出来ないなら代替プロジェクトを自前で立ち上げるくらい本気でやってる

566 :login:Penguin:2022/09/17(土) 01:05:36.96 ID:odAvhWZF.net
そんな話を聞くと Red Hat 好きになってしまうじゃないか。

567 :login:Penguin:2022/09/17(土) 04:58:39.63 ID:Fuq/3f9P.net
dockerの代替も作ってたな

568 :login:Penguin:2022/09/17(土) 07:48:18.00 ID:bk9onoJP.net
Podmanか。アイコンがかわいい。

569 :login:Penguin:2022/09/17(土) 08:01:27.63 ID:Qn7DNwb1.net
PodmanってRHなのか。ひょっとしてkubernetesと相性良かったり他に無い連携機能あったりするのかな

570 :login:Penguin:2022/09/17(土) 08:52:56.30 ID:/jdXCmzy.net
>>565
pulseaudio外から触れないってどういう意味?

571 :login:Penguin:2022/09/17(土) 13:25:14.54 ID:bk9onoJP.net
Podmanはkubernetesと直接の関係はないけど、buildahがOpenShiftと関係ある。
OpenShiftのコンテナのサポートはbuildahやDeploymentConfigなどのRH製で作ったもの以外は断られる場合がある、となってたはず。
実際は柔軟だと思うけど。

572 :login:Penguin:2022/09/17(土) 18:26:31.06 ID:VWuq5bLf.net
外部のボランティアが動かないせいで苦情を放置する訳にもいかないからね
特に複数ソフトウェアの相性によるバグは相手のせいにし合って永久に解決しないから
両方RHで管理してしまうのが一番手っ取り早い

573 :login:Penguin:2022/09/18(日) 04:47:32.52 ID:7cdIxJDp.net
dockerが将来性や互換性や内部のゴタゴタで揉めてたころ、redhatがコンテナ実行環境を掻っ攫おうとしたけどdockerがなんか復活して失敗したプロジェクトだろpodman

574 :login:Penguin:2022/10/02(日) 07:20:03.97 ID:4EGz31vy.net
それにしても最近のBtrfsの安定感は凄い。
Fedoraユーザーだから透過圧縮を有効にして数年使っているけど
全く不具合発生しなかった。
コミュニティでも不具合報告がないしデスクトップ用途なら実用レベルに達した気がする。

575 :login:Penguin:2022/10/02(日) 08:36:33.18 ID:vgUhfbS4.net
https://btrfs.wiki.kernel.org/index.php/Status
使える機能と不完全な機能ははっきりしているよ。

576 :login:Penguin:2022/10/02(日) 10:09:03.49 ID:4EGz31vy.net
カーネル4.xx時代には普通に使ってぶっ壊れた経験がある

577 :login:Penguin:2022/10/02(日) 10:27:26.51 ID:qpkp4YD/.net
RAID5と6だけは一向に進まんな。まぁ、使わないけど……

578 :login:Penguin:2022/10/02(日) 10:32:03.81 ID:vgUhfbS4.net
mostly OK: safe for general use, there are some known problems that do not affect majority of users
これとか、英語オモシロって読んだけど。

579 :login:Penguin:2022/10/02(日) 10:35:50.11 ID:MGDUtQ70.net
ZFSにLinuxとFreeBSDの独立したデータセットをつくってマルチブートしてるんだが
Linux使用後にFreeBSDを使うには一旦FBSDインストールメディアでimportする必要がある
この手間さえ無ければZFSになんの不満も無いんだよなあ

580 :login:Penguin:2022/10/02(日) 13:25:43.40 ID:wWzX4YlV.net
あとZFSはストレージプールからのデバイスの削除ができない。デバイスを誤って追加した場合でも、削除はできない。
btrfsは一応削除できる。削除しようとしているデバイス上のデータを他のデバイスに移動させる時間がかかるけど。

デバイスの削除ってあまり使われない機能なん?

581 :login:Penguin:2022/10/02(日) 14:52:07.45 ID:/bQPOp78.net
単純なストライピング(RAID0)の場合なら zfs remove でできるけど

582 :login:Penguin:2022/10/02(日) 22:35:50.60 ID:ToQkc5fj.net
正確には zpool remove ストレージプール ブロックデバイス

583 :login:Penguin:2022/10/03(月) 10:14:47.82 ID:WCTJZs5Z.net
ZFSで、別のマシンで同じpool名で使ってたディスクを同じマシンに付けた場合、どうやってimportするんでしょうか?

584 :login:Penguin:2022/10/03(月) 11:11:57.84 ID:GcIDZGw0.net
ちょっと質問文が紛らわしいので私なりに整理

マシン1にてtankというpool名でimportしていたZFSパーティション or ZFSアレイがあるとする

マシン1をshutdownし、プールtankとして使用しているストレージをマシン2へ接続する

稼働しているマシン2にてプール名はそのままにtankをimportしたい

こういう事なら実施命令は簡単
# zpool import -f tank

585 :login:Penguin:2022/10/03(月) 12:22:12.91 ID:lRZrkpv7.net
説明不足ですみません。
disk1: マシン1で tank として使用中
disk2: マシン2で tank として使用中
の状態で、
disk2 をマシン2から取り外し、マシン1に取り付け、importする方法、の意図でした。
目的はdisk2のtankからのデータのサルベージです。

586 :login:Penguin:2022/10/03(月) 12:50:12.36 ID:GcIDZGw0.net
こちらは仮想ストレージで構成を再現したものです
現在の構成はおおよそこんな感じという事ですかな
tps://i.imgur.com/lqqmoNP.png

ブロックデバイスの状態・予定サルベージ先ストレージ等不明かつ当方に時間の余裕が無い為
申し訳ございませんが実際のサルベージ手順は他の方のご回答をお待ち下さい

587 :login:Penguin:2022/10/03(月) 12:55:56.27 ID:GcIDZGw0.net
あ、違うな
マシンが2つあってzpool(非RAID)も2つあり、どちらもpool名がtankという事か
tank(disk2)の状態を提示し回答をお待ち下さいませ

588 :login:Penguin:2022/10/03(月) 12:59:04.03 ID:GcIDZGw0.net
状態の信憑性を高める為に、状態提示は端末エミュレータのスクショ貼りがおすすめです

589 :login:Penguin:2022/10/03(月) 23:47:10.71 ID:dtV7H3/+.net
ありがとうございます。
調べたところ、zpool import poolname newname でいけそうな感じでした。
仮想環境で試してみようと思います。

590 :login:Penguin:2022/10/04(火) 08:26:10.23 ID:bNT9y4ds.net
物理環境があってサルベージが目的なのに仮想環境で試すとはこれ如何に

591 :login:Penguin:[ここ壊れてます] .net
物理には同じ名前のプールがあるから物理でやる前に試すってことじゃないかな?

592 :login:Penguin:2022/10/04(火) 12:06:58.73 ID:kn3LxMYm.net
やっぱzfsは駄目だな
時代はBtrfs

593 :login:Penguin:2022/10/04(火) 12:49:05.71 ID:2+bfy/ol.net
BtrfsからZFSに出戻ったわ
特にスナップショット使いが難くてダメだった

594 :login:Penguin:2022/10/04(火) 18:34:25.31 ID:ImjmuMcI.net
子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー

595 :login:Penguin:2022/10/05(水) 19:10:58.86 ID:8EmBrLW8.net
https://mao.5ch.net/test/read.cgi/linux/1514882734/922
btrfs のパフォーマンスが6.1で上がるニュースを教えてくれた人がいる

596 :login:Penguin:[ここ壊れてます] .net
いっつもパフォーマンス上がってるな

597 :login:Penguin:[ここ壊れてます] .net
……と思ったら今回は割とガチ目の上がり方だな
https://i.imgur.com/ShnaJKy.png

598 :login:Penguin:2022/10/06(木) 18:08:03.26 ID:avGMmg5J.net
Open ZFSの更新来てた(∩´▽`)∩

599 :login:Penguin:2022/10/09(日) 15:01:09.59 ID:rXr5IkAi.net
zfsの実際のrecord sizeはいつ決まるのでしょうか?
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか?
(もしそうであれば、同期書き込みはfsync(2)時に決定?)

600 :login:Penguin:2022/10/10(月) 12:36:41.47 ID:aroMbFWo.net
NTFSクラスタサイズを後から変更するにはどのような方法があります?
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り

601 :login:Penguin:2022/10/19(水) 00:38:57.76 ID:8S0s8MKH.net
XFS & F2FS Changes Are Tame For Linux 6.1
https://www.phoronix.com/news/Linux-6.1-XFS-F2FS

602 :login:Penguin:2022/10/26(水) 21:27:04.04 ID:4URvJJm4.net
Linux 6.2 Aims To Ship Updated Zstd Implementation
https://www.phoronix.com/news/Linux-6.2-Newer-Zstd

Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.

603 :login:Penguin:2022/11/07(月) 08:35:37.59 ID:RMBZpOPP.net
暗号化鍵ってみなさんどう読み込ませてますか?
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。

604 :login:Penguin:2022/11/09(水) 22:33:21.52 ID:KvH0BOKS.net
システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH(SSHのサーバー鍵は「盗まれたら困る」には当たらない)して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。

605 :login:Penguin:2022/11/21(月) 05:26:42.47 ID:QKr0PUfj.net
BitTorrent File System (BTFS)
https://www.bittorrent.com/token/bittorrent-file-system/

なんだこれは・・・たまげたなあ

606 :login:Penguin:2022/11/21(月) 19:44:06.85 ID:yefmWMbF.net
これが本当の分散ファイルシステム

607 :login:Penguin:2022/11/22(火) 13:05:00.91 ID:gnE97F4D.net
概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね

608 :login:Penguin:2022/12/02(金) 13:21:39.17 ID:lH0jw8OM.net
赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ

リンク貼れんかったので

609 :login:Penguin:2022/12/04(日) 13:25:00.37 ID:MfcKUhyk.net
ファイルシステム関連のドキュメントはBtrfsもxfsもOracle Linux のが親切だな。
https://docs.oracle.com/en/operating-systems/oracle-linux/9/

610 :login:Penguin:2022/12/04(日) 16:07:29.87 ID:Ye7QwRkv.net
Oracleは宗教上の理由でちょっと……

611 :login:Penguin:2022/12/13(火) 18:07:58.13 ID:sT4F2h1k.net
https://www.phoronix.com/news/Linux-6.2-Btrfs-EXT4
6.2からbtrfs raid5の信頼性が上がるらしい

612 :login:Penguin:2022/12/20(火) 11:30:51.92 ID:0v1vCYwT.net
zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな

613 :login:Penguin:2022/12/20(火) 18:04:21.86 ID:0v1vCYwT.net
exfatも6.2で速くなるみたいだな

614 :login:Penguin:2022/12/20(火) 18:46:15.08 ID:fyhGCDZv.net
6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。

615 :login:Penguin:2022/12/20(火) 22:50:57.03 ID:de7d8g5m.net
昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの?
VMシャットダウンした時とかに気になって。

616 :login:Penguin:2022/12/21(水) 00:04:24.39 ID:qmUzV3jd.net
shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう

617 :login:Penguin:2022/12/21(水) 02:19:04.96 ID:q6nimIuc.net
使ってるのだが...

618 :login:Penguin:2022/12/21(水) 12:46:38.28 ID:EhRPJEI6.net
今は大抵shutdownとかもsystemctlへのリンクになってるやろ

619 :login:Penguin:2022/12/21(水) 12:57:38.99 ID:q6nimIuc.net
ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now

620 :login:Penguin:2022/12/21(水) 19:12:15.59 ID:5YV/Phng.net
普通にpoweroffかrebootが1語で済んで簡単で良い

621 :login:Penguin:2022/12/29(木) 08:21:21.62 ID:TYlqFk7p.net
ファイル名の長さ制限なんとかならん?

622 :login:Penguin:2022/12/29(木) 09:36:29.31 ID:YrPvt7JI.net
前は制限あったけど、今もあるっけ?

623 :login:Penguin:2022/12/29(木) 10:06:03.55 ID:2nJ5CorQ.net
ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。

再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。

こんなことがあるんだね。安定しているファイルシステムはなんだろうか。

624 :login:Penguin:2022/12/29(木) 10:06:58.53 ID:otCbGAW+.net
>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず

625 :login:Penguin:2022/12/29(木) 10:07:45.99 ID:otCbGAW+.net
>>624
>>622
安価ミス

626 :login:Penguin:2022/12/29(木) 10:33:59.58 ID:ZePSKeUC.net
>>623

> こんなことがあるんだね。

ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。

症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。

つうか、ext4 ってまともなメンテナ居るのか?
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。

627 :login:Penguin:2022/12/29(木) 10:58:58.47 ID:ZDryYAQt.net
>>623
ZFSならsnapshotからロールバックで戻せるんじゃない?

628 :login:Penguin:2022/12/29(木) 11:02:16.35 ID:ZBJb5QBa.net
>>622
ext4が255バイトでNTFSが255文字(Unicode16)なんで困るんよ
vfsにハードコードされてるぽいんでダメだろうけどダメ元で聞いてみた次第

629 :login:Penguin:2022/12/29(木) 11:16:06.03 ID:Sx2YLUkq.net
流石に無知がすぎるだろ
ext4なんて現在進行系で開発されまくってるファイルシステムだぞ
あと絶対に壊れないファイルシステムは無いから
ext4よりbtrfsやzfsのほうが壊れにくくはあるけれど

630 :login:Penguin:2022/12/29(木) 11:26:50.12 ID:ZePSKeUC.net
>>629
本当に開発されまくって言えるか?
Red Hat 系使う奴は xfs ばかり使うし、その他のディストリも btrfs だったり。
ファイルサーバ製品もハード直結独自FSばかり。
ext4 は使われていない/充分なデータが集まっていないだろ。

631 :login:Penguin:2022/12/29(木) 11:32:23.29 ID:pqXRLrrR.net
6.1でのext4の変更
https://lore.kernel.org/lkml/Yz0B+L+vHKIARzKj@mit.edu/

632 :login:Penguin:2022/12/29(木) 12:10:45.55 ID:O8F+4wx8.net
ext4が使われてないってどこの世界線なんだ…
クラウドではほとんどext4だろう

633 :login:Penguin:2022/12/29(木) 12:27:56.45 ID:ZePSKeUC.net
>>632
amazon も ext4 やめて xfs でしょ?

634 :login:Penguin:2022/12/29(木) 14:06:41.98 ID:YrPvt7JI.net
ここのベンチマークの結果だとext4は速い方なので、いい印象持っている
https://hesonogoma.com/linux/filesystembenchmarkresults-02.html

635 :login:Penguin:2022/12/29(木) 15:32:08.76 ID:zAcLS6l6.net
ファイル名については昔Linusが255バイト制限緩めても今度は1MBじゃ足りないっていい出すに決まってるから対応しないって言ってなかったっけ
東アジア圏だとutf8で更に厳しくなったけど、今ならファイル名に長々情報持たせるほうが悪いって言われそうだしな

636 :login:Penguin:2022/12/29(木) 23:22:37.08 ID:yFWCe43l.net
英語圏の人は漢字圏特有の問題を理解しないからな

637 :login:Penguin:2022/12/30(金) 00:00:29.63 ID:A61NzzNw.net
使えるパスの長さは AIX や Solaris の方が少し制限が緩いようにも見えるし、文字コードがUTF-8 じゃなかった頃の設計のせいにも見えるね。
https://www.ibm.com/docs/ja/spectrum-protect/8.1.9?topic=parameters-file-specification-syntax

638 :login:Penguin:2022/12/30(金) 13:20:02.61 ID:9woIQjbF.net
OpenShift4 のPVはext4だった気がする。間違ってたらスマン。

639 :login:Penguin:2022/12/31(土) 00:08:37.77 ID:FTj3W6ps.net
>>638
デフォルトはね
設定で変えられる

640 :login:Penguin:2022/12/31(土) 02:05:18.30 ID:xELcB+Gr.net
linuxの文字数制限が不便でNASを使用しなくなったことがある

641 :login:Penguin:2022/12/31(土) 12:09:04.56 ID:P2xYG+Vx.net
ファイル名がUTF-16で記録されるexFATだとLinuxでも全角文字255文字フルに使えたからファイルシステムによるんじゃない?

642 :login:Penguin:2022/12/31(土) 16:44:14.18 ID:QpXj8X5v.net
fusuで実装されてるからでは?

643 :login:Penguin:2023/01/03(火) 22:18:56.96 ID:qEN3cyhG.net
>>639
なんと。。圧縮したかったのでbtrfsで圧縮出来ればいいなと思ってた。
RedHatだから無理かな。。

644 :login:Penguin:2023/01/03(火) 22:25:23.88 ID:wEpuZtJW.net
ログを延々と吐き続ける用途にbtrfsは向いてますかね?
CoWが邪魔したりしませんか?

645 :login:Penguin:2023/01/04(水) 12:49:11.56 ID:0uCFlsnQ.net
GpartedでUSBメモリをexFatでフォーマットしている途中で進捗が止まり、そのまま。
USBメモリがどうやら物理的に壊れてしまった。
PCに挿し込んでもそのUSBメモリだけがまったく反応なくなった。
Linuxのインストール途中で失敗しつづけている。

悪いこと続き。Linuxの神様に見放された模様。

646 :login:Penguin:2023/01/04(水) 12:59:21.38 ID:PQqENS/b.net
邪魔の意味は分からないけど、性能はともかくデータ化けとかの心配は無いのでは?
CoWが提供するのは堅牢性や一貫性確保だと思う。
CoWがダメならzfsにはログ保存できないことになってしまうし。。

647 :login:Penguin:2023/01/04(水) 13:06:12.57 ID:K9sTb1hf.net
ZFSはブロックレベルの重複排除だからCOWでも問題無いとかの話?

648 :login:Penguin:2023/01/04(水) 13:10:20.00 ID:xX40yDLp.net
ログファイルってコピーして使うか?
普通しないからCoWが邪魔はしないでしょ。
ランダムアクセスするファイルならRAIDで向き不向きあるけど
ファイルシステムで向き不向きはないと思う。

649 :login:Penguin:2023/01/04(水) 14:17:37.35 ID:n7gUnUO1.net
データベースやVMのディスクイメージみたいな1つのファイルを何度も上書きするパターンはCoWと相性が悪いと聞くな
当該ディレクトリのCoWを無効化すればいいけど、してもI/O性能が上がる程度で有効のままでも別に問題なさそう

650 :login:Penguin:2023/01/04(水) 23:08:47.39 ID:xX40yDLp.net
Btrfs の場合、CoW有効のファイルを書き込んだ後に以前書き込んだ部分を上書き
するとドライブ上ではそのブロックを上書きせずに別ブロックに書き込む動作をする。

「ファイルコピーしたファイルでのみそれが発生する」と思っていたがそれは俺の
勘違いで、実際は全ファイルでそれをやるってことか。

まあでもログファイルはシーケンシャルアクセスだから(ブロック単位の
上書きは発生しないから)CoWが邪魔しないことに変わりはなさそうね。

651 :login:Penguin:2023/01/04(水) 23:43:18.43 ID:FNVxHNKk.net
ログで質問したものです。
皆さんありがとう!
色んな考察が聞けてためになりますた。
VMはCoW無効にするのが常識とおもってて、
ログとかの追記も関係あるのかと思った次第です。
とりあえず何もチューニングせずに使おうと思います!

652 :login:Penguin:2023/01/08(日) 00:55:03.06 ID:fvHOPfXO.net
debianのtestingに降りてくるまで一月ほどかかるなぁ

653 :login:Penguin:2023/01/12(木) 22:26:05.98 ID:mpGk/a+b.net
ext4はシステム向け、xfsは倉庫向けと考えてok?

654 :login:Penguin:2023/01/13(金) 08:54:10.86 ID:7OCE97ZZ.net
どうしてそう思った?xfsデフォのディストリもあるが

655 :login:Penguin:2023/01/13(金) 13:01:18.72 ID:ZKf8B51+.net
大きいファイルなら速いけど壊れやすくメモリ食うのがxfs縮小もできない
ext4は逆

656 :login:Penguin:2023/01/13(金) 23:06:07.68 ID:0qCLEX6/.net
>>653
RHEL9 から dump/restore は OS に添付されなくなった。
何かあっても保守/問合せ対象外。
EPEL として残ってるから完全に対象外というわけではないだろうけど。
その観点でいうと ext4 はコンテナ向け、xfsは物理向け、なのかも?

657 :login:Penguin:2023/01/14(土) 15:10:17.93 ID:iY56yVZu.net
じゃあbtrfsはなに向け?
てかbtrfsはscrub定期的にしないとダメなの?

658 :login:Penguin:2023/01/14(土) 15:54:59.93 ID:V6u7C4fp.net
zfs にコンプレックスを感じる人向け、というのは冗談として
ext4 の後継と思っている。

659 :login:Penguin:2023/01/14(土) 16:53:12.51 ID:QwD6oUxh.net
>>658
やっぱそういう位置づけだよね?
何故かQNAPはbtrfsをディスってるけどw
https://www.qnap.com/solution/qnap-ext4/ja-jp/

660 :login:Penguin:2023/01/14(土) 18:20:11.77 ID:2OMLCN0j.net
>>659

BtrfsでNAS作られると(高機能すぎて売りが無くなるので)困るというのが伝わってくるw

661 :login:Penguin:2023/01/14(土) 21:07:01.17 ID:g3eX2Qbu.net
Linuxのファイルシステムはどれも一長一短で決め手にかける。「用途とか関係ない、これにしておけばまずOK」ってのがない。
ext4は大容量ドライブでfsckが遅く昨今の大容量なディスクドライブに作成するには向かない、
xfsはfsckは大容量ドライブでも問題ないが縮小ができないしメモリも食う、
btrfsはfsck不要、CoWなど「モダンなファイルシステム」とされるが、比較的新しいファイルシステムでやや心配がある、枯れていない、遅い。最近はまともになってきているが。
ZFSはライセンスの問題・・・

一方、選択肢が多いのは良いこととも言える。他のOSだって問題はいろいろあるし、OS、FSともに完全無欠のものはないけどね。

662 :login:Penguin:2023/01/14(土) 21:16:49.66 ID:rbIBgCNH.net
Debian系はデフォルトext4なのは何でだろ

663 :login:Penguin:2023/01/15(日) 00:04:50.52 ID:Ra9CuA6A.net
>>661
xfsって壊れやすいって本当?
なんかレガシな感じがして受け付けないんだよね。
そういやreiserfsはタイーホ後からどうなったのかね?
当時は先進的だったけど。

664 :login:Penguin:2023/01/15(日) 00:57:20.31 ID:U8aJCTCE.net
>>663
reiserfsは非推奨になってて2025年に削除される予定

665 :login:Penguin:2023/01/15(日) 01:23:26.89 ID:jySrgcCZ.net
ファイルサーバーにZFS使ってるけど安定してる
RAIDZ2組んでて一度HDDが一つ壊れたけど復旧も簡単だった

666 :login:Penguin:2023/01/15(日) 06:15:01.79 ID:q2QeSNOE.net
ZFSはARCが重いんだよな
LRUよりは効率的だけど計算量が多いわ

667 :login:Penguin:2023/01/15(日) 08:13:26.23 ID:SoJu/Q0J.net
>>663
xfsはCOW導入で安定性が落ちたという話は聞いた気がするけど、その続報を聞かないな。話題になってないってことは安定したのか、皆避けてるのか

668 :login:Penguin:2023/01/15(日) 09:47:24.45 ID:41MzzQ/0.net
xfsは近いうちに縮小サポートするつもりがあるらしい
https://www.phoronix.com/news/XFS-Defragment-Free-Space

669 :login:Penguin:2023/01/25(水) 09:13:08.26 ID:s6TfkC2/.net
圧縮ファイルシステムでおすすめを教えて
主にテキストのログをどんどこ吐きたい

670 :login:Penguin:2023/01/25(水) 11:26:23.80 ID:wEwhbV4v.net
btrfsかF2FSかな
ログ出力用途ならF2FSのほうが向いてそう

671 :login:Penguin:2023/01/25(水) 15:47:31.31 ID:EXync9nW.net
金持ってたらgpfs使いたいんだけどな
安定性は元々HPCやエンタプライズ向けだから折り紙付き
パスは255"文字"だしPOSIXで圧縮・暗号・ネットワーク共有・スナップショット・SSDキャッシュ等々
たいてい何でもあり、重複排除はあるのか知らんが

672 :login:Penguin:2023/01/25(水) 17:35:43.32 ID:wEwhbV4v.net
分散ファイルシステムならcephでよくないか

673 :login:Penguin:2023/01/25(水) 18:44:15.18 ID:YTKQNNVA.net
完璧ファイルシステムないよな
文房具みたいなもんでやりたいことがいろいろバラバラなんだろうな

674 :login:Penguin:2023/01/26(木) 18:29:31.56 ID:5ioFGUAk.net
当初から設計にも実装にも問題がなければ個人ユースではbtrfsがさいつよだったんだろうけどな
余りにも不具合が多過ぎた過去があって未だに怖くて使う気にはなれない

675 :login:Penguin:2023/01/26(木) 21:02:06.47 ID:2TRuZoTN.net
最近は不具合聞かんね

676 :login:Penguin:2023/01/27(金) 05:54:54.78 ID:xQJ6/CVG.net
btrfsだから不具合の噂が広まるみたいなところもあったと思う
去年か一昨年あたりにLinuxのext4がぶっ壊れてた時期があったけど別に広まってないし

677 :login:Penguin:2023/01/27(金) 07:51:44.90 ID:ZyeIUH9X.net
ext4とは頻度も不具合の数も全然違ってた
動画かスライドショーか忘れたけど当時のバージョンのbtrfsを意図的に壊す色々な手順を紹介してた
強引にじゃなくって長年使ってればそういうケースもあるだろうって手順だったからな
全員って訳じゃないが当時を知ってる人の多くは使い始めるのに躊躇するんじゃないかね

678 :login:Penguin:2023/01/27(金) 07:58:31.41 ID:7Jsb5HY4.net
みんなが寄ってたかっていじめ抜いて鍛え上げられたFSとかむしろ信頼できるという発想

679 :login:Penguin:2023/01/27(金) 10:39:51.30 ID:LqrORYKx.net
Copy-on-write のファイルシステムは、良い面もあるけど想定のパフォーマンス出ない時や、使わない方が良いケースを理解できたのは btrfs のおかげ。

680 :login:Penguin:2023/01/27(金) 11:47:37.09 ID:DOUGg5n2.net
cgroup v2に対応しているファイルシステムがbtrfsしかないからコンテナを厳密に運用しようとするとbtrfs使うしかないんだよな
Facebookがbtrfsを使ってる理由がこれだったはず

681 :login:Penguin:2023/01/27(金) 12:48:20.39 ID:BloaE25Y.net
ミラーリング対応してるファイルシステムはZFSとbtrfsくらい?

682 :login:Penguin:2023/01/30(月) 16:25:27.84 ID:Yst6JOSz.net
btrfsってもしかして面倒くさい?
空き容量少なくなってくるとSSDでもランダム書き込みが遅くなる
ファイル消してもメタデータが容量を食っている

btrfs使うなら定期的にbalanceしないとダメ?

倉庫用HDDなら、
ファイル圧縮
チェックサム
誤操作での削除防止や他ストレージへの差分バックアップにスナップショット

とかでbtrfs特有機能が生きてくる気はする
だがシステムドライブは安心と信頼のext4で良いんじゃないかと

あるいは、nodatacow使えば一つのパーティションで
非COWとCOWのファイルシステムの
両方のいいとこ取りが出来る?

683 :login:Penguin:2023/01/30(月) 17:58:00.76 ID:QsirhNqB.net
ファイル消して容量減らないのはメタデータなんかじゃなくて以前スナップショット切ったとか、コピー元ファイル残ってるとかだゾ。全く食わんとは言わないけどメタデータそんなに容量食わない。
空き容量減ってランダム遅くなるのはSSDってそういうもんだ。
/homeはスナップショットや圧縮がすげー生きるよ。

684 :login:Penguin:2023/01/30(月) 21:39:58.49 ID:3GnoYZPi.net
仮想ホストとゲスト両方共にbtrfsにしたのは失敗だろうか。。。

685 :login:Penguin:2023/01/30(月) 22:09:54.52 ID:BqpcEk1B.net
btrfs、ファイルを削除してからdfコマンドで見える空き領域が増えるのには少し時間がかかる
長いときでも5分とかだけどね

>>684
その書き方だと仮想マシンのイメージファイルもbtrfsのファイルシステムにあるのか?
仮想マシンのイメージファイルとか、データベースのファイルみたいなファイルをbtrfsに保存するときはCoW無効化しておくほうがよいぞ

686 :login:Penguin:2023/01/30(月) 22:38:55.10 ID:ljXAAj+j.net
半導体不足で納期が悲惨な頃にNASが壊れて、急場しのぎで作ったbtrfs+snapperが好評過ぎて今までズルズル使われてしまった。壊れるの嫌だから全くイジってなかったけれど、退役後に色々試すの楽しみ。kernel上げだけでも楽しみ

687 :login:Penguin:2023/01/30(月) 22:59:40.33 ID:3GnoYZPi.net
>>685
レスありがとう。
いちおうゲスト格納ディレクトリには
chattr +Cしてるけど、大丈夫かな。
ゲストの中身もbtrfsなんだよな。。。
NASとかでないのでオーバースペックだったかと後悔しそう。
新しいモノ好きだから飛びついてしまったよ。

688 :login:Penguin:2023/01/30(月) 23:59:54.60 ID:BqpcEk1B.net
ファイルを作成したあとにchattr +Cしてもダメやで
正しいやりかたはググって調べてね

689 :login:Penguin:2023/01/31(火) 00:00:55.84 ID:2mO0kE8y.net
おっと、空ファイルに対するchattr +Cは有効だった。詳細は調べてね

690 :login:Penguin:2023/01/31(火) 11:32:18.48 ID:f+A2MWdo.net
>>688
作成する前は良いということですね。
ありがとうこざいます。
これってディレクトリに対してのみでファイルには無効でOK?

691 :login:Penguin:2023/01/31(火) 17:20:25.87 ID:HmGFYeTA.net
>>690
ディレクトリに設定したら再帰的に適用される

692 :login:Penguin:2023/01/31(火) 17:22:17.29 ID:HmGFYeTA.net
>>691
間違えた
新しく作るやつは再帰的に適用される

693 :login:Penguin:2023/02/01(水) 00:54:19.49 ID:yopUQd5j.net
>>692
という事は別ディレクトリで作成したqcow2を+Cした
ディレクトリに持って行ってもダメかな?
よーわからん。

694 :login:Penguin:2023/02/01(水) 03:51:07.30 ID:tpP0IbWl.net
移動では+Cは付かない
コピーでは付く
移動してファイル個別に付けても良いけど

695 :login:Penguin:2023/02/01(水) 03:53:43.37 ID:tpP0IbWl.net
6.1がdebian testingに降りてきたぜ

696 :login:Penguin:2023/02/01(水) 23:52:41.52 ID:yopUQd5j.net
>>694
コピーね。ありがとう。
sparce=alwaysとかは必要ない?
何度もスマン。

697 :login:Penguin:2023/02/02(木) 00:25:43.38 ID:hcW9Z7Y7.net
pveをbtrfsのraid1でインストールしたら、2台のディスクに3つのパーティションができました。
raid1で動いているかどうか確認するコマンドってありますか?
filesystemはbtrfs fi dfで確認できるけどBIOS bootとEFI Systemが分かりませんでした

/dev/sda1 BIOS boot
/dev/sda2 EFI System
/dev/sda3 Linux filesystem

片方でPartition 1 does not start on physical sector boundary.が出てるので
いったんパーティション削除したいです(startが63でなく34なのが謎ですが)

698 :login:Penguin:2023/02/12(日) 13:48:12.47 ID:7Z1dKUR0.net
mkfs.btrfs -m raid5 -d raid5
mkfs.btrfs -m raid1 -d raid5

どっちで作る方が良いのかな?
最初後者で作ったけれど考え直して前者で作り直した。
検証しなきゃ分からないだろうしそもそも発展途上なので先々どうなるかわからないもんな。

699 :login:Penguin:2023/02/12(日) 22:34:29.85 ID:S/60aV97.net
ファイルごとに変更履歴を自動で管理してくれて個別に戻したりできるファイルシステムってある?

700 :login:Penguin:2023/02/12(日) 23:26:51.65 ID:dzVqQeMY.net
nilfsならできそう

701 :login:Penguin:2023/02/13(月) 12:26:37.97 ID:AX/0I8RO.net
>>700
ありがとう
確認してみる

702 :login:Penguin:2023/02/13(月) 20:01:13.11 ID:4TOJtyKq.net
メタデータやデータベースみたいにランダムアクセスするデータをRAID-5に
書き込むのは効率が悪いぞ?

例えばストライプサイズが 256KB で4本構成の場合、768KB のデータは256KB毎に
分割されてドライブA,B,Cに、パリティ計算結果はドライブDに格納される。
この状態でランダムアクセスで4KBだけ書き換えるとどうなる?

768KB中400KB目~403KB目までの4KBだけ書き換える場合、書き換えるのは
ドライブBの144KB目~147KB目までだけじゃないぞ。
ドライブDのパリティ256KB分も書き換えなきゃダメ。 RAID-1なら8KBで済む。

下手するとこれで済まないのが RAID-5 の困ったところ。
パリティ計算する際には768KB分メモリに無いと計算できないわけで
それがメモリキャッシュ上に載ってない場合はパリティ計算する前にドライブA,B,C
から256KBずつ768KB読み込みが発生するのよ。

加えてデータベースの、特にトランザクションログやファイルシステムのメタデータ
はロールバックの関係上非同期書き込みではなく同期書き込みが要求
されるので、書き込みを開始して完了するまでの応答時間が長いRAID-5は
相性最悪なんだわ。

わざわざデータ領域とは別の RAID で格納できるように設計されてるのは
そのためってこった。

703 :login:Penguin:2023/02/13(月) 20:20:34.53 ID:JTKPzsuw.net
>>702 ありがとう。
もうガッツリ -m raid5 のにデータ移してさっきお古のHDD群を物理的に破壊してしまったよ。。

>> ドライブDのパリティ256KB分も書き換えなきゃダメ。 RAID-1なら8KBで済む。

いやあ言葉がないや。わざわざ -m raid1を作ったのに作り直したのは、
「きちんと理解していないのに直感だけで小賢しいことするのは辞めよう」
と思ってのことだが、今度からは教えて貰えるチャンスあるうちは待つは。

まだ7.5TB利用なので、別機の2x4TBをraid0にすれば引っ越し→再構築→データ戻しできる。
暫くは放置するので、追加のアドバイスがあれば教えて貰えると嬉しいです。

704 :login:Penguin:2023/02/13(月) 21:41:25.50 ID:4TOJtyKq.net
>>703
ググったらマウント状態でも btrfs balance コマンドでデータもメタデータも
プロファイル変換が可能ってでるね

705 :login:Penguin:2023/02/13(月) 21:44:39.92 ID:JTKPzsuw.net
安全をみてデータ引っ越しはしときます。やっぱ変換するのが良いと自分も思います

706 :login:Penguin:2023/02/13(月) 21:58:45.29 ID:JTKPzsuw.net
>>699
snapperではダメ?
管理は個別ではなく全体だけれど

707 :login:Penguin:2023/02/14(火) 22:15:27.73 ID:zXFCtktD.net
btrfsのautodefragって効いてるのかどうか分かんない
新しく書いた所だけデフラグする?らしいけど
どれくらいデフラグされたか確かめる方法ある?

708 :login:Penguin:2023/02/16(木) 11:21:23.54 ID:/WojQc/b.net
btrfsのRAID6はいつになったらまともになるんだ
いつまでたってもzfsから移行できないじゃん

709 :login:Penguin:2023/02/17(金) 09:48:18.19 ID:uNGkbDLs.net
手動デフラグしてみたら空き容量が減ってしまった
balanceとかやってみるも
完全には戻らず

710 :login:Penguin:2023/02/17(金) 18:25:31.71 ID:AiQPR/Bg.net
共有されてるブロックが分離されるからそりゃそうよ

711 :login:Penguin:2023/02/18(土) 00:56:42.19 ID:aXHYSk4s.net
btrfs ムズくね
利用者少ないからかドキュメント限られてるし
hdd2台のrootfsをraid1で組んだ状態で試しに片方抜いたらブートがinitramfsで止まって手動でmountしようとするとuuidエラーになるし

712 :login:Penguin:2023/02/18(土) 00:59:33.31 ID:bx15a+Yc.net
片方死んでも稼働し続けられるのが売りなのにできないんじゃ意味ないじゃないかw

713 :login:Penguin:2023/02/18(土) 03:13:01.06 ID:A8aXfPDr.net
degraded付けてもだめ?

714 :login:Penguin:2023/02/18(土) 07:18:25.82 ID:tuV/P6l4.net
uuidエラーってことは設定が悪いのでは?

715 :login:Penguin:2023/02/18(土) 07:40:47.96 ID:A1++0POV.net
ルートにRAIDシステムを置くのは難しそう
対応しているOSに自動でやらせたほうが良いかもしれない
SUSEならbtrfsも対応してるかな

716 :login:Penguin:2023/02/18(土) 09:06:35.90 ID:DgURQKYs.net
自分も最初は同じように思ってSuSE試したよ。(3年くらい前)
サブボリュームの多さに面食らったので運用でのルートbtrfs化は見送った。

今のSuSEは知らないけれど、当時は自分で勝手に、
ルートは枯れたext4、作業領域はbtrfs.snapperの1hスナップ、
書庫はbtrrs.raidが楽で便利だと判断したので、身の回り全部似たような構成で使ってる。

717 :login:Penguin:2023/02/18(土) 10:31:13.19 ID:twWJoBAa.net
>>710
まじかー
もう失われた容量は戻らない?

718 :login:Penguin:2023/02/19(日) 12:24:28.89 ID:OSikgBLx.net
>>717
Dedupe したら回復できると思う

719 :login:Penguin:2023/02/19(日) 12:42:34.82 ID:Tj6dSDxL.net
便乗質問だけども、btrfsのdeduplicaterって標準では無くて外部ツールとしては複数あって迷う
おすすめないですか

720 :login:Penguin:2023/02/21(火) 00:10:45.66 ID:iEvEQd/E.net
>>719
https://github.com/Zygo/bees

721 :login:Penguin:2023/02/21(火) 05:54:30.86 ID:8Yznb6GH.net
>>720
サンクス

722 :login:Penguin:2023/02/21(火) 15:15:05.49 ID:OVQUFzCG.net
>>713
/etc/fstabにdegraded入れるだけだとだめみたい

>>714
raid1構成でbtfs filesystem showで見えるuuid(fstabにも記載済み)と片方HDD外してinitramfsで止まった時に表示されるuuidが違うのよ

>>715,>>716
PVE使おうとしてて、btrfs raid1でインストールすると/がraid1構成になるのよね

723 :login:Penguin:2023/02/21(火) 18:46:40.18 ID:AcBGErVl.net
そうなんだ。
btrfs.raid1の/がデグレードで稼働しないのなら、
実際に試したことないから知らなかったけれど、想定外で驚くな。

念のため重ねて聞くけれど、
mount -o degraded /dev/sd? /mnt/point
やってもダメってことだよね?

724 :login:Penguin:2023/02/22(水) 14:40:39.18 ID:4Tk2fUng.net
>>723
こんな感じでした
@initramfs起動した後にmountを打つと「none on / type rootfs (rw)」が表示されている
A@の後にmount /dev/sda3 /を打つとuuidエラーとなりmountで確認してもマウントされてない
BAの後にmount -o degraded /dev/sda3 /を打つとUnknown parameterと言われ失敗しているように見える
CBの後にmountを打つと@の表示+「/dev/sda3 on / type btrfs…」と表示されてマウントできてるように見える
DCの後にcat /etc/fstabを見ても空ファイルで/がマウントされてないように見える
Eexitでinitramfsを終了すると何か処理が走った文字列が表示され途中で止まる

725 :login:Penguin:2023/02/22(水) 18:56:00.22 ID:dGS8PrBY.net
>>724
>>マウントできてるように見える
こんなことになるんだな。ごめん僕には力になれない。

本当に余談だが、
自分は>>716の経緯でbtrfsを使い初めたので/のbtrfs化はしていない。
それでもkernelとbtrfs-progsは最新を追っている。まだ先駆的な技術だと思っているので。
自分らには/のbtrfs化はまだ早いのかも。とにかく力にはなれないがトラブル報告はありがとう。

726 :login:Penguin:2023/02/26(日) 21:16:26.06 ID:y+Rs3+YS.net
https://www.phoronix.com/news/Linux-SSDFS-NVMe-ZNS-SSDs
SSDFSなるものが出たらしい

727 :login:Penguin:2023/03/01(水) 11:49:18.70 ID:IHR5nPEA.net
NASに超〜〜〜長いファイル名を生成して何も出来なく成って焦った。
ドラッグ&ドロップがダメ、ファイル名の修正もダメ、ツールもダメ。
コマンドプロンプトも「cd」はUNCパスは設定出来ないからダメ。
ネットを検索したら光明が見えた。「pushd」というコマンドを使う。
このコマンドはUNCパスでもAドライブにするスゴイコマンド。
無事に自己解決できたでゴザル。FAQかもしれないが一応報告しとく。

728 :login:Penguin:2023/03/01(水) 21:02:19.10 ID:HRdkOpzu.net
コマンドプロンプト、UNCパスはダメでもネットワーク・ドライブに割り当てればコマンドプロンプトでcdできるのは有名だと思うが。
というか、cdにUNCパス食わせるとエラーでそう言われなかったっけ?

729 :login:Penguin:2023/03/01(水) 21:15:14.10 ID:/4LIBQ8q.net
>>727
ファイルをi-nodeで指定して扱う方法もあるよ。
大昔だけれど、日本語入力不可な接続環境で、
日本語のファイル|フォルダを扱いたくてこの板で相談して解決したことある。

全く関係ないけれど、
Linux板は年1回か2年に1回くらいしか自分はお世話にならなかったけれど、
たまたま前スレ見て何となく読んで書くのも何回かしてみて、ここは良いスレだわと思う。

730 :login:Penguin:2023/03/02(木) 07:39:56.46 ID:A4MiQ6bl.net
ネットワーク・ドライブに割り当てればコマンドプロンプトでcdできるのはFAQ?
了解しました。我輩は初めて知ったでゴザル。ネット検索でヒットしなかったでゴザル。
ネットワーク・ドライブはルートの位置でしかマウント出来ないので不便でゴザル。
「pushd」ならNASの深い階層まで一気に指定してマウント出来るのでゴザル。

731 :login:Penguin:2023/03/04(土) 19:54:33.50 ID:/cxB8+Mt.net
gio コマンドは?やったことないけどネットワーク利用

732 :login:Penguin:2023/03/04(土) 20:16:18.23 ID:03rUzW7Y.net
ござるござるよ須藤君は
ゆかいな味方 rootでござる rootでござる

733 :login:Penguin:2023/03/18(土) 13:04:29.97 ID:hp1PCPMP.net
外付けメディアをfstabに並べなくても/etc/udisks2/mount_options.confでデフォルトのマウントオプションを変えられることを今更知った
これでDOS/Windows系からファイルをコピーしてきたときに全部実行可能属性が付いちゃってるのを回避できる

734 :login:Penguin:2023/04/09(日) 22:03:56.04 ID:tKBjL/QK.net
Improved Btrfs Scrub Code Readied For Linux 6.4, ~10% Faster
https://www.phoronix.com/news/Btrfs-Linux-6.4-Better-Scrub

735 :login:Penguin:2023/04/13(木) 15:13:51.87 ID:50/6OciX.net
btrfsサブボリュームの削除が終わらない
これで進行状況見ると、1 orphans left to cleanとだけ出る
ちなみにHDD

Ubuntu Manpage: btrfs-orphan-cleaner-progress - show progress information about background deletion of
https://manpages.ubuntu.com/manpages/focal/en/man1/btrfs-orphan-cleaner-progress.1.html

736 :login:Penguin:2023/04/13(木) 15:40:25.18 ID:RqzzYhCs.net
何かしら原因で消せないんだろ

737 :login:Penguin:2023/04/13(木) 23:50:17.42 ID:50/6OciX.net
0 orphans left to cleanになってもずっとbtrfs-cleanerが稼働中

738 :login:Penguin:2023/04/13(木) 23:58:52.05 ID:evst9FMc.net
BTRFS不具合多すぎるんよ
ドキュメントもほぼ役に立たないし
異容量でRAID1組めるだけに留めときゃいいのに

739 :login:Penguin:2023/04/14(金) 07:12:15.26 ID:uRZfur5f.net
それ不具合なんか?

740 :login:Penguin:2023/04/14(金) 12:54:39.07 ID:zN9HcqpB.net
>>737
Linux 6.1系と6.2系だけで起きるっぽい
カーネルを5.15系に戻したら起きなくなった
バグ?

741 :login:Penguin:2023/04/14(金) 13:26:16.55 ID:WV9NkO8E.net
パターフェスで作成した ループバック イメージ 領域が壊れた
情報がなくて復旧は諦めた
ルプバック イメージで利用するのはあまり良くないのかな

742 :login:Penguin:2023/04/14(金) 14:17:50.69 ID:ll+le78X.net
>>740
再現性あるなら、報告したら直してくれそう

743 :login:Penguin:2023/04/14(金) 23:09:39.69 ID:UtE0U0oG.net
VM格納してる場合や書き込み多い場合nodatacowでマウントだよな?

744 :login:Penguin:2023/05/02(火) 22:27:14.82 ID:Tj/lxdtz.net
ZFS使ってる人いる?
用途どんな感じ?
優位性、どんなときに感じる?

745 :login:Penguin:2023/05/04(木) 22:38:33.53 ID:jZW3xhNV.net
コマンドがわかりやすくて短くて簡単で使いやすいところ好き

746 :login:Penguin:2023/05/05(金) 16:13:04.21 ID:4ru5QHhK.net
ZFS、proxmoxで暗号化mirrorで使ってる。
標準で暗号化、冗長化、snapshot、ファイルシステム(dataset)、ボリュームマネージャ(zvol)、CoW、全て一つで完結してるのが魅力。
メリット: 色々組合せる必要無くシンプル、柔軟な設定(ARC、L2arc、slog、special vdev)
(敢えてあげれば)デメリット: ライセンス問題、他よりマイナー、datasetの速度、CoWを外せない、かな。

747 :login:Penguin:2023/05/05(金) 16:42:27.83 ID:4ru5QHhK.net
追記: ZFSはdebian on OpenZFS。
少ないメモリ(とswap?)でHDDにWindows VMのディスクベンチなど短時間に大量の書込をしたらpanicしたことがある。
arcやtxg最大サイズを適切なものにするのがオススメ。
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#zfs-dirty-data-max-max

748 :login:Penguin:2023/05/18(木) 04:07:44.92 ID:miq2544B.net
>>744
Hackintoshで使ってるOpenZFS for macos2.1.6
一種のゲーム的な面白さがあるのよ 

このフォルダはほぼ開かないから
圧縮設定強めにzstandard で高圧縮してコピーだとか
このデータベースだけSSDに多く食わせようとか 

xp時代のHDD先頭パテ切ってキャッシュにしたりするような
あれの延長上的な攻略的なゲームに
macOSの整理整頓軽の面白さが混じってて面白い
Spotlight面白すぎる

special vdevでメタデータとSmall BlockをべつSSDにする方法はないのか

749 :login:Penguin:2023/05/18(木) 12:01:15.22 ID:pqDKbYkL.net
返答の御礼も書かなかったバチが当たったようです


メインでWindows機を使っていて、USBケースで海門6TB(NTFS)使っていました。
1週間ほど放置したらノートPCの電池が切れてNTFSが飛び、chkdsk /f /rも無駄に。

750 :login:Penguin:2023/05/18(木) 12:26:04.62 ID:pqDKbYkL.net
無礼な行為、申し訳ございませんでした。

751 :login:Penguin:2023/05/19(金) 15:31:20.97 ID:pc5cPjAC.net
ええんやで

752 :login:Penguin:2023/05/19(金) 19:42:36.15 ID:OVp5aWkt.net
今時のファイルシステムって停電ぐらいで壊れる?

753 :login:Penguin:2023/05/20(土) 01:43:56.19 ID:f+BRu3lK.net
停電に見せかけたHDDの障害かもしれんんやで。
同じロットのHDD積んでいるんだろうな、と思われるものでマシンのが同時期に壊れるとか。

754 :login:Penguin:2023/05/20(土) 13:26:23.98 ID:tJIicwK0.net
ある時からぶっ壊れ状態となったが電源を切るまでは動き続け、
電源を切ったら再始動できなくなるというのはHDDの障害としてはありがち。

755 :login:Penguin:2023/05/20(土) 14:49:07.18 ID:x9c+lDqg.net
大分昔の職場で大型連休の度に全PCの電源を落としていたが
連休明けとかに何回か再起動を繰り返さないと立ち上がらないHP-UXが近くの部署にあった
開発な癖にそんな危なっかしい機体を放置してる部署もどうかとは思ってはいたがそれはともかく
一回スピンアップに成功すると正常に使えるように見えるって奴とかな

756 :login:Penguin:2023/05/20(土) 15:30:50.35 ID:BJ1BctDK.net
回転系の家電を叩くと治るというのもこれ

757 :744:2023/05/20(土) 16:07:02.10 ID:1mROoG1K.net
フリーソフトで、mp3の音楽ファイルが5つくらい復旧しました。
wmvファイルは、何故か全てが「信長の野望 戦国群雄伝 for Windows」からリッピングしたwmaファイルの断片群に化けていました…

chkdskなんて掛けないでUbuntuか何かのLive USBメモリで起動してマウントすべきだったのかも

758 :login:Penguin:2023/05/20(土) 16:29:43.71 ID:S1lvO3j3.net
バックアップ取ってから操作しようね

759 :login:Penguin:2023/05/20(土) 17:13:57.50 ID:ltXV8LvB.net
>>757
最後が違う。「マウント」しないのが正解。まず、OSを起動する前にBIOS/UEFIで問題のHDDが
表示されていれば認識しているので、Linuxを起動し、"/dev/sdX"とdevice fileとしてのみ
認識している(umountされた)状態で、以下の2つの方法を取ると、file復活の可能性が高まる。

・TestDisk (NTFSのMFT修復等のHDDの整合性修復。案外これで直ることも多い)
・GNU ddrescue (HDDの起動音から瀕死に近い場合。patition imageを別のdeviceに作成、
このimageをmountしてfile抽出を行う。物理破損がないHDDに多くの業者が取る方法がこれ)

760 :login:Penguin:2023/05/20(土) 17:21:27.11 ID:xJglHe8k.net
ワイでもできそう

761 :login:Penguin:2023/05/20(土) 20:56:34.57 ID:tJIicwK0.net
突然の電源断に対してはchkdskはそこまでおかしい選択肢ではない
一方でWindowsのコマンドラインのchkdskは、最近はほぼ放置状態(MSが改良を試みていない)という説もある

>>753が指摘しているように、本当に「突然の電源断」なのかっていうところもある
普通はノートPCはバッテリーが切れそうになったら休止状態とかに入るものじゃないのか
なのにHDD破損に至ってるのは、最初にHDDが故障して、OSも停止してスリープや休止に入れなくなり、バッテリーを使い果たしたのではないか?

762 :744:2023/05/20(土) 21:06:45.56 ID:ErTqN22p.net
chkdsk /f /r
の実行自体がダメだったのでしょうか
実行前にddrescue実行必須??

763 :744:2023/05/20(土) 21:11:00.52 ID:e/EvVloM.net
>>761
OSはm.2 SSDに入っていて、今も問題なく起動できています。
SEAGATE ST6000DM003をケースに入れてUSB接続したまま放置したらNTFSが死んでいて、Windows 11のディスク管理画面ではrawという認識となっていました。

764 :login:Penguin:2023/05/21(日) 11:17:54.87 ID:avtWY8kE.net
>>762
マウントすると I/O Error 起こすセクタに当たった時にそこを読もうとして
延々エラーを繰り返すので I/O Error を読み飛ばす系の dd (ddrescue とか)
や chkdsk/fsck かが必要。

ddrescue は操作している間にディスクが完全にお亡くなりになるリスクへの対策。

今回の場合ディスクが完全お亡くなりになってない(ファイルが5個サルベージ
できた)ので ddrescue してもしなくても同じだった可能性が高い。

なので chkdsk は判断としては正解だった(chkdsk の前の段階で手の施しようが
なかったんだ)と思う(個人の感想です)。

765 :login:Penguin:2023/06/04(日) 02:44:53.33 ID:OYHe40au.net
単なる不意の電源断がその場であって
ダーティフラグ立ってるだけと確証があるなら
chkdskかける判断はおかしくないけど
大原則として論理的な障害ではなく物理障害が
少しでも疑わしいと思えたらその時点で
そのハードウェアに触れるのは
必要最低限に留めてかつ迅速に行うべきで
理想的にはddrescueなりで出来るだけ完全(に近い)複製を安全な場所に取ってから
そのイメージやらファイルやらだけを相手に作業をすべき

壊れたハードウェアの上でパーティション情報やファイルシステムの論理的なチェックや修正をかけても
まずその操作で余計に状況を悪化させてトドメ刺すだけだから少しでも疑わしければ安易にやっちゃいかん

ttps://wiki.archlinux.jp/index.php/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%83%AA%E3%82%AB%E3%83%90%E3%83%AA

766 :login:Penguin:2023/06/05(月) 12:27:24.59 ID:absDUdye.net
そこまでする価値のあるデータならそうするが、大抵の場合は本人が主張するほどに大事なデータではないんだよなぁという感慨しかない

767 :login:Penguin:2023/06/05(月) 18:41:18.77 ID:u6qS2404.net
今日は私の宝物をご紹介しましょう。将棋の駒。何の変哲もないように見えますけど実はここに血痕が付いてるんです。

768 :login:Penguin:2023/06/05(月) 22:11:48.33 ID:ureuPiWq.net
>>766
そもそも壊れたストレージごとき相手に
奮闘してまでサルベージしないといけない時点で普段から予算も手間も割いてないのは明らかだからな
そこまで必死になるほど真に大事ならバックアップコピーでもRAIDミラーリングでも
なんでもいいから冗長化していて然るべきなわけでさ

769 :login:Penguin:2023/06/13(火) 12:24:13.46 ID:lDxtctI3.net
btrfs、破損とかは今のところ無いが
謎のフリーズの問題やディスク書き込み量の増加に悩まされた
ZFSに変えようかな

770 :login:Penguin:2023/06/13(火) 12:38:20.13 ID:w4ejhCXL.net
フリーズはまあ分かるけど書き込み増加はなんだ?

771 :login:Penguin:2023/06/13(火) 13:36:32.93 ID:7Qy6hdZY.net
RedHatが匙を投げたファイルシステムを使うんだからその辺りは覚悟すべき

772 :login:Penguin:2023/06/15(木) 02:23:28.18 ID:KYvelAPC.net
>>770
cowじゃね?

773 :login:Penguin:2023/06/15(木) 03:18:39.62 ID:Ab0knFIL.net
>>772
CoWは逆に書き込み減るのでは

774 :login:Penguin:2023/06/15(木) 09:10:07.34 ID:oerfQs+R.net
defrag じゃね?

775 :login:Penguin:2023/06/15(木) 12:09:56.16 ID:iqXU0Muf.net
CoWで書込減るのってどんなケース??

776 :login:Penguin:2023/06/15(木) 15:11:40.65 ID:Z+lqZbOl.net
100MBのファイルをcpする場合
本来なら100MBの書き込みが発生するけれど
COWできれば共有で100MBの書き込みが省略されるので
本来の書き込み量に比べて実際の書き込み量は減るという意味なのでは

777 :login:Penguin:2023/06/15(木) 15:15:45.67 ID:k99mBPIK.net
変更されるまで実際には書き込まない
スナップショット的な動作を想定してるなら
CoWには限らない

778 :login:Penguin:2023/06/15(木) 17:53:34.01 ID:rJUVeeLq.net
ext4でcpしたら普通に書き込むやろ

779 :login:Penguin:2023/06/15(木) 22:43:39.35 ID:3807WRaz.net
なるほど。そういえばreflinkオプションあったのを忘れてた。

780 :login:Penguin:2023/06/22(木) 18:18:22.21 ID:tBmMKl6O.net
btrfsはやっぱりなんかあるのかな。
突然あるディレクトリ配下だけが全部サイズ0になってアクセスできなくなった。
でも、rootだと普通にアクセスできたから、とりあえずは復旧できた。
なんか気持ちが悪いんよね。
圧縮とサブボリュームが便利で気に入っているんだけど。

781 :login:Penguin:2023/06/22(木) 19:27:01.68 ID:uRZUK/qv.net
マウントの設定が書き換わってそう

782 :login:Penguin:2023/06/28(水) 10:41:23.69 ID:wJNVLCTf.net
Btrfsを使うならカーネルは常に新しくしておかなきゃね
古いカーネルでフォーマットしたBtrfsは不具合があるとかなんとか

783 :login:Penguin:2023/06/28(水) 11:46:28.60 ID:L4N4sWLK.net
カーネルに変えた時古いカーネルでフォーマットしたものはどうすればいいの

784 :login:Penguin:2023/06/28(水) 11:56:03.93 ID:8Cj153ze.net
そのまま使えばいいんじゃない?
新しいカーネルなら過去の問題は適宜検出してwarning出してくれると思うので。

785 :login:Penguin:2023/06/28(水) 12:35:03.12 ID:wJNVLCTf.net
そんな便利機能はないぞ
データを待避して再フォーマットするのが無難

786 :login:Penguin:2023/06/28(水) 12:37:27.85 ID:i0diXs6h.net
RAID6やZFS Z2がブッ壊れたときみたいらな

787 :login:Penguin:2023/07/02(日) 15:26:16.54 ID:mgIf5W3/.net
Btrfsを使うなら
FedoraかUbuntuの非LTSかローリングリリース系のディストリのどれかを使いたいね
それ以外だとしたらカーネルだけ最新にするキメラしないと厳しい

788 :login:Penguin:2023/07/02(日) 15:42:56.86 ID:ZRHaec83.net
カーネルの再構築ごときをキメラって…

789 :login:Penguin:2023/07/02(日) 16:57:26.23 ID:a8rTRfZG.net
極端に古いカーネルじゃなきゃなんともねぇぜ

790 :login:Penguin:2023/07/03(月) 04:52:40.51 ID:CmwYNL/n.net
Ubuntuなら新しいカーネル使えなかったっけ

791 :login:Penguin:2023/07/03(月) 06:54:34.07 ID:wpfzXeqf.net
Linux カーネルならどのディストリビューションでも簡単に最新にできるだろ。
バニラカーネルでコンパイルエラーになる事無い気がする。

792 :login:Penguin:2023/07/03(月) 08:30:03.69 ID:uA4NxAHI.net
Btrfsはカーネル上げてもいいけど戻すのはリスキーだから
公式で新しいカーネルを提供しているディストリのほうがいいよ

793 :login:Penguin:2023/07/03(月) 09:50:48.58 ID:RRoYTlzt.net
最近バニラカーネル触ってないから知らんけど、BuildPreReq情報は同梱ドキュメントに必ず書かれてたぜ
外す理由がないから、今もあるはず

794 :login:Penguin:2023/07/03(月) 09:55:08.11 ID:zIlPSEd4.net
>>792
aptならholdしておけば良い

sudo dnf exclude <パッケージ名>
でどうにか出来るみたい
arch系は知らん

795 :login:Penguin:2023/07/03(月) 14:26:54.52 ID:89+QS2OW.net
btrfsの話ならディスク上の基本フォーマットは長らく変わってないし
カーネルバージョン間での非互換機能はあるけどそれも使うと個別に非互換検出ビットが立つから
古いボリューム相手でも(後から操作できる物なら)新機能は問題なく使えるし
もし新しいカーネルのみの機能を持つボリューム相手に
古いカーネルでマウントしようとしてもroのみあるいはマウント不可になるので安全

実際にzstd圧縮やspace_cache=v2が入る以前の4.4(ルーター)と6.3(PC)の間で
compress=lzo,space_cache=v1で双方にマウントしたり戻したりしてるけど何の問題もないよ

796 :login:Penguin:2023/07/03(月) 19:00:31.26 ID:HL82Z5Qd.net
最近のTwitterで顕著だけど故意にフェイクニュース流してる奴結構いるよな
『騙されてやんの~』という◯ナ二―の一種なんかね

797 :login:Penguin:2023/07/17(月) 22:40:10.74 ID:Je/0Hij9.net
あとはオンボロSSDやSDカードでssdオプション有効にすると動作怪しくなるのと
ライトホール問題絡んでくるRAIDが怖いがそれらの点以外は便利なんだよなbtrfs
VMゲストしたときの性能についてはあきらめてLVM等使うかvirtiofsの今後に期待するって話で落ち着きそうだし

でもサブボリューム単位で透過圧縮やCoWの有無切り替えられないのは誰か何とかしてほしい
(ボリューム分けるって方法もあるが単一ボリュームで気軽にマルチデバイスできるのが本来の強みなのだし)

798 :login:Penguin:2023/08/03(木) 11:45:45.74 ID:dhkK29LG.net
www.phoronix.com/news/XFS-Maintainer-Steps-Down

> XFS File-System Maintainer Stepping Down

XFSのメンテナが辞任

> Nowadays, people working on XFS seem to spend most of their time
> on distro kernel backports and dealing with AI-generated corner
> case bug reports that aren't user reports. Reviewing has become a
> nightmare...

AI生成のバグレポに延々対処する仕事か
まさに悪夢

799 :login:Penguin:2023/08/03(木) 17:02:05.88 ID:q/P9l3yV.net
疲れただけにも読めるけどAIが悪い?

800 :login:Penguin:2023/08/07(月) 03:43:34.79 ID:sl53biTi.net
AIがバグレポって何だろね
有意義なレポートじゃないなら選別AIで対抗だ

801 :login:Penguin:2023/08/07(月) 16:11:58.52 ID:kx1CvaiP.net
ランダムに変な負荷かけたり
1秒間に1000回マウントとアンマウントを繰り返したりするんだろう多分
時代はBtrfsなのにやってられんよな

802 :login:Penguin:2023/08/07(月) 17:10:45.37 ID:UfPJft9p.net
スタックトレースで分類したら実質数個じゃないのかね

803 :login:Penguin:2023/08/08(火) 18:58:58.54 ID:p601nbQW.net
ファジングテストの事でしょ…と思ったが多少違うっぽいな
AIが生成しまくるコーナーケースのバグレポートに疲弊したって話っぽい
まぁXFSは赤帽の生命線なんだから問題起きても赤帽がなんとかしてくれるんじゃない?

804 :login:Penguin:2023/08/08(火) 19:01:17.00 ID:TS/nSBMX.net
修正パッチもAI生成出来るようになるまであと一歩

805 :login:Penguin:2023/08/08(火) 19:17:01.15 ID:3W4UAIfD.net
>>803
なんかJFSがいいよ、っという神の声が聞こえた気がした。
ext4 と比較して利点も欠点もないはずたが、Linux での採用例が少ないという大きな欠点。

806 :login:Penguin:2023/08/08(火) 22:12:53.38 ID:RPAYsqMe.net
ext4でいいがな

807 :login:Penguin:2023/08/09(水) 15:45:58.33 ID:CzBgG1A0.net
>>805
Linux Developers Eye Orphaning The JFS File-System

www.phoronix.com/news/Linux-Possible-Orphan-JFS

もう使ってる人いないしJFS捨てようみたいな話が出てる

808 :login:Penguin:2023/08/09(水) 16:06:10.92 ID:t3DTDYXA.net
マイナーなファイルシステムってマトモにメンテされてないし不具合あっても報告されないし使わないほうがいいよ

809 :login:Penguin:2023/08/09(水) 16:18:32.46 ID:M/z4SoOm.net
AIX, OS/2 では動いていて30年前はいいもの感もあったはず...

810 :login:Penguin:2023/08/09(水) 17:19:22.43 ID:xh6A1oH/.net
RHELで採用されてないということはメンテされていないということに等しい

811 :login:Penguin:2023/08/09(水) 18:13:24.21 ID:+nr5wDrM.net
FacebookってCentOSで動いてるらしいけどファイルシステムはbtrfsなんだよな

812 :login:Penguin:2023/08/09(水) 18:54:14.67 ID:BKxgttZ4.net
ext4もオワコンなのTT

813 :login:Penguin:2023/08/09(水) 19:31:12.63 ID:M/z4SoOm.net
>>810
そう考えるとRHは凄いんだな、と思いました。

814 :login:Penguin:2023/08/09(水) 19:49:45.32 ID:xh6A1oH/.net
Btrfsは事実上facebookがメンテしてるからね
自社でメンテしてるファイルシステムだから採用しやすい

815 :login:Penguin:2023/08/09(水) 20:20:43.57 ID:MStot6iX.net
>>812
オワコンというよりいい具合に枯れきった
ファイルシステムになった感じ
先進性より安定性が必要な用途でお呼びがかかる
老兵っぽいイメージ

816 :login:Penguin:2023/08/09(水) 21:06:48.18 ID:t3DTDYXA.net
SUSEもbtrfs使ってるぞ

817 :login:Penguin:2023/08/09(水) 22:04:09.03 ID:9gexIL31.net
もちろん頼もしいのが第一だが、
逆に言えば現メタ(だけじゃないが)の使用してるユースケースに沿わない使い方に関しては中々進歩しないのが弱点だと思う
RAID56が長い間ダメダメだったのやFS単品での暗号化や階層キャッシュが望めないのもDCでbtrfs使ってる処がそういう機能に興味もってないからだろうし

818 :login:Penguin:2023/08/11(金) 07:10:18.88 ID:PKaGesv1.net
RAID5/6 でのバグは直ったのか?
家庭用では無い構成だから関係ないと思ってはいたけど。

819 :login:Penguin:2023/08/11(金) 15:02:10.75 ID:gMoSz8Vl.net
治るもクソも根本的なライトホール問題があって、ディスク追加の扱いが悪い意味で柔軟なBtrfsは対処が難しいからメンテ側が乗り気じゃないって話じゃないかな
現状は最新カーネルかつメタデータのraid構成を別にすれば良いけど実績も脳死で使える安心感も皆無だし

とはいえ主流のハードウェアraidはデータ化けに弱いんだからチェックサム有りfsで安心して使えるraidがもっと一般化してほしいお気持ちもある

820 :login:Penguin:2023/08/11(金) 18:09:59.08 ID:sG2VRRL/.net
Btrfsのディスク構成の緩さは異常。なんでもかんでもストレージプールに合体できる

821 :login:Penguin:2023/08/11(金) 20:00:03.37 ID:I1R13U0l.net
自分はbtrfs嫌いじゃないから不満はないがSSD最適化とか将来的なZonedStorage対応考えるとほかに選択肢なくなっていきそうなのは真剣にどうかと思う

822 :login:Penguin:2023/08/11(金) 20:41:36.59 ID:R8sdUFxz.net
ストレージプール使うと遅くならない?
5400rpm のHDDが悪いのかもしれんし、比較で測定もしてないけど。

823 :login:Penguin:2023/08/11(金) 20:51:25.84 ID:TQtB6JMZ.net
bcachefs

824 :login:Penguin:2023/08/11(金) 20:59:56.03 ID:TYuMCrmq.net
HAMMERって広まらないな。

825 :login:Penguin:2023/08/11(金) 21:06:57.89 ID:sG2VRRL/.net
bcachefsの作者を毎月支援してたんだけど、Btrfsがすっかり良くなって支援止めちゃった

826 :login:Penguin:2023/08/11(金) 21:13:25.37 ID:LiM6QNme.net
OSSって上位互換が登場すると一瞬で廃れるから辛いよね
VSCodeが登場してエディタ系が全滅しちゃったような事がいつでも起こり得る
有料製品みたいに価格で対抗することもできないし

827 :login:Penguin:2023/08/12(土) 02:11:14.13 ID:CUhGvmvA.net
bcachefsは機能的にはBtrfsと差別化できてると思うが
これからメインライン入りしてガンガン開発者集めて安定させないといけないのにlinux6.5マージ失敗のMLのレスバからして雲行き怪しいからどうなるやら

828 :login:Penguin:2023/08/23(水) 10:17:38.29 ID:Z1oeJl5c.net
プロプラに言うのはアホだと分かってはいるが
それでもGPFSがフリーで使えたらなあって思う
あれクラスタリングがメインだから勘違いしてる人多いけど
CephやRustreと違ってローカル使いにも適してると思うんだよなあ
使ってるZFS全部捨ててGPFSに乗り換えたいと思うぐらいには

829 :login:Penguin:2023/08/23(水) 13:29:05.81 ID:r3sixzFM.net
juicefsとか使ってみたら
現代技術の分散ファイルシステムって感じだ

830 :login:Penguin:2023/08/26(土) 23:56:49.75 ID:si6bfGjt.net
GlusterFS面白いな。
簡単な手順で組める。
我が家のはストライピング構成だから怖いけどw

831 :login:Penguin:2023/08/27(日) 00:05:46.78 ID:pseOgDNm.net
特殊なRAIDを組まない限りは全部Btrfsで成立する時代になった

832 :login:Penguin:2023/08/27(日) 11:11:37.95 ID:uktDXYY0.net
Redhatがまたbtrfsに戻ってくるってある?

833 :login:Penguin:2023/08/27(日) 12:18:39.13 ID:PR/CoOyy.net
Fedoraでbtrfs使ってるしRHEL10のデフォルトに採用しても驚かない

834 :login:Penguin:2023/08/27(日) 14:35:23.84 ID:pseOgDNm.net
顧客の要望があれば導入するでしょ
RHELにとっての一番の顧客ってどこなのか知らんが

835 :login:Penguin:2023/08/27(日) 16:27:11.11 ID:YnC5/bGq.net
RHELも将来的にはcow/cor対応のFS導入するだろうけど
自前の製品群がXFSに特化してそうだから簡単には変えられないだろうしまずはGPLの取り扱いの件何とかすべきだろうなあ

836 :login:Penguin:2023/08/28(月) 20:03:29.10 ID:G62eI9B5.net
今の Red Hat は Spectrum Scale (GPFS) 販売している IBM が上にいるから
フリーのファイルシステムに積極的には投資はしないでしょ。
メンテに金のかかる多機能なFSじゃなくてXFSを細々とメンテするだけじゃないかな。

837 :login:Penguin:2023/08/28(月) 21:03:25.04 ID:iZDgPe4W.net
IBMがJFS押し付けてきたりして

838 :login:Penguin:2023/08/28(月) 22:34:50.78 ID:0S8N8ier.net
Btrfsはパフォーマンスがちょっとね。
現状BtrfsはZFSにもボロ負けだからな。
Linux6.5でどの程度改善されるか。
あと、暗号化機能がずっと先送りされたまま。

839 :login:Penguin:2023/08/28(月) 22:44:42.41 ID:qK84yeuR.net
暗号化は導入するだけでなく高度なセキュリティ検証が必要だからハードルは高いよ
ZFSの暗号化は第三者機関でセキュリティ検証してるのかな

840 :login:Penguin:2023/08/28(月) 23:13:08.33 ID:AtYIGZfm.net
GFS入れたけど遅いw
設定は簡単だからVM置き場ではなく普通のストレージにしたよ。
やっぱ専用機が一番だな。

841 :login:Penguin:2023/08/28(月) 23:52:08.72 ID:VOEduRz2.net
一口に暗号化っつーてもh/w込みなのかデバイス単位なのかボリューム単位なのかで勝手違うからこういうのは特定の製品持ってる企業がガンガン進めないときついところある
しかし今時ノートpcみたいな要件だと流石に外せない要素になりつつあるからぼくのかんがえたさいきょうのソリューションが欲しいんだよ

842 :login:Penguin:2023/08/29(火) 00:15:49.10 ID:plGc1vmm.net
暗号化LVM使えば暗号化自体は可能だし
セキュリティ関係で厳密なテストが必要な重い作業の割には
新規に何かを実現できるわけでもないから優先順位は低いでしょう

一度導入したら最後、脆弱性がでるたびに最優先で修正が必要になるし

843 :login:Penguin:2023/08/29(火) 10:06:23.79 ID:MCVzj3AF.net
ZFS mirror、SATAケーブルの差し込み不良でエラー出たけどちゃんと一基で動作して再起動も無停止。
ケーブル直したら変更分だけresilverしてすぐ復旧。今更だけど感動。

844 :login:Penguin:2023/09/01(金) 09:42:36.11 ID:mxVVj1pR.net
ReiserFS Officially Declared "Obsolete"

www.phoronix.com/news/ReiserFS-Obsolete

R.I.P.

845 :login:Penguin:2023/09/07(木) 16:11:28.79 ID:7YbGerrn.net
再インストールの機会があったのでここ見てcompress-force=zstd:1にしてみた
だいたい良好だけども、m属性やproperty set compression noneも無視して圧縮するかどうかはzstdの判断のみなんだな

846 :login:Penguin:2023/09/08(金) 12:28:17.09 ID:NWED9HrM.net
bcachefsメインライン入り諦めたっぽい?
作者も開発リソース不足や取り巻きの礼賛で冷静さ失ってそうだし、10年とは言わず数年後くらいに平穏な形で再チャレンジ出来るといいなぁ

847 :login:Penguin:2023/09/08(金) 14:44:51.39 ID:3VYxIX8d.net
TPM-backed Full Disk Encryption is coming to Ubuntu

https://ubuntu.com/blog/tpm-backed-full-disk-encryption-is-coming-to-ubuntu

UbuntuがWindowsのbitlockerみたいなTPM使ったディスク暗号化やるみたい

848 :login:Penguin:2023/09/08(金) 17:32:16.74 ID:PGoi6aw5.net
TPMはプロ相手にはセキュリティ上の追加効果は殆どないのに
一般のユーザーはデータを救出不可能になるリスクが増すというデメリットばかりの代物だぞ

849 :login:Penguin:2023/09/08(金) 21:12:29.39 ID:vmuHLOjm.net
パフォーマンスの問題が解決するんとちゃうの?ソフト暗号複合が遅いから暗号化しないユーザーたち

850 :login:Penguin:2023/09/09(土) 01:07:26.32 ID:PNSm0HJB.net
この場合はパスワード入力不要でTPMだけでディスク暗号化する機能が追加されるという話のようだ。
外部から自分でデータを救出したいときにトラブルになる未来しか見えないが。

851 :login:Penguin:2023/09/09(土) 01:43:47.21 ID:vYEfIx3n.net
結局俺は次もext4+lvmにしてしまいそうだ orZ

852 :login:Penguin:2023/09/09(土) 02:09:12.37 ID:5+XaQjmS.net
Btrfs+zstd:1にしようぜ
容量が想像以上に圧縮できて驚くよ

853 :login:Penguin:2023/09/09(土) 04:46:22.67 ID:hrjGdPZn.net
今時容量不足で苦しむことなんてそんなに無いでしょ。

854 :login:Penguin:2023/09/09(土) 11:29:43.96 ID:OSz4dSUY.net
一般的なpcとディストリで気軽に使えてプロ相手にも十分通用する暗号化ってなんだろう・・・

855 :login:Penguin:2023/09/09(土) 11:44:53.10 ID:WW7jheGz.net
>>852
zstd安定してる?

856 :login:Penguin:2023/09/09(土) 11:46:05.74 ID:2Ydxc51k.net
>>851
スナップショットのあるファイルシステムいいよ
いつでも全ファイルの差分が見えるし、バックアップ取るときもまずスナップショットを取ってそっちを対象にすれば
メインボリューム側では整合性期にせず作業続けられるし

857 :login:Penguin:2023/09/10(日) 20:15:54.59 ID:qbFiXkWo.net
>>855
Fedoraのデフォルトになって数年が経過しているから安心していいよ

858 :login:Penguin:2023/09/11(月) 02:37:28.23 ID:wx5vSnGw.net
Btrfsの透過圧縮でわざわざ標準外のレベル設定するのってだいぶ特殊用途なんでは…?

859 :login:Penguin:2023/09/11(月) 03:42:15.33 ID:MkIBph5P.net
Fedoraチームがベンチマークを取ってzstd:1がベストと導き出したんだよ

860 :login:Penguin:2023/09/11(月) 13:07:53.88 ID:/MP3rsEl.net
5年以上 zstd で btrfs使ってたけど自分は問題無かった。
今はZFSでzstd使ってるけどこっちも問題ないよ。

861 :login:Penguin:2023/09/11(月) 19:21:26.09 ID:ZukU+m1D.net
>>860
btrfsからzfsにした理由とかある?

862 :login:Penguin:2023/09/12(火) 12:34:20.20 ID:oWjnH80A.net
>>861
理由はproxmoxに移行したため。

863 :login:Penguin:2023/09/12(火) 12:45:23.11 ID:DJarWrt9.net
純粋なストレージプールが欲しいならzfsやcephあたりで良いんだろうが
仮想化ゲストならvirtiofsが主流になって使いやすくなってほしいなぁ

864 :login:Penguin:2023/09/12(火) 18:21:03.24 ID:0x45b9Fv.net
>>862
サンクス

865 :login:Penguin:2023/09/14(木) 09:22:53.20 ID:WI6q0tm8.net
Ubuntu 23.10 Restores ZFS File-System Support In Its Installer

https://www.phoronix.com/news/Ubuntu-23.10-ZFS-Install

UbuntuはZFSを見棄てたわけではなかったみたい
次世代FSはbtrfsなのかZFSなのか……

866 :login:Penguin:2023/09/14(木) 10:19:35.59 ID:jRzDDQU8.net
ZFSはライセンス問題がある限りスタンダードにはなれんのだ

867 :login:Penguin:2023/09/15(金) 07:17:41.88 ID:9NGXdfca.net
CDやBDだったら中がぐちゃぐちゃでもそれ片付ければ済むんだよ
焼くこともできない惨状

868 :login:Penguin:2023/09/17(日) 15:12:43.80 ID:FJ1uJcgU.net
VDOつこうてる人おる?

869 :login:Penguin:2023/09/18(月) 15:45:48.07 ID:L7KGNN8O.net
あなるせっくす

870 :login:Penguin:2023/09/21(木) 00:41:07.75 ID:1UlvRSU1.net
結局またext4+lvmにしてしもうた

871 :login:Penguin:2023/09/21(木) 05:23:38.17 ID:ANmRMBlW.net
xfs+lvmでおk

872 :login:Penguin:2023/09/21(木) 05:49:42.91 ID:WSpKvFxh.net
もはやBtrfs以外は使わない理由を説明する必要があるレベル

873 :login:Penguin:2023/09/21(木) 06:44:23.64 ID:JX0mQUyS.net
btrfs難しいよ
どういう使い方が標準なん?

874 :login:Penguin:2023/09/21(木) 06:46:05.83 ID:WSpKvFxh.net
zstd:1で圧縮して時々スナップショットを取る使い方が標準だよ
バックアップを一瞬で取れるから派手にファイルを扱える

875 :login:Penguin:2023/09/21(木) 08:27:56.37 ID:d6nf5QMj.net
>>874
いうても同じボリュームにスナップショット取ってるんやろ?

876 :login:Penguin:2023/09/21(木) 09:00:06.23 ID:XANLv9rm.net
スナップショットとバージョン管理は根本的に似てるような気もする
gitとbtrfsで何かfusionできないかな

877 :login:Penguin:2023/09/25(月) 09:30:13.85 ID:QR7gQC+U.net
言われてみると rsybc の差分バックアップで間に合うような気もする

878 :login:Penguin:2023/09/25(月) 09:30:23.93 ID:QR7gQC+U.net
rsync

879 :login:Penguin:2023/09/25(月) 11:47:16.97 ID:zugjyJ6O.net
俺は2005年くらいから毎日差分バックアップしたhomeディレクトリがある
当初はpdumpfsで途中からrsyncを使ってとったもの
つまりファイルに差分がなかったらハードリンクにして容量増加が抑えられる
ファイルとかハードリンクとかは当時から何も変わらないからまだ使えるんだけど
その下のストレージもfilesystemも開始した当時とは全く変わってしまった

880 :login:Penguin:2023/09/25(月) 12:27:36.70 ID:VredknRB.net
普通の差分バックアップとBtrfsなどのスナップショットの違いは
ゴミ箱に放り込んだ後の挙動だね。
普通の差分バックアップは一応次のバックアップまでは容量が回復するけど
Btrfsのスナップショットだと、一度でもバックアップをすると
以降はファイル削除で逆に空き容量が減ったりという奇怪な挙動になる。

881 :login:Penguin:2023/09/25(月) 20:33:53.95 ID:Dj8vE3f6.net
言いたい事は分かるがワケワカメ

882 :login:Penguin:2023/09/25(月) 20:39:38.85 ID:Vkv0J98F.net
スナップショットそのものをバックアップとして運用するんじゃなくて
スナップショットで瞬間を固定したものを別の物理ドライブにバックアップするんやで
使用中のデータをバックアップするよりも整合性の心配をしなくてよくなる

883 :login:Penguin:2023/09/25(月) 22:01:01.77 ID:LfNnJKFD.net
>>882
それ、スナップショットを別の物理ドライブに取ればええんでないの?

884 :login:Penguin:2023/09/25(月) 23:48:55.49 ID:ism+fxM1.net
スナップショットの仕組みがわかっていない奴だな

885 :login:Penguin:2023/09/26(火) 08:02:57.35 ID:KG56oHdj.net
昔使ってたストレージを思い出した。
データベース停止→同期ディスク切り離し→データベース起動→切り離したディスクからバックアップ→ディスク同期
データベース停止から起動まで5分だけど、バックアップは10時間とか。

886 :login:Penguin:2023/09/26(火) 10:11:45.59 ID:xrfmLA6d.net
スナップショットはバックアップではないと何度言えば解るのか

887 :login:Penguin:2023/09/26(火) 14:50:45.20 ID:VjKOh95q.net
RAIDだってバックアップじゃないぞ!>昔の俺

888 :login:Penguin:2023/09/26(火) 16:02:18.97 ID:rwEhTV2J.net
スナップショットも全部別ボリュームにバックアップや

889 :login:Penguin:2023/09/26(火) 16:33:00.89 ID:ConcCYWM.net
俺はスナップショットを使ったことないんだけど
スナップショットってある時点のファイルシステムの状態を
保存できるというので良いのかな?
スナップショットってのは何回も取れると思うんだけど
するとこれらをバックアップしようと思ったら
他のストレージに複製する必要がある
それはフィルシステム階層でやるのかな? 複製されるのはフィルシステムのイメージ?
それともその上のcpコマンドとかrsyncでファイルとして複製するのかな?

890 :login:Penguin:2023/09/26(火) 16:59:03.54 ID:UEtMMw78.net
バックアップ=一世代保管
の人には何でもよくね?

891 :login:Penguin:2023/09/26(火) 17:08:21.03 ID:ConcCYWM.net
複数世代保管する場合は?

892 :login:Penguin:2023/09/26(火) 17:24:21.77 ID:eeSFYOQt.net
物理的な破損に対する対策をしたいのかデータ的な破損に対する対策がした以下によるでしょ。
よほどのことがない限りは通常利用でSSDが物理的に破損するなんて無いからスナップショットで十分だよ。

893 :login:Penguin:2023/09/26(火) 17:29:06.04 ID:ConcCYWM.net
>>892
>SSDが物理的に破損するなんて無い
そなの?

894 :login:Penguin:2023/09/26(火) 17:38:57.68 ID:CutUCQeF.net
熱で歪んではんだクラックすることはあるよ
基板を使った全ての電子機器に言えることだけど

895 :login:Penguin:2023/09/26(火) 18:24:20.13 ID:/zVjMShk.net
>>892
物理的な破損じゃなくてもコントローラーのバグでデータ消失とかあるだろ。SanDiskとか。
バックアップは物理的に分けるのが基本。

896 :login:Penguin:2023/09/26(火) 18:24:39.08 ID:HY18Phw2.net
>それともその上のcpコマンドとかrsyncでファイルとして複製するのかな?
そうだよ、スナップショットをマウントして、ファイルを「別の場所に」コピーしてはじめて正当なバックアップと言える。
これらの手順を簡略化できるsend/recvコマンドが用意されていて、
こっちの方が効率いいし、メタデータも丸ごとクローンできる。

897 :login:Penguin:2023/09/26(火) 20:50:59.15 ID:ConcCYWM.net
>>896
>そうだよ、スナップショットをマウントして、
なるほどね
俺はrsyncで良いや
夜中に寝てる間にやるから問題なし

898 :login:Penguin:2023/09/26(火) 21:55:48.96 ID:TWM10f36.net
/をスナップショット撮ってその領域を別筐体にrsync or cpし、ブートローダー入れれば普通に動くものですか?
やはりddが必要ですか?

899 :login:Penguin:2023/09/26(火) 22:19:34.53 ID:ConcCYWM.net
/var以下とか書き込み途中のファイルがあるだろうから
そこは影響あるかもしれんが多分大丈夫でしょ

900 :login:Penguin:2023/09/26(火) 22:33:42.56 ID:eeSFYOQt.net
Debianは単なるマウントポイントで起動ディスクを指定してるから動く。
FedoraはUUIDで起動ディスクを指定してるから動かない。

901 :login:Penguin:2023/09/26(火) 23:56:02.07 ID:ciLguc5D.net
SSDはHDDより気楽にセルが死んで内部のECCで誤魔化すつくりだから大手のちゃんとした奴でも壊れないって発想は絶対できないなあ
まあ結局は本人がどれくらいの信頼性とデータの保全を重視してるかだけど

902 :login:Penguin:2023/09/27(水) 02:12:38.77 ID:W5UIw3RP.net
SSDは電気的に壊れたりしそうだしHDDより信頼していいとも思えない

903 :login:Penguin:2023/09/27(水) 05:26:01.49 ID:7DJInsqy.net
HDDのような故障の予兆はネエと思った方がイイですぬ

904 :login:Penguin:2023/09/27(水) 06:49:30.11 ID:46paGLZ6.net
マジで重要なデータならHDDはデータ復旧業者に持ち込めばほぼデータ救える
SSDは難しそう

905 :login:Penguin:2023/09/27(水) 06:50:41.48 ID:iBlbR2xC.net
ガタが来てもカリカリ言ってくれないのは怖い

906 :login:Penguin:2023/09/27(水) 09:46:10.71 ID:A1V3Gn9T.net
>>900
DebianだってUUIDで指定してるぞ

907 :login:Penguin:2023/09/27(水) 10:23:04.16 ID:QgS9Bnud.net
>>900
>起動ディスクを指定
って何のこと?

908 :login:Penguin:2023/09/27(水) 10:39:59.28 ID:JigpusFU.net
fstabの指定じゃない?
sda,sdbとかデバイス名使うと順序が保証されないからいかんよ

909 :login:Penguin:2023/09/27(水) 20:05:00.45 ID:GQT9kNXi.net
>>899
ありがとうございます!
明日試してみます!

910 :login:Penguin:2023/09/28(木) 00:37:51.79 ID:94oQ5Buk.net
>>897
KVMとかで何十GBのイメージ(常時書き込みあり)を扱ってるんだけど、rsyncで不整合起きないものかね?
怪しいと思ってrsync(rsnapshotだけど)の対象にはしてなくて、イメージの中身のファイルをrsyncしてるけど。

911 :login:Penguin:2023/09/28(木) 00:39:46.09 ID:94oQ5Buk.net
>>908
fstabじゃなくてカーネルの起動オプション(cmdline)とinitramfsじゃないの?トラブるとめんどい。

912 :login:Penguin:2023/09/28(木) 00:49:11.24 ID:+gzxXnc4.net
cpした後chrootしてinitramfs作り直したら駄目なの?

913 :login:Penguin:2023/09/28(木) 00:49:21.48 ID:XkI+WmkE.net
>>910
チェックサム確認して更新するオプションあるけど、そういうのはrsyncに合わない。
あくまで個々のファイル単位でのコピー。
また、チェックサム確認つけるとサイズが大きいファイルはコピーにその分時間かかる。

914 :login:Penguin:2023/09/28(木) 06:44:04.83 ID:z6oGmeGq.net
メインで使うLinux端末なりサーバなりはxfs+LVM
バックアップ用ストレージをbtrfsの構成にして物理的に分ければストレージ側で好きにバックアップ取れば良い
または仮想環境ならNAS上に仮想ボリュームがあるだろうからNASのバックアップ機能に任せる

915 :login:Penguin:2023/09/28(木) 11:50:37.80 ID:L9iUhrdY.net
複雑なことしてないけど、自分はこのやり方でdisk移行したことあるよ。
ttps://wiki.archlinux.org/title/Rsync#Full_system_backup

916 :login:Penguin:2023/09/28(木) 13:53:16.45 ID:Gu9bK1i6.net
>>915
/varの下は特に用量が大きいから、何箇所かは除外したいな。

917 :login:Penguin:2023/09/28(木) 19:23:09.78 ID:9mIhxcp8.net
>>912
/etc/fstab のUUID書き換えた後に (chroot 不要かも?) grub2-mkconfig かな。
書き換えが必要なのは fstab と grub.cnf (もしくはgrubenv) だ。
LVM ありなら initramfs 再作成も必要だったかも。

918 :login:Penguin:2023/09/29(金) 02:55:49.42 ID:lDK7qxF5.net
USB+cryptsetup(x3)をbtrfsでraid0にしてですな
使ってるうちにcsumエラーが出るようになるけどmd5sumは正常
カーネル4系だけどもう6出てるの?

919 :login:Penguin:2023/09/29(金) 14:53:20.86 ID:4bRRCmT8.net
いまだにラズパイがbtrfsに標準対応しない理由が全然わからない

920 :login:Penguin:2023/09/29(金) 19:11:04.24 ID:g6OxXcSR.net
btrfs排卵

921 :login:Penguin:2023/09/29(金) 21:52:11.44 ID:QIpBYW7I.net
そもそもラズパイはストレージがmicroSD/emmc前提で
SDカード内部のコントローラは基本的にfat等しか想定しておらず安物でSSD最適化が入りまくったbtrfs使うと不安定になりやすいしCOWの性能的なデメリットもバカにならない
ラズパイ6か7が出てNVMe標準搭載してから高級なFSのプリインストール願えばいいんじゃないかね

922 :login:Penguin:2023/09/30(土) 00:36:41.44 ID:0uxPGqbB.net
csum error、dm-crypt + btrfs raid1 で出たことある。
用途はqemuのcache none で↓に引っかかっていた様だった。
ttps://archive.kernel.org/oldwiki/btrfs.wiki.kernel.org/index.php/Gotchas.html#Direct_IO_and_CRCs

923 :login:Penguin:2023/10/02(月) 02:36:36.75 ID:eEkkOm2D.net
918です
一個がno medium foundになりまして生来ブキッチョでして壊したのでしょうか
oldoldstable(4系)からbookworm(6系)にアプデしたらなんかsyncが激遅くなった\(^o^)/

924 :login:Penguin:2023/10/02(月) 10:40:48.10 ID:kI29dD03.net
自分なら怪しそうな動きをしているならまっさらの新しいストレージとファイルシステム用意して構築しなおすかなあ
データロストは怖い

925 :login:Penguin:2023/10/05(木) 08:22:04.93 ID:6TdW7jQ/.net
>>923
単に物理的に壊れかけてたのがいよいよぶっ壊れただけじゃないの?
カーネル上げた/ソフトウェアの不具合で no medium found になるとは思えないんだが...

あと raid0 でドライブ1つ死んでも sync できちゃうものなの?
その状態でマウントが read-only に落ちないのは不具合ではあると思うんだが。

926 :login:Penguin:2023/11/03(金) 00:28:34.87 ID:ehy0V0kB.net
BcachefsがやっとLinuxにマージされたぞ

927 :login:Penguin:2023/11/03(金) 03:54:56.70 ID:MhoIvZIR.net
きたか…!!
  ( ゚д゚) ガタッ

928 :login:Penguin:2023/11/05(日) 06:44:09.22 ID:Sc6aRTxC.net
Trying Out & Benchmarking Bcachefs On Linux 6.7
https://www.phoronix.com/review/bcachefs-linux-67

929 :login:Penguin:2023/11/05(日) 19:33:05.78 ID:ruECS6Nv.net
>>928
微妙……orz

930 :login:Penguin:2023/11/05(日) 19:56:24.24 ID:2JjBa3ZY.net
btrfs遅いって言われてたけどアップデートのペースが凄くてどんどん速くなってるからな
btrfsが使えるならそれでいいんだよ

931 :login:Penguin:2023/11/07(火) 20:45:55.50 ID:BOHC3v+d.net
btrfs早くdfコマンドとか対応してくれ。
CoWだと無理なんかな?

932 :login:Penguin:2023/11/07(火) 21:36:27.23 ID:8aoZ9wW7.net
今のBtrfsは開発が活発で安心感すらある
RAID56のバグもいよいよ修正作業が本格化したようだし

933 :login:Penguin:2023/11/11(土) 12:37:54.46 ID:87rX4ipY.net
bcachefsはビルトインで暗号化や階層キャッシュ出来るのが明確な強みなんだから言われてるほどbtrfsと競合しない筈なんだよな〜
ただ実績無いし長期的な開発体制も怪しいからまじで先が読めない

一方btrfsもRAID5,6に関してはライトホール問題はどうしようもないんだから長い長い道のりになる気がするな

934 :login:Penguin:2023/11/11(土) 13:59:39.69 ID:j9UGzXqw.net
Microsoft の Dev Drive もちょい気になる

935 :login:Penguin:2023/11/11(土) 19:57:45.40 ID:fQCb3MRW.net
bcachefsも追従してきたということはサブボリュームをディレクトリ扱いするのはそこまで利点あるのだろうか
zfs他のようにパーティション扱いで、加えてスワップファイルやVMイメージ用にスナップショット対象外フラグでも設ければ充分な気がするけども

936 :login:Penguin:2023/11/12(日) 13:28:49.12 ID:idgebg3W.net
bcachefs のベンチマーク記事、bcachefsは bcache ベースで堅牢性と信頼性重視、とされてるから、速度なら低速デバイス+キャッシュ(dm-cache、L2ARC、bcacheなど)同士の比較が欲しかった。

937 :login:Penguin:2023/11/12(日) 16:33:33.66 ID:wEJxHOeg.net
>>936
本格的なベンチマークは6.7カーネルのリリースまで待つしかないんじゃないかな
喜び勇んで自分でビルドしてベンチマークしようとしたPhoronixで悲惨な結果になってるし
実際にZFSを置き換えられるのか等運用や評判の話は良くも悪くももっと後だろう

938 :login:Penguin:2023/11/13(月) 01:14:38.30 ID:fYaeSL61.net
キャッシュなんてベンチマークしてとうすんねん

939 :login:Penguin:2023/11/16(木) 02:50:23.53 ID:cfaP9Jf+.net
Btrsfに暗号化きたぞ
https://lwn.net/Articles/947316/

940 :login:Penguin:2023/11/16(木) 04:14:03.97 ID:2zCuItxM.net
fscryptかあ…dm-cryptの方が好みかなあ
ただ現状btrfs raid dmcrypt automountの連携に難ありというか…正しく調整するにはudevまでいじる必要があるのが面倒

941 :login:Penguin:2023/11/16(木) 12:44:28.02 ID:cfaP9Jf+.net
ファイル暗号化だとシステムはTPMで暗号化して(起動時のパスワード入力不要)
ホームディレクトリはログインパスワードで暗号化といった使い分けしやすいのが利点らしい。
ユーザーが大量にいるケースでも個別のフレーズで暗号化出来る。
同じことを他の方式で実現するのは現実的ではない。

942 :login:Penguin:2023/11/21(火) 13:37:57.31 ID:HJbVoOU7.net
予行練習で試しにext4のfscryptを使ってみたけどめっちゃ便利だなこれ
ログインしていないユーザーのhomeフォルダは暗号化されたままだからdm-cryptよりも安心感がある
ほぼ起動したままだったから全体の暗号化にあまり意味を感じてなかったし

943 :login:Penguin:2023/11/22(水) 01:35:05.17 ID:f4VYBIW0.net
xfs敗れたり~

944 :login:Penguin:2023/11/22(水) 03:29:55.87 ID:IuFUsyx4.net
Fedoraはfscryptによる暗号化をインストール時のオプションとして提供する計画みたいだね
xfsからbtrfsに乗り換えたディストリの強みを活かしていく

945 :login:Penguin:2023/11/24(金) 17:50:44.62 ID:v/0vBGSD.net
ブロックグループの導入でマウントが遅い問題も解決されたし
Btrfsは最強のファイルシステムへの道を着実に歩んでいるな

946 :login:Penguin:2023/11/24(金) 18:06:33.32 ID:x6O1QgMw.net
bitlot防止機能が素晴らしい

なぜ窓と林檎はbitlot防止できないんだい?

947 :login:Penguin:2023/11/25(土) 18:47:58.04 ID:BWX0PXbV.net
bitlotってなに?

948 :login:Penguin:2023/11/25(土) 19:39:50.55 ID:tKTQvn1Q.net
マジレスするところなのかボケるところなのかわからんけどbitrotのtypoじゃない?
どう優れてんのか知らんけど

949 :login:Penguin:2023/11/25(土) 23:31:22.76 ID:BWX0PXbV.net
bit rotという言葉は初見だったので勉強になりました。
ありがとうございます。
bit rot防止機能とやらがどのfsにどんな仕組みで
備わっているのかはまだ勉強不足なのですが。
検知ではなくて防止となると結構面倒そうですよね。

950 :login:Penguin:2023/11/26(日) 07:02:49.92 ID:qyEB7H7w.net
カーネルが新しくなるたびにBtrfsが大きく進歩するから.古いカーネルは使ってられないな
2つ先の6.8ではネイティブ暗号化に対応する予定だし

951 :login:Penguin:2023/11/26(日) 07:37:52.37 ID:vmCh2JN1.net
ext4とf2fsもそこそこ開発活発だぞ
f2fsはandroidで使われてるから意外と多くの端末で動いてるし

952 :login:Penguin:2023/11/26(日) 09:42:15.96 ID:XakO/kJp.net
俺もちょっと気になって検索してみた
ttps://www.partitionwizard.jp/clone-disk/bit-rot.html

953 :login:Penguin:2023/11/26(日) 11:58:58.35 ID:CPGPLMsJ.net
内蔵はbtrfs、外付けはf2fs、他のOSでも使うやつはexfatにしてる
今はこの3種類があればとりあえず困らないな

954 :login:Penguin:2023/11/26(日) 18:00:14.22 ID:Fus5Q5cU.net
f2fsは圧縮有効にしてもファイルが専有する容量は変わらないという謎仕様をデフォルトにしたから推せない

955 :login:Penguin:2023/11/26(日) 19:23:01.39 ID:vmCh2JN1.net
容量の節約ではなくパフォーマンスのための圧縮なんだよね

956 :login:Penguin:2023/11/30(木) 20:48:31.26 ID:V2a+5SBF.net
Another Look At The Bcachefs Performance on Linux 6.7

https://www.phoronix.com/review/bcachefs-benchmarks-linux67

>>928よりBcachefsの性能良くなってる?

957 :login:Penguin:2023/11/30(木) 21:13:21.49 ID:myGwaNZu.net
圧縮するほうが速くなるとか昭和脳にはイメージしにくいわ
ストレージとの出し入れよりCPUが速くなりすぎたって事ですか

958 :login:Penguin:2023/12/01(金) 10:15:59.48 ID:q52Oedre.net
CPUというよりアルゴリズムが早い
lz4とzstdの普及で全てが変わった

959 :login:Penguin:2023/12/01(金) 10:58:56.82 ID:PVfefkOM.net
SSDが普及する直前あたりだったかCPUは十分速いのにHDDがボトルネックになってたような頃に/usrをsquashfsで圧縮して高速化するみたいのが一部でちょっと流行ったよな

960 :login:Penguin:2024/01/30(火) 11:46:41.60 ID:fJ9es5m2.net
>>959
958じゃないけど、無関係だね。btrfsとbcache

961 :login:Penguin:2024/01/30(火) 11:48:15.68 ID:fJ9es5m2.net
bcache使うなら kernel は LTS が良いかも。過去にやらかしがあったらしいので。

962 :login:Penguin:2024/01/30(火) 18:19:23.53 ID:J/mh2rpH.net
bcacheは大容量データを扱う機会の多いWindowsでこそ欲しいよね

>>958
bcacheとbcachefsは別物
紛らわしい名付けしたものだ

963 :login:Penguin:2024/01/30(火) 20:29:32.66 ID:mHvzbfho.net
作者同じだし似たような技術使ってるから似た名前になってるんだが

964 :login:Penguin:2024/01/31(水) 18:12:16.86 ID:ngyKsORg.net
カーネルの標準機能だからトラブルはまず起きない、ってことはないんじゃないかな?と思った
カーネルの実装には問題なくてもユーザーランドのコマンドのバグで破壊とかないとはいえないし

965 :login:Penguin:2024/01/31(水) 19:55:58.06 ID:ue4q/ArC.net
カーネルモジュールはコンパイルしなくてもいいんやで

966 :login:Penguin:2024/02/14(水) 16:34:39.92 ID:rm5GuhCK.net
一つだけWindowsがLinuxより優れている点がある
デフラグソフトが充実していて配置方法を選べることも多く
適切に使うことで再断片化を緩和できる

967 :login:Penguin:2024/02/14(水) 17:27:05.08 ID:Mpk9wpOx.net
Linuxは断片化が起きる前提にファイルを配置していくからデフラグの意味がないんだよ
だからデフラグソフトが無い

968 :login:Penguin:2024/02/14(水) 17:33:57.14 ID:tenkzMRZ.net
NTFS は FATと違うのでデフラグは起きにくいし、実行しても短時間で終わるでしょ。
https://atmarkit.itmedia.co.jp/fwin2k/experiments/defragment/defragment_column.html

969 :login:Penguin:2024/02/14(水) 19:00:11.53 ID:RnVOm2ug.net
デフラグせんでも別ストレージにコピーすればいいのだ

970 :login:Penguin:2024/02/14(水) 20:56:49.94 ID:J61kf5Be.net
e4defrag は

971 :login:Penguin:2024/02/14(水) 21:00:16.25 ID:UFVUwpHe.net
SSD時代にデフラグ要るのか?

972 :login:Penguin:2024/02/14(水) 22:03:49.54 ID:x6cMOvUo.net
vfatがデフラグ必要なのって毎回再配置しないので性能を稼ぐ意味合いだよね

973 :login:Penguin:2024/02/14(水) 23:02:21.62 ID:36CQLCoX.net
>>971
いらない
HDDでもSMRならデフラグしないほうがいい

974 :login:Penguin:2024/02/15(木) 21:46:32.18 ID:gUS2rLuX.net
Linuxのfsもエクステント、b木の最適化くらいはどこかでやってるよね

975 :login:Penguin:2024/02/16(金) 18:32:42.51 ID:ip4oPGOg.net
RAID-Z3みたいな機能をbtrfsが備えてくれればいいんだが…

976 :login:Penguin:2024/03/12(火) 17:10:56.58 ID:yg3WwrpS.net
Btrfs Enjoys Performance Optimizations With Linux 6.9
https://www.phoronix.com/news/Btrfs-Linux-6.9

236 KB
新着レスの表示

掲示板に戻る 全部 前100 次100 最新50
名前: E-mail (省略可) :

read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★