2ちゃんねる スマホ用 ■掲示板に戻る■ 全部 1- 最新50    

■ このスレッドは過去ログ倉庫に格納されています

ファイルシステム総合スレ その18

1 :login:Penguin:2017/12/28(木) 23:50:51.14 ID:/phfY+r1.net
● 前スレ
ファイルシステム総合スレ その17
http://mao.5ch.net/test/read.cgi/linux/1421502118/

● 関連スレ
ジャーナリングファイルシステム
http://mevius.5ch.net/test/read.cgi/unix/979408065/

OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://mevius.5ch.net/test/read.cgi/unix/1337411922/

FS関連スレ
http://medaka.5ch.net/test/read.cgi/os/1137387538/
過去スレ, 関連リンクは >>2-10 あたりで.

2 :login:Penguin:2017/12/28(木) 23:51:07.98 ID:/phfY+r1.net
● 過去スレ
01 http://pc.2ch.net/test/read.cgi/linux/1006743807/
02 http://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 http://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 http://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 http://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 http://pc11.2ch.net/test/read.cgi/linux/1164457481/
07 http://pc11.2ch.net/test/read.cgi/linux/1173530292/
08 http://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 http://pc11.2ch.net/test/read.cgi/linux/1225001916/
10 http://pc11.2ch.net/test/read.cgi/linux/1238673446/
11 http://hibari.2ch.net/test/read.cgi/linux/1256639505/
12 http://hibari.2ch.net/test/read.cgi/linux/1281277564/
13 http://engawa.2ch.net/test/read.cgi/linux/1311812102/
14 http://engawa.2ch.net/test/read.cgi/linux/1326613113/
15 http://engawa.2ch.net/test/read.cgi/linux/1341012960/
16 http://hayabusa6.2ch.net/test/read.cgi/linux/1363315915/
17 http://mao.5ch.net/test/read.cgi/linux/1421502118/

3 :login:Penguin:2017/12/28(木) 23:51:24.87 ID:/phfY+r1.net
● 関連リンク 1
ext4        http://www.bullopensource.org/ext4/ (リンク切れ)
reiserfs/reiser4  http://www.namesys.com/ (リンク切れ)
xfs        http://oss.sgi.com/projects/xfs/ (リンク切れ)
jfs        http://jfs.sourceforge.net/
nfs        http://nfs.sourceforge.net/
ntfs        http://sourceforge.jp/projects/sfnet_linux-ntfs/
fuse        http://fuse.sourceforge.net/
btrfs       http://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)    http://www.nilfs.org/ja/ (リンク切れ)
zfs        http://zfsonlinux.org/
http://hub.opensolaris.org/bin/view/Community+Group+zfs/WebHome (リンク切れ)

4 :login:Penguin:2017/12/28(木) 23:51:41.43 ID:/phfY+r1.net
● 関連リンク 2
en:List of file systems
http://en.wikipedia.org/wiki/List_of_file_systems
Linuxファイルシステム技術解説
http://www.atmarkit.co.jp/flinux/index/indexfiles/linuxfsindex.html
Linuxの次世代ファイルシステムは「バターFS」!?
http://www.atmarkit.co.jp/news/200807/10/btrfs.html
Linux ジャーナリング・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-journaling-filesystems/?ca=drs-jp
Linux フラッシュ・ファイルシステムの徹底調査
http://www.ibm.com/developerworks/jp/linux/library/l-flash-filesystems/?ca=drs-jp
Linux filesystem benchmark 2008/1-2
http://www.t2-project.org/zine/1/
http://www.t2-project.org/zine/4/
Filesystem Specifications - Links & Whitepapers
http://www.forensics.nl/filesystems
Linuxファイルシステムベンチマーク ext3, ext4, JFS, ReiserFS, XFS, NILFS2
http://hesonogoma.com/linux/FileSystemBenchmarkResults-01.html
http://hesonogoma.com/linux/FileSystemBenchmarkResults-02.html
[Phoronix] Benchmarking ZFS On FreeBSD vs. EXT4 & Btrfs On Linux
http://www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs
Oracle Solaris ZFS 管理ガイド
http://docs.oracle.com/cd/E19253-01/819-6260/

● リンク切れ
File Systems in Linux
http://www.linux.org/lessons/advanced/x1254.html

5 :login:Penguin:2017/12/28(木) 23:51:53.35 ID:/phfY+r1.net
● 関連リンク3 (SSD関連)
LinuxサーバーにSSDを使うための情報メモ
http://oopsops.hatenablog.com/entry/2012/05/24/164941
Linux+SSDのファイルシステムベンチマーク
http://smackerelofopinion.blogspot.jp/2012/06/intel-ssd-520-goodness.html
http://hesonogoma.com/SSD/Intel_SSD-330-Series_120GB_Benchmark.html
http://hesonogoma.com/SSD/Silicon-Power_SSD-T10-128GB_Benchmark.html

6 :login:Penguin:2017/12/28(木) 23:52:50.71 ID:/phfY+r1.net
● リンク全部は、確認していないので、リンク切れがあれば、ご容赦ください。

7 :login:Penguin:2017/12/29(金) 00:50:23.97 ID:6Ajx2Tto.net


8 :login:Penguin:2017/12/29(金) 01:31:47.27 ID:3THeacJp.net
前スレの話
そもそも通電してれば問題ないんじゃないの?

9 :login:Penguin:2017/12/29(金) 01:52:36.27 ID:KsQNwA5N.net
btrfsはファイル沢山あるとこでスナップショット消したりscrub/balanceするとスワップ使わずにメモリ食い潰してOut of Memoryで落ちるの何とかならんのか
そうじゃなくても負荷がかかるとわりと簡単にエラー吐くし

10 :login:Penguin:2017/12/29(金) 01:56:27.25 ID:mEnyZUaK.net
>>1

>>8
データ書く時はEEPROMとかフラッシュとかの特性上、イレースした後(全部0にした後)
ビットが1のとこだけに対して、読み込みの時とは別の方法で電流流さないといけない
通電してるかどうかは寿命とは関係ない

PCの場合不可能だけど、マイコンとかでの直接書き込みの場合、チップさえ受け付けてくれれば
オール 0xff を書き込む場合に限ってはイレースの必要は無いし、
一度の書き込みでビットが立たなる程にまで劣化したフラッシュの類に
全く同じビットを書き込んで強引にビットを立てるっていう、姑息な手段がある

ただし1への多重の書き込みは、素子に大きなダメージを与える可能性がある(つまりはそういう事)

11 :login:Penguin:2017/12/29(金) 01:57:48.79 ID:mEnyZUaK.net
>>9
RedHatが匙投げたじゃん btr2fs とかで再設計とかもないみたいだし、終わりじゃないかな

12 :login:Penguin:2017/12/29(金) 06:57:44.97 ID:Tdxauqy3.net
>>9
どれくらいのファイル数でどんだけのメモリ?

13 :login:Penguin:2017/12/29(金) 08:25:38.32 ID:KsQNwA5N.net
>>12
4GB RAMに1.1M個で2.6TiB
4GB RAM/1M個近い別の環境もエラー出る

メモリ少ないだろって自分でも思うけどSynologyとかのNASはどうすんだよこれ…

14 :login:Penguin:2017/12/29(金) 13:01:17.67 ID:gQqEx5BU.net
>>1

>>3
http://www.nilfs.org/ja/
    ↓
https://nilfs.osdn.jp/ja/
ですな

15 :login:Penguin:2017/12/30(土) 11:50:37.92 ID:rpEOV3LR.net
>>9
> スワップ使わずにメモリ食い潰してOut of Memoryで落ちるの何とかならんのか
カーネルページはスワップ対象にならんからな
メモリ増やすか、btrfs側を修正するしかないかと

16 :login:Penguin:2017/12/30(土) 12:30:31.92 ID:+ShrpR6q.net
カーネルパラメーターのチューニングという方法もあるがな。
それをするにしても、meminfo のデータ がどういう風になってるか分析しないといけない。

17 :login:Penguin:2017/12/30(土) 18:47:05.09 ID:Q3cj5FvJ.net
15だけど、後学のためにももう少し詳しく知りたいです
カーネルのパラメータをいじるってのはどんな場合に
なんの値を変更するのですかね?

多分カーネルビルドし直すってことですよね?

18 :login:Penguin:2017/12/30(土) 19:02:24.30 ID:MBLEVoU3.net
起動時にパラメータを渡すだけのものもあるよ
grubのメニューを作って試してみればいい

19 :login:Penguin:2017/12/30(土) 19:34:46.39 ID:+ShrpR6q.net
>>17
ファイルシステム関係は、sysctl.conf に記述するものが多い。ググってね。
実際の設定については、"meminfo vm.dirty_background_ratio" あたりでググると良い。

20 :login:Penguin:2017/12/30(土) 19:46:03.97 ID:Q3cj5FvJ.net
>>19
なるほど、物理メモリサイズをもう少し確保できるようなチューニングのことでしたか
てっきり、カーネルページまでスワップさせる設定ができるのかと思っていました

21 :login:Penguin:2017/12/30(土) 20:02:34.66 ID:+ShrpR6q.net
カーネルのデータは、だいたい slab を使って管理する。ページ単位では管理しないよ。
で、メモリが圧迫されると、shrink するようなコードが動いたりする。そういったパラメータとかはあるよ。

22 :login:Penguin:2017/12/30(土) 20:03:51.66 ID:Nzk/GSwK.net
仮想メモリはファイルシステムと直接の関係は無いだろう

23 :login:Penguin:2017/12/30(土) 20:22:17.20 ID:Q3cj5FvJ.net
>>21
slabはページ(メモリ)の管理効率をあげるもので、
結局メモリはページ単位で管理されるという認識なのですが、違うんですかね?

24 :login:Penguin:2017/12/30(土) 21:42:19.26 ID:+ShrpR6q.net
>>23
カーネル空間にページがマップされてはいるが、それだけの話。
キーワードを提示することしか出来なくて悪いが、"dentry inode" でググるとどう使われているか少しは分かるかもね。

25 :login:Penguin:2017/12/31(日) 02:05:49.39 ID:07onPgwb.net
>>9
8GB積んだらスナップショット消しても落ちないようになった
しかしbtrfs-transactionが動いてる間は同じボリュームではほとんど何もできないのな

26 :login:Penguin:2018/01/07(日) 04:31:17.22 ID:wQuc4s7m.net
Ubuntu, Win, Mac のどれでも書込までできて、しかも2TBの制限もないファイルシステムはexFATですか?
ちなみにOSはどれも最新のものね。

27 :login:Penguin:2018/01/07(日) 06:44:29.46 ID:Tq4Ta3q2.net
https://ja.wikipedia.org/wiki/ユニバーサルディスクフォーマット
好き好んで使ってるのはそんなにいなさそうだが。名前&目的としてはこれがなんだがなあ

28 :login:Penguin:2018/01/07(日) 14:38:20.57 ID:L2+AyXWh.net
hddとかssdとかusbメモリをudfフォーマットできるの?

29 :login:Penguin:2018/01/07(日) 21:22:22.34 ID:pwqdYvLI.net
事実上exfatしかないねえ

30 :login:Penguin:2018/01/08(月) 00:07:56.65 ID:2Db2roCw.net
MacはNTFS使えないの?

31 :login:Penguin:2018/01/08(月) 01:12:52.84 ID:HrBoMMMv.net
>>30
標準では読み込みのみ。

32 :login:Penguin:2018/01/08(月) 02:44:34.61 ID:hBxohUO/.net
ntfs-3gもinodeがなんたらでアクセスできないファイルあったりするし互換性確保しようとすると選択肢ホントないね

33 :login:Penguin:2018/01/08(月) 03:22:09.50 ID:PGjHKS2I.net
ファイルシステムってシステムの根幹にある物だしOSへ依存しているものが多いのは仕方ない
exfatでだめならnfsやsmb使ったほうがいい

34 :login:Penguin:2018/01/08(月) 12:28:17.82 ID:oFV1w5LK.net
>>32
まあ、必要ないだろ。
今はファイル鯖にクラウドストレージもあるんだから。
他とやり取りするファイルに属性値なんてそれ程重要じゃないし

35 :login:Penguin:2018/01/08(月) 12:44:15.07 ID:UncXruCK.net
メタ情報はPOSIXで標準化されたとしても独自に拡張するし相互運用はする物じゃない
exfatみたいに単純なファイルのやりとり程度でとどめるべき

36 :login:Penguin:2018/01/11(木) 03:22:17.75 ID:xjVRFdMC.net
>>35
そう考えるとexFATは必要最低限という点で適切な選択だと思う
単純さ故にどのOSの実装も問題ないだろう

37 :login:Penguin:2018/01/28(日) 10:27:35.13 ID:4VA/QDvh.net
なぜFATは最大4GBのファイルしか扱えないの?

38 :login:Penguin:2018/01/28(日) 10:45:20.23 ID:RIBpP3Mo.net
>>37
Windowsスレで聞いて

39 :login:Penguin:2018/01/28(日) 14:08:48.12 ID:p1eFmoPq.net
>>37
FAT系のファイルシステムはいくつもあり最大16EiBまで扱える

40 :login:Penguin:2018/01/30(火) 08:29:32.02 ID:/WAKwX2k.net
>>37
ファイルサイズを表現するビット幅が32ビットなんだと思う

41 :login:Penguin:2018/01/31(水) 06:08:46.12 ID:UbOYv8g1.net
2の32乗を計算するとすぐわかる

42 :login:Penguin:2018/01/31(水) 19:39:18.87 ID:V8eWTpZx.net
2の32乗 = 4,294,967,296 で確かに4Gになるけどこれって4Gビットだよね
なんでここから4GBに繋がるの?

>>38 windows関係あるの? >>39 FAT32の話ね

43 :login:Penguin:2018/01/31(水) 19:46:58.93 ID:9W2RLWm3.net
どこまで本気なのか判断が難しい

44 :login:Penguin:2018/01/31(水) 19:50:38.67 ID:V8eWTpZx.net
全部本気だから教えて欲しい

45 :login:Penguin:2018/01/31(水) 20:58:31.12 ID:cG5+/3kh.net
>>42
何で最小単位をビットにしたのか教えてくれ

46 :login:Penguin:2018/01/31(水) 21:09:53.70 ID:V8eWTpZx.net
>>45
なんとなく…
でもよく考えたら違うかも
4,294,967,296状態表すことができるってことかな
それがなんで4GBに繋がるのかはわからないけど

47 :login:Penguin:2018/01/31(水) 21:46:27.90 ID:9W2RLWm3.net
FAT32のメタデータの中にファイルサイズを表す数字を置く場所があって
その場所の大きさが32bitしかない
そして、2^32で表せる数字が約40億
だから最大4Gまで
※ファイルサイズはバイト単位だから、4Gバイトまで

FATというのは、DOSで使うために作られたファイルシステム
FAT32というのは、FATをWindows95OSR2で使うために拡張されたファイルシステム
だからWindows関係の板で聞く方がいいというのは正しい

48 :login:Penguin:2018/01/31(水) 21:49:39.17 ID:9W2RLWm3.net
もしファイルサイズのデータがセクタ数を意味するものであったのなら
2TBまでのファイルが作れたかもしれない(512Bとして)

だけどファイルサイズはバイト数で表すものであって、セクタ数ではない
もちろんビット数でもない

勝手にビット数だと決めつけるのは自由だが
それは自分で作ったFSのフォーマットで使ってくれ

49 :login:Penguin:2018/01/31(水) 22:32:05.98 ID:tGgh0huf.net
>>46
何が何を表してるのかを混同してんじゃないかな

1つの32bitで表せる数値の最大が4,294,967,296ってだけ
その数値がどんな単位で何を表してるのか(bitかbyteかメートルかグラムかとか)はまた別の話

50 :login:Penguin:2018/01/31(水) 22:48:10.26 ID:VfwaafHs.net
きょうびセクタだのトラックだのなんてもういらないモノになっちゃったよな

51 :login:Penguin:2018/01/31(水) 23:00:05.45 ID:uQ9wo50N.net
>>50
セクタを何と勘違いしてる?
今でもセクタは絶対に外せない概念なんだけど


CHSで言うセクタとは、単に「1トラックあたりのセクタ数」のことだけど
そんなことしか知らない人が、ファイルシステムのスレッドで知ったかぶって書き込むかね

52 :login:Penguin:2018/01/31(水) 23:43:11.94 ID:RyPbcb0f.net
1セクタは、512バイトで、
ファイルの最小単位が、セクタ8個分だから、4KB

だから、1バイトのファイルを作っても、4KB のサイズになる

53 :login:Penguin:2018/02/01(木) 02:24:07.42 ID:PvgTnnVR.net
セクタ=512Bytesの時代はもう終わったよ

54 :login:Penguin:2018/02/01(木) 03:25:03.63 ID:oMuXW2h/.net
もう4KBが主流になってきてるね

55 :login:Penguin:2018/02/01(木) 13:46:23.62 ID:7ii0AxEy.net
533 名前:login:Penguin[sage] 投稿日:2018/02/01(木) 13:34:25.48 ID:0hMkXx1N
https://i.ytimg.com/vi/_jjwqFhlxi4/maxresdefault.jpg

戌厨のいつものグロ貼り転載w


セクタとクラスタを勘違いしてないか?

56 :login:Penguin:2018/02/01(木) 13:49:46.28 ID:AdvIyL44.net
>>46だがようやく理解できた
ありがとう!

57 :login:Penguin:2018/02/01(木) 21:51:46.67 ID:Es7ZS85K.net
>>42
> 4Gビット

え?

58 :login:Penguin:2018/02/02(金) 02:43:45.22 ID:gCfX7CEL.net
>>55
誰が勘違いしてるの?
本当にわかってる?

セクタは物理的なディスクが扱う最小単位
クラスタはOSが扱う最小単位


おまえ、本当にバカでしょ

59 :login:Penguin:2018/02/03(土) 13:52:36.14 ID:5PwDetKW.net
4KB セクタか。ファイルデータはキャッシュするからページサイズに合わせた 4KB 単位での I/O が普通だったからそこは別に問題がないんだが、ファイルを管理するためのデータ ー メタデータはどうなんだろうかね。
Btree なんかは、キャッシュしたと思うんだが、inode なんかは基本キャッシュしない。読み込んで カーネルのデータ構造に変換してキャッシュとは違う管理をする。
4KB 読み込んで 256B か 512B 書き換えて 書き戻すようなことをするのかね。効率も悪いが、4KB内の関係ないデータが壊れる可能性が出てくる。
関係ないデータが壊れるとお手上げだな、検出できないし、当然復帰できない。
ジャーナルも対応がどうなっているのか。基本は小さなデータを追記しては 書き込み完了を待つ。512B 単位のエミュレーションなんかを使うと、書き込んだはずのものが一部壊れる可能性が出てくる。完全に4KB 単位にして、スカスカで使えば問題は起きないが。

こういうことがあるので、4KBセクタというのは、ファイルシステムの基本設計のバランスを崩してるね。既存のほぼすべてのファイルシステムが向いていないとも言える。

60 :login:Penguin:2018/02/03(土) 16:18:43.12 ID:jtHdjQTT.net
何言ってんだこいつ
4KBセクタへの移行が始まったの何年前だと思ってるんだ

61 :login:Penguin:2018/02/03(土) 19:29:44.76 ID:GZq3v5kX.net
>>59 はジャーナリングは信用出来ないとかいってext2使ってそう

62 :login:Penguin:2018/02/04(日) 05:23:25.80 ID:vwYi3iuK.net
>>59
バランスを考えるならメタとデータの書き込み比率を考慮しないとね

63 :login:Penguin:2018/02/04(日) 06:47:48.50 ID:gA7D0+vG.net
普通のファイルシステムなら4KB以上でアライメントそろえてるから

64 :login:Penguin:2018/02/04(日) 10:11:42.82 ID:2irpMCF7.net
4KBセクタだと、急な電源断で Write 中のデータが失われる場合 、4KB のセクタ単位で壊れるわけだな。512B セクタだと思って処理してると、関係ない所が壊れるケースが出てくるという話。
あたり前の話なんだが、一般人に警告されたことはないようだな。

65 :login:Penguin:2018/02/04(日) 10:26:30.33 ID:M0bXlHVP.net
たぶん、いまどきのOSで、セクタ単位で何かを書き込もうとするものは無いと思う
ブロックやクラスタと言われる単位で連続して書き込む
そのためにアラインメントを揃えたりもしてるんだし

もちろん必要な極一部、例えばMBRの書き換えを要するfdisk等はこの限りではないし
「やろうと思えば」(512Bセクタでエミュレーションしているならば)512B単位で書き込む(書き込もうとする)ことは出来るけど
普通に使っている限り、ブロック単位で扱われる


特定のエミュレーションセクタに書き込み中に電源断が起きて「書き込み未完了」のまま代替処理が行われたら
その周囲のエミュレーションセクタ共々ブロック全体が「書き込み未完了」になるので
仮にセクタ代替処理が行われて周囲のデータ共々入れ替わっても問題は起こらない

66 :login:Penguin:2018/02/04(日) 11:18:28.01 ID:2irpMCF7.net
>>65
ハードディスクは、セクタ単位で読めなくなる。その単位でしか ECC がないんだから当然そうなる。
前のデータが一部残っているとかはない。
代替処理というのは、また別の話。リードエラーが起きたセクタに書き込めば、なにもなかったように書き込める機能。

いまどきのOS? ファイルシステムは古いものが多いぞ。NTFS , XFS , JFS, EXT2 などは 1990 年代の設計だ。
EXT は、2,3,4 と進化しているが、ディスクレイアウトの基本は同じ。エクステンションなど取り入れてはいるが、XFS の最小から実装されていたような古いもの。
ブロックやクラスタとか もっと前の話だな。

新しい設計というと、btrfs 、ZFS なんかの COW ファイルシステムだが、現状はいまいちだな。NetApp の WAFL 特許がネック。

67 :login:Penguin:2018/02/04(日) 11:32:10.04 ID:gA7D0+vG.net
>>64
4KBセクタのディスクに512Bセクタだと思って512Bで書き込むとサイレントにデータを破壊することがあるのか・・・

68 :login:Penguin:2018/02/04(日) 11:54:17.11 ID:gYyH1zcw.net
そんな糞設計やだ

69 :login:Penguin:2018/02/04(日) 12:46:05.73 ID:U+mpo3aI.net
だから、ブロック単位でしか扱わないって

1つのセクタが複数のブロックに分散されるのは
アラインメントを揃えずにフォーマットされた、4Kセクタ以前のOSで何も考えずに使われていたものだけ
それも無思慮に扱われてパフォーマンスが低下しているのに文句言いながら使っている人だけ

70 :login:Penguin:2018/02/04(日) 13:55:13.58 ID:gA7D0+vG.net
>>69
パフォーマンス低下って4KBセクタに512Bで書き込む際に発生するRead-modify-Writeでってことかな?

71 :login:Penguin:2018/02/04(日) 13:56:06.99 ID:iElm5kds.net
クラスタサイズをNTFSみたいに64KiBにできてもいいのになと思う
メディアファイル格納用にさ

72 :login:Penguin:2018/02/04(日) 16:34:31.32 ID:2irpMCF7.net
>>71
 https://ja.wikipedia.org/wiki/XFS

とりあえず、XFS の エクステント、遅延アロケーションの項目読んでみ。この機能は ext4 にも導入されている。

上で書いたの間違い。
 X エクステンション
 O エクステント

73 :login:Penguin:2018/02/04(日) 17:14:10.24 ID:7DaAtBsf.net
4KBセクタのディスクに512Bじゃデータ書き込めないから

74 :login:Penguin:2018/02/04(日) 17:50:02.03 ID:iElm5kds.net
>>72
すまね、ext系列の話
管理方法じゃなくてブロックサイズの話な。

75 :login:Penguin:2018/02/04(日) 18:44:09.22 ID:XldCps9b.net
なんだこのスレ…ここだけ10年前か?

76 :login:Penguin:2018/02/04(日) 20:37:59.98 ID:LUKGLdtI.net
いやひとりだけコールドスリーブされて来た奴がいるだけだ

77 :login:Penguin:2018/02/05(月) 09:40:30.32 ID:phk8JjWC.net
頭おかしなるで

78 :login:Penguin:2018/02/05(月) 11:39:43.20 ID:8TxWsAMa.net
> いやひとりだけコールドスリーブされて来た奴がいるだけだ

お前のことだろ SLEEVE

79 :login:Penguin:2018/02/09(金) 10:40:47.47 ID:PPTatEc4.net
違うだろ

http://medaka.2ch.net/test/read.cgi/market/1516899338/

80 :login:Penguin:2018/02/12(月) 19:41:09.72 ID:DOXm1g1P.net
Raid1のZFSにscrubかけたら
1系のcheck sumにだけunrecoverable errorみたいなのが5〜6個出たんだけど
もう一回scrubしたら消えた。
こういうもん?何か対処した方が良いのかな?

81 :login:Penguin:2018/02/12(月) 22:49:55.09 ID:TQ+9rMwh.net
ファイルシステム的にはOKな状態になってるわけだから、見るべきはハードウェア側だね。

各ディスクの S.M.A.R.T 情報みて、ECC 系や Reallocate 系、その他エラー系のカウントが
カウントアップしてないか確認。
一回とって数時間後にもう一回とってみて比較。 ヤバそうだったら HDD 交換。

特に電源ブチ切りしたわけでもなく、ハードウェアエラーも発生していない場合は
memtest とかでメモリをテスト(サーバ製品でECC付きなら省略可)。
予防交換可能なモノ (サーバ製品で保守期間内の場合) ならここでマザボ交換。
その後は再発するか様子見して再発するならファイルシステムのバグを疑う
(OS 保守があるなら OS ベンダーにエスカレーションだが ZFS なんでコミュニ
ティに連絡?)、かな。

82 :login:Penguin:2018/02/13(火) 20:16:58.71 ID:MhJaeVp1.net
>>81
ありです。今度の休みに戻ったら順番にまずはS.M.A.R.Tから見てみます
ハードの交換で済めば良いけどZFSのバグだとほかに良さそうなFS知らないから困るなぁ

83 :login:Penguin:2018/02/15(木) 00:49:47.47 ID:m3isa15O.net
☆ 現在、衆議員と参議院の両院で、改憲議員が3分の2を
超えております。総務省の、『憲法改正国民投票法』、
でググってみてください。国会の発議はすでに可能です。
平和は勝ち取るものです。お願い致します。☆☆

84 :login:Penguin:2018/02/16(金) 23:40:55.91 ID:eh+SjOjI.net
基地外

85 :login:Penguin:2018/02/22(木) 00:27:53.64 ID:IMrh04CH.net
動作確認のために久しぶりにCentOS使ったらデフォがXFSになってた
絶滅してなかったんだな!調べたらBtrfsが非推奨とか書かれてて2度ビックリさせられたっていう
流行り廃りが変わってたのか

86 :login:Penguin:2018/02/22(木) 00:45:32.56 ID:qKDqUSSG.net
流石に情報が遅すぎないか

87 :login:Penguin:2018/02/22(木) 05:12:15.22 ID:IMrh04CH.net
LVMみたいなのなしでスナップショットが取れて
厄介なライセンス問題がなくて
透過的圧縮が選べて
安定動作する
ベストなファイルシステムbstfs(仮)がXFSを元に誕生してくれるはず

88 :login:Penguin:2018/02/24(土) 00:17:26.23 ID:otGCmp79.net
>>87
XFS元にとか、raid考えるならブロックレイアウト的に無理ある
btrfsフォークしてテコ入れした方がまだ楽

仕事でbtrfs開発出来たらなあと思う今日この頃

89 :login:Penguin:2018/02/24(土) 03:36:57.03 ID:XjjbZhiu.net
暗号化はあっさり入ったのに圧縮はまだ入らんからファイルサイズ辺りの設計が拡張性なさそう> btrfs
いろいろ詰め込み過ぎたな
ext5はよ

90 :login:Penguin:2018/02/24(土) 04:05:16.77 ID:HYNepnhz.net
OpenSUSEあたりがデフォでBtrfs使ってたりがんばってたな
使い勝手とかどうだったんだろ

91 :login:Penguin:2018/02/24(土) 07:16:10.78 ID:x3+sFfnf.net
btrfsって圧縮なかったか?
少し前にzstdが使えるようになったって話題になっていた気が…

92 :login:Penguin:2018/02/24(土) 08:04:43.05 ID:4MZm8B3k.net
すまぬbtrfsは圧縮あるな、ext4と勘違いしてたわ

93 :login:Penguin:2018/02/24(土) 23:52:26.72 ID:+IJqvsAE.net
btrfsのdeprecatedはRH系だけだしXFSに振り回されないほうがいい

もし将来的にbtrfsが破棄されるようなことがあってもさすがにその頃には>>88の言う通りテコ入れフォークが誕生したり
あるいはZFS on Linuxのライセンス問題も解決してるだろうから満を持してそっちにスルっと移行が正解

94 :login:Penguin:2018/02/25(日) 01:36:47.79 ID:SxblO8Sj.net
XFSはsnapshotが今後もlvm依存で透過圧縮に至っては念頭にもなしが相変わらずならホント関わらないのが吉
仮にBtrfsが派生無く廃止されてZoLライセンスも悪い方に着地したら……いよいよNILFS2の台頭の時

95 :login:Penguin:2018/02/25(日) 02:40:19.71 ID:gsnExqpE.net
そんなんbtrfsもxfsも使ってるsuse死亡やん

96 :login:Penguin:2018/02/25(日) 09:19:53.35 ID:TEE4OwAc.net
ハイパーコンバージド界隈だと重複排除や透過圧縮は専用ハード
(ASIC)で高速にやるって流れになりそうだし、スナップショットや
シンプロビジョニングも昔からハード側(というかミドルウェア?)で
やった方が安定してる模様。

つまりソフトじゃハードに勝てず、市場のパイを急速に失いつつ
ある状況だわな。

クラウド化の流れでエントリーレベルのサーバ製品はビジネスの
メインストリームから外れちゃった(PCサーバ数台買って Linux
入れる時代は終わって、外部のクラウドか大規模な内部クラウド
上の仮想マシンに Linux 入れる時代になった)んで、ファイル
システム上でのスナップショットとか透過圧縮とか前世代の技術
なんかに時間を割きたい技術者なんていないでしょ。

97 :login:Penguin:2018/02/25(日) 12:52:04.16 ID:KtlkroaD.net
>>96
エンドユーザーが使うディスクやファイルシステムに対する解になってないからなあ
まあ興味の集まる分野でもないから技術者が減りそうなのは同意

HCIみたいな箱売りたいメーカーはハード依りだろうけど、クラウド事業者はお高いハードでってのはない気がする
稼働時間に対する障害発生率はハードの方が高いって研究結果もある
確かGoogleが出してた

98 :login:Penguin:2018/02/26(月) 23:55:25.36 ID:9hb6Fpoj.net
エンドユーザーレベルに専用ハードも降りて来なくてミドルウェアも複雑化回避で避けられてて
そのうえ技術者まで離れそうとなるとソフト面でも今後ぜんぜん進化しなくなる暗黒時代の到来か
何気にヤバイじゃん!既にその手の機能を自前で確保済みだったファイルシステムは割りと羨ましいが保守されなくなると使うのも危険に

99 :login:Penguin:2018/02/27(火) 00:21:54.20 ID:ba93YfaM.net
それならこのスレの英知を結集して新しいファイルシステム作れば良いじゃないか!

100 :login:Penguin:2018/02/27(火) 00:26:23.10 ID:mYKxKYUa.net
ext系はずいぶん前に開発者リソース分散を避けるためext5を作らずext4強化で実質5相当にするとか言ってたが
その後の方針はどうなったんだろう

101 :login:Penguin:2018/03/02(金) 05:30:25.81 ID:hhxLds+U.net
ntfs-3gは互換性にちょい問題あるから仮想マシンのwinにマウントさせれば大丈夫だろうと思ってたけど、物理マシンのwin10にファイルシステムぶっ壊されて尻込みしてきた…

102 :login:Penguin:2018/03/02(金) 07:08:22.43 ID:67A/reQv.net
windowsがNTFS壊すことなんて普通ないだろ
壊れる場合は大体ハードか要因

103 :login:Penguin:2018/03/02(金) 22:39:56.04 ID:H+tXBOeU.net
btrfsはまさかのWinBtrfs登場でいま一番すき

104 :login:Penguin:2018/03/02(金) 23:13:17.15 ID:MFGpClv5.net
狂気

105 :login:Penguin:2018/03/04(日) 21:51:49.30 ID:4+1xEt+z.net
>>102
Win10は次の起動の高速化のためにシャットダウン時に色々やってるから、油断ならない

106 :login:Penguin:2018/03/05(月) 14:52:46.83 ID:O88BXzrm.net
ntfs-3gのLFS=Windows7以前のLFSだからWindows8移行のLFSと互換性はない

107 :login:Penguin:2018/03/10(土) 09:31:23.08 ID:x4lfxI/y.net
btrfsからext4に逃げたけど透過圧縮ないとNAS用途だと10%くらい容量食って辛い

108 :login:Penguin:2018/03/12(月) 21:38:16.59 ID:unPKrVS/.net
恐縮ですが、SSDとHDD混在のVLMでアクセス頻度の高いデータをHDDからSSD側に動的に移動してくれる機能はないでしょうか
例えば Windows Server 2016 の 記憶域プールのような SSD と HDD を階層化する機能はないでしょうか。
CentOS7を使っています
ご存知の方がいらっしゃいましたら教えてください。

109 :login:Penguin:2018/03/12(月) 22:19:07.32 ID:TUBoTmo4.net
LVM Cacheが多分一番楽
既にあるLogicalVolumeに対してもSSDをキャッシュに出来る
動いてる状態でにキャッシュの追加と削除が可能
3年くらい使ってるけど、特に問題は起きてない
あくまでキャッシュなのでSSD追加しても全体の容量は増えないけど

110 :login:Penguin:2018/03/12(月) 22:22:50.43 ID:RTR6VDTp.net
>>108
LVM?
階層化は聞いたことないなあ
本質的にはSSDキャッシュだし
git探してもマトモなのないね

111 :login:Penguin:2018/03/12(月) 23:15:13.20 ID:/r957bgo.net
>>108
もう開発止まってるっぽいけど、btierとか。

112 :login:Penguin:2018/03/13(火) 05:55:03.42 ID:mU6yb35H.net
いろいろ情報ありがとうございます。
LVM Cacheキャッシュでいこうと思います。
できないことがわかっただけでもありがたい。

113 :login:Penguin:2018/03/24(土) 05:35:48.82 ID:vglWJKal.net
ext以外で予約領域の概念があるファイルシステムってある?

114 :login:Penguin:2018/03/24(土) 08:18:16.54 ID:A+B8Oca5.net
XFSのパーティションに別のパーティションから
100万個ファイルをコピーしたら、途中でコピーが止まり
XFSのファイルにいっさいアクセスができなくなったよ。

よくある話らしいが、EXT4で構築すればよかった。

115 :login:Penguin:2018/03/24(土) 10:05:42.33 ID:Okpi41CK.net
連続書き込み3万個くらいで不具合起きるかもしれないんだっけ

RedHatの一件からだと思うがXFSに手を出して痛い目みる事例が増えてるみたいだな
そのうち安定化するといいが…

116 :login:Penguin:2018/03/24(土) 13:09:54.84 ID:7LZp7+hZ.net
XFSでファイル鯖立ててしもうた。
鬱だ。(´・ω・`)

117 :login:Penguin:2018/03/24(土) 13:55:13.48 ID:Q03LRYRl.net
XFSそんななんだ・・・使わんとこ

118 :login:Penguin:2018/03/24(土) 13:56:22.34 ID:Ylvb0lEk.net
zfs使えばええやん

119 :login:Penguin:2018/03/24(土) 14:12:08.40 ID:PZTMha1Y.net
>>118
メモリが足りねえ

120 :login:Penguin:2018/03/24(土) 14:41:48.58 ID:Q03LRYRl.net
重複排除使わなきゃそんなに使わなくね?

121 :login:Penguin:2018/03/24(土) 18:46:05.11 ID:WfIumJp8.net
初めて聞いたわそんなん
fs選択は地獄だな

122 :login:Penguin:2018/03/25(日) 01:03:27.71 ID:sNVEb48G.net
ZFSはdedupeをonにすると地獄を見るけどoffだと最強になりすぎて
もうコイツだけで良いんじゃないかなってなって面白みがない

誰かが映画版ジャイアンfsと言ってたが一理あるっていう

123 :login:Penguin:2018/03/25(日) 03:39:28.73 ID:jXn25Zte.net
ライセンスの問題がなけりゃすべてのディストリが採用してるレベル
オラクルほんとクソ

124 :login:Penguin:2018/03/25(日) 04:16:38.82 ID:/qrb38yx.net
xfsだめなのぉ?

125 :login:Penguin:2018/03/25(日) 05:18:18.15 ID:azIef3b5.net
xfsは中身変わりまくりで歴史が長く信頼性が高いとか言われると?ってなる

126 :login:Penguin:2018/03/25(日) 05:50:15.79 ID:xf2ttzH/.net
>>122
dedup使わなくても空き容量なくなったら死ぬという欠点がある

127 :login:Penguin:2018/03/25(日) 06:59:41.30 ID:H+lpi9gt.net
zfsは機能と安定性は最強だけど、速度は弱くない?

128 :login:Penguin:2018/03/25(日) 10:21:30.83 ID:jXn25Zte.net
あー、空き容量残り2割切ると遅くなるんだったな
確かに残り1割になったときは遅かった

129 :login:Penguin:2018/03/25(日) 12:23:01.94 ID:HgQzeR+v.net
atimeが更新される条件ってなんですか?
ファイル見ても更新される時とされない時があるんですが

130 :login:Penguin:2018/03/25(日) 12:53:24.66 ID:QhmAkcZ/.net
noatimeとかそういうのでぐぐったところ、

131 :login:Penguin:2018/03/25(日) 16:18:11.25 ID:qnXLJ6VG.net
ZFSをoptaneで性能底上げしたらどうやろ?

132 :login:Penguin:2018/03/25(日) 16:33:05.47 ID:xf2ttzH/.net
http://gigazine.net/news/20171212-intel-optane-zfs-zil-slog/
この記事ZFSにoptane最高だぜって言ってるけど
そもそもl2arcとzilの有効性が微妙だからな
耐久度という意味では間違いなくいいけど

133 :login:Penguin:2018/03/26(月) 12:19:39.47 ID:wqW+3yz6.net
btrfsに続いてzfsでもzstd圧縮が使えるようになるらしいな

134 :login:Penguin:2018/03/27(火) 06:01:39.80 ID:kqSS0Nv9.net
外国の開発者(ストレージ系)の人とXFSとEXT4について意見交換
したのだが、信頼性を求めるならEXT4じゃね?とメールしたところ、
XFSのほうが多くの面で優れていて、確かに多くのファイルを一度に
更新する(メタデータ更新)とエライコッチャになることが稀にある。
その弱点を差し引いても私はXFSを選ぶよ。 と返事をもらった。
自分はEXT4派だったんだが、XFSに宗旨替えしよう。

135 :login:Penguin:2018/03/27(火) 06:44:56.07 ID:782OWoK3.net
本当に根拠が宗教的信仰心しかない・・・

136 :login:Penguin:2018/03/27(火) 11:00:41.72 ID:c6neFUpA.net
よく「エライコッチャになる」可能性があるもんを使えるどころか他人に勧められるもんだな・・・

137 :login:Penguin:2018/03/27(火) 11:01:48.38 ID:3wHgt0DI.net
zshはmetadataの処理速度が遅すぎて、ガリガリアクセスするとこには使いたくないわ

138 :login:Penguin:2018/03/27(火) 11:04:18.47 ID:vJefcZPQ.net
xfsは明確な不具合が出ると指摘されたうえでも選ぶんだから厚い信仰心が垣間見れるな

ストレージまわりにそんな危ないの使うのはあるいみ狂信の域だけど
重要データ扱う状況でも無さそうだし文字通り人柱として貢献できるね

139 :login:Penguin:2018/03/27(火) 12:52:33.67 ID:i69pveH8.net
数万のファイル更新は絶対にやらないシステムならいいんじゃね?
XFS使ったことないけどkernelのソースとか取ってきたら死にそうw

140 :login:Penguin:2018/03/27(火) 21:30:42.61 ID:G+R+bUTm.net
xfsは2010年ごろ?に大改修されて、
その道の人に言わせるとext4より良くなったとか

141 :login:Penguin:2018/03/27(火) 21:38:10.43 ID:WBgLhK0q.net
centos7 ext4がデフォらしいけど、かっこつけてxfsにするクセがついてます。
まぁ個人で使う分に違いはわからんでしょ。

142 :login:Penguin:2018/03/27(火) 22:10:53.31 ID:76SAlyTy.net
centos7はxfsだろ
6まではext4だったが

143 :login:Penguin:2018/03/28(水) 13:34:01.30 ID:jktrpz3K.net
JFSオヌヌメ

144 :login:Penguin:2018/03/28(水) 17:02:03.91 ID:P4JKYXtv.net
LinuxをZFSにインストールしてみたけどロールバック便利ね
ライセンス問題解決されたらインストーラーで簡単にインストールできるようになって欲しい

145 :login:Penguin:2018/03/28(水) 17:15:40.79 ID:L0+1Mu1U.net
zfsはdebianなら公式のリポジトリからインストールできるようになってたろ
それ以上に簡単になってほしいのかね

146 :login:Penguin:2018/03/28(水) 17:59:04.23 ID:20ARKeD+.net
/boot以外のディレクトリがZFSのファイルシステムに
簡単に出来るとイイね かな?

147 :login:Penguin:2018/04/01(日) 09:31:01.50 ID:OYHXfTBa.net
古い資料だけど、カーネル違うとXFSの信頼性が変わるとか本当にあるんだね
https://www.toshiba.co.jp/tech/review/2010/11/65_11pdf/rd02.pdf

148 :login:Penguin:2018/04/01(日) 11:20:18.59 ID:QBy5utPh.net
そんなのxfsに限らず当たり前のことでは?
ext4やbtrfsもカーネルバージョンが違えば様々な変更があるわけだし

149 :login:Penguin:2018/04/01(日) 14:15:28.35 ID:OYHXfTBa.net
>>148
カーネルの違いによるファイルシステムの信頼性変化のソース頂戴
今btrfsからの乗り換え先を探してるから
出来ればその資料みたいに最新化したことで信頼性が悪化する例をもっと見てみたい

150 :login:Penguin:2018/04/01(日) 14:52:14.68 ID:a8d4V1Xg.net
そりゃ上流にバグが入ったら信頼性下がるに決まってるだろ

151 :login:Penguin:2018/04/03(火) 06:12:46.89 ID:I/0dc/Hy.net
たら
 れば

152 :login:Penguin:2018/04/03(火) 07:50:39.98 ID:Foag5iYt.net
たらの肝臓?

153 :login:Penguin:2018/04/03(火) 14:39:00.66 ID:S8qkn2WL.net
かゆ
 うま

154 :login:Penguin:2018/04/03(火) 16:41:26.89 ID:M5LndyRh.net
VFSの挙動変更やIFの変更があればFSによって安定性や性能は変わるだろうよ

ブロックデバイスならスタックオーバーフローとかハングとかあった
FSの事例は知らん

155 :login:Penguin:2018/04/04(水) 08:27:57.45 ID:W5UkkDcz.net
お前らは仮定と雰囲気と信仰心でファイルシステムを選んでたのか

156 :login:Penguin:2018/04/04(水) 11:26:27.40 ID:/Ug4ZlIe.net
そうだよ

157 :login:Penguin:2018/04/04(水) 13:55:47.18 ID:lyQXyzfh.net
LinuxのVFS自体がクソなんだから、xfsだろうがzfsだろうがLinux選んでる時点で妥協の産物
可能な限りVFSの影響を排除したfsって何かあったっけ、商用のGPFSとか?

158 :login:Penguin:2018/04/04(水) 15:05:31.77 ID:ivHW8Uko.net
VFSの影響を排除ってどういうこと?
VFSを通さないってこと?

159 :login:Penguin:2018/04/04(水) 21:58:18.65 ID:wsQhzkvD.net
>>155
個人で使う分にはそんなものじゃない?
お仕事で使うならそれなりの試験して比較した上で選ぶんだろうけど

160 :login:Penguin:2018/04/05(木) 10:49:14.09 ID:UFtAh63C.net
そだねー

161 :login:Penguin:2018/04/05(木) 12:40:16.73 ID:PZ6ba6Cv.net
LinuxにはまともなFS自体無いしね
今ならext4が一番無難そう

162 :login:Penguin:2018/04/05(木) 12:48:13.14 ID:ooBkRXr4.net
Btrfsはどうよ?

163 :login:Penguin:2018/04/05(木) 14:04:30.72 ID:LhdglGPx.net
>>162
メモリいっぱい積んでサブボリュームあんまり使わないでメンテもしないならまあ安定してるような

164 :login:Penguin:2018/04/05(木) 14:24:17.10 ID:FJ1/oKME.net
>>162
死んだ

165 :login:Penguin:2018/04/05(木) 15:16:23.91 ID:kEfzAnCA.net
ファイルシステムの拡大縮小ができるのってextとBtrfsとNILFSくらい?

166 :login:Penguin:2018/04/05(木) 15:19:27.03 ID:HiWsgMbS.net
むしろ出来ないのあるの?

167 :login:Penguin:2018/04/05(木) 17:58:14.90 ID:KkTRrs34.net
>>166
XFS は縮小できない。ってそういうことじゃない?

168 :login:Penguin:2018/04/06(金) 01:22:29.26 ID:4rk4ScsM.net
>>166
XFS JFS F2FS

169 :login:Penguin:2018/04/27(金) 20:06:04.61 ID:u4cXRz7g.net
なんだかんだFATが便利

170 :login:Penguin:2018/04/27(金) 22:16:32.31 ID:0SsfYo3O.net
unkofs

171 :login:Penguin:2018/05/07(月) 13:19:20.00 ID:QLrkQLv9.net
RHEL 7.5のVDOを試してみた人いますか?

いろんな種類のインストールイメージを複数枚分保存したら、
およそ半分のサイズで収まったらしいと聞いています。

ZFS on Linuxでそんなことをやったらメモリーがパンクし、
CPUはフル稼働に、その後いろいろ調子が悪くなりそう。

実用的に動くのかな?

172 :login:Penguin:2018/05/07(月) 14:20:33.75 ID:rFabU+na.net
nullpofs

173 :login:Penguin:2018/05/22(火) 07:12:29.96 ID:Czl6p0FW.net
僕の知り合いの知り合いができた副業情報ドットコム
関心がある人だけ見てください。
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』

1Z3RL

174 :login:Penguin:2018/05/22(火) 11:42:52.16 ID:NlhYPEMm.net
1Z3RL

175 :login:Penguin:2018/05/23(水) 21:47:33.09 ID:j/ZuEc8f.net
1Z3RL

176 :login:Penguin:2018/05/31(木) 21:07:27.81 ID:SvOq+S0A.net
Google File System
https://storagemojo.com/google-file-system-eval-part-i/

177 :login:Penguin:2018/06/01(金) 03:04:43.47 ID:u24Pgi8f.net
https://stackoverflow.com/q/6025755/8336727
socketの生成

178 :login:Penguin:2018/06/03(日) 16:29:56.16 ID:lawReclZ.net
基本はext4で8TB超えならXFSってことでおけ?

179 :login:Penguin:2018/06/03(日) 16:37:03.18 ID:FIiFhMXo.net
ストレージサーバー分けようぜ

180 :login:Penguin:2018/06/03(日) 16:47:02.65 ID:V+X4pyF5.net
1台か2台なら、なんとなく、とか個人的な好き嫌いで選んでもいいと思う。
LVM使えばSSDをキャッシュとして使えるから、速度差は現れにくくなるし。

HDDの台数が多いと、残念ながらカーネルのメインラインに取り込まれることはないZFS on Linuxが便利で困ってる。
割当ドライブの台数の増減が出来ないのが欠点なくらい。
一度btrfsも使ってみたけど、ドライブ見失う頻度が高すぎで使い物にならなかった。
md-raidはさんざん痛い目あったから違うのを試しました。

という訳で、Redhatが作ると言っていた新しいFSに期待してます。

181 :login:Penguin:2018/06/03(日) 16:59:16.14 ID:lawReclZ.net
あ、いわゆるふつうのパソコン用途です

182 :login:Penguin:2018/06/03(日) 17:00:44.20 ID:lawReclZ.net
ちなみにここでのNTFSの評価ってどうなんやろ
ファイルシステムとして

183 :login:Penguin:2018/06/03(日) 17:02:58.45 ID:YkabeVcD.net
評価も何もWindowsでしか使えないから対象外

184 :login:Penguin:2018/06/03(日) 18:26:04.03 ID:lawReclZ.net
まあそうだろうけど、ファイルシステムのプロから見たらどうなのかなと
いちおう読み書きできるし

185 :login:Penguin:2018/06/03(日) 18:39:56.54 ID:P6dTgl4L.net
lazytimeオプションってext4専用なのかな?
それとも主要fsならどれでも使えるようになってたり

186 :login:Penguin:2018/06/03(日) 19:05:05.61 ID:YkabeVcD.net
>>184
スナップショット、暗号化、透過圧縮なんかがあって比較的枯れているからその点ではいいんじゃないの
>いちおう読み書きできるし
windows以外で使えるかって話なら常用レベルではないので問題外

187 :login:Penguin:2018/06/03(日) 22:12:17.89 ID:lawReclZ.net
>>186
Linuxで実用は無理だろうねNTFS
ファイルシステムとしてはext4とどっちが優秀かな
windowsでNTFSのときとLinuxでext4使ったとき比べて

188 :login:Penguin:2018/06/03(日) 22:14:18.78 ID:lawReclZ.net
ひとり言なのでスルーでもいいんで

189 :login:Penguin:2018/06/03(日) 23:50:11.68 ID:P8zsSYLb.net
NTFSのスナップショットってVSSでしょ?
あれは実用的と言えるのか

190 :login:Penguin:2018/06/28(木) 23:38:02.68 ID:LKI6IkPm.net
https://inmatelocator.cdcr.ca.gov/Details.aspx?ID=G31008
https://i.imgur.com/n87FKMd.png

2020年7月Hans Reiser仮釈放でReiser4開発再開か?

191 :login:Penguin:2018/07/11(水) 09:21:55.60 ID:81A8Byow.net
ブロックチェーン処理に特化した中国製ファイルシステム「TCFS」 劉尭 2018年7月10日 19:25
https://pc.watch.impress.co.jp/docs/news/1132183.html

 中国・深セン市網心科技有限公司は6日(現地時間)、ブロックチェーンの処理に特化したという
ファイルシステム「Thunder Chain File System(TCFS)」を発表した。

 これは同社が展開しているクラウドサービス「迅雷」の数百万のP2Pネットワークノードの基礎の
上で、ブロックチェーン処理と分散に特化したファイルシステム。

 merkle DAGファイル管理技術に基づいており、ファイルのすべての変更履歴を保存し、過去を
遡って検索できる。ハッシュインデックスも暗号化し、ファイルに変更があったさいに新たなハッシュを
発行することで、ファイルの改竄を防ぐ。

 データは前方誤り訂正(FEC)を使って保存され、冗長データをほかのノードに保存することで、
ファイルの破損を自動的に修復することで、データの信頼性を99.9999999999999%までに高めた。

 さらに公開鍵と秘密鍵を利用したユーザーとファイルの関係性の維持、トークンを用いたユーザーの
アクセス権限の管理といった機構も備える。

 応用としては、音楽ストリーミングサービスにおけるライセンス管理、透明性の高いオンライン
トレード、機密性の高いデータの保存などを挙げている。

192 :login:Penguin:2018/08/16(木) 17:30:32.82 ID:39cS3E35.net
https://i.imgur.com/peN6peL.png

NTFSは2MBまでクラスタサイズいけるんやな

193 :login:Penguin:2018/08/16(木) 23:09:22.44 ID:PPmzMeLy.net
NTFSで32MBクラスタ使えないのかな
実は勝手に諸元を書き換えて32MBクラスタ使えるとかにならないのかな

クラスタを32MBに出来れば、SMRの使用感が少しは改善されそうだと思うのに

194 :login:Penguin:2018/08/17(金) 16:41:59.86 ID:7soilHVI.net
バックアップ用のHDDって最悪Windowsでも読めるようにNTFSにしといたほうが無難?

195 :login:Penguin:2018/08/17(金) 17:04:45.89 ID:H2Fclh+T.net
復旧しやすいようにソースと極力同じになるように設定する事もある
条件次第じゃないか

196 :login:Penguin:2018/08/17(金) 20:35:01.75 ID:C9Ul9meq.net
USBブート出来るOSで読めたほうが良いって考え方もあるしね
一概には言えない

というか、お好みで、としか

197 :login:Penguin:2018/08/18(土) 18:09:10.32 ID:+CO+WrnP.net
今どきVirtualBoxとかでWindows上でLinuxを動かせるんだから、
Windowsが対応してないファイルシステムでもファイル取り出しは問題ないと思うんだけど

198 :login:Penguin:2018/08/18(土) 19:13:15.79 ID:cNvHne3E.net
VMとLiveCDで何の問題もないな

199 :login:Penguin:2018/08/19(日) 13:16:18.10 ID:CPC0hSnt.net
まずは東京大学理学部数学科に入らなくては。
院はできればハーバードかプリンストンかオックスフォードかケンブリッジに入りたい。
そのためには東大の頃にダントツの成績でないと駄目だな。

200 :login:Penguin:2018/09/13(木) 06:35:28.83 ID:/tlUzn9b.net
ZFSで突然、あるディレクトリが書き込み不能になる
別のディレクトリを作成してファイルをmv
それらファイルが消滅してどこにも見当たらない
元のディレクトリをrmdirしようとすると、Directory not empty
ファイルは残ってそうなのに見えない
復活の呪文ありますか?

201 :login:Penguin:2018/09/13(木) 10:35:08.64 ID:nKRuzqKH.net
データ領域もジャーナリング機能のついたファイルシステムにしたほうが良いんですか?

202 :login:Penguin:2018/09/19(水) 23:00:09.06 ID:FIDWcfFI.net
>>199
本当にお前はダメな奴だな
ここの住人は皆んなハーバードかケンブリッジを首席で卒業した奴らだぞ
分かったならマルチしてないで勉強しなさい

203 :login:Penguin:2018/09/19(水) 23:47:25.20 ID:krG05pRF.net
そして超一流自宅警備員へ

204 :login:Penguin:2018/09/20(木) 01:54:12.01 ID:E/rK9i+3.net
>>202
バークレーじゃないの?

205 :login:Penguin:2018/09/22(土) 15:29:08.14 ID:kLlRHo8O.net
>>201
起動時に毎回fsckと戯れたいなら好きにすれば良いと思うよ

206 :login:Penguin:2018/09/22(土) 21:24:06.56 ID:Xfzmt50h.net
文系大学持ち出す時点で何もわかってない奴

207 :login:Penguin:2018/09/22(土) 21:29:43.26 ID:+Jh+72go.net
自分らが触れる機会があるのはMIT or ケンブリッジ のコードだもんな

208 :login:Penguin:2018/09/22(土) 21:41:39.58 ID:Xfzmt50h.net
一番多そうなのはバークレーだろ

209 :login:Penguin:2018/09/23(日) 06:44:11.00 ID:rv2OitWj.net
https://github.com/TanninOne/usvfs

210 :login:Penguin:2018/09/29(土) 10:07:38.38 ID:1Dc6qtGM.net
パーティションごとにファイルシステムが違ったらどうなるんだろ。
/homeを初期化したくなかったので/homeはext4のまま、
その他はbtrfsにしてみた。そうしたら一見して問題は起こらなかった。
でもまだ長期間使用していないから分からない。

211 :login:Penguin:2018/09/29(土) 12:50:38.58 ID:0Ve7xPU/.net
>>210
別になんともならんよ
/boot だけext2 で残りは xfs とかよくあったし、さらには /home は nfs にして Solaris のマシンと共用とか普通に使ってた

212 :login:Penguin:2018/10/01(月) 20:39:13.70 ID:DSkHHZzv.net
古には/ですらnfsにして使ってたしな

213 :login:Penguin:2018/10/02(火) 11:06:07.84 ID:ZKEr5WA9.net
exfatってtrimに対応してますか?
USBブート用のLinuxのファイルシステムで悩んでいるのですが
winに差し込むとうっかりフォーマットするリスクを抑えるためにexfatにしようか考え顔なのですが
流石に今どきTRIM未対応のファイルシステムは論外なので。

214 :login:Penguin:2018/10/02(火) 12:40:25.27 ID:SN0/NIk+.net
exfatはそういう用途向けではないだろ

215 :login:Penguin:2018/10/02(火) 20:41:47.15 ID:o0qw6zlT.net
>>213
何度か試したが、exfat では(機器によるかもしれんが)そもそも EFI ブートしない。

216 :login:Penguin:2018/10/02(火) 21:16:55.40 ID:DGB6jGsO.net
https://en.wikipedia.org/wiki/EFI_system_partition

> UEFI firmware supports booting from removable storage devices such as
> USB flash drives. For that purpose, a removable device needs to be
> formatted with a FAT12, FAT16 or FAT32 file system,

FAT12かFAT16かFAT32でないとブートできないみたいよ

217 :login:Penguin:2018/10/02(火) 21:29:35.73 ID:i06zddSv.net
/bootと/分けりゃいいだけだろ?

218 :login:Penguin:2018/10/03(水) 12:20:44.82 ID:wn/fCBme.net
だね

219 :login:Penguin:2018/10/03(水) 23:44:56.27 ID:m0Z4y/aE.net
最近の Windows10 では修正されたけど、以前の Windows10 や 8.1 以前はパーティション
切ってある USB メモリは最初のパーティションしか認識しないんだよね。
USB HDD だと2つ目以降のパーティションが見えるのが不思議だった。

220 :login:Penguin:2018/10/03(水) 23:45:56.72 ID:OFOutVqB.net
/を先に持ってくればなんの問題もないだろ

221 :login:Penguin:2018/10/03(水) 23:53:04.84 ID:RrP0WrVl.net
昔のWindowsの仕様の方が良かったな
先頭だけをvfatにしておけば誤フォーマットすることもなかったし

222 :login:Penguin:2018/10/04(木) 03:42:23.69 ID:Yt0MaRex.net
IOスケジューラの話ってどこのスレでやればいいのかね
LinuxのデフォルトをBFQにする話が出てるけど

223 :login:Penguin:2018/10/04(木) 03:58:16.23 ID:ZDdm/HRk.net
>>222
ずっとArchでzenカーネル使ってるけど不具合もないしいいんじゃないの。

224 :login:Penguin:2018/10/08(月) 12:31:21.08 ID:igXVv/4M.net
>>222
昔はカーネル朗読スレがあった気がした

225 :login:Penguin:2018/11/04(日) 05:58:27.32 ID:j1IIPeFa.net
ext4はさっさとファイル名最大1024バイト対応しろよ
https://mao.5ch.net/test/read.cgi/linux/1541235943/

226 :login:Penguin:2018/11/05(月) 05:41:37.11 ID:tiOwL0BC.net
こんな短いんだ知らんかった

227 :login:Penguin:2018/11/05(月) 09:37:02.66 ID:Thuf2ewx.net
>>2
いつものメリケン基準で、ファイル名なんか256バイトもあれば十分よyeah
とか言っちゃって決めたんだろ。マルチバイト文字とか考えちゃいねぇ

その点Windowsは最初から国際化対応。256文字は必要だから
1024バイトだなって1993年、Windows NT 3.1の頃から対応されてる

リンク先では63文字と書いてあるけど、IVSとかIVDとか考慮すると最低32文字だからな

漢字1文字が最大8バイト、Unicodeの「IVS」とは?
https://tech.nikkeibp.co.jp/it/article/COLUMN/20100126/343783/?ST=spleaf&P=2

228 :login:Penguin:2018/11/05(月) 11:20:01.71 ID:uUVvgPC6.net
MAX_PATHって256じゃなかったか

229 :login:Penguin:2018/11/05(月) 19:56:44.94 ID:NfnT2Wl5.net
Windows10はパス長最大260文字の制限が撤廃されたな
デフォルトだと互換性維持のために制限された状態だから設定変える必要があるけど

230 :login:Penguin:2018/11/05(月) 20:08:42.30 ID:4bDcnNm4.net
ずっと前から260文字なんて超えられてる
MAX_PATHなんてC言語などでWin32を直接使っていた場合で、
たいていの言語では関係ないからな

231 :login:Penguin:2018/11/05(月) 20:45:39.43 ID:5TOR/5LU.net
ext5まだー?

232 :login:Penguin:2018/11/05(月) 21:01:52.14 ID:4bDcnNm4.net
(この世界はもう俺が救って富と権力を手に入れたし、女騎士や女魔王と城で楽しく暮らしてるから、俺以外の勇者は)もう異世界に来ないでください。.zip

が保存できません!

233 :login:Penguin:2018/11/10(土) 21:37:05.95 ID:rwyMg4B1.net
>>232
嘘つくなや

234 :login:Penguin:2018/11/11(日) 16:16:28.58 ID:e3serY0S.net
リナクスのは母型となる仮想ファイルシステムで制限あるんだっけ
extの改良だけでは済まないかと

235 :login:Penguin:2018/11/11(日) 22:03:46.68 ID:lCHAA8xV.net
暇つぶしに fuse で超長い名前通してみたけど、通るね

236 :login:Penguin:2018/11/11(日) 22:14:43.99 ID:9DgMe0v3.net
raiserfsが4,032 bytes/255 characters、Reiser4が3976 bytesだから
どこかに制限あるとしても簡単に変更できるようなってると思う

237 :login:Penguin:2018/11/12(月) 05:22:28.31 ID:i5PNL/7Q.net
>>233

>>232は211バイトだからね
73文字(うち4文字は1バイト)で63文字を超えてるけど
多くの日本語文字は1文字で3バイトなので、69*3 + 4 = 211 バイト

63文字っていうのはUTF8で全部4バイト文字を使った場合
JIS X 0213の第3・4水準漢字の一部や、絵文字なんかが4バイト
だから一般的には85文字が限界

AKBの
「鈴懸の木の道で『君の微笑みを夢に見る』と言ってしまったら僕たちの関係はどう変わってしまうのか、僕なりに何日か考えた上でのやや気恥ずかしい結論のようなもの」
が76文字(228バイト)だから、もう少し余裕があるな。

アダルトビデオのタイトルは252文字とかすでにext4の限界を突破している。
(252文字と書いてあるサイトを見つけたが実際には249文字だった。
拡張子込みでNTFSの255文字ギリギリ追加い切ってるのかもしれんなw)

238 :login:Penguin:2018/11/12(月) 10:43:41.86 ID:SbwQ9Mgt.net
WinとLinuxの文字数制限は分かったけど
Macの文字数制限はどうなってるの?
あれもLinuxと同じ255バイト制限?

239 :login:Penguin:2018/11/12(月) 11:37:44.24 ID:i5PNL/7Q.net
>>238
こっちにまとまってたよ
https://en.wikipedia.org/wiki/Comparison_of_file_systems

主要なのを抜き出すと

HFS Plus ・・・ 255 UTF-16 characters
APFS ・・・ 255 UTF-8 characters

ext4 ・・・ 255 bytes
ReiserFS ・・・ 4,032 bytes/255 characters
Reiser4 ・・・ 3,976 bytes
ZFS ・・・ 255 bytes
Btrfs ・・・ 255 bytes

exFAT ・・・ 255 UTF-16 characters
FAT32/FAT32X ・・・ 8.3 (255 UCS-2 characters with LFN)
NTFS ・・・ 255 characters( UTF-16 code unit )
ReFS ・・・ 255 UTF-16 characters

思ったんだけど、UTF-16はサロゲートペアとか使われたら最小127文字かもしれない
LinuxはReiser4を使えばext4の限界突破できるのか
ReiserFSの 4,032 bytesなのに255 charactersってのがよくわからんが(1文字最長16バイトを想定?)



どうでもいいけど、こういうデータは各言語ごとに作成するのって無意味だよなぁ

240 :login:Penguin:2018/11/12(月) 11:55:40.08 ID:SbwQ9Mgt.net
ほんま文字数制限ゴミやな。
中国人が新しいFSを作ってくれるのをまつしかないか。

241 :login:Penguin:2018/11/12(月) 20:18:38.67 ID:98rUk5Kh.net
ファイル名に長文使えるとどんなことに便利なの?
煽りではなく純粋に使いみちが思い浮かばない…

242 :login:Penguin:2018/11/12(月) 20:50:19.14 ID:nc1YhHRD.net
>>240
255文字のFSはあるしそっち使っては?
伝統的なext、xfsは多分変わらんと思う
新しいFSが出てくるならNVDIMMとか
普及してDAXが流行るころかな

fuse 製なら1ヶ月あれば俺でも作れるけど
馬の骨製はいらんやろうな

243 :login:Penguin:2018/11/13(火) 01:22:32.96 ID:bS1tEn4h.net
>>241
JANコードをファイル名にするよりも
「JANコード + タイトル」の方がわかりやすいやろ?

244 :login:Penguin:2018/11/13(火) 08:16:29.43 ID:jwZ3Cmt8.net
>>243
うーん俺は>>241じゃないけど
例えばタイトルにスラッシュが含まれてたらもう絶対ファイルの名前にできないじゃん。
だったらファイル名は純粋な整理番号にして,それにメタデータという形でタイトルや作者の情報を添付する。
そしてファイルマネージャで閲覧したときは,その設定したメタデータが見えるようにできたらよくね?

245 :login:Penguin:2018/11/13(火) 08:31:59.75 ID:0k27DXB3.net
>>243
なるほど
ただlsで表示するときに長文名すぎると邪魔じゃないの?

246 :login:Penguin:2018/11/13(火) 11:11:50.28 ID:C7ecaGwA.net
保存時にタイトルが長いと
エラー出るからな
例えばWinのファイルをLinuxに移してバックアップしようとしたら
ファイル名が長すぎて一部のファイルがエラーになったりする。
短くするにもどう切るとファイル名の意味が損なわれないか個別に考えるのはかなり面倒。

247 :login:Penguin:2018/11/13(火) 11:29:39.24 ID:9EpLlZ3i.net
lsじゃなくて、samba等でwindows上のファイラーで見るから
長いファイル名は、一覧では前半しか表示されないけど
個々の名前も見ることが出来るから問題ない

248 :login:Penguin:2018/11/13(火) 14:16:11.43 ID:bS1tEn4h.net
>>244
> 例えばタイトルにスラッシュが含まれてたらもう絶対ファイルの名前にできないじゃん。
スラッシュ省くか全角にすればいいだけでは?
たった一文字のために、コードで管理する必要ない

> そしてファイルマネージャで閲覧したときは,その設定したメタデータが見えるようにできたらよくね?
lsもファイルマネージャw

249 :login:Penguin:2018/11/13(火) 14:44:57.39 ID:jwZ3Cmt8.net
>>248
言い争う気はさらさらないのだが
「ファイルの名前に使用できない」という非常に機械的な理由から,
タイトルの原題文字列を変更してしまうというのは 俺にはどうしても抵抗があるな。

あとlsじゃなくて例えばxlsみたいなコマンド作ってファイルの属性表示させればよくね?

250 :login:Penguin:2018/11/13(火) 14:48:03.16 ID:Y3ZVP60o.net
DB使えよもうって遥か昔から言われる案件だろー

251 :login:Penguin:2018/11/13(火) 15:12:56.14 ID:hs0M6Rqs.net
お互い折れる気のない人が議論してもなんのためにもならんでしょ
そういう考えの人も居るのか、でスルーすりゃいいのに

252 :login:Penguin:2018/11/13(火) 15:35:35.36 ID:SJjGtM96.net
例えば

ChMate、旧2chMateは、ファイル名にスレッドのタイトルを利用する
(この仕様と末尾にTABをつける謎仕様のせいで、
外部SDにそのままアーカイブ出来ないという事態が発生したが、それはまた別の話)

スレタイはもちろん文字数制限があるので、全角100文字前後までに普通は収まるが
外部板なども今後も絶対大丈夫などということはなく
仮に全角100文字までとなると、SJISやNTFSのUnicodeならば問題ないが
UTF-8等だと問題が出てくるケースがあるかもしれない
全角150字までとなると、SJISでも255バイトを超えかねない

(5chのサーバー本体はそんなファイルは作らないので、タイトルの最大文字数を増やすこと自体は簡単)
※「全角」は、datが内部的にSJISで記録されていることからも、用語として妥当


NTFSでファイル名の長さが問題になることがあまりないのは
制限があるのが「バイト数」ではなく「文字数」であるため
一方、一部のファイルシステムでの制限は「バイト数」であるため、文字コードによっては
Windows上の制限を大きく下回り、ファイル鯖として使いにくくなってしまう

「自分で使う」ファイルなら、それに合わせたファイル名をつければいいが
Excelで作った文書を保存するねーちゃんが、あとでどれほど見やすさ探しやすさを求めて
どんなファイル名をつけるかなんて、普通は干渉できない


なお、Windows上の制限は、ファイル名についてはそれほど厳しくないが
最大パス長の制限は厳しいので
実際にはそこまで無茶なファイル名が使われることはあまりない

253 :login:Penguin:2018/11/13(火) 15:37:16.06 ID:bfC+v+im.net
ファイルシステムじゃなくてクソアプリが原因の事例出して何いってんだ

254 :login:Penguin:2018/11/13(火) 15:38:20.04 ID:SJjGtM96.net
エリートユーザー様しか使わせないファイルシステム様のスレッドだったか

じゃあ俺は場違いだな
さようなら

255 :login:Penguin:2018/11/13(火) 17:58:10.46 ID:2Y5G2BZm.net
更にいうとパーティションの暗号化をすると
ファイル名の制限がキツくなるという謎仕様もある

256 :login:Penguin:2018/11/14(水) 00:03:35.13 ID:yAAmsjp4.net
reiserfs じゃだめなんか?

257 :login:Penguin:2018/11/14(水) 00:53:54.56 ID:1vX8qbGP.net
文字数制限は緩いほうが良いけど文字数の為に使うファイルシステム自体を変えようとは思わないな

258 :login:Penguin:2018/11/14(水) 02:41:16.66 ID:NypCRQ0z.net
え?パッケージのためにディストリを変えるくせに?

259 :login:Penguin:2018/11/14(水) 02:54:25.38 ID:55qCcZ6h.net
ディストリの変更とかファイルシステムの変更と比べたら簡単だからな

260 :login:Penguin:2018/11/14(水) 03:34:46.53 ID:NypCRQ0z.net
ファイルシステムの変更のほうが簡単では?
データコピーするだけでしょ?

261 :login:Penguin:2018/11/14(水) 08:20:53.83 ID:VjhLGNul.net
ファイル名の長短でファイルのサイズは変わらないから
保存容量を減らさずに文章を書き続けられるってことじゃね??

262 :login:Penguin:2018/11/14(水) 08:48:35.17 ID:AfO3Y+Qc.net
CP932なWindowsからutf-8なLinuxにファイルを持ってきたらさらに文字制限がきつくなる

263 :login:Penguin:2018/11/14(水) 09:06:50.33 ID:NypCRQ0z.net
>>262
Windowsは完全なUTF16です

264 :login:Penguin:2018/11/14(水) 20:19:26.89 ID:+dcwxL5B.net
Windowsは全角チルダと波ダッシュの文字化け問題を引き起こす不完全OS

265 :login:Penguin:2018/11/14(水) 23:14:04.26 ID:5Nww0q8b.net
Oracleが起動したままxfsをアンマウントしたら、データファイルが全部綺麗に消えました
lost+foundにもありません…
ufsの頃にはこんなことは何度かありましたが、いまどきのジャーナリングファイルシステムで同じことが起きるとは思ってなかったので驚いてます
よくあることなのでしょうか?

266 :login:Penguin:2018/11/14(水) 23:19:12.80 ID:d5iK05E1.net
前提で????ってなるけど他のファイルシステムで試してみたんか?

267 :login:Penguin:2018/11/15(木) 01:21:26.24 ID:jf56ooyw.net
データファイルが全部消えて、

オラ狂う

268 :login:Penguin:2018/11/15(木) 07:45:28.85 ID:hnVEV5I3.net
旧時代のファイルシステム「EXOFS」メインラインでのサポート終了へ
Linux Daily Topics 2018年11月14日 階戸アキラ
https://gihyo.jp/admin/clip/01/linux_dt/201811/14

269 :login:Penguin:2018/11/15(木) 14:41:15.70 ID:NFvYeQMc.net
>>265
どうやってアンマウントしたのか

270 :265:2018/11/15(木) 22:30:54.29 ID:d1qolyDf.net
よくよく聞いてみると、どうやらテストの過程で何を間違えたかrmでデータファイルを消したようです
ディレクトリは消えてなかったのでおかしいなぁ、と思ったのですが、まさかそんなオペミスするなんて…
xfsにあらぬ疑いかけてすまんかった

271 :login:Penguin:2018/11/16(金) 15:02:38.35 ID:xbhqLy20.net
(゚д゚)

272 :login:Penguin:2018/11/16(金) 18:18:58.76 ID:nuom71Wq.net
25年前に「魅入られた様に」にrootアカウントで「rm -r /」を実行したっけ…

273 :login:Penguin:2018/11/17(土) 20:45:05.46 ID:eJrxRiQ7.net
ある客が /root の中身が消えたというので話を聞いてみると、残ってるデータとかからして、
rm -fr /foo/work/*
って実行しようとして、
rm -fr /foo/work/ *
を(多分)実行したってのがあったなぁ。

274 :login:Penguin:2018/11/29(木) 02:40:45.67 ID:soyVBKIU.net
4.19でext4が壊れるバグ
https://www.phoronix.com/scan.php?page=news_item&px=EXT4-Linux-4.19-Corruption

275 :login:Penguin:2018/11/30(金) 23:45:23.54 ID:W1Yw+32X.net
なんでバグッた?

276 :login:Penguin:2018/12/02(日) 00:54:34.33 ID:KK9PakAY.net
>>275
人がつくるものなどそんなもの

277 :login:Penguin:2018/12/02(日) 14:21:24.38 ID:9Jl634Yx.net
いや詳細をきいてるのかとw
俺も知らんけど

278 :login:Penguin:2018/12/02(日) 22:24:14.60 ID:L0oS14it.net
遠因系トラブルで原因はまだ不明らしい。 リンク先みる限り、SSDやNVMe、HDDでも出てて再現できる人は再現
できてるが、できない人はどうやっても再現できない。 VMで再現できた人はいなさそう。
4.18 では問題でないが 4.19 では出るけど、基本的に ext4 周りの修正は 4.18 にバックポートされているので
ext4 モジュール以外のところがトリガーだけど、それがどこかわからないという状態みたいね。

279 :login:Penguin:2018/12/12(水) 21:21:08.67 ID:36Ot3wmG.net
4.19.5で不具合出なかったけど4.18.20に戻した

280 :login:Penguin:2018/12/12(水) 21:22:01.33 ID:36Ot3wmG.net
ext4についてね

281 :login:Penguin:2018/12/13(木) 19:39:55.95 ID:NR/T+hQb.net
なんで?

282 :login:Penguin:2018/12/13(木) 22:45:27.66 ID:6+F6f/Rk.net
kernel.orgのchagelog見た感じでは4.18.20と4.19.3でext4のfixだったから
慌てて4.19.2 → 4.18.20コンパイルじゃなく4.19.2 → 4.19.3にすれば良かったというオチだた

283 :login:Penguin:2018/12/20(木) 12:22:45.32 ID:5OhO9sob.net
4.19.5でも起きてるってコメントもあるんだけどなあ

284 :login:Penguin:2018/12/20(木) 22:57:57.60 ID:jiO1Nkhz.net
https://kledgeb.blogspot.com/2018/12/linux-34-linux-kernel-4198.html
Linux その34 - ファイルシステムが破損する問題、Linux kernel 4.19.8で修正
これは?

285 :login:Penguin:2018/12/21(金) 00:59:06.38 ID:hNEoKB5T.net
BLK-MQは有効にしてたけど現象でなかったんだよなあ
デバドラレベルのBUSYステータス発生なんて珍しい状態じゃないだろうし

286 :login:Penguin:2018/12/24(月) 18:18:07.17 ID:MsEreEa8.net
FreeBSD ZFS File-System Code To Be Re-Based Over ZFS On Linux
https://www.phoronix.com/scan.php?page=news_item&px=FreeBSD-ZFS-On-Linux

287 :login:Penguin:2018/12/24(月) 19:15:10.64 ID:Zs6FFiek.net
まるでLinuxのZFSが本家みたいになるな
Solarisとかほぼ死んでるし

288 :login:Penguin:2018/12/24(月) 19:58:44.49 ID:AvA68yyH.net
まじか
最近追いかけてなかったけどそんなことになってたのか

289 :login:Penguin:2018/12/24(月) 20:22:54.03 ID:0lCFTzuV.net
マジかー
ZOL使っててよかった

290 :login:Penguin:2018/12/26(水) 00:24:11.39 ID:EZlyc994.net
殺人犯が作った「ReiserFS」使ってる人いる?

291 :login:Penguin:2018/12/26(水) 01:18:41.06 ID:+zqsQdF+.net
、i`ヽ                        ,r‐'ァ
 `ヽ::                      ::´
   ヽ ヽ        , -‐--、         / /
    ヽ \      I:::::::I_      _ / / ┌────────────
     ヽ  ヽ    i,(;;;ノI、;;;)l    ,,/  , '  < レイザーエスエフゥゥゥ!
      ヽ  ` ー 、.,,ゝ´ヮ`,ノュ_, - '   r'    └────────────
        ` 、_ /::: `山':::::    /
         ヽ:::::::::::|::::::::"",r‐'
          〉::::::::|::::::::::¨/
         /;;;;;;;/;;;;;;;;;;/
        /;;;;;;;/:::::::::::《
        <;;;;;;;《:::::::::::::ヽ   ))
      /   ヽI,r''"""^~ヽ
     /   ,/ ヽ    ヽ

292 :login:Penguin:2018/12/26(水) 21:54:51.33 ID:k0fBjbIm.net
ライザーエフエスだよHG

>>920
今は使ってないが
壊れかけのHDDでEXT3よりも頑張ってくれた思い出

293 :292:2018/12/26(水) 21:55:35.75 ID:k0fBjbIm.net
>>290


294 :login:Penguin:2018/12/26(水) 22:47:15.21 ID:oxycjWUh.net
壊れかけのレ  いざーえすえふぅぅぅ!

295 :login:Penguin:2018/12/26(水) 23:38:01.14 ID:1V71/meg.net
https://inmatelocator.cdcr.ca.gov/Details.aspx?ID=G31008

Hans Reiserは2020年5月に仮釈放の申請ができるようになるらしい(仮釈放が認められるとは限らない)

296 :login:Penguin:2019/01/09(水) 03:02:08.47 ID:BmFDJC8W.net
ラップトップでスナップショット使おうとするとやっぱりbtrfsしかないんだろうか
LVMも使ってみたけどスナップショット取ると遅すぎて使い物にならなかった
ZoLのほうが良かったりするのかな

297 :login:Penguin:2019/01/09(水) 05:34:15.75 ID:6Kb50MSA.net
ZFSってファイルサーバーに使うもんだって勝手に認識してるわ
一般的なデスクトップに使うのってどうなのかね

298 :login:Penguin:2019/01/09(水) 06:33:05.71 ID:2XJLKBa3.net
zfsは遅いから向かない

299 :login:Penguin:2019/01/09(水) 08:36:15.65 ID:3kocD77g.net
軽さと安全性はトレードオフ
速さが必要ならext2でも使ってなさいってこった

300 :login:Penguin:2019/01/09(水) 09:18:43.98 ID:q30xsoFi.net
>>299
今はext4の方が速いよ

301 :login:Penguin:2019/01/09(水) 09:24:22.22 ID:Hbv17+4B.net
もうxfsでいいじゃん

302 :login:Penguin:2019/01/09(水) 11:02:07.20 ID:gBwoP/Ri.net
>>297
ワークステーションならまだしもラップトップじゃ力不足だろうね

303 :login:Penguin:2019/01/09(水) 12:17:22.03 ID:3kocD77g.net
zfs遅い速いって不毛な議論されてるけど、zfsはボリュームの構成で激しくちがうからなんとも言えないだろう
zfsでシングルボリューム、シングルプールだと力なんか必要ないだろう

304 :login:Penguin:2019/01/09(水) 14:00:00.41 ID:2XJLKBa3.net
いや巣の速度が遅いから

305 :login:Penguin:2019/01/09(水) 15:51:24.98 ID:3kocD77g.net
データ壊れるより遅くても耐障害性があるほうがいい、、
ext/xfs/reiser/jsf色々使ったけど懲りた

306 :login:Penguin:2019/01/09(水) 16:02:24.88 ID:h6KWpsf5.net
ZFSは使って楽しいけどね。覚えるコマンドも
少ないし。

307 :login:Penguin:2019/01/09(水) 16:42:54.90 ID:L2SIo0+c.net
>>305
何使ってるの?
btrfsに関しては普段はいいけどいざ問題が起きてメンテナンスしたりするとすげーバギーで常用は辛いって感想
とりあえずlvm+ext4に逃げてる
zfsは使ったことない

308 :login:Penguin:2019/01/09(水) 20:07:50.74 ID:3kocD77g.net
>>307
メインはfreebsd+zfs
linuxならext4,xfs
macはapfs
winはNTFS

使いたいOSが押してるやつだな

309 :login:Penguin:2019/01/09(水) 20:12:46.50 ID:8j8FNEah.net
NTFSは堅牢だよな
カトラーが設計したからな

310 :login:Penguin:2019/01/09(水) 21:32:17.43 ID:3VBEQkcT.net
cephを組む猛者はさすがに居ないか

311 :login:Penguin:2019/01/10(木) 01:10:07.66 ID:ONIdj6GA.net
使ってるけど自動でデプロイされたから中身よく知らない

312 :login:Penguin:2019/01/10(木) 03:23:15.64 ID:yRd7o2H0.net
SSDでも気にするほどの差出るの?

313 :login:Penguin:2019/01/10(木) 04:16:12.47 ID:BjrbHG9/.net
とりあえずbtrfsが遅い
まあxfsやext4はlvm使うことが多いからそうなるとbtrfsとそんなに違わなくなるのかもしれないが
https://www.phoronix.com/scan.php?page=article&item=linux-50-filesystems&num=1

314 :login:Penguin:2019/01/10(木) 12:33:23.19 ID:fuJmgG8x.net
zfsは構成がどうのとか関係なくメタデータ操作系が全般的に遅いから
homeやspool的なものとかデスクトップマシンとかでは使いたくない

315 :login:Penguin:2019/01/10(木) 13:16:00.06 ID:1s74qavR.net
鯖には用途に合わせてxfsとZoL
デスクトップにはbtrfs使ってる
btrfsはもう少し速くなってくれたら言うことないんだけどなあ

316 :login:Penguin:2019/01/10(木) 13:38:23.11 ID:Wp8ERfnm.net
zfs勢はbtrfsをpoor man's zfsとか揶揄するけどエンタープライズしか考えていないようなのをノートパソコンで使えたもんじゃないよな

317 :login:Penguin:2019/01/10(木) 15:14:33.70 ID:bO97j5+0.net
>>173
zfsは、高価なハードウェアを使わない
より安価なソフトで解決する
プアマンズRAIDだしね。

318 :login:Penguin:2019/01/10(木) 15:43:56.87 ID:uL96sDqi.net
>>317
今どきはCPUが性能余してるからソフトウェアRAIDの方が速いと思う

319 :login:Penguin:2019/01/10(木) 16:40:39.19 ID:nBvfLuxC.net
停電とかの事を考えるとそう単純な話じゃなくなる
バッテリとか大容量キャパシタ積んだコントローラなら突然の停電でも
書き込んだなら書き込んだ、書き込まれてないなら書き込まれてないの
保証がある程度できるけど、
ソフト側で逐次各記憶装置に書き込み命令とか送り込んでると一貫性がなくなる

win10以降の記憶域プールはその辺の対策はしてるみたいだけどめっちゃ遅い
IsPowerProtectedをTrueにすれば早くなるけどその辺の対策がされなくなるしな
所詮ソフトウェアRAIDだからっつーて、
単純にパリティ分散とかミラーリングとかすればいいっちゅーもんでもない

320 :login:Penguin:2019/01/10(木) 16:49:02.93 ID:vCZDF784.net
RAIDZで雷の日でも精神ダメージが入らなくなったのは嬉しかったな
バッテリ付きRAID

321 :320:2019/01/10(木) 16:51:25.84 ID:vCZDF784.net
ごめん途中送信した
バッテリ付きRAID高いから手が出せなかったって言いたかった

322 :login:Penguin:2019/01/10(木) 16:56:22.43 ID:UxcPDKnG.net
小規模・個人レベルならどっちでも良いよ
データ保証はアプリとファイルシステムが担うべき
DCクラスでハードRAIDはナンセンス

323 :login:Penguin:2019/01/10(木) 21:27:48.95 ID:nBvfLuxC.net
ファイルシステムが物理層の構造に依存するとか非現実的だろう

324 :login:Penguin:2019/01/10(木) 21:58:54.96 ID:l/4uAxA6.net
物理というかブロック層はbarrier/fua/flushに従うだけやろ?データとしての一貫性は上位のソフトウェアにしか分からんから>>322は当たり前の事を言ってるぞ

325 :login:Penguin:2019/01/10(木) 22:14:30.50 ID:H0AhwQF+.net
そういえばWindowsはファイルシステムの下位にフィルターが入るとかでWSLがやたらIO遅いとかネタになってたな

326 :login:Penguin:2019/01/10(木) 23:36:19.35 ID:AqGvqMIJ.net
WSLが遅いのはNTFSの上でfuseみたいなの動かしてるからじゃないか

327 :login:Penguin:2019/01/11(金) 00:02:58.95 ID:ftLr49mX.net
>>324
データの保証ってチェックサムレベルだったら勘違いしてるぞ
停電とかで一部のHDDにだけ書き込みが実行されて他に書き込まれなかった時、
単純に分散するだけじゃハードの恒久的な障害かそうじゃないかがわからなくなる
そのフラグなりジャーナリングなりまでをもファイルシステムがやれって事でしょ?

zfsみたいなチェックサムとは訳が違う

328 :login:Penguin:2019/01/11(金) 00:55:44.89 ID:g8TOMcSo.net
>>327
raid5/6のwrite hole問題の話か
あれはストレージノードの冗長構成とっていて頻繁なディスク同期のできない企業向けシステムが気にする問題やろ?停電や強制電源オフを頻繁にする人なら気にしたほうがいいが

329 :login:Penguin:2019/01/11(金) 00:59:47.13 ID:UZr/7ZNA.net
それに限らずハード起因の不整合は起こり得る

330 :login:Penguin:2019/01/11(金) 01:06:21.03 ID:ftLr49mX.net
win10の記憶域プールはファイルシステムより下で
ハード起因なのか停電とかなのかを判別してる

その機能の有効無効のフラグがIsPowerProtected

331 :login:Penguin:2019/01/11(金) 11:39:07.98 ID:DIcHdIQZ.net
ZoLの未来は明るくないな
https://www.phoronix.com/scan.php?page=news_item&px=ZFS-On-Linux-5.0-Problem

332 :login:Penguin:2019/01/11(金) 23:46:17.04 ID:9r8ZI+Du.net
互換APIないの?

333 :login:Penguin:2019/01/12(土) 16:09:53.17 ID:L0kxz95a.net
bcachefsが今年中に使えるようになるんじゃないかね
結構期待してる

334 :login:Penguin:2019/01/12(土) 16:46:59.06 ID:2OwY199Y.net
今年使えるようになったばかりのfsなんて怖くて使えない

335 :login:Penguin:2019/01/12(土) 17:43:51.46 ID:7QnqZR8r.net
>>334
人柱様に水を差すんじゃねえだ。

336 :login:Penguin:2019/01/12(土) 18:12:49.01 ID:p6KdOxro.net
Linuxのメインラインに取り込まれるのが今年になるだろうってだけで何年も前から使えるけどな

337 :login:Penguin:2019/01/12(土) 19:22:16.98 ID:qht6K0wG.net
Linux上のZFSがLinux 5.0でひっかかる
https://www.phoronix.com/scan.php?page=news_item&px=ZFS-On-Linux-5.0-Problem

338 :login:Penguin:2019/01/12(土) 20:50:02.41 ID:L0kxz95a.net
少し上のレスくらい見ようぜ

339 :login:Penguin:2019/01/12(土) 20:57:27.94 ID:jEoumrTa.net
何言ってんだこのバカ

340 :login:Penguin:2019/01/12(土) 23:56:12.11 ID:/MlJZYbW.net
>>337
>>331

341 :login:Penguin:2019/01/15(火) 13:06:56.35 ID:2Ah+Qrqf.net
Ubuntuどうするだろ

342 :login:Penguin:2019/01/23(水) 00:57:56.89 ID:kNNPf5id.net
https://cdn-ak.f.st-hatena.com/images/fotolife/k/kazuki09/20160703/20160703191828.jpg

一杯あるねー君達

343 :login:Penguin:2019/01/23(水) 02:31:34.66 ID:3xXFOHSL.net
jfsって使ってる人どれくらい残ってるんだろう

これに新しいReiserfsにRedhatが新しく作ると言われてる奴が加わると思うと、胸が熱くなる

344 :login:Penguin:2019/01/23(水) 18:35:07.23 ID:0M8bthjo.net
UX4800で主流だったvxfsってどうなったんだろ

345 :login:Penguin:2019/01/31(木) 19:49:57.57 ID:eyiJg58C.net
olacleのzfsアプライアンスのボリュームをwindows10からsmbアクセスしたとき、大文字小文字の違いしかないファイルペアがあると、それらが8文字の長さの別のファイル名に見えるのはどういう機能なのでしょうか。
NFSでCentOSでマウントして、"hello.txt"と"Hello.txt"を作成すると、Windowsでは
HE~B3GZT.TXT
HE~C3GZT.TXT
という2つのファイルに見えます。

346 :login:Penguin:2019/02/01(金) 08:04:15.23 ID:N0xuylqN.net
>>345
Windowsはケースセンシティブじゃないから…

347 :login:Penguin:2019/02/05(火) 23:09:56.64 ID:KE7i+wC/.net
ext4で大文字小文字の区別をしないモードが開発されているらしい

348 :login:Penguin:2019/02/06(水) 20:07:35.87 ID:wB6R+SSI.net
それはそれでまた阿鼻叫喚の予感が…

349 :login:Penguin:2019/02/08(金) 19:16:10.92 ID:JCux+jot.net
ケースセンシティブでなきゃ死ぬ環境にも問題がありそうな気がする

350 :login:Penguin:2019/02/08(金) 22:49:20.26 ID:gM5IfNf+.net
昔、別の板でだけど
FAT32の外付けディスクにWin2000で大文字小文字だけの違うファイルを作って
それをWin98で読んだらどうなるかってのの話題があったな

FATの特性(エントリべた書き)もあるだろうけど
dirで表示されるファイルとエディタで開くファイルが違うとか、
移動させようとすると別な方が移動されるけど残った方が読めるようになるとか
いろいろ挙動不審だったらしい

351 :login:Penguin:2019/02/15(金) 13:03:48.45 ID:4tPOtJVd.net
>>345
FS側じゃなくてsambaのname manglingじゃねえの
Windowsで使えない文字とかもSamba経由だとそうなる

352 :login:Penguin:2019/03/06(水) 12:57:44.81 ID:GYShYGFU.net
釈放されたんだから早くreiser4復活しろよ

353 :login:Penguin:2019/03/07(木) 02:54:37.96 ID:6s6dEvVm.net
ようやく時代がreiser4に追いつくか?

354 :login:Penguin:2019/03/07(木) 09:33:29.95 ID:MuV+t1Gm.net
今はbcachefsのほうが期待されてるだろう

355 :login:Penguin:2019/03/11(月) 00:35:21.09 ID:UOCKT9C0.net
md-raid 6上の6TBのbtrfsボリュームが怪しくなった
> BTRFS error (device sdb): parent transid verify failed on 222893 34353920 wanted 631557 found 632032
そして消せないサブボリュームがある
# ls -l /mnt/BtrfsTank
ls: /mnt/BtrfsTank/encoding にアクセスできません: 入力/出力エラーです
合計 0
drwxrwsr-x. 1 root video 636 3月 10 13:13 datastorage
d?????????? ? ? ? ? ? encoding

この?の並びが激しく気持ち悪くて不気味だ、このencoding内のデータはどうでもいいってか何も入ってなかった気がする
今の所読めないデータはないし読み書き含め他の部分は問題なく動いて見えるが、btrfs-select-superやbtrfs check --repairやってもダメなので
データ退避してから作り直すしかない
スナップショット撮っては消ししまくりにしてはよく頑張ってくれたと思う

データ退避処理の進捗をみながらRedHatがbtrfs投げ捨ててからの動きとか見てるけど
btrfs on md-raidでいいのかZFS on Linuxに移行すべきかなかなか良いスタンダードが確立してないよねぇ

356 :login:Penguin:2019/03/11(月) 00:40:43.65 ID:IigLLh3C.net
btrfsはトラブるたんびにモグラ叩き、の繰り返しだったろうに何故に実運用しようとするのか

357 :login:Penguin:2019/03/11(月) 00:52:12.93 ID:5TJmB3dg.net
video encodingかw
エンコ厨のアニヲタは氏ねばいいよw

358 :login:Penguin:2019/03/11(月) 03:25:35.52 ID:Iugc1R92.net
btrfsは失敗だもう捨てろ

359 :login:Penguin:2019/03/11(月) 03:39:15.17 ID:obZ/zwS+.net
btrfsのスナップショットは作る分にはいいけど…

360 :login:Penguin:2019/03/11(月) 10:13:10.16 ID:nc+22c0z.net
もうNILFS2は誰も見てくれないのかなあ。
結構好きで/homeに使っているのだけれど。。。

361 :login:Penguin:2019/03/11(月) 23:14:39.58 ID:SU9pN+Q4.net
どんなメリットがあって使っているの

362 :login:Penguin:2019/03/12(火) 20:49:05.55 ID:yL9gOqQR.net
>361
Logファイルシステムなんでファイル操作ごとにチェックポイントができるから保存されている限り任意の時点のファイルシステムの状態が復元できるんで、
あ、消しちゃったとか、間違えて書き換えちゃった時にすぐ取り返せる。
ルートで対象のチェックポイントをスナップショットに変更してマウントする作業する必要があるけど。。。
ファイルシステム止めずにスナップショットが得られるので他の作業しながらコンシステンシー気にせずにバックアップが取れる。
書き込み量とストレージのサイズによるけどデフォで1時間で設定で24時間位は遡れるようにしているので割と気軽にファイル操作している。
とは言っても実際にファイル取り返さないといけないケースは1年に数回程度だけど。

363 :login:Penguin:2019/03/16(土) 17:38:18.22 ID:RacPXVIy.net
このディスクのファイルシステム何かわかる人いませんか・・・・・・FreeBSDのUFSではマウントできず・・・・・・。

GPT fdisk (gdisk) version 0.8.10

Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdf: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 5D5F6FE4-4185-11E4-AE7C-20C6EB48C57A
Partition table holds up to 128 entries
First usable sector is 88, last usable sector is 3907029134
Partitions will be aligned on 8-sector boundaries
Total free space is 5071 sectors (2.5 MiB)

Number Start (sector) End (sector) Size Code Name
1 88 4194391 2.0 GiB FFFF
2 4194392 3907011775 1.8 TiB FFFF
3 3907011776 3907024063 6.0 MiB FFFF

パーテション1をddで吸い出してfileしてみたら↓

# file backup-disk-image-sdf1.img
backup-disk-image-sdf1.img: Unix Fast File system [v2] (big-endian) last mounted on /tmp/mnt/ustorage3,
last written at Mon Mar 11 10:13:02 2019, clean flag 0, readonly flag 0, number of blocks 524288, number of data blocks 520071, number of cylinder groups 4,
block size 32768, fragment size 4096, average file size 16384, average number of files in dir 64, pending blocks to free 0, pending inodes to free 0,
system-wide uuid 0, minimum percentage of free blocks 8, TIME optimization

364 :363:2019/03/16(土) 17:50:40.75 ID:RacPXVIy.net
あ、ディスク自体はパナのVIERAに外付けHDDとして接続してたTV録画HDDです。
HDD自体はsmartやら、ddやらの読出し結果からは異常はないっぽくて、
どうも中のファイルシステムがおかしくなってるっぽいなんとか復旧したく。

各パーテション、CodeがFFFFでファイルシステムが何かわかりません。
fileの結果からは、/tmp/mntとなってるので、UNIX系の何かだとは思うんですが・・・・

365 :login:Penguin:2019/03/16(土) 18:42:10.51 ID:QAw47Obs.net
レコーダで初期化したHDDは独自のファイルシステムになってるもんじゃないの?
そうでないと録画データの引っこ抜きとかが容易になるわけで。

366 :login:Penguin:2019/03/16(土) 19:11:00.46 ID:FKDx4ojb.net
> Unix Fast File system [v2] (big-endian)

これが「UFS2」にしか見えなくて、
まずこれをやって
https://www.google.com/search?q=ufs2+%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%80%E3%83%BC
次にこれをやってみて
https://www.google.com/search?q=ufs2+%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%80%E3%83%BC+viera
なんとなく


>>365
そんなことしてたら、コストに見合わない
安定性やバグ取りにサポートまで必要なことに手を出すほど、メーカーはヒマじゃない
せいぜい多少の細工をして外部から読みにくくすることがあるかも程度

367 :363:2019/03/16(土) 21:15:49.38 ID:RacPXVIy.net
ありがとうございます。独自ファイルシステムだとコスト的にあわなさそうというのは同意見です。
TV側のOSkernelレベルからカスタムする必要がありそうですし。


吸い出したddをもとに、現状、以下をやってます。

・別HDDへのddでの丸コピでどうにかならないか
  → HDD個体識別はGUIDでやってるだろうという推測ベースで激遅コピー中。HDD異常ではなさそうなので望み薄。

・ddとったイメージをいろんなOSでマウントして中身をみてみる
  → USF2対応のFreeBSDでマウントしてみたけど、なぜかデバイスファイルのリンクがきれててNG。
    GUIDとか、gpt上のファイルシステムaAラベルとかを振りなおしてもだめでした。
    ddイメージのfileの結果はUSF2だけど、gptのcode上はUSF2を示すA503ではなく、
    FFFFで、リザーブbニいうか、末番なのが果てしなく怪しい。

・マウントせずにファイルを見れるツールを使ってファイルだけ吸い出してみる
  → 大量の分割ファイル(mp3、mlv?)。あとSQliteとかいうDBMS関連と思われるファイル(dbx、sqlite、txt)
    某社みたいにmpegファイルとして直で保存してなくて、DBMS内に格納していそうな予感。
    DB論理破壊なら絶望的・・・・・。そもそも構造もよくわからんし・・・・。


現状からすると、UNIX系をベースにファイルシステム、保存方法の両方に細工がされてそうに見えます。
DB解析はあきらめて、ちょっとファイルシステムが壊れてるだけです!の方向で継続してま・・・・・
東芝のTVにしとけばよかったなぁ・・・・

368 :363:2019/03/16(土) 22:17:05.43 ID:RacPXVIy.net
てきとうにやってたら━(゚∀゚)━DB構造見えてきたー
https://imgur.com/pg50Nq7

このDBはプリセットっぽいけど一応データを見ておこう・・・・・・
????TVよりはるか昔のなにやら不穏な文字列がががが・・・・・・
パナに怒られても嫌なのであれなところは黒塗りで・・・・・・・・
https://imgur.com/ZtSb9BI

ということで全力でDBデータ吸い出し中。

369 :login:Penguin:2019/03/16(土) 22:54:00.06 ID:RacPXVIy.net
TV録画HDDまるごとddイメージ用の2TB、
TV録画HDDのパーテションごとddイメージ2用のTB、
パーテションごとddイメージの一応swabイメージ用の2TB、
DB吸い出し用の2TB。空き容量ガー。
今日はもうddでHDDコピーしながらDB吸い出し仕掛けて寝ることにしま・・・・

もし同じような境遇でデータ救えた人がいればアドバイスいただきたく・・・

370 :login:Penguin:2019/03/18(月) 19:49:09.41 ID:Vfq3Yari.net
デコードできるのそれ?

371 :login:Penguin:2019/03/18(月) 20:09:35.84 ID:23E+fOK/.net
録画データ壊れてて読み込んだ時点で死んでるとかじゃなければDB修復したら元のTVで見れるでしょ

372 :login:Penguin:2019/03/18(月) 21:24:29.74 ID:Vfq3Yari.net
あ、そゆことね

373 :363:2019/03/21(木) 01:42:47.79 ID:/l10lWhU.net
はい。結局マウントかけずにフアイルを読み出すツールだと、情報が断片的にしか読めずDB復旧にはいたりませんでした!あと、ddの完コピディスクも予定通りダメなとこまでコピーされてだめ!南無!

374 :363:2019/03/21(木) 01:45:46.80 ID:/l10lWhU.net
結局、gpartのFFFFコードの小細工を突破して、正攻法でマウントして読み込んでffckなりするしかなさそうですが、これはうちのスキルではむりんご。

375 :login:Penguin:2019/04/09(火) 13:17:11.49 ID:1OOoyLh/.net
【速報】削除後、起動しているだけでデータが復元できなくなるという性質がLinuxのファイルシステムに存在することが判明
https://cloud.watch.impress.co.jp/topics/dds1904/

>Windowsでは、1回削除してもファイルシステム上にはフォルダ構成が残っているのですが、
>Linuxに関しては、削除後はしばらくそのままにしているだけでどんどん消えていきます。
>起動しているだけでデータが消えるという性質がLinuxのファイルシステムにはあります。

376 :login:Penguin:2019/04/09(火) 13:22:56.97 ID:lhCkt0bg.net
ファイルシステム名すら書かずに

377 :login:Penguin:2019/04/09(火) 13:39:29.81 ID:izrDON32.net
セキュリティ的にはそのほうがいいんじゃない?

378 :login:Penguin:2019/04/09(火) 13:41:03.99 ID:xKrw21om.net
>>375
Linuxでは削除したデータの復活が難しいって話でしょ?
データが勝手に消えるという意味ではないぞ

379 :login:Penguin:2019/04/09(火) 14:45:23.63 ID:MWJmYr9/.net
ファイルシステムの仕様の話でバグでもなんでもないよな
それにファイルシステム上から完全に削除したファイルの復元なんてWindowsにしろLinuxにしろ保証なんてしてないし

380 :login:Penguin:2019/04/10(水) 11:00:23.00 ID:4T4hCHHJ.net
ext4との比較かな
そんな性質あるのか?ssdの場合か?

381 :login:Penguin:2019/04/10(水) 11:51:08.21 ID:sqoFbBjM.net
ext4は結構戻せるからxfsのことでないかな

382 :login:Penguin:2019/04/11(木) 07:56:59.03 ID:4Cyx3VjH.net
>>377
一般的には、そうだよね。
記事の内容は、視点がフツーじゃない。

383 :sage:2019/05/02(木) 07:41:59.61 ID:uuWYZZoh.net
>> 363

LGのTVの録画に使っていたディスクが壊れて調べたらLGのモデルでは次のようなことがあるらしい。

https://www.avforums.com/threads/recording-on-lg-smart-tv-lm760t.1697353/

ひとことでいうと、録画ファイルのメインデータは JFSの第一パーティション。
メタデータ(リストとかかな?) はext3の第二パーティションに書き込む。
パーティションタイプはa2という独自のものを利用している(!)

新しいディスクはLG TVにフォーマットさせてたが、
TVが初期化した以前の2TBのWDディスクは
fdisk -l でみるとパーティションのバウンダリがセクターの始まりにないという。
そこでlinux の上で gparted で jfsのパーティションと最後に50MBほどのext3のパーティションを
つくり、そのあとfdiskの t コマンドで パーティションタイプをa2 に書き換えて、
上のAVForumの投稿にあるように無事つなげた。
(最初まちがってa1を書き込んだらUSB機器に問題があるといって認識せず。
正しくa2にしたら接続したが、「初期化」しますかと聞いてきた。
パーティションから作りかえることはしないだろうとOKして使えるようになった。)

古いディスクは ddrescueで読みだそうとしているが、3日かかるとか出ていてあきらめ状況。
小さいext3部分は強制的にext3としてマウントできた。jfsの方はだめだった。

消費者としては録画ハードディスクをつなげることができるTVでは
- S.M.A.R.T.の情報を表示して欲しい(ディスクが壊れる場合の80%くらいはS.M.A.R.T.で予測できるのではないかな。
あとの20%はいきなりこわれるから、気休めだが。)、
- Windowsマシンなどでバックアップコピーを簡単にできる方法を提供してほしい
とつくづく思った。
(TVの内部キーで暗号化している部分があると思うので、他では再生できないバックアップなんだけども。)

メーカーが独自ファイルシステムなんて作る余裕はないという考えには同意。
LGはパーティションタイプを変えることで obfuscateしているんだけども上記のAVFORUMの投稿者はどうやって知ったんだろう?

384 :login:Penguin:2019/05/03(金) 02:19:19.70 ID:MTUS+yEB.net
ファイルのヘッダ見るだけでファイルタイプがわかるように、
その人もパーティションのヘッダを見てファイルシステムがわかるんしゃないかな。
ファイルシステムにシグネチャとかあるのか知らんけど。

385 :login:Penguin:2019/05/03(金) 12:16:35.70 ID:Wzb7upON.net
無かったら mount -t auto なんて出来ないぞ

386 :login:Penguin:2019/06/05(水) 11:45:36.91 ID:7o3gJPQx.net
NixOS Takes Action After 1.2GB/s ZFS Encryption Speed Drops To 200MB/s With Linux 5.0+
https://www.phoronix.com/scan.php?page=news_item&px=NixOS-Linux-5.0-ZFS-FPU-Drop

ZoLもうダメそうだな

387 :login:Penguin:2019/06/05(水) 14:08:52.34 ID:rn1dV4UN.net
AES-NIが使えなくなってそこまで遅くなってるんだろう
暗号化をAESからchacha20に切り替えたらかなり改善されると思う

388 :login:Penguin:2019/06/05(水) 16:08:58.99 ID:ODK3wUcN.net
>>386
あらら(´・ω・`)

389 :login:Penguin:2019/06/13(木) 01:37:16.29 ID:vP00iu9C.net
>>387
ChaChaもChaChaでSSE/AVX使えないのはつらいぞ

390 :login:Penguin:2019/06/16(日) 06:51:50.05 ID:fORVbt/P.net
ARXはあまりアーキテクチャ依存しないから速いよ

391 :login:Penguin:2019/06/26(水) 02:22:44.66 ID:wL+APPob.net
改心したはずのトーバルズ氏がまたもや感情的な暴言
Liam Tung (Special to ZDNet.com) 翻訳校正: 編集部 2019年06月25日 12時28分
https://japan.zdnet.com/article/35138967/

(前略) Torvalds氏に早速かんしゃくの矛先を向けられたのは、オーストラリア人プロ
グラマーのDave Chinner氏である。Chinner氏は、多くのLinuxディストリビューションが
サポートしているSilicon Graphics製のXFSファイルシステムを管理している。(中略)

 しかしTorvalds氏は、Chinner氏の言い分を否定し、そのような考えを広めようと
している開発者は「無能だ」と痛烈に批判した。

 「Dave、キャッシュはちゃんと機能する。そう思わない者は無能なだけだ。ファイル
システムによるアクセスの99%はキャッシュに保存され、IOを行うことは決してない。
ページキャッシュはファイルシステムを美しく処理している」(Torvalds氏)

 それに対してChinner氏は、Linuxの行動規範に従い「礼儀正しく議論する」ことをリマイ
ンドし、カーネル開発者がプロらしく論議できる雰囲気を作ろうと、次のように回答した。

 「その通りだ。ページキャッシュは多くのストレージより高速なため、問題なく機能する
ケースはたくさんある。しかし、私が指摘したのは、そのことではない」「わたしが、IOの
並行処理、ページキャッシュ、既存コードのアーキテクチャー上の不具合などについて書い
た長文のメールの中から、たった1つの記述を前後関係を無視して引用し、まったく新しい
文脈をでっちあげた上で、私がキャッシュやページキャッシュのことを全く理解していない
と非難し始めた。」「プロらしからぬ振る舞いだ。しかし残念ながら、まったく予測できた
反応だとしか言いようがない」とChinner氏は応じている。

392 :login:Penguin:2019/06/26(水) 15:14:51.68 ID:6o+Ir3lv.net
>>391
>ページキャッシュはいまも、ダイレクトIOよりかなりスピードが遅い。そしてNVMeのSSDが高速になればなるほど、
>そのギャップは広くなりつつある。PCIe 4のSSDで、この問題はますます明白になるだろう。もはやページキャッシュを
>使用する理由は、旧態依然としたディスクストレージを使う手頃な価格のシステムやmmap() をサポートするためだけになりつつある

じゃあnvme用に新しいファイルシステム考えれば良いんじゃね?って気はするけどね。
磁気ディスクを前提としたファイルシステムIOいじって喧嘩するなよww

393 :login:Penguin:2019/06/26(水) 21:25:29.86 ID:LXNNeckR.net
何言ってんだ
ページキャッシュはファイルシステムの機能ではないだろ

394 :login:Penguin:2019/06/26(水) 22:04:26.08 ID:08MS9y/0.net
SSD向けのファイルシステムならもうあるからな

395 :login:Penguin:2019/06/26(水) 22:48:54.02 ID:6o+Ir3lv.net
>>393
> ページキャッシュはファイルシステムの機能ではないだろ

ではないにしても最終的にこの人が弄ったのはfs/配下なんでしょ?
何れにしてもそんなコアな部分を、nvmeの為に変更しますとか言ったら
揉めるのはしょうがない。

396 :login:Penguin:2019/06/26(水) 23:23:02.57 ID:OjXYcy1P.net
どちらかというと仮想メモリ周辺の話じゃないか

397 :login:Penguin:2019/06/26(水) 23:31:21.49 ID:6o+Ir3lv.net
何にしても特定機能の為に汎用部分弄ったら怒られるのはしょうがない。

398 :login:Penguin:2019/06/27(木) 07:53:35.03 ID:1kwJgDpi.net
非常に根本的が疑問があるんだが
ダイレクトI/Oより遅いページキャッシュってなんか話がおかしくね
ページキャッシュってオンメモリならストレージインターフェースより速いはずでは…?

399 :login:Penguin:2019/06/27(木) 10:34:39.89 ID:j+m7QE0N.net
ページキャッシュが無い環境を使ったことがないから分からんな
どうなんだろうな

400 :login:Penguin:2019/06/27(木) 13:32:07.45 ID:Va09TTiq.net
>>398
オンメモリでもページキャッシュの管理コストが絶対に発生するので
昔はストレージアクセスが文字通り桁違いに遅かったので管理コストは
無視しても差し支え無かったけど今はそうも言ってられなくなったってことかと

401 :login:Penguin:2019/06/27(木) 21:45:22.84 ID:icJgPc2A.net
ダイレクトIOが遅いって言ってるのは
rawデバイスでDB扱うレベルの話でOK?
でないとRAMがSSDに。ページキャッシュのコストがあるとはいえ遅いという話にはならんと思うんだが

402 :login:Penguin:2019/06/27(木) 22:50:29.23 ID:LI96p1HW.net
NVMeも通り越して、3DXpointだかあの辺のDRAMの数分の1くらいまで速いメモリを使うようになったら
ページキャッシュ経由するより直で読み書きした方が良くね?って話ならまだわかるけど
いくらNVMeでもフラッシュメモリ使っててページキャッシュはオーバーヘッドだからもう要らないみたいな話なら、何言ってんだお前…ってなる

403 :login:Penguin:2019/06/28(金) 17:51:59.02 ID:b8zcOuzC.net
jfs使てる人おらんの

404 :sage:2019/06/28(金) 18:01:49.33 ID:1jOqGt+U.net
>> 391

これって、次見るとわかるけど
https://lkml.org/lkml/2019/6/14/127
要は、一般的な場合ではなくて、非常に大きくて(しかもアクセスパターン考えると)キャッシュになじまない
ような大きなデータのときにはページキャッシュのオーバーヘッド大きい、また(そのような場合には)
キャッシュに使うようなLRUみたいな汎用なアルゴリズムでなくてアプリケーションの方が素性が分かっているからそっちにキャッシュさせろと。
いうごく当たり前のこと言っている。しかも発言者は数字はだしてないが、多分95%くらいのアプリケーションは
全然いまのページキャッシュでも問題ないということも言っている。
つまり のこりの数値は私の感覚だが5%の大きなデータセットを使うDB(たとえばOracle)、big data crunchingとか
の場合を話をしているわけで、どこを見るかですれ違いは無理もないかもしれないがなんだかな。

ページキャッシュの話を読んでて、次の話を思い出した。昔Sun Sparc V6だったか、bitblt 命令が入って、
白黒画面程度だったらCPUだけで簡単なウィンドウサポートができるようになった。
ただし、、MC68Kなんかの場合にCPUだけでやって困ったのが、カラー画面の書き換えしただけで
キャッシュが使われてしまって肝心のユーザアプリケーションのデータがキャッシュから追い出されることがある。
つまりカラー画面のデータって結構大きいので、そこを書き換えるとアプリケーションのデータがキャッシュから
おいだされてしまうことがままある。
Sun Sparcの場合には、bitblt関係の命令っで使ったデータはキャッシュしないことで
この問題を解決して、なるほどと思った。
巨大なデータセットがページキャッシュをバイパスするのも同じような話なんだけども、
なんでLinusは理性ある対話ができないのだろう?

405 :login:Penguin:2019/06/28(金) 20:21:42.62 ID:GazpYCiw.net
対話をする気がないか、諦めてるんじゃないの?

406 :login:Penguin:2019/06/28(金) 20:40:28.14 ID:WA1on6xu.net
流れを見てないからわからんけど
これだけ見ると老害化してるやん

407 :login:Penguin:2019/06/28(金) 21:03:39.64 ID:KMXUlWzl.net
最近の書込みキャッシュ付きの RAID コントローラだと、NVMe/SSD に対しては
キャッシュを通さず直接書き込むほうが早いからそうしているらしい。
ちまちま4KBずつどのキャッシュを抹消していいかを計算しながらの、
ページテーブル書き換えながらの、だと本当に遅いんじゃないかね。

408 :login:Penguin:2019/06/28(金) 21:47:13.92 ID:UfcHNutv.net
消去がボトルネックというなら納得かな

409 :login:Penguin:2019/06/29(土) 00:02:34.09 ID:aGo2YBvo.net
RAID-Zのオーバーヘッドが今一つ分からないわ…。
パリティ+1の倍数分のブロック単位で区切るから、無駄が出る事が有るよって事?
スプレッドシートの数式見てもピンと来ないぞ…。
block size in sectors …、in sector ってどゆこと?単純に使用するブロックの数?

https://www.delphix.com/blog/delphix-engineering/zfs-raidz-stripe-width-or-how-i-learned-stop-worrying-and-love-raidz

410 :login:Penguin:2019/06/29(土) 11:34:54.48 ID:55acDkj4.net
>>409
block size in sectors はファイルシステム側のブロックサイズ(またはデータベースのブロックサイズ)で、
OSがファイルシステムに対して書き込むを要求する基本サイズだね。
in sectors は KB 単位じゃなくてセクタ単位で書きましたよ、この書き方ならブロックサイズ 512B の人も
4KB の人も同じ表で良いよね、ってだけじゃないかと。

411 :login:Penguin:2019/06/29(土) 11:46:31.18 ID:55acDkj4.net
以下チラ裏。個人的解釈。
シートの Example にあるディスク7本のRAID-Z1を考える。
ブロックサイズ(プログラムやデータベースからの1度の書き込み要求のサイズ)が大きい場合は、
ディスク本数7−パリティ数(RAID-Z"1")=6なので、基本6セクタごとにパリティ1セクタが付与される。

RAID-5 と違ってブロックサイズが6セクタ未満の場合はパリティが1セクタ付与されるだけ。
例えば3セクタならパリティ1個追加して4セクタ分書き込む。
RAID-5 なら6セクタ+パリティ1個の7セクタ単位でしか書けない。

ただしRAID-Znは n+1 セクタ単位で書き込む必要があり、条件を満たさない場合は足りないセクタ分
パディングされる。 RAID-Z1 は n=1 なので書き込みセクタ数は2の倍数でなければならない。
なので2セクタ書き込む場合は、パリティ足して3セクタではなく4セクタ。

Example に戻って1度の書き込みのセクタ数が16の場合、
セクタ1-6+パリティ + セクタ7-12+パリティ + セクタ13-16+パリティ
の計19セクタ、n+1の倍数の制限でパディングが1セクタ追加されて総計20セクタ必要。

パリティとパディングは 20-16 で 4 セクタ。
データに対するパリティとパディングの比率は 4/16 で 25% になる。

412 :409:2019/06/30(日) 00:08:50.88 ID:Iwm+1v/G.net
>>410-411
おお、ありがとう。データとの比率だったのね。スッキリしてきたよ。
最近ZFSについて調べ始めたのだが、いろいろと難しい…。

分かっていない所だらけなんだが、
・>>in sectors は KB 単位じゃなくてセクタ単位で書きましたよ → 使用されたブロックの数という認識で良い?
・ブロックと表現されているものは、NTFSで言うクラスタみたいなもん
・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?)
・書き込まれるファイルのサイズによって、ブロックサイズとブロック数が変わってくる
という事であってますか?

413 :login:Penguin:2019/06/30(日) 03:37:15.39 ID:QfL+H/59.net
>>412
俺も ZFS についてはど素人なので下記内容については詳しい人による査読希望。

参照先の文脈においては、
(スプレッドシートの縦軸における)ブロック → 一回の書き込み量であってLinuxのファイルシステムのブロックサイズではない。
セクタ → ディスクに書き込む際の最小単位。 参照ページの2番目の図の P0 とか D0 の箱1個分。
セクタブロック → セクタと同義と解釈。
フィジカルブロックサイズ → セクタサイズと解釈。
(私見ではLinuxのファイルシステムの場合だと基本ブロック=セクタ=4KBなので厳密にどっちの話をしているか曖昧)
だと解釈。

> ・>>in sectors は KB 単位じゃなくてセクタ単位で書きましたよ → 使用されたブロックの数という認識で良い?
使用されたフィジカルブロック数という認識ですね。

> ・ブロックと表現されているものは、NTFSで言うクラスタみたいなもん
Linux スレ的にはそう。 フィジカルブロックならそう。 スプレッドシートの文脈のブロックなら違う。

> ・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?)
フィジカルブロックサイズは固定。

> ・書き込まれるファイルのサイズによって、ブロックサイズとブロック数が変わってくる
フィジカルブロックサイズは固定でブロック数だけ変わる。
zfs で動的ストライプ幅って言ってるのはフィジカルブロックサイズ(RAID装置によってはチャンクサイズって呼んでる部分)
が動的に変化するのではなく、パリティグループ(データ+パリティ,2番目の図の色が同じ箱のセット)の幅が動的ってだけ。

414 :login:Penguin:2019/07/02(火) 01:12:51.76 ID:15r1RiO6.net
>>413
うーん…、頭がこんがらがってきた。

https://docs.oracle.com/cd/E19253-01/819-6260/gcfgv/index.html
「ブロックサイズが自動的に調整されます」というのは、何を指示している…?

415 :login:Penguin:2019/07/02(火) 02:26:53.70 ID:vY+H/LKm.net
https://i.stack.imgur.com/G6Hxg.jpg
https://i.stack.imgur.com/8z9mm.jpg
http://genomewiki.ucsc.edu/images/f/f5/Xfs_filesystem_readWrite_performance.png
http://genomewiki.ucsc.edu/images/f/f5/Xfs_filesystem_readWrite_performance.png
http://genomewiki.ucsc.edu/images/a/a5/Btrfs_filesystem_readWrite_performance.png
やはりext4が攻守最強か

416 :login:Penguin:2019/07/02(火) 02:32:52.56 ID:VNdE/qGn.net
パフォーマンスとかコストとかならそうなんだろうけど、
透過圧縮とか正当性の検証とかとなるとzfsのが上ってかext4じゃ無理

417 :login:Penguin:2019/07/02(火) 05:18:02.15 ID:FKCbYBRA.net
xfsは重複排除とCoWに逆マッピングも対応したのは聞いてたけど
フォーマットの段階でオプション有効化する必要があったのか
今使ってるxfsとは全く別物だなこりゃ
https://strugglers.net/~andy/blog/2017/01/10/xfs-reflinks-and-deduplication/

418 :login:Penguin:2019/07/02(火) 07:23:04.59 ID:dV8XE8AH.net
鯖屋は大変だな
俺みたいな一般人は黙ってext4使ってりゃいいんだろ?
現状はそれで過不足ないし臨機応変に使うFSを吟味しろとかやってられん

419 :409:2019/07/02(火) 07:59:51.04 ID:7tOiBm/F.net
>>414
> > ・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?)
> フィジカルブロックサイズは固定。
この文書からするとここが間違い(フィジカルブロックサイズは固定ではない)ですね。
元の文書でデータベース向けに 6KB に調整したってのがあるがそれがこれってことでしょう。
ソースを弄って調整した可能性もあったし、サイズが可変は間違いという話もあったので固定だと思っていました。

420 :login:Penguin:2019/07/02(火) 08:18:06.21 ID:7tOiBm/F.net
>>418
企業向けの大きいストレージは保守がハードとミドルウェアでセットになってないとNG。
加えて10年ぐらい前に luster や gluster fs, zfs ベースの製品が雨後の筍のように出てきたけど皆失敗した。
現状信頼されてるのは Isilon (OneFS) で、その下に NetApp (WAFL)。
HPE の 3PAR (AdaptiveFS?しらん) も評判下げずに続けてるようだ。 IBM の gpfs 使う製品もある。
言えるのは全てプロプラエタリで、オープンソース・フリーソフトの製品は企業は怖くて使ってられないみたいね。
なので鯖屋もストレージ屋に丸投げするしか仕事がないんじゃないかな。

421 :login:Penguin:2019/07/02(火) 18:13:16.85 ID:vY+H/LKm.net
オープンソースは
企業がバックにいないと話にならないよね
そういう意味ではRedHatが公式に支えているxfsがベスト

422 :login:Penguin:2019/07/02(火) 20:23:04.94 ID:RJ/Pz5R6.net
企業に支えられていないファイルシステムってどれのことだ?

423 :login:Penguin:2019/07/02(火) 20:45:36.79 ID:CdZ1Kw09.net
プロプラ由来かOSS由来か…って事なんじゃね

424 :login:Penguin:2019/07/02(火) 21:28:31.67 ID:rRMzFXGI.net
Reiserfs
出所したから復活するってのは嘘だったのかな

425 :login:Penguin:2019/07/02(火) 22:16:53.32 ID:9meA9UgT.net
https://mao.5ch.net/test/read.cgi/linux/1557401718/
↑ここから誘導されてきたファイルシステム素人なんですけど
ext4が十分ではない場合って例えばどんな場合がありますか。
そしてext4では十分ではない場合にxfsやbtrfsを使えばその問題を解消できるんですかね。
ext4が対応できない問題って大抵のファイルシステムが対応できなさそうに思うんですけど……。

426 :login:Penguin:2019/07/02(火) 22:24:04.87 ID:+bA9GvGw.net
個人利用なら今でもreiserfs有用だと思う
あの早さが必要で諸々理解して使うなら

reiser4fsの開発開始しないかなしないだろうな

>>425
ext4遅い
ext3よりreiserfsの方が倍くらい早いんじゃないか?という感動は忘れられん

427 :login:Penguin:2019/07/03(水) 00:05:11.18 ID:NZGhw/Gn.net
>>426
速度の問題があるんですね。
意識したことなかったです……。
バカな質問に答えてくださいありがとうございます。

428 :login:Penguin:2019/07/03(水) 00:53:08.95 ID:Qt/N9GEP.net
今時パフォーマンスを最優先にするならF2FSでしょう
reiserfsはもう相対的にそこまで早くもないし
https://www.phoronix.com/scan.php?page=article&item=reiser4-linux-417&num=1

429 :login:Penguin:2019/07/03(水) 01:20:53.54 ID:ZZuB/vaR.net
そして障害時の対応で時間を食うと

430 :login:Penguin:2019/07/03(水) 01:22:02.01 ID:V5c8y5zy.net
>>425
>https://mao.5ch.net/test/read.cgi/linux/1557401718/
こういう人って zfs も LVM に乗せて LV リサイズしたら壊れたって騒ぐんだろうな

431 :login:Penguin:2019/07/03(水) 01:44:17.52 ID:E6xhFUOk.net
用途にも寄るしな
安定性が課題のFSはテストならまだしも実用は怖い

個人デスクトップ用途だと小さめのファイル扱いはSSDだとそれほど差を感じないだろうが
大きなサイズの扱いはSSDでも時間かかる、これが早くなると体感がかなり違う
とするとReiserFSは安定してるし、デスクトップ用途かなり良さそう

432 :login:Penguin:2019/07/03(水) 03:41:45.20 ID:v76vN8mT.net
そんな終わったFSを前提にされても

433 :login:Penguin:2019/07/03(水) 11:23:23.07 ID:lvGvaRtu.net
>>425
うちは透過圧縮が欲しいから/をbtrfsにしてる奴がある(ZFSはツリー外のモジュールとか面倒くさいしfuseも使いたくない)
早いCPU+遅いHDDの組み合わせでディスクアクセスがボトルネックになってるような環境だと結構目に見えて高速化されるよ

ぼんやりとしか使ってないってのもあるけど3年ぐらい使ってて特にトラブルは無いな、まあデータを置こうとは思わんけど

つかswapファイルに対応したりとか普通に開発継続してんのにRedHatが抜けたってだけで放置とか色々言ってるやつはアレやな

434 :login:Penguin:2019/07/03(水) 12:13:29.85 ID:Y5ON4Ylq.net
だってRed HatのAndy Grover様も
Btrfsはメーリングリストが断末魔で埋め尽くされていてクソって言ってるんだもん
https://strugglers.net/~andy/blog/2017/01/10/xfs-reflinks-and-deduplication/

435 :login:Penguin:2019/07/03(水) 16:06:18.82 ID:IxUC1S3v.net
btrfsは互換性とか影響範囲とか考えずにどっかで再設計すれば違う展望もあっただろうになあl

436 :login:Penguin:2019/07/03(水) 20:49:55.88 ID:pn6xgYzw.net
断末魔と団地妻って似てるな

437 :login:Penguin:2019/07/04(木) 08:58:47.97 ID:MPcWxAgH.net
btrfsの後釜になれるかもしれないbcachefsがそろそろLinuxカーネルのメインラインに入るぞ
おそらく次かその次のバージョン

438 :login:Penguin:2019/07/04(木) 09:09:45.05 ID:5FppRmLC.net
メーリングリストが団地妻で埋め尽くされるとか股間が熱くなるな

ファイルシステムが乱立ってのもなんだかなぁ
zfsをパクって機能削減してxfsと足して2で割り切れない感じでいいと思うんだが

439 :login:Penguin:2019/07/04(木) 09:13:41.09 ID:t19oAjJ9.net
そういうお前も新しいの作ろうとしてんじゃん

440 :login:Penguin:2019/07/04(木) 10:30:19.24 ID:66v4UI/A.net
bcachefsのホームページ見たら
最初の一文からアレを意識しすぎぃぃぃ
>We prioritize robustness and reliability over features and hype:
>私達は機能と誇大宣伝よりも堅牢性と信頼性を優先します。
https://bcachefs.org/

441 :login:Penguin:2019/07/04(木) 12:10:02.17 ID:rpGqPEX9.net
究極たるzfsを崇めよ

442 :login:Penguin:2019/07/04(木) 15:51:02.60 ID:P64f5rak.net
>>440
先生!堅牢性と信頼性より機能と過大宣伝を優先したファイルシステムが多すぎてどれか特定できません!

443 :login:Penguin:2019/07/04(木) 15:52:17.40 ID:P64f5rak.net
しかも
https://mstdn.jp/@matsuu/100152722934755378
らしいし。

444 :login:Penguin:2019/07/04(木) 16:54:53.24 ID:+XLHt8Ha.net
>>443
そのベンチマークは1年前で古いこっちの最新の結果を見た方が良い
https://www.phoronix.com/scan.php?page=article&item=bcachefs-linux-2019&num=1
XFS安定という結果には変わりないけど

445 :login:Penguin:2019/07/04(木) 17:09:39.55 ID:6XXEq2Nj.net
bcachefsは新しいけどベースがbcacheだからすでに信頼性はそれなりにありそう
まだ使ったことないけど期待はしておく

446 :login:Penguin:2019/07/04(木) 17:18:29.96 ID:JEN2SxWZ.net
F2FSってフラッシュストレージ向けのくせに最近はHDDのサポートもしてきてるんだよな
HDDで使うことはないだろうけど

447 :login:Penguin:2019/07/04(木) 19:12:45.96 ID:rpGqPEX9.net
枯れてないFSなんて地雷やで

448 :login:Penguin:2019/07/04(木) 19:29:25.21 ID:1YidJb1m.net
そうは言ってもxfsも最近は新機能追加しまくりだし
枯れてるの定義は結構難しいぞ

449 :login:Penguin:2019/07/04(木) 20:03:25.18 ID:P64f5rak.net
MINIXファイルシステムを使おう!

450 :login:Penguin:2019/07/04(木) 20:32:20.56 ID:z0Pbt8nE.net
最強に安定しているのはntfs
なお

451 :login:Penguin:2019/07/04(木) 20:53:14.61 ID:zNLNx3om.net
>>437
始まったな

452 :login:Penguin:2019/07/04(木) 22:44:03.98 ID:N/xMrX9J.net
windowsで安定してマウントできるファイルシステムは今はどれなんだ?
ext4ですらなんか怪しい感じなんだよなぁ

453 :login:Penguin:2019/07/04(木) 22:48:44.94 ID:JEN2SxWZ.net
>>452
btrfs

454 :login:Penguin:2019/07/04(木) 23:01:52.19 ID:nCIQ4/jH.net
>>452
ext2fs+ext4

これでだめだったらwindows窓から投げ捨てろ

455 :login:Penguin:2019/07/05(金) 00:04:02.89 ID:tcFjwaW7.net
wsl2が来るまで待て

456 :login:Penguin:2019/07/05(金) 00:10:18.86 ID:j7UvDQ62.net
仮にntfsがオープンソースになってカーネルにマージされたら
互換性も考えてほぼ一択化になるだろうな

457 :login:Penguin:2019/07/05(金) 00:23:35.79 ID:G1guSEeh.net
>>454
ext2fsって開発が滞ってないか?
それに、環境によって、最新版だとマウントできないみたいだし。
実際自分のところもできなくて、いくつか戻す必要があった。

458 :login:Penguin:2019/07/05(金) 00:51:32.72 ID:w6qq3pqZ.net
ファイルシステムのシェアってどんなもんなんだろうな
デバイス数では地味にF2FSが上位かもしれない

459 :login:Penguin:2019/07/05(金) 02:22:44.82 ID:54nYef5x.net
NTFSそれ自体の評価って高いの?
それともNTFSの概念や設計が評価できるの?

460 :login:Penguin:2019/07/05(金) 02:40:31.93 ID:7kZq9gYf.net
ディスクのハード故障を除けばNTFSで致命的な状態に陥った経験は無いな

461 :login:Penguin:2019/07/05(金) 02:53:50.58 ID:q3JGl+2T.net
>>459
NTFSは特に良いところもなく、ファイル破損が良く起きる経験しかない

462 :login:Penguin:2019/07/05(金) 03:00:14.05 ID:j7UvDQ62.net
全世界のPC初心者に有償で提供してるだけあって
少なくともWindows上ではクッソ安定してる
Winを使ってるような層を相手に安定してるんだから異次元としか言い様がない

463 :login:Penguin:2019/07/05(金) 03:02:08.04 ID:q3JGl+2T.net
いやそういうの要らないから
対立煽りってやつ?

464 :login:Penguin:2019/07/05(金) 04:11:17.66 ID:SYL5tGuC.net
安定していると言ったら対立煽りに見える思考やばいだろ

465 :login:Penguin:2019/07/05(金) 05:35:22.47 ID:f3vjr6Xw.net
>>454
上手い事言ったつもりかw

466 :login:Penguin:2019/07/05(金) 06:48:52.45 ID:54nYef5x.net
>>462
なるほど。そういう見方もあるな。
Unixは基本的にファイルシステムをある程度理解してるから
Windowsの大半の利用者みたいな使い方はしないわな。
その上で安定してるというのであればすごい。
でもそんなに安定してる?

467 :login:Penguin:2019/07/05(金) 07:42:17.19 ID:q3JGl+2T.net
ntfsは電源断などのファイル破損が起こりやすいところとか
度々ext系ほかと比べられてるけど、同じ話ループしすぎなような

468 :login:Penguin:2019/07/05(金) 08:25:02.29 ID:54nYef5x.net
どうでもいいけどWikipediaのBrtFSの記事すっごく宣伝調だね……

469 :login:Penguin:2019/07/05(金) 10:14:55.89 ID:lGHrYghR.net
>>459
https://togetter.com/li/346191
UbuntuJPの中の人曰く

470 :login:Penguin:2019/07/05(金) 12:10:41.83 ID:kGpLF8uq.net
>「今のLinuxにNTFSレベルにマトモなファイルシステムなぞない」
まで読んだ

471 :login:Penguin:2019/07/05(金) 12:25:54.82 ID:yalE+Jvn.net
アンチMSには理解し難いだろうけど、エンドユーザーが利用可能でよくメンテされて機能的にNTFS以上のファイルシステムってちょっと思いつけない、あるなら例示して?…ってなるな。
ああ、「俺の好きなFS」じゃないんで。まあ言っても理解できないだろうが…

もちろんWindowsから扱う場合の話で、互換環境で同等の信頼性があるとは思えんが。
それでもUFSやextよりはずっとマシ

472 :login:Penguin:2019/07/05(金) 12:26:03.28 ID:8tR6yfC3.net
そういえばBSDのハマー2の評価はどうなの?

473 :login:Penguin:2019/07/05(金) 12:28:53.02 ID:yalE+Jvn.net
Linux環境だと、データセンター並みに巨大なボリュームを扱うとか、ウェアレベリングの無いフラッシュメモリをストレージにする組み込みみたいな特殊用途でない個人ユースなら、消去法でext4が無難か…

474 :login:Penguin:2019/07/05(金) 12:30:53.10 ID:yalE+Jvn.net
>>468
たまにあるよね、読者を説得というか、折伏?しようとしてる記事。

475 :!ninja:2019/07/05(金) 12:40:54.45 ID:rX9H6RAi.net
デスクトップとしてLinuxを使用して写真の現像とか色々しているけれど
ext4で問題になった事はないです。(安定しています)
因みにWindowsはカメラのファームアップとOSアップデート位しか使わない。

476 :login:Penguin:2019/07/05(金) 14:25:39.16 ID:qDrdSQQO.net
別に個人が普通に使うならどれでも滅多に困らない

477 :login:Penguin:2019/07/05(金) 17:01:26.55 ID:5Oj7dNKU.net
外付けHDDをLinuxで使う場合、
FAT32は無いものとして、
NTFSとexFAT、どちらのほうが無難?

478 :login:Penguin:2019/07/05(金) 17:18:10.07 ID:aHzpu2WI.net
外付けHDDだってことは、複数のOSからmountすることもあるだろうから
exFATが無難というか最良かと

479 :login:Penguin:2019/07/05(金) 17:29:29.45 ID:0uxDVNFV.net
>>472
DragonflyBSD使てる日本人は居らん

480 :login:Penguin:2019/07/05(金) 23:39:13.82 ID:QVfQ7xAQ.net
COWありでまともに使えるファイルシステムはどれなんだー

481 :login:Penguin:2019/07/06(土) 00:04:47.81 ID:8LM9xkHS.net
xfsでしょそりゃ
ただしフォーマットし直さないとCoWは有効化出来ないけど

482 :login:Penguin:2019/07/06(土) 04:51:15.15 ID:g9aj4tWg.net
xfsのcowってまともに使えるのか?
最近使えるようになったばかりだろ
新しいファイルシステムと同じようなもの

483 :login:Penguin:2019/07/06(土) 04:59:40.34 ID:8LM9xkHS.net
xfsのメンテナが自分のPCで
CoW導入で使えるようになった
新機能の重複排除を使ってると言ってるのだから安心していいかと

484 :login:Penguin:2019/07/06(土) 05:20:44.07 ID:VaeT5YKG.net
そりゃファイルシステムのメンテナなら自分のPCで動かしてて当然だろうな

485 :login:Penguin:2019/07/06(土) 05:27:27.89 ID:L3XPzqxa.net
俺はbtrfsのメンテナがbtrfsを常用しているとは思えない

486 :login:Penguin:2019/07/06(土) 05:32:05.88 ID:g9aj4tWg.net
常用してなくても動かしてはいるだろ

487 :login:Penguin:2019/07/06(土) 07:08:26.31 ID:JWtFUONt.net
btrfsのお陰でニュースサイトは信用ならないものだということを再認識した
ボラクルの政治力()がそれをさせたのだろうか、それとも

488 :login:Penguin:2019/07/06(土) 07:10:44.85 ID:dmxILAE/.net
>>487
BrtFSってオラクル噛んでんの?

489 :login:Penguin:2019/07/06(土) 07:54:59.98 ID:RB1jb8Q5.net
「btrfsは透過圧縮が凄い!!」
みたいな宣伝ならまだ分かる。
実際には
「btrfsは他のFSよりも堅牢!安全!」
みたいに、大事なデータこそbtrfsみたいな言い方してるからタチが悪い 。

490 :login:Penguin:2019/07/06(土) 08:17:26.52 ID:JWtFUONt.net
>>488
RedHatだったか?

491 :login:Penguin:2019/07/06(土) 11:46:12.10 ID:4pSPVA6e.net
>>483
ストレージなんて導入後1年とか経過したら急激にパフォーマンスが悪化したみたいな話は少なくないわけで。
データ置くんだから色々なハード×運用アプリ×負荷条件×期間で運用して実績積んだ上じゃないと安心
なんてとても言えないんじゃ。

492 :login:Penguin:2019/07/06(土) 22:08:19.81 ID:PDOwGV40.net
>>488
オラクルが始めたプロジェクト

493 :login:Penguin:2019/07/06(土) 23:47:58.49 ID:5GCvrZe5.net
オラク●って、会社が関係すると残念なイメージ。
Solaris ヨロなんだけど。

494 :login:Penguin:2019/07/07(日) 03:37:25.09 ID:DBQmyWlt.net
Btrfs は RAID1 にサイズの異なるディスクを追加してどうヤリクリしてくるか眺めるFS

495 :login:Penguin:2019/07/07(日) 22:55:34.83 ID:wHKJWVtP.net
メタな話だけどなんでこのスレ犬板にあんの?ム板とかじゃなくて。

496 :login:Penguin:2019/07/07(日) 23:36:16.83 ID:LnsdbLSY.net
Linuxはファイルシステムの選択肢が多いから、どのファイルシステムを使うのがベストなのかを語るスレだからじゃないの?
ファイルシステムの実装について語るスレだったらプログラム板にあってもおかしくないかもしれないが、
そんなコアな人は5chじゃなくて各OSSファイルシステムのMLとかでやりとりしてるんじゃないの。

自分でコードを書く人向けなのがプログラム板で、ソフトウェアをユーザーとして使う人向けなのがそれ以外の板だと思うけどね。
じゃなきゃハード関係の話題以外はなんでもかんでもプログラム板ってことになっちゃうでしょう。

497 :495:2019/07/08(月) 06:57:24.61 ID:AnURrIsm.net
>>496
言われてみればそうだな。
確かに多くの種類のファイルシステムを「使う」のはLinuxやBSDユーザーだな。
そしてその実装は5chで議論することじゃないな。
俺がバカでしたw

498 :login:Penguin:2019/07/08(月) 08:52:01.68 ID:3iNxio62.net
btrfsが問題あるっぽいのはわかる。わかるんだけど、サブボリュームとか便利すぎて乗り換えれない。長らく使っててクラッシュしたの一回だけだし、性能もソコソコだし、バックアップ気軽に取れるし

499 :login:Penguin:2019/07/08(月) 09:09:49.39 ID:PqTeDeaF.net
>>498
そのファイルシステム
静かに壊れているかもしれないぞ?
試しにbtrfsckをして確認してみた方がいい

500 :login:Penguin:2019/07/08(月) 09:27:52.78 ID:w3Gb5F7g.net
>>498
その点でいうとzfsがいいんだよなぁ

501 :login:Penguin:2019/07/08(月) 09:28:36.91 ID:c9rRPEoT.net
btrfs は静かに壊れるという経験はないなあ。
壊れるときはあっという間にエラーログ吐きまくって盛大にぶっ壊れる。
btrfsの唯一(?)凄いのところは、ぶっ壊れても頑張れば相当サルベージできるところ。
面倒くさいからバックアップから復旧するけど。

502 :login:Penguin:2019/07/08(月) 11:23:09.26 ID:3iNxio62.net
>>499
btrfs check やってみたよ!
問題なかった

zfsは遅いイメージがあるのとライセンス的に……

503 :login:Penguin:2019/07/08(月) 15:53:33.33 ID:ZuNR36h3.net
個人的にはzfsは速度より古いPCを再利用しようとした時にメモリを食うのがネック過ぎる
削りに削ったFreeBSDですらdedupしてないのに2Gでもきつい

504 :login:Penguin:2019/07/09(火) 01:21:48.35 ID:ATXfrt0N.net
そんなカスみたいな環境で使うことは想定してないしな

505 :login:Penguin:2019/07/09(火) 10:36:21.37 ID:PmpiXixe.net
AppleがZFSを諦めたぐらいだからお察し

506 :login:Penguin:2019/07/09(火) 12:13:42.99 ID:nV0R2UQx.net
Solarisでは鉄板

507 :login:Penguin:2019/07/09(火) 14:58:02.10 ID:p5VdkUCQ.net
appleがzfsを採用しなかったのは暗号化に対応していなかったからだぞ
ZoLは最近になって暗号化に対応したけどな

508 :login:Penguin:2019/07/10(水) 11:40:51.24 ID:nTeldC4a.net
/dev/sdc に刺さったPVから作られたLVMがあるんだけど、このディスクを /dev/sdb に
繋ぎ変えたいんだけど、繋ぎ変えるだけでそのまま使えますか?
何か作業が必要?

509 :login:Penguin:2019/07/10(水) 17:26:14.18 ID:x9KTtfH8.net
ZFSでby-idでしか使ったことないけど
LVM2なら平気なのかな
https://wiki.archlinux.jp/index.php/%E6%B0%B8%E7%B6%9A%E7%9A%84%E3%81%AA%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%83%87%E3%83%90%E3%82%A4%E3%82%B9%E3%81%AE%E5%91%BD%E5%90%8D

510 :login:Penguin:2019/07/10(水) 20:53:42.68 ID:ystpoF80.net
>>508
lvm.conf で vgscan で除外するデバイス一覧に /dev/sdb が入ってなければOK。
lvm.conf を修正したなら initramfs 再作成もお忘れなく。

511 :login:Penguin:2019/07/11(木) 11:13:43.42 ID:Wk5uUqUO.net
>>510
d

512 :login:Penguin:2019/07/12(金) 15:39:16.18 ID:Gk95DGyH.net
昔特に考えもなく/bootを除いたOS丸ごとZFSにしてたのを
OS更新に伴って見直そうと思うんだけど
とりあえずメインで使うのは引き続きZFSにして
/boot←fat32(esp)
/tmp←ext4
くらいしか思い付かないんだけど他に良い案とかないかな?

513 :login:Penguin:2019/07/12(金) 15:53:09.43 ID:Wh9lI3H9.net
もう何年もずっとtmpにはtmpfsを使っている…もちろん推奨などしない

514 :login:Penguin:2019/07/12(金) 15:57:49.66 ID:pfDdKblt.net
メイン以外の定義を決めてくれないと答えようがない

515 :login:Penguin:2019/07/12(金) 15:59:17.82 ID:a2hc7ITq.net
/boot ext4
/boot/efi fat32
にするものらしい

516 :login:Penguin:2019/07/12(金) 16:02:09.99 ID:pfDdKblt.net
bootはxfsにすると高速起動するよ
地味な変更だけど効果は大きいからオススメ

517 :login:Penguin:2019/07/12(金) 16:34:46.25 ID:Gk95DGyH.net
>>513
それちょっと良いかも。検討してみるよ

>>515-516
/boot xfs
/boot/efi fat32
で試してみるよ。出来ることなら高速起動の方が良いもんね

>>514
特にオススメが無いor迷ったらZFSにするくらいの意味で捉えて頂ければ

518 :login:Penguin:2019/07/12(金) 17:11:53.45 ID:sHZS1XdB.net
メモリが潤沢な環境で/tmpの下のいくつかのディレクトリをtmpfsにするのは有意だけど
/tmp全体をtmpfsにするのはtmpfsのドキュメントで禁忌にされてるので、やるならまあown riskで

519 :login:Penguin:2019/07/12(金) 17:12:43.46 ID:sHZS1XdB.net
× 有意
〇 有意義

520 :login:Penguin:2019/07/12(金) 18:11:52.90 ID:ZSiArtpk.net
むしろ最近のディストロは/tmpまるまるtmpfsが割と普通な気が
その禁忌って書いてあるドキュメントって読んでみたいんだけどどれ?

521 :login:Penguin:2019/07/12(金) 20:37:16.63 ID:9P7R948V.net
Fedoraがやってるんだから問題ない
とりあえず迷ったらFedoraがどうしてるか見るのがいい
全ての設定はFedoraから流れていく

522 :login:Penguin:2019/07/12(金) 22:07:44.94 ID:29vUxDs3.net
Fedoraは先進的で実験的らしいから実装一発目の機能とかは怖いイメージ((((;゜Д゜)))

523 :login:Penguin:2019/07/13(土) 13:05:37.63 ID:fcJUubh5.net
/tmpは普通にtmpfsだろ
/var/tmpは違うけど

524 :login:Penguin:2019/07/15(月) 09:59:20.11 ID:cdFqCDuE.net
Fedoraに限らずsystemdのデフォルトで/tmpはtmpfsだろ

で、/tmpをtmpfsにするのは禁忌なんて書いてるtmpfsのドキュメントってどこにあんの?
kernel付属ドキュメントでも禁止なんかしてねえけど
https://www.kernel.org/doc/Documentation/filesystems/tmpfs.txt

525 :login:Penguin:2019/07/15(月) 11:17:17.22 ID:BML/RJbp.net
RHEL7 は systemd だけど tmpfs ではないな。 (Fedora は人柱?)

例えばメモリ 192GB 搭載のサーバで /tmp に tmpfs 使ってる場合、OS、サービス、
仮想マシン等で190GBメモリを使ってたら、/tmp に書き込める量って2GBだけで
それ以降はスワップアウトって事だよね?
なんか心許ないなぁ。

526 :login:Penguin:2019/07/15(月) 19:48:13.96 ID:Ii92h755.net
tmpfsに書き込むデータよりも先に他のデータがスワップアウトされるけどな

527 :login:Penguin:2019/07/15(月) 19:56:32.39 ID:mvcgcerj.net
前提条件がおかしいわな
空きメモリが10%以下の状態とかtmpfs関係なくメモリ不足

528 :login:Penguin:2019/07/15(月) 20:45:12.78 ID:jA364y5E.net
個人利用で仮想マシン動かしつつ動画編集もやりたいって場合でも
メモリ64GBあれば平気そうかな
今メモリ安いからちょっと奮発すればいける

529 :login:Penguin:2019/07/15(月) 21:39:47.11 ID:BML/RJbp.net
>>527
解析用途の場合は10%以下でも特にメモリ不足って感じはしないなぁ。

530 :login:Penguin:2019/07/15(月) 22:57:15.14 ID:smBs7w2W.net
/tmpの容量が気になるほどの巨大ファイルを置くような使い方、する?

531 :login:Penguin:2019/07/15(月) 23:39:07.37 ID:BML/RJbp.net
>>530
解析用途であらかじめ使うのがわかってる場合は /tmp 以外に NVMe とかで別途高速なデバイス用意する。
しかしミスって /tmp に書くバカもいる。

532 :login:Penguin:2019/07/15(月) 23:47:09.55 ID:abOBY2uh.net
なんでそんな特定状況で対処もわかってる話でtmpfs使うとか言い出すん?

533 :login:Penguin:2019/07/16(火) 05:46:05.80 ID:cLso77RL.net
.oO(いまさら禁忌は /tmp じゃなくて /var/tmp だった…なんて言えそうにない雰囲気だな)

534 :525:2019/07/16(火) 08:19:48.24 ID:pVYPD0D6.net
>>532
RHEL7 では /tmp が tmpfs ではない話の中で、なぜ tmpfs を使わないかの理由について
候補を挙げてるだけで、tmpfs 使っちゃダメって言ってる人とは別の人です。

535 :login:Penguin:2019/07/16(火) 12:15:47.45 ID:h7Uk/eM5.net
/var/tmpは再起動してもデータが残っていないと駄目だからtmpfsが禁止なんて当然だよな

536 :login:Penguin:2019/07/16(火) 23:26:48.78 ID:usQ9SNx3.net
インチキなブログのtipsだと/var/logもtmpfs指定したfstab晒してたりして舌がレロレロってなる

537 :login:Penguin:2019/07/17(水) 09:58:56.10 ID:AFXHMKqq.net
まあ昔のSSDだとlogもtmpfsに突っ込みたくなる気持ちは分からなくもない

538 :login:Penguin:2019/07/17(水) 10:39:03.48 ID:bt1cpQOM.net
まあデメリットとかわかった上で自分がやる分には全然いいと思うけど人に進めるもんじゃないってのはあるね

539 :login:Penguin:2019/07/17(水) 12:44:08.44 ID:8muhHKDE.net
bcachefsがカーネルにマージされたら即座に導入するわ
ファイル名長が緩和されるのが素晴らしい
現状だとWindowsで解凍可能なファイルがLinuxではファイル名長の関係で
ひと工夫しないと解凍不可能だったりして不便すぎる

540 :login:Penguin:2019/07/18(木) 03:50:29.60 ID:NlMiN+2I.net
>>539
例えば?
正直ファイルシステムの出来はともかく
ファイル名に関してはext4とかの方が柔軟な気がするんだけど。

541 :login:Penguin:2019/07/18(木) 10:30:47.46 ID:qpBAOMYJ.net
例えばも何もファイル名長って書いてあるやん
そのあたりの諸元でLinux系fsの大半に問題が出るのは常識だと思ってたけど

542 :login:Penguin:2019/07/18(木) 11:22:32.09 ID:JDRv+q9U.net
LVMで確保されたストレージのサイズ変更を
久しぶりにやってみた。lvextendでLVの
サイズを変更して、xfs_growfsでユーザから
見える空き容量を増やす簡単なお仕事だが、
何度やってもドキドキしちゃうな。

543 :login:Penguin:2019/07/18(木) 12:36:42.61 ID:/3OmbnoQ.net
>>539
こんなの作られてたのか
btrfsはダメみたいだしZOLは導入めんどくさいから
出来が良いといいんだけどなぁ

544 :login:Penguin:2019/07/18(木) 13:37:58.94 ID:mg7cTxgX.net
bcachefsのディスク上のレイアウトってまだドキュメントとしてはまとめられてないみたい?

ext4でいうhttps://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout
btrfsでいうhttps://btrfs.wiki.kernel.org/index.php/On-disk_Format
みたいな奴

545 :login:Penguin:2019/07/18(木) 18:31:40.18 ID:LlSTNp3u.net
>>542
拡張ならまだよい。
縮小するお仕事は、大変だよ?

546 :login:Penguin:2019/07/18(木) 19:03:55.38 ID:NlMiN+2I.net
>>545
それでファイルシステム破壊したことあるw
家のサブ機だったから自己責任だったけど
あれ全く縮小の準備が整ってなくても何の警告もなしに実行するんだね。
少なくとも2016年では。

547 :login:Penguin:2019/07/18(木) 19:45:18.30 ID:YgfrHJvj.net
>>546
おれもルートファイルシステムを縮小しようとして、起動しなくなったことがある。
バックアップから戻した。以後試してない。

548 :login:Penguin:2019/07/19(金) 22:22:13.23 ID:9+hwCVUH.net
bcachefsの開発者ってpatronで資金提供者集めてるんだな

549 :login:Penguin:2019/07/19(金) 22:29:05.21 ID:DJejSRGa.net
マジか
寄付しとこ

550 :login:Penguin:2019/07/19(金) 23:01:06.73 ID:rvNOTbce.net
大口スポンサーの要求が参照リンクの実装だったらしく
今急ピッチで実装しているみたいだな

551 :login:Penguin:2019/07/19(金) 23:01:58.65 ID:rvNOTbce.net
これが実現するとbtrfsやxfsのような形式での重複排除も可能になる

552 :login:Penguin:2019/07/19(金) 23:21:10.11 ID:KCjCfW9P.net
なんでbcacheなんか拡張することにしたのか疑問だったけど
このKent Overstreetって人がbcache本体の作者でもあったのか
ずっとfacebookがやってるやつとごっちゃになってたわ

553 :login:Penguin:2019/07/19(金) 23:28:54.90 ID:rvNOTbce.net
bcacheの作者がbcachefsの作成に移行した影響で
大元のbcache自体が全然更新されていないという状況になってる
オープンソースって実際には1人抜けたら立ち行かないようなプロジェクトばかりよね

554 :login:Penguin:2019/07/19(金) 23:38:05.63 ID:Ss290YYV.net
bcashefsのベースになってるから下手に弄れなくなったんだろ
あるある過ぎて笑えんけど

555 :login:Penguin:2019/07/19(金) 23:58:38.95 ID:IN7Btozr.net
BcachefsのGithubを見たら案の定
コメントが殆どない、他人に触らせる気の感じられないコードだった
https://github.com/koverstreet/bcachefs/tree/master/fs/bcachefs
作者にしかメンテ出来ないとはまさにBtrfsの再来

参考までにxfs
https://github.com/koverstreet/bcachefs/tree/master/fs/xfs
コメントが丁寧に書かれて読みやすい

556 :login:Penguin:2019/07/20(土) 03:51:57.90 ID:WfYnTXWF.net
ext4に続いてF2FSも大文字小文字を区別しないようにするオプションが作られているらしい

557 :login:Penguin:2019/07/20(土) 06:23:21.98 ID:Mi7o95f1.net
どこ読んでるかわかんないけど、コメントちゃんとあるように見えるけど

558 :login:Penguin:2019/07/20(土) 08:08:29.10 ID:bPfJoXMV.net
寄付なんて殆どが直接募集した奴が何割吸い取るかもわからない詐欺みたいなもんだぞ

559 :login:Penguin:2019/07/20(土) 08:44:45.83 ID:/RW5DImO.net
本人が集金してるんですがそれは

560 :login:Penguin:2019/07/20(土) 09:05:30.53 ID:DSGhLxxU.net
Linux上のZFSはLinux 5.0以降でSIMDサポートを復元する方法を考え出しました
https://www.phoronix.com/scan.php?page=news_item&px=ZFS-On-Linux-Restoring-SIMD
近いうちに、新しいZFS On Linuxベンチマークを出すようにします。

561 :login:Penguin:2019/07/20(土) 22:18:28.70 ID:zeHgvHr/.net
なにその機械翻訳みたいな文章

562 :login:Penguin:2019/07/21(日) 07:22:04.94 ID:ROhY0MNF.net
>>561
chromeで自動翻訳してくれるからそのまま貼った。

563 :login:Penguin:2019/07/23(火) 03:28:06.87 ID:SCZ5bl9v.net
>>454
Ext2Fsdをインストールしてるとリムーバブルメディアを取り外せなくなるからアンインストールした

>>459
ファイルを更新した直後に青画面や停電などでクラッシュすると
次回起動時に該当ファイルが0で埋められる挙動があってデータを失ったことがある
ソフトはバックアップを作ってから更新するタイプだったがご丁寧にもバックアップまで0で埋められた

564 :login:Penguin:2019/07/23(火) 03:45:44.40 ID:SCZ5bl9v.net
>>440 >>445
bcachefsは知らんが
bcacheは安定性に難あり
条件を満たすとカーネルがメモリやスタックの汚染を報告して十数分後から数時間後にシステムが確実にクラッシュする
多数ある条件を回避していって最近になってようやく安定稼働に持ち込めた

565 :login:Penguin:2019/07/23(火) 03:47:57.79 ID:eYVlzNHh.net
それファイルシステムのせいじゃないだろ

566 :login:Penguin:2019/07/23(火) 07:13:59.96 ID:y0KQNHxf.net
xfsも一時期酷かったけど今は高評価だし、直ってれば何でもええよ

567 :login:Penguin:2019/07/23(火) 08:55:55.62 ID:gjJlsP0Z.net
何かを利用するって事は、その下側の使ってる部分の品質を上回れない事でもあるからなぁ
安定したばっかのを使うってのは(ry

568 :login:Penguin:2019/07/23(火) 10:34:20.54 ID:y0KQNHxf.net
そういうのを使ってあーでもないこーでもないと情報を交換したりバグを報告するのがOSSユーザーの嗜みであり楽しみでは?

569 :login:Penguin:2019/07/26(金) 00:00:48.02 ID:jkGHHOAL.net
今まで何もわからずUFA使ってたけど新NAS作ろうとして調べれば調べるほどファイルシステムが選べないわ
どれも一長一短あるしまるでリーマン予想を解いているみたいだ

570 :login:Penguin:2019/07/26(金) 00:23:48.04 ID:kTNN9g4P.net
いやxfs一択でしょ

571 :login:Penguin:2019/07/26(金) 11:10:43.69 ID:g7Og2WUg.net
XFS一択なの?

572 :login:Penguin:2019/07/26(金) 18:49:37.46 ID:/zAUPOSD.net
windowsから読み書きできない時点で、
XFSのせいではないが、候補から外したくなる

573 :login:Penguin:2019/07/26(金) 19:45:54.44 ID:x3ulgDdb.net
NASだぞ?

574 :login:Penguin:2019/07/26(金) 20:48:37.30 ID:/zAUPOSD.net
緊急時、データだけでも確保したいときのことを考えちゃうんだよ
XFSって、プラットフォームによってはLinuxからでも読めないことあるしなぁ
市販のNASで一度懲りたわ

575 :login:Penguin:2019/07/26(金) 21:09:09.29 ID:McqAipQp.net
そんなこと言い出したらNTFS最強って話になってくるし

576 :login:Penguin:2019/07/26(金) 21:12:57.73 ID:rbHyg+XJ.net
読めるファイルシステムでバックアップ取りなよ

577 :login:Penguin:2019/07/27(土) 01:35:01.82 ID:Ut6QMCX/.net
windows関係ないけど、xfsの何がという話をしないから
信心深いのかな?くらいにしか思わない
自分ならext4で無難かな

578 :login:Penguin:2019/07/27(土) 10:50:20.98 ID:95325KkT.net
>>577
RHEL7 のファイルシステムサイズの上限が ext4 は 50TB、xfs が 500TB。
2U サイズのラックマウントサーバだと 3.5インチHDDが12本は載るからext4
だと1パーティションに収まらないのよね。

上限は RHEL6 の時は 16TB だったからその頃から xfs を選択せざるを
得なくなった人が多い。
RHEL7 以降デフォルトが xfs になってるから不具合も一番潰されてるだろう
から、一番安心して使える。

何を以て安心っていうかというと、どれだけ多くのディスク/RAID装置で、
どれだけ多くの故障パターンを経験して来たかだと思ってる。
なので普及率はバカにできない。

>>574
カーネルを新しくするか逆に古くする、マウントオプション色々試す、はやった?

579 :login:Penguin:2019/07/27(土) 11:50:18.10 ID:c6O4WNXP.net
>>565
仮想マシンのゲストのWindows(10とXP)がクラッシュしたときも再現したのでNTFS実装の挙動で間違いない
俺はそれを見たとき対策を諦めた

580 :login:Penguin:2019/07/27(土) 11:52:02.12 ID:c6O4WNXP.net
同じNTFSでも2000ではファイルを閉じるときに必ず物理書き込みする挙動があって
クラッシュしたときにファイルが壊れる経験は皆無だった

581 :login:Penguin:2019/07/27(土) 11:53:55.94 ID:c6O4WNXP.net
XFSの噂はよく聞くが、どのベンチマークでもメタデータ更新系の成績がかなり悪い点は気になっている
細かいファイルをよく扱うLinuxとは相性悪いんじゃないだろうか?

582 :login:Penguin:2019/07/27(土) 12:09:30.28 ID:RKarvGRO.net
複数のファイルの遅延書き込みを溜め込みつつ、特定のファイルのフラッシュが必要になったら
確実にそのファイルへの変更結果をファイルシステムに矛盾が発生しない順序で
即座に物理層に反映・・・って、実は思ってる以上に複雑

その辺りは資本の力で開発されたファイルシステムに軍配が上がる

583 :login:Penguin:2019/07/27(土) 13:47:26.05 ID:6zG70b0r.net
遅くてもいいから壊れないものを

584 :login:Penguin:2019/07/27(土) 13:47:41.85 ID:Ut6QMCX/.net
>その辺りは資本の力で開発されたファイルシステムに軍配が上がる
んなこたーない、ntfs厨はもうこないでほしい

585 :login:Penguin:2019/07/27(土) 14:09:34.66 ID:RKarvGRO.net
何故NTFSに限定したのだろうか・・・

586 :login:Penguin:2019/07/27(土) 14:17:25.71 ID:Ut6QMCX/.net
限定したよ、だから何
帰れ

587 :login:Penguin:2019/07/27(土) 14:34:02.96 ID:SmtkTd2f.net
上にもあるが現在は正解がないというのが真実な気がする
正解がないので各派閥が宗教のように自分が使っているFSだけを信じ続けている
デジタルなのにやってることは人類が太古から続けているアナログ的な宗教に行き着くというのが感慨深い

588 :login:Penguin:2019/07/27(土) 14:47:59.82 ID:RKarvGRO.net
商用のファイルシステム以外はzfsとextの中間に位置する様なシロモノがないからな
その辺りにbtrfsが位置する予定だったんだろうけど、蓋を開けてみたらアレだったしな

589 :login:Penguin:2019/07/27(土) 15:44:12.94 ID:ynbj8IZE.net
>>578
ARMアーキテクチャのNASで使われているXFSは、
x86アーキテクチャのマシンからは、
エンディアンの違いで読めないことがあったんだよ。
(知ってたらゴメンね)

読む方法はある(シェアウェア)らしいし、
最近はバグらしきもの(FSかドライバか)が取れたらしいけど。


>>580
Linux物理マシンをext3で使ってたとき、
sync コマンドと、ALT+SysRq+s はなんか習慣的に押してたなw
まぁ、気休め程度にしかならんだろうけど。

590 :login:Penguin:2019/07/27(土) 16:33:24.47 ID:vPZ9hNH2.net
zfsさいっょ

591 :login:Penguin:2019/07/27(土) 19:23:55.42 ID:mQu6FNvv.net
クラッシュ耐性上げるにはCoWしか無いんだよな
bfrfs不安定と言われているけど突然の停止にはxfsやext4より壊れにくい

592 :login:Penguin:2019/07/28(日) 02:04:51.78 ID:OAxz9Pyz.net
xfsにもフォーマット時のオプションで
CoWが可能になったの知らないのか

593 :login:Penguin:2019/07/28(日) 09:43:26.39 ID:8zKDGL71.net
>>591
メタデータについてはジャーナリング機能の実装段階でそれ相応の物が
入ってて、CoWでは耐性上がりようがないって認識だわ。

そもそもシステムコールで明示的に呼び出さない限り CoW にならないわけで、
CoW ではなくスナップショットファイルシステムというべきじゃないかな。

594 :login:Penguin:2019/07/28(日) 21:18:10.31 ID:CB5E+oZy.net
今までファイルが壊れた経験があるファイルシステム
・btrfs
・ntfs

595 :login:Penguin:2019/07/29(月) 10:42:58.53 ID:AMCKbOHw.net
ファイルシステムの頑健性っていうのはソフトウェアのレイヤーで全てが語れるわけじゃない
あるファイルシステムのある機能が、あるディスクアレイでは頑健性を上げることもあれば逆もありえる
仮想マシンだってそう、むしろレイヤーが重なる上にハードウェアチートまであるから
クラッシュ時の挙動がファイルシステム側由来なのかなんてfs設計者でも簡単には分からん

596 :login:Penguin:2019/07/29(月) 19:08:03.66 ID:4QwhTaJH.net
スナップショットとシンプロビジョニングはオープンソースだとテストのやり込みが足りない・
テスト量がシステムの修正に追いついていないせいで安定しないイメージだわ。
これら+RAID-Z/VRAID系は長期利用時のフラグメンテーション対策がお留守な感じなんで
スナップショット等が必要な業務環境でオープンソース系ファイルシステム使うのは怖い。

597 :login:Penguin:2019/07/29(月) 19:58:02.26 ID:zJDJcz0l.net
RAID-ZってZFS以外使ってるんだっけ?
今のSolarisとFreeBSDとZoL,どれが一番安定してるんだか

598 :login:Penguin:2019/07/29(月) 22:46:46.27 ID:4QwhTaJH.net
>>597
Linux 外だが Isilon の OneFS がストライプ長可変なのでほぼ同じもの。
こちらは RAID-Z4 相当まで実装してる。

599 :login:Penguin:2019/07/30(火) 03:59:06.50 ID:qLodTkR5.net
>>597
Solaris

600 :login:Penguin:2019/07/30(火) 05:28:26.62 ID:HF8yxYK2.net
>>597
意味がわからないけどRAID-Z=ZFSだろ?

601 :login:Penguin:2019/07/30(火) 15:41:25.39 ID:0CM/a0KN.net
>>600
それは>>596に言ってくれ

602 :login:Penguin:2019/07/31(水) 16:24:21.03 ID:esTiVmHP.net
JFSやXFSで満足しないならもうLinuxを棄てるしかないんや

603 :login:Penguin:2019/07/31(水) 16:49:32.80 ID:Wv68Jyik.net
>>602
バイバイsoralis
君のことはもう忘れたよ

604 :login:Penguin:2019/08/01(木) 04:08:51.36 ID:BMyzMKl4.net
次元、五右衛門 久しぶりだなー
カール 今日はご主人様と一緒じゃないのか?
(カールという名前はわしの他はもう Soralis様しか知らないはずだ。)
Soralis? そうか、お前のご主人は Soralisってえのか..。
.....
.....

銭形: Oracleはとんでもないものを盗んでいきました。
   それは貴方のファイルシステムです。

605 :login:Penguin:2019/08/01(木) 05:02:38.99 ID:rA7aLj1x.net
もしかして:Solaris

606 :login:Penguin:2019/08/01(木) 07:08:56.64 ID:/5jO1LjD.net
soralis?solaris?
誰でぇ、それは

607 :login:Penguin:2019/08/01(木) 12:27:48.03 ID:FPgX7+/Y.net
ソラージ

608 :login:Penguin:2019/08/03(土) 04:46:19.02 ID:okf0cS5M.net
結局色々やってext4に行き着いた

609 :login:Penguin:2019/08/03(土) 07:21:09.50 ID:67ZtkjFh.net
アップデートもないしほとんど使っている人はいないと思うけどメインのNoteの/homeをnilfs2で運用初めてそろそろ10年。

それ以降PC自体が3代目でPC替えたらDDではなくてcpで移したので10年連続で同じパーティションを10年運用したわけではないけど、FSが飛ぶような深刻な自体は使い始めに操作を間違ったときくらい。

Nilfs2の仕様上FSフルにしてしまうと面倒なことが起こるけど、それも10年で2回程度。

概ね24時間分ぐらいは遡れるようにしているので間違って書き換えたり消したりしてもすぐ取り返せる安心感が嬉しくて使っている。
といってもその作業も10年で3回程度だけど。。。

610 :login:Penguin:2019/08/07(水) 15:48:47.13 ID:tHruglCb.net
CoW版のXFS使ってみたけどめっちゃ安定してるわ
完全に常用も可能な漢字

611 :login:Penguin:2019/08/07(水) 16:06:32.13 ID:D6dfz/XB.net
そんなゴミみたいな煽り文句は他所でやれ

612 :login:Penguin:2019/08/07(水) 16:13:26.51 ID:VOvKzyRf.net
最低限どういう手法でテストしたのか位は書いてもらわんと何も意味ないわな

613 :login:Penguin:2019/08/07(水) 19:19:11.92 ID:eVw1mf5N.net
そのくらいゆるふわ意見だと我が家のbtrfsも一度もデータ飛んだこと無いし、動画圧縮で凄く容量削減してるし、山ほどスナップショット撮れてるし、ものすごくtrimできるし、死ぬほど安定してる

614 :login:Penguin:2019/08/08(木) 16:07:29.83 ID:BnM28ZaO.net
100台月ぐらいメタデータ・シーケンシャル・ランダムアクセスの混在負荷テストすりゃいいかなと思っている

615 :login:Penguin:2019/08/09(金) 12:25:30.55 ID:2xxnQ7nf.net
Ubuntu 19.10からZFSのサポート強化 2019/08/09 08:33 後藤大地
https://news.mynavi.jp/article/20190808-874101/

Canonicalは8月7日(米国時間)、「Enhancing our ZFS support on Ubuntu 19.10 - an
introduction - Ubuntu Blog|Ubuntu Blog」において、この秋にリリースが予定されて
いる「Ubuntu 19.10」のデスクトップ版からZFSのサポート機能を強化する予定だと伝えた。

このまま順調に開発が進めば、Ubuntu 19.10 Dekstopでは実験的という位置づけながらも、
ルートファイルシステムをZFSで構築することが可能になると見られる。

Canonicalは今後、ZFSの採用範囲を広げるとしており、順次新しいUbuntuでZFSの利用を
拡大することが予想される。また、デスクトップ版は最初の取り組みとしており、今後
サーバ版にもZFSの適用が拡大する見込み。ZFSは人気の高いファイルシステムであり、
多くのユーザーに歓迎されると思われる。

LinuxにおけるZFSの利用に関してはライセンスにおいて長い間疑念が存在している。
Canonicalは数年前にライセンスに関して調査を行い、LinuxにおけるZFSの利用はライセン
ス違反にはならないという結論を出しており、それ以降、UbuntuでZFSを利用するための
取り組みを続けている。

ZFSはモダンなファイルシステムの1つ。ストレージ・アプライアンスやストレージ・シス
テム、NASで広く採用されている。提供されている機能が豊富で、さまざまな稼働実績が
あり、ユーザーから高い支持を得ている。Linuxディストリビューションの中でも高い人気
があるUbuntuでZFSが利用しやすい状況になることで、ZFSの利用範囲が広がると見られる。

616 :login:Penguin:2019/08/09(金) 16:56:19.31 ID:9F/SVKov.net
文字数の割には情報量の薄っすい記事だな。
具体的にどう拡大するのか何も書かれていない。

617 :login:Penguin:2019/08/09(金) 19:21:58.09 ID:rfEV2Og4.net
Ubuntu は技術的という意味以外で危ない橋を渡ってくれていいな。
Debian派なので、使ってないが。

618 :login:Penguin:2019/08/10(土) 06:20:36.38 ID:ZWJAdRCH.net
LinuxにはXFSやJFSという素晴らしいFSがあるというのに
btrfs(笑)

619 :login:Penguin:2019/08/10(土) 23:06:34.79 ID:2XkczDqc.net
そろそろOSやデバイスによらない究極のファイルシステムを誰か作って欲しいわ

620 :login:Penguin:2019/08/11(日) 00:16:24.96 ID:oUkRG+KV.net
求められてるものが違うから無理でしょ

621 :login:Penguin:2019/08/11(日) 00:55:00.87 ID:Uf+U5nYS.net
そもそもファイルシステム自体がOSの一部だからな

622 :login:Penguin:2019/08/11(日) 01:10:53.54 ID:QM4D0Z+6.net
?

623 :login:Penguin:2019/08/11(日) 04:25:14.47 ID:ha8y5VIz.net
FAT32というほとんど全ての環境でサポートされている素晴らしいファイルシステムがあるぞ

624 :login:Penguin:2019/08/11(日) 08:25:51.10 ID:fbfbhXo0.net
ていうか「普通に」使う分にはFAT32でも十分な気がする。
そんな馬鹿デカい容量を扱わんし

625 :login:Penguin:2019/08/11(日) 09:45:05.49 ID:iIn5DM/X.net
OSの一部というよりOS設計に密結合しとるから、ファイルシステムだけ分離してもあまり意味が無いというか

626 :login:Penguin:2019/08/11(日) 13:26:31.69 ID:cuLqexzl.net
理想のファイルシステムって何よ?

627 :login:Penguin:2019/08/11(日) 13:48:18.92 ID:maGT1VI+.net
軽量なZFS

628 :login:Penguin:2019/08/11(日) 15:23:31.80 ID:zxPpiGnO.net
OSから独立していても、特定のOSや企業が関わると党派性の餌食になって正当な評価が得られなくなってしまうので
具体的にはAppleとMicrosoft
アップルに関わると不当に高評価しようとする勢力によって歪められ
マイクロソフト由来のものは不当に低評価される傾向にある
前者はMac/BSD採用前後のZFSを巡る扱いにおいて顕著であり
後者はNTFSの長年にわたる(低)評価について異論を待たない

まあ平たく言えばゲハ脳のリンゴ信者の声ばかりでかくて実態を反映してない
ノイジーマイノリティうぜえって話で終わる

629 :login:Penguin:2019/08/11(日) 20:51:04.63 ID:b1ksZLfY.net
>>626
バグが無くて、使い方によらず高速で、
いかなる時もデータが失われず、
物理的な制限もないとか。

現状の物理的な容量を超えて、
無制限に記録できたりしたら、
喜ぶ人ば多いんんじなかろうか。

630 :login:Penguin:2019/08/11(日) 21:29:32.28 ID:3JMjmUyB.net
>>624
FAT32じゃだめ理由は容量じゃなくて、
セキュリティとUnicode対応だよ

セキュリティは、システムドライブとして使うなら必須だが、
いろんなマシンに接続する外部ストレージだと意味ないので無くても良い
でもUnicode対応は必須

631 :login:Penguin:2019/08/12(月) 01:09:10.91 ID:d4sdreTy.net
FAT32はUTF16LEに対応している

632 :login:Penguin:2019/08/12(月) 02:29:50.29 ID:NZmR/0AL.net
>>626
完成したReiser4

633 :login:Penguin:2019/08/12(月) 02:40:46.93 ID:NokuNn6B.net
>>630
>>631でも書かれてるとおりUnicode対応してると思うけど?

634 :login:Penguin:2019/08/12(月) 06:28:53.82 ID:NokuNn6B.net
と思ってざっと検索してこのページを見付けてそして絶望した。
https://stackoverflow.com/questions/19503697/unicode-filenames-on-fat-32

635 :login:Penguin:2019/08/13(火) 02:42:34.19 ID:aG+MUqdm.net
exFATが4G超えもUNICODEも対応した理想の外部ストレージ用ファイルシステムになるはずだったんだけどな
ライセンスの問題なのかlinuxではネイティブ対応せず使い勝手が悪い
FAT32がWindows/Linux/MacどころかBIOSが認識してフラッシュの書き換えに使えるのと比べると汎用性が低い

636 :login:Penguin:2019/08/13(火) 04:50:56.59 ID:hjIX5LBa.net
>>635
MSの規格を使うと、惑わされてろくなことがない。

637 :login:Penguin:2019/08/14(水) 06:07:09.42 ID:j+CrCYgD.net
LinuxでのexFATはもうすぐネイティブサポートされるかもしれない
サムスンがクローズドで開発していたんだけど間違えてgithubに公開したらGPL違反だとバレてオープンソース化した
それをLinuxのメインラインに取り込んでしまおうと言う議論がされている
特許についてはMSが去年OINに参加したから問題ないと思われる

638 :login:Penguin:2019/08/14(水) 06:16:42.69 ID:446s3CFR.net
こマ?

639 :login:Penguin:2019/08/14(水) 08:15:42.47 ID:wXe1OdwF.net
そういえばOIN入ってたなmicrosoft
昔はOINの敵だったのにかわったもんだ

640 :login:Penguin:2019/08/14(水) 12:22:52.78 ID:mQ9mwTdn.net
Githubで公開しちゃった奴は、こうなる流れを見越していたんか。

641 :login:Penguin:2019/08/14(水) 14:26:38.36 ID:wc+Iy5bm.net
公開と言うよりも正義の告発だろう
GPL違反に加担する行為に良心の呵責が耐えられなかったのさ

642 :login:Penguin:2019/08/14(水) 21:45:17.18 ID:AVLJRAxc.net
なんか、彼の国らしい話だな

643 :login:Penguin:2019/08/15(木) 05:46:12.96 ID:W1sEpxJ4.net
>>637
MSが加盟した時点で、特許問題クリアされてるし、MS側からカーネルドライバーのリファレンス実装や、ユーティリティが出てくるの時間の問題なように思うけど。

644 :login:Penguin:2019/08/15(木) 11:23:41.51 ID:wrlhxu7n.net
DropboxはLinux上のZFS、XFS、Btrfs、eCryptFSのサポートを復活させています
https://itsfoss.com/dropbox-brings-back-linux-filesystem-support/
Dropboxベータビルドにより、ZFS、XFS、Btrfs、eCryptFSファイルシステムのサポートが追加されます

645 :login:Penguin:2019/08/15(木) 20:20:35.65 ID:la00X25b.net
>>644
あ!
去年の今頃ファイルの上にext4のファイルシステムつくってループバックマウントしたんだけど
またXFSでdropbox使えるようになった!

646 :login:Penguin:2019/08/15(木) 21:41:24.78 ID:BwZ8qz5R.net
>>644
どもです

647 :login:Penguin:2019/08/15(木) 23:57:45.40 ID:q1J1ZnUl.net
>>644
homeをnfsマウントしてたらやっぱりDropboxつかえないんだよね?

648 :login:Penguin:2019/08/21(水) 22:13:21.76 ID:1QPw9kaw.net
FAT32がUnicodeに(一応)対応していたとは知らなんだ。

649 :login:Penguin:2019/08/21(水) 22:36:35.26 ID:1QPw9kaw.net
ついでに言うと日本産業規格で定義されているとも知らなんだ(俺が無知すぎるだけw)

650 :login:Penguin:2019/08/21(水) 23:41:34.91 ID:M7Fu+WRI.net
FAT32どころかFAT16もFAT12も同様

651 :login:Penguin:2019/08/21(水) 23:51:24.49 ID:0CXkpgBN.net
「どころか」の使い方おかしいだろ

652 :login:Penguin:2019/08/22(木) 01:16:51.67 ID:dj60c2S0.net
「AどころかBもX」
と言った時は
「Aは前提として(時として当たり前に)XだがAよりXっぽくないBもまたXである(驚きの感情)」
という含意があるんだから,使い方としては全うな部類だろう。
FAT32はUnicodeに対応してるけど,それより他の機能で劣るFAT16・FAT12にさえUnicode対応である(驚きの感情)

653 :login:Penguin:2019/08/22(木) 05:33:27.83 ID:1Yr3egmY.net
流れから、FAT32はJIS規格だけど古いFAT16,FAT12もJIS規格だ(まぁ順当にそうだろう)、という解釈も

654 :login:Penguin:2019/08/22(木) 06:15:16.86 ID:dj60c2S0.net
たしかに。

655 :login:Penguin:2019/08/22(木) 11:06:57.22 ID:NSVYAGiU.net
ファイルシステムはサイズがPBを超えてからが勝負

656 :login:Penguin:2019/08/22(木) 12:20:02.77 ID:m9kjglry.net
Unicode対応はFAT12でもVFATなら対応可能って奴じゃないの?
MS-DOSで見ると謎の文字列になるやつ
FreeDOSでもそうじゃなかったっけ?
UEFIはどうだったか覚えてない

>>655
個人で勝負に挑むには、月間の消費電力どれくらいになるんだろう

657 :login:Penguin:2019/08/22(木) 12:21:32.17 ID:jWTG6YZX.net
FAT64を作れば最強じゃね?

658 :login:Penguin:2019/08/22(木) 12:36:54.87 ID:m9kjglry.net
新たに作らなくてもexFATでいいんじゃね?

659 :login:Penguin:2019/08/22(木) 16:22:24.42 ID:pq9swZ6w.net
誰かVirtual Data Optimizerを試した
人はいませんか?RHEL 7.5から使える
重複排除の機能拡張っぽいのだが。

https://github.com/dm-vdo

660 :login:Penguin:2019/08/22(木) 16:40:08.64 ID:c/3upDZj.net
>>550
実装できたみたいね

661 :login:Penguin:2019/08/25(日) 20:40:25.94 ID:hTk0r0Sf.net
exFATはほぼFATじゃないでしょ。少なくともFAT32やらとはかなり互換性を失なってる…筈。

662 :login:Penguin:2019/08/26(月) 14:38:35.90 ID:ebuP7us/.net
ディスクの扱える最大容量が違うのに
互換性なんて持たせられるはずがないべ

663 :login:Penguin:2019/08/26(月) 18:10:15.54 ID:Q2M/7GD/.net
bcachefsの登場で
中身のファイル名が長すぎて解答できないRARファイルが
いよいよ解凍可能になるぜ

664 :login:Penguin:2019/08/27(火) 23:26:23.88 ID:cl90n3Lm.net
40年前に100EBのファイルシステムを想定したFS作ってればよかったのに

665 :login:Penguin:2019/08/28(水) 00:51:29.92 ID:roj4LxzO.net
そんなの作ってもメモリ不足で使えねえよ

666 :login:Penguin:2019/08/28(水) 02:44:43.76 ID:K9W23MUl.net
大容量でもメモリ不足にならないよう作れるだろうに。。

667 :login:Penguin:2019/08/28(水) 03:13:56.82 ID:XY99YJWD.net
仮にメインメモリが不足しなくっても上位bitが無駄になりまくって記憶媒体の無駄遣いになってたろう
当時のKB単価知らんのけ?

668 :login:Penguin:2019/08/28(水) 03:24:40.69 ID:jakMXSf+.net
俺がコンピュータを使い始めた頃は1MBうん十万なんて時代だったしな

669 :login:Penguin:2019/08/28(水) 07:49:31.84 ID:j5W+ovEv.net
ビット単位で惜しんで実装する時代だったな
そんなもん設計しても実装して運用出来るメモリ容量がない

670 :login:Penguin:2019/08/28(水) 07:59:58.47 ID:db/ocE9c.net
>>664
64KBあれば個人には使い切れない(笑)
と云われていた時代に何を云うとるか(笑)

671 :login:Penguin:2019/08/28(水) 08:09:15.90 ID:jUTn4eZr.net
ビルゲイツ「640KBのメモリがあれば十分」はデマだった [無断転載禁止]c2ch.net
https://medaka.5ch.net/test/read.cgi/prog/1501886166/l50

ビルゲイツが言ったとされる「640KBのメモリがあれば十分なはずだ」は実はデマでした
本人自ら行っていないと明言しており、第三者の調査でもそのような発言は見つかっていません

http://pc.watch.impress.co.jp/docs/2005/0427/hot367.htm
> 「640KBのメモリがあれば十分なはずだ」なんてことを言った覚えはないんだけど。
> 2005年のWinHECは、ビル・ゲイツ会長のこんなジョークともボヤキとも受け取れる言葉で始まった。

その発言の動画    
https://www.youtube.com/watch?v=ElDgsQAzrLo
> Bll Gates at WinHEC. Claimed to have never said that computer would never need more than 640K memory

インタビューで、そのようなことは言っていないと明言しています。
https://web.archive.org/web/20110202030010/http://www.usnews.com/usnews/biztech/gatesivu.htm
Q. Did you ever say, as has been widely circulated on 
the Internet, "640K [of RAM] ought to be enough for anybody?"

No! That makes me so mad I can't believe it! Do you realize the pain the industry went through while the
IBM PC was limited to 640K? The machine was going to be 512K at one point, and we kept pushing it up.
I never said that statement?I said the opposite of that.

The '640K' quote won't go away -- but did Gates really say it? (ビルゲイツは本当にそういったのか?)
http://www.computerworld.com/article/2534312/operating-systems/the--640k--quote-won-t-go-away----but-did-gates-really-say-it-.html

第三者の調査でも、根拠なしの主張を根拠に主張しているだけ(ループしてる)で
最初の出典が存在しないことを突き止めています。
http://quoteinvestigator.com/2011/09/08/640k-enough/

つまりビルゲイツは「640KBのメモリがあれば十分なはずだ」なんて 一言も言っていません。
これは英語サイトでは当時検証済みの話です。 情弱日本人が知らないだけです。

672 :login:Penguin:2019/08/28(水) 08:09:50.50 ID:jUTn4eZr.net
いつの間にか「ビルゲイツ 640KB」で検索したら↑のスレが
一番目に来るようになってるなw

673 :login:Penguin:2019/08/28(水) 08:20:42.08 ID:U92vyvJf.net
>>667
お前が設計したら無駄になりまくるからといって
それがもっとも効率が良い設計だと思わないで

674 :login:Penguin:2019/08/28(水) 08:38:43.64 ID:XY99YJWD.net
>>673
100EBを表現しなければならない可能性のあるとこには必ずそれだけのbitが必要になる筈なんだが
可変長符号化だってコスト0(bit)って訳じゃないんだぞ

675 :login:Penguin:2019/08/28(水) 08:47:45.84 ID:/ip8C1e4.net
考え方次第で最初に全サイズを読み込んでそれに基づいたbit割り振るようにすればいいだけなのでは?

676 :login:Penguin:2019/08/28(水) 09:27:43.57 ID:XY99YJWD.net
そのサイズは何bitでわかる?w

677 :login:Penguin:2019/08/28(水) 10:29:36.59 ID:U92vyvJf.net
>>674
100EBを表現しなければならない状況でそれに必要なbitを使うのは無駄ではない
問題は100EBを表現しなくてもいい状況で無駄に使わないことだろ

678 :login:Penguin:2019/08/28(水) 10:33:24.68 ID:XY99YJWD.net
>>677
だから1byteなのか2byteなのか3byteなのかの可変長符号にもコスト掛かるっつってんだよw

679 :login:Penguin:2019/08/28(水) 11:26:30.77 ID:U92vyvJf.net
>>678
コストが掛かるのは当然だ
コストゼロでなければ「無駄になりまくって」るというならお前の頭がおかしい

680 :login:Penguin:2019/08/28(水) 12:33:20.72 ID:XjV2vzUW.net
そもそも容量増加スピードなんてのは予測できるわけでそれに合わせてFSもロードマップ作って拡張すりゃよかったんだよ

681 :login:Penguin:2019/08/28(水) 21:30:25.06 ID:XY99YJWD.net
当時のKB単価もビット判定やら何やらに掛かるステートも知らずに、後出しで難癖付けるだけなんて簡単でいいよな
てかそう思ったんならおまえが普及させりゃ良かっただろっていう

682 :login:Penguin:2019/08/28(水) 21:35:39.43 ID:+xLGKmxQ.net
今だと瓦HDDに最適化したファイルシステム開発したら歓迎されそう
(もうどこかやってるかな?)

683 :login:Penguin:2019/08/29(木) 01:12:11.08 ID:VQiAWJJ4.net
瓦HDDの中でホスト側で制御するものは、その手のファイルシステムを前提にしている

684 :login:Penguin:2019/08/29(木) 01:16:27.76 ID:VQiAWJJ4.net
瓦は読み込みと書き込みの最小単位が異なる点でSSDと同じなので
SSD向けのファイルシステムが効果的な可能性が高い
例えばCoWやバケット単位の管理を採用したやつ

685 :login:Penguin:2019/08/29(木) 06:53:52.44 ID:yqJY2zQ1.net
>>637
https://www.phoronix.com/scan.php?page=news_item&px=Microsoft-exFAT-Specification

> Microsoft Publishes exFAT Specification, Encourages Linux Support

キタ━━━━(゚∀゚)━━━━!!

686 :login:Penguin:2019/08/29(木) 08:24:17.14 ID:ayv/fTUM.net
>>685
やっぱりMicrosoftは正義やな

687 :login:Penguin:2019/08/29(木) 09:17:06.65 ID:57E44Kd+.net
最近は反MSの連中よりMSのほうがOSSに貢献してる

688 :login:Penguin:2019/08/29(木) 09:31:29.66 ID:oTY9cNJu.net
ntfsも公開してくれよん

689 :login:Penguin:2019/08/29(木) 10:37:08.37 ID:IgCGENYH.net
>>685
キタ━━━━(゚∀゚)━━━━!!

690 :login:Penguin:2019/08/29(木) 11:53:24.06 ID:ayv/fTUM.net
>>688
NTFSは公開してもファイルシステムの高度なセキュリティ能力を
Linuxにマッピングできないのであまり意味がないな

691 :login:Penguin:2019/08/29(木) 12:26:30.72 ID:5xSjyKa3.net
>>682
瓦最適化はWDの中の人がbtrfsにパッチ投稿中。

692 :login:Penguin:2019/08/29(木) 18:23:14.00 ID:17OYqypV.net
Microsoft、Linuxカーネルで公式に「exFAT」サポート
https://www.itmedia.co.jp/news/spv/1908/29/news059.html

693 :login:Penguin:2019/08/29(木) 18:31:46.62 ID:3gIOV6hV.net
>>691
はえー。俺の鯖ちょうど瓦でbtrfsだわ、ありがてえ

694 :login:Penguin:2019/08/29(木) 20:54:27.48 ID:7ODgbVNJ.net
>>687
反MSって具体的になに?Oracleとか?

695 :login:Penguin:2019/08/29(木) 21:12:57.84 ID:V76BsNE3.net
Windows Storage Server 2016の重複排除機能、優秀すぎてワロタ

696 :login:Penguin:2019/08/29(木) 21:56:07.88 ID:71eCL6Dr.net
>>689
どちらかというと、ユーティリティ側の出来がよくなってほしいな(´・ω・`)

今、fsck.exfatがチェック出来るだけ状態だからね。
マウントするだけならfuse経由でできるし。

697 :login:Penguin:2019/08/29(木) 22:30:20.18 ID:/Ysvkkai.net
>>695
今のところ重複排除がまともに運用できるのWindows Serverだけだな
ZFSも一応使えるけど使う人居ないだろって感じの実装

698 :login:Penguin:2019/08/30(金) 01:10:38.60 ID:49Usa2R4.net
>>690
同じ理由でextXもWindows上では使い勝手が非常に悪い
NTFSもextXもシステムに特化しすぎて細かい仕様がなじまない
低機能なFATがいまもデータ交換用に普及してる理由でもある

699 :login:Penguin:2019/08/30(金) 01:11:23.89 ID:49Usa2R4.net
exFATの構造
http://homepage3.nifty.com/k-takata/diary/exFAT.txt

700 :login:Penguin:2019/08/30(金) 01:18:35.79 ID:49Usa2R4.net
exFATは他の近代ファイルシステムに合わせてメタデータをファイル化したのはいいけど
FATが固定テーブルのままだから空き領域ビットマップも固定テーブルで良かったと思う

あとFATエントリが32bitのままだから16TB超えると影響出始める
リムーバブルで16TBは当分先とは言え将来はわからないぞ

701 :login:Penguin:2019/08/30(金) 01:41:03.03 ID:49Usa2R4.net
MSがさっそく公式に公開してたじゃないか
https://docs.microsoft.com/ja-jp/windows/win32/fileio/exfat-specification

702 :login:Penguin:2019/08/30(金) 04:24:29.13 ID:itEjT5Wb.net
>>700
> あとFATエントリが32bitのままだから16TB超えると影響出始める

exFATの理論上の最大ボリュームサイズは128PB(ペタバイト)だよ
128 * 1024TB = 131,072 TB。実装上の問題で 512TBが推奨とされてるけど

https://en.wikipedia.org/wiki/ExFAT

703 :login:Penguin:2019/08/30(金) 04:38:30.70 ID:itEjT5Wb.net
なるほど、FAT32は名前に反してクラスタ数として28bitしか使ってなかったのか。(exFATは32bit)
1クラスタのサイズがFAT32は32KBまでだから、FAT32の理論上のボリュームサイズは8TB

exFATでは32bit全部を使うから、これだけでも128TBまで使えることになるが、
さらに1クラスタの最大サイズが32KBから32MBに増えたから、理論上のボリュームサイズは128PBになるんだな

FAT32もexFATも実際の実装はそこまで対応してないから減るわけだけど
将来的に対応の必要性があれば互換性を保ったまま増やせるわけか

704 :login:Penguin:2019/08/30(金) 11:49:45.26 ID:xVO3b390.net
>>691
btrfsなんて不安定で微妙なFSじゃなくってext4とかXFSで瓦対応してクレヨン……
と思ったが瓦はCoW向きなのか
だったら仕方ないかorz

705 :login:Penguin:2019/08/30(金) 18:29:14.36 ID:BfSogZjl.net
マジかよ今後はexfat一択じゃん

706 :login:Penguin:2019/08/30(金) 19:36:46.24 ID:wK/ekzyO.net
でもexfatってジャーナリングファイルシステムじゃ無いんでしょ

707 :login:Penguin:2019/08/30(金) 20:17:53.57 ID:BfSogZjl.net
マジかよじゃあexfat要らね

708 :login:Penguin:2019/08/30(金) 21:52:37.76 ID:xOfxtSvx.net
やっぱりntfsが最強だな

709 :login:Penguin:2019/08/30(金) 22:33:18.67 ID:lt7x2d9b.net
>>704
xfsはSMR対応やる気あるだろ

710 :login:Penguin:2019/08/31(土) 01:01:49.85 ID:PjcUVRL7.net
xfsのCoWがどんな感じかだな
btrfsはCoWだけじゃなくパケットライトのような構造でSSDへの負担の軽減と効率化を図っている
副作用でデータベースのようなランダム書き換えを繰り返す用途と非常に相性悪いけどな

711 :login:Penguin:2019/08/31(土) 07:09:26.49 ID:R786WVAl.net
>>706
> でもexfatってジャーナリングファイルシステムじゃ無いんでしょ

ジャーナル対応は可能だよ。

712 :login:Penguin:2019/08/31(土) 09:11:35.30 ID:PjcUVRL7.net
可能なのと実装しているのは大きく違う
ext2にジャーナルファイルを追加してext3としたように後付ならどうにでもなるが
それでも名前を変えるレベルの変更になる

互換性が重要なリムーバブル向けで大きな変更はできないだろうな
exFATは冒険を避けたのか内部的にはけっこう中途半端な拡張になっている

713 :login:Penguin:2019/08/31(土) 11:53:17.85 ID:M9ADFjBr.net
ディレクトリエントリ構造がvfat引き継いでんのがクソ

714 :login:Penguin:2019/08/31(土) 12:43:47.93 ID:KGfTBrB+.net
kwsk

715 :login:Penguin:2019/08/31(土) 14:12:33.52 ID:JnSDyXRZ.net
kwskっていうのはクソの理由だぞ。
vfat引き継いでるということの説明をされても
クソの理由にはならないからな
ってかvfat引き継いでないがなw

716 :login:Penguin:2019/09/03(火) 17:02:34.99 ID:yL/ahKNe.net
Linuxに関して言えば,
組込みLinuxが入ってる携帯端末とかはexFATを採用しそう。
そうじゃないのはXFSやext4でいい(「でいい」というか,「が十分使える計算機資源がある」

717 :login:Penguin:2019/09/03(火) 17:44:40.69 ID:xfgJCc5v.net
exFATを使うというのが単に外部ストレージのファイルシステムとして受け付ける(マウントして読み書きに対応できる)という話なら対応が進むだろうが、
システムやユーザーディレクトリがexFAT上に置かれるようになる、システムパーティションとしてexFATが採用されるという話なら、それは無いんじゃないの?

システムパーティションとしてFATやexFATを利用可能な実装、あるならそれがデフォルトの実装というものが実在するなら、むしろ見てみたい(提示して欲しい)。
パーミッションなにそれという無法の罷り通る組み込み実装というものが実在するなら恐ろしい話だ。

NTFSならUNIXの(POSIXの)パーミッション機能を全て内包した上でより高度かつ緻密な権限設定なども可能だが、それらの機能をUNIXからは満足に扱えず持ち腐れるしかないし、
NTFSをシステムパーティションとして設定可能なディストリというものも記憶に無い(Windowsとの共存を念頭に既存のNTFSパーティション内に構築されるものならあったが)

718 :login:Penguin:2019/09/03(火) 19:05:09.69 ID:B9+IOgvJ.net
Androidではf2fsとext4が使われているな
これは端末によって分かれる
それとユーザー領域にsdcardFSとか言うのが使われている

719 :login:Penguin:2019/09/03(火) 19:52:16.19 ID:8FoKpEbS.net
>>717
今北産業

720 :login:Penguin:2019/09/03(火) 20:37:54.95 ID:2aAU5+p7.net
>>717
今でも使えるか知らないけどUMSDOSというFAT用の拡張があるよ
仕組みはVFATのような感じで長いファイル名とパーミッション等を使える

いにしえの文書
ttp://archive.linux.or.jp/JF/JFdocs/archive/UMSDOS-HOWTO.html

それとNTFSのACLと同等の機能はXFS等でも使えるようになっているよ

721 :login:Penguin:2019/09/03(火) 20:56:32.09 ID:2aAU5+p7.net
>>717
ACL関係もいにしえの文書だけど
ttps://www.itmedia.co.jp/enterprise/0403/06/epn01.html

POSIX ACLはSamba以外では積極的に使われない機能だから
あまり解説されていないだけ

722 :login:Penguin:2019/09/04(水) 01:58:46.87 ID:AfE9OQrQ.net
>>721
NTFSと同等なのはPOSIX ACLじゃなくてNFSv4 ACLとか、HFSやAPFSに実装されている方

723 :login:Penguin:2019/09/09(月) 22:59:51.66 ID:SszYAJmS.net
互換性は別にして、機能としてPOSIX ACLになくて、NTFSやNFSv4 ACLにある物って何があるの?
デフォルト値とかが違ってWindowsと全く同じ挙動にはできないけど、機能的には同等だと思ってた。

724 :login:Penguin:2019/09/10(火) 02:47:59.60 ID:7v2JkFhP.net
>>723
POSIX ACLはパーミッションの素直な拡張で、
・ユーザーやグループ毎にRWXの3種類の許可のオンオフ
・ディレクトリにデフォルト値を設定して子孫に継承させる
だけ。

NTFSの方は、そもそも権限が13種類ぐらいあって複雑怪奇。例えば、
・属性(タイムスタンプとか)の読み込みだけ許可
・ファイルへの追記だけ許可(上書きは不可)
・ファイルは作れるけどサブディレクトリは作れないディレクトリの実現
・ファイルの削除権限をファイル自体に設定
・ファイルを作れるけど消せないディレクトリの実現
・ACL自体の変更権限や所有者の変更権限を設定
などが可能。継承も、
・ファイルとディレクトリで別々に設定
・子には継承させるが孫には継承させない設定
ができる。更に
・許可/拒否の設定が両方ある
・ACLの適用順を明示的に設定できる
ので、ホワイトリスト式とブラックリスト式を複雑に組み合わせられる(これはGUIでは設定不可で、コマンドでやる)

725 :723:2019/09/10(火) 03:14:54.16 ID:ux9dqJdd.net
>>724
おお。確かに全然違う。NTFSそんなに機能あったのか。
勉強になった。ありがとう。

726 :login:Penguin:2019/09/10(火) 04:08:11.19 ID:QHsS5imR.net
機能的にはミニコンやメインフレームで大規模なDB載せるような用途にも対応できるような作りだしねえ…
これでもう20年も実績あるんだから、いっぱしのファイルシステムですな >NTFS

727 :login:Penguin:2019/09/10(火) 04:31:51.09 ID:c/QawrHU.net
そのNTFSの機能はだいたいZFSで網羅してるな

728 :login:Penguin:2019/09/10(火) 05:23:00.38 ID:h9c2d3nY.net
ZFSで網羅してるとして、何のコマンドでやるの?
ZFS専用コマンド?

729 :login:Penguin:2019/09/10(火) 06:24:47.98 ID:hXcE461p.net
ZFSってIRIX発祥だったように記憶しているのだけど
IRIXはつまり一般的なPOSIXの枠を超えたACLを独自に実装していたということですかね?

730 :login:Penguin:2019/09/10(火) 06:35:34.93 ID:c/QawrHU.net
>>728
意外なchmodで全部行ける。まるで呪文だがw
setfacl -m owner@:full_set:allow,group@::allow,everyone@::allow acl_test.txt

https://docs.oracle.com/cd/E24845_01/html/819-6260/gbacb.html#scrolltoc

>>729
Solarisでそ?

731 :login:Penguin:2019/09/10(火) 06:41:05.19 ID:c/QawrHU.net
>>730
自己レス
ごめん
chmod A3=user:venkman:read_acl:allow filename はSolaris
freebsd はsetfaclでやる実装だった「

732 :login:Penguin:2019/09/10(火) 13:55:09.50 ID:6sIzNa2X.net
> 729

XFSはIRIX
ZFSはSolarisです。

733 :login:Penguin:2019/09/10(火) 15:10:51.24 ID:TIJq+nNn.net
ext4でいいじゃん

734 :login:Penguin:2019/09/10(火) 16:55:49.82 ID:+5M9tkhk.net
>>724
詳しい解説サンクス!
多すぎて頭がフットーしそうだよお

735 :login:Penguin:2019/09/10(火) 16:56:33.60 ID:+5M9tkhk.net
>>730,731
こっちも詳しい解説サンクス!

736 :login:Penguin:2019/09/10(火) 19:00:28.68 ID:nfLMQN5s.net
>>732
ああそうだ、IRIXはXFSだったわごめん
おれ個人では普通に信頼してるFSだけど、Linux界隈では個人だと使ってる人あまり見ないよね…

737 :login:Penguin:2019/09/11(水) 01:29:58.78 ID:U4ts0n/J.net
LinkStationのデフォルトがXFSだったはずたから知らないうちにXFS使ってる人は案外いそう

738 :login:Penguin:2019/09/11(水) 02:15:06.94 ID:XGTr0XqS.net
CentOS7のデフォルトがXFSだから、個人でも使っている人は沢山いるはず

739 :login:Penguin:2019/09/11(水) 09:22:32.33 ID:Im0aUzbI.net
NTFSってマジで「多」機能なんだな

740 :login:Penguin:2019/09/11(水) 20:34:04.82 ID:U4ts0n/J.net
多機能すぎてその詳細を理解してる人も使いこなせる人も少ない…MSにさえ
おまけにフルに機能使いこなそうと思ったら非公開API使わなきゃいけないとかいう残念さ

741 :login:Penguin:2019/09/11(水) 22:52:50.67 ID:Im0aUzbI.net
https://m.facebook.com/dnobori/posts/2142836202459674
これを思い出した

742 :login:Penguin:2019/09/12(木) 08:02:48.44 ID:A7RqdNx4.net
素直にXFS使っとけ

743 :login:Penguin:2019/09/12(木) 14:07:40.59 ID:kpioEvUr.net
XFSは多機能すぎて誰も使いこなせない

744 :login:Penguin:2019/09/13(金) 10:02:05.12 ID:/kG8R/3p.net
LinuxのXFSにもGRIOあるのかなぁ

745 :login:Penguin:2019/09/15(日) 08:26:10.55 ID:A0tbtNjH.net
EROFSがLinux5.4でメインライン入りするらしい
リードオンリーファイルシステムだから使いどころは限られるが
すでにスマホで動いているので実績はある

746 :login:Penguin:2019/09/15(日) 09:51:04.18 ID:uMzOqD6G.net
え、エロFS……

747 :login:Penguin:2019/09/15(日) 13:31:08.77 ID:ua5r3kDz.net
エッチFS!

748 :login:Penguin:2019/09/15(日) 17:37:09.38 ID:3/04JcE1.net
>>743
何で圧縮は無いの?

749 :login:Penguin:2019/09/16(月) 01:54:38.69 ID:rJPiMVYE.net
huawaiのスマホのsystemパーティションでEROFS使われてるのか
androidのsystemは元々リードオンリーでマウントされてたから有用だろうな

750 :login:Penguin:2019/09/16(月) 21:49:59.06 ID:8Mnz6MjR.net
くだらない質問で恐縮なのだが、
既存の、RW可能なファイルシステムで作成したボリュームをROでマウントするのはわかる。

しかしリードオンリーのファイルシステムとなると、
マウントするボリュームは、一体どのような手段で作成されるのだろうか?

卵が先か、鶏が先か…

751 :login:Penguin:2019/09/16(月) 22:16:57.15 ID:Fjxy1taP.net
>>750
.iso (ISO9660 ファイルシステム、DVD-ROM 等に使われるリードオンリーのファイルシステム)
ファイル作ったことないですかそうですか

752 :login:Penguin:2019/09/16(月) 22:20:45.35 ID:M+XuPW8F.net
>>750
別のファイルシステムから変換するのでは?
少なくともISO9660はそういう感じだよね。

原理的に、仕様がわかっていて、どういう風にファイルを用意したいか決まっていれば、
ビット列は生成可能なのだから、鶏が先か、卵が先かという問題ではないような気がするけど。

753 :login:Penguin:2019/09/16(月) 22:23:33.54 ID:v2xaK5dV.net
erofs-utilsに入っているmkfs.erofsで作るらしい

ttps://git.kernel.org/pub/scm/linux/kernel/git/xiang/erofs-utils.git/tree/README

754 :login:Penguin:2019/09/17(火) 00:23:24.54 ID:tEkIjiM2.net
>>750
いや、roなファイルシステムも使用時にroでマウントしてるだけで
作成時はイメージファイル上にFSを作ってrwマウントしてファイルコピーするだけ

755 :login:Penguin:2019/09/17(火) 02:01:04.20 ID:C2z//eYW.net
>>753
圧縮の有無に違いはあるけど、使い方はSquashFSみたいな感じらしい

756 :login:Penguin:2019/09/17(火) 09:41:47.16 ID:mAQfPWIi.net
>>754
なるほど,まあ当然っちゃ当然そうだよな。

757 :login:Penguin:2019/09/17(火) 12:22:17.37 ID:8KO1t32N.net
>>754
isofsはwrite()が実装されてないらしいし、rwマウントしてコピーってのはちょっと違うのでは?

758 :login:Penguin:2019/09/17(火) 21:24:20.70 ID:2Wuln3eF.net
fuseとかでrwマウント出来るようにした物はあるだろうけど、最初からrwでマウント出来たらroファイルシステムじゃないだろw

759 :login:Penguin:2019/09/17(火) 22:27:12.02 ID:q0qVtnVz.net
ro専用のファイルシステムって、誰が書き込むの?

760 :login:Penguin:2019/09/17(火) 22:50:56.62 ID:uhDzaob2.net
mkfsが「XXバイト目にマジックナンバー書き込んでYYバイト目にはこのフラグの値書き込んで」みたいにやってる時に一緒にファイルも書き込むだけ

761 :login:Penguin:2019/09/21(土) 04:11:32.07 ID:H9H9TTsk.net
これでZFSの重複排除が実用的になるだろうか?
まともに使えそうなら革命的だが
https://www.phoronix.com/scan.php?page=news_item&px=OpenZFS-Better-Dedup

762 :login:Penguin:2019/09/21(土) 23:27:31.72 ID:bKqCk4Ie.net
重複排除なんてバックグラウンドでやればいいだけじゃないの?

763 :login:Penguin:2019/09/22(日) 05:53:45.18 ID:CqaW/Zfz.net
今時のバックアップソフトや専用NASはリアルタイムに重複排除出来る

764 :login:Penguin:2019/09/30(月) 15:09:29.89 ID:/fxpH8Tk.net
>>762
重複するデータが既にストレージ上に存在するのなら後続の書き込みは行われないのが理想

765 :login:Penguin:2019/10/01(火) 01:58:35.48 ID:xLonTYnk.net
>>764
コピーするときだけで十分だろ
どうせ上書きしたら内容は変わるんだし

766 :login:Penguin:2019/10/01(火) 02:38:11.33 ID:C0EfQGgt.net
重複データは書き込み時に判定というのは実際どう判定するのか
書き込み前に一度ファイルを舐めて双方のハッシュでも比較するのか、すごい手間だな
そんなものシステムワイドでファイル作成時や最終書き込みの時にハッシュ引いてファイルの属性データの方に持たせておけばいいのに
それでもハッシュの衝突とか無いとも限らないしな…どうやって検出すればいいんだ

…などと考え始めると眠れなくなる

767 :login:Penguin:2019/10/01(火) 03:54:30.13 ID:O/YTzUB3.net
うん、だからバックアップでやればいいんじゃねーのって思ってる
最終的にはファームウェア側で実装するのもありかもね

768 :login:Penguin:2019/10/01(火) 04:01:48.13 ID:O/YTzUB3.net
>>766
ファイルレベルでハッシュ比較しても駄目だよ。
少しデータが変わっただけの巨大なファイルで重複排除ができなくなる。

でもまあそういう例って仮想イメージのスナップショットぐらいしか無いんだよねw
んで、仮想イメージは仮想マシン側がスナップショットを差分で保存してくれるから関係ない

ファイルレベルならバックグラウンドでファイル検索して
ファイルサイズが同じ→中身を比較→全部一緒ならハードリンクにする
これだけで十分だろう

769 :login:Penguin:2019/10/01(火) 04:34:23.91 ID:LD5IBfg0.net
ログファイルとか重複排除すると効果大きいんだけどな
一般家庭の用途だとストレージのほとんどがメディアファイルで埋まるから効果薄いよね

770 :login:Penguin:2019/10/01(火) 08:13:43.35 ID:O/YTzUB3.net
>>769
なんで同じ内容のログファイルが
大量にできるんだ?

圧縮ならまだしも何の意味もないだろ

771 :login:Penguin:2019/10/01(火) 08:17:03.18 ID:O/YTzUB3.net
Windowsは95の時代からドライブの圧縮機能があって
昔はお世話になったもんだが、他のファイルシステムには
そういう機能あるのかな?

772 :login:Penguin:2019/10/01(火) 10:03:19.94 ID:oU66RV/q.net
>>770
そもそもファイル単位という前提が間違ってる

773 :login:Penguin:2019/10/01(火) 10:26:58.35 ID:mUwF5icW.net
>>772
ブロック単位とか言いたいんだろうが、何単位であっても
ログファイルなんて同じ内容にはまずならんだろうが

1バイト違っていたりアドレスがずれてるだけでも
だけでも違うものと判断されるんだからさ

774 :login:Penguin:2019/10/01(火) 22:11:05.16 ID:d4igWScA.net
ZFS とか重複排除はかなりメモリ食うらしいね

NTFS は指定日数経過後のファイルに対してだけ実行するとか
バックグラウンドで実行/高負荷時には実行しないとか
使用メモリ制限とか色々オプションがあるみたい

モードも一般/VDI/バックアップと用途向けに用意されてる
中小規模、ホームユースで考えると NTFS の方式はわかりやすくて
かつ優秀だと思う

775 :login:Penguin:2019/10/01(火) 22:33:23.76 ID:acLZahM8.net
確かNTFSの重複排除は対象ディスク領域1TiBあたり1GiBのメモリを確保することが推奨されていて、
これはZFSでの重複排除使用時の推奨値と変わらないはずですよ。

重複排除での処理単位のブロックサイズが同じ程度なら、
管理情報のオーバーヘッドはそれほど変わらんでしょう。

776 :login:Penguin:2019/10/01(火) 22:34:34.00 ID:acLZahM8.net
あ、推奨値じゃなくてこれぐらい消費しますよの目安だったかも。

777 :login:Penguin:2019/10/01(火) 23:59:37.95 ID:d4igWScA.net
>>775
メモリ使いすぎないオプションもあるよって書いたんだが...

778 :login:Penguin:2019/10/02(水) 10:24:24.64 ID:MFUU2o8w.net
NTFSって複雑奇怪な仕様のくせにムダに安定してるよな

779 :login:Penguin:2019/10/02(水) 20:38:07.52 ID:gqMjbdgw.net
NTFSの重複除去処理って理想的な実装じゃね?

https://www.gmo.jp/report/single/?art_id=234

> 重複除去機能はWindows Server2012ですでに搭載されていましたが、
> 最新のWindows Server 2019の重複除去では、重複除去率とパフォーマンスが改善されており、
> ファイル単位ではなくバイナリのデータ単位で重複を検出して除去するため、
> 大幅に重複除去率が向上しています。

> 重複除去は一度設定すればボリューム内のすべてのファイルが対象となり、定期的に実行されます。
> 書き込みごとに圧縮される場合、継続的なパフォーマンスの懸念がありますが、
> 重複除去はスケジュール設定が可能なため、慢性的なパフォーマンスへの影響を回避することができます。

780 :login:Penguin:2019/10/03(木) 00:59:58.79 ID:OEBySPhx.net
NTFSは本当に優秀だ
NT3.1の頃から業務で使っているが、FS起因でのトラブルには一度も遭遇したことがない
さすが天才カトラーが設計しただけある

781 :login:Penguin:2019/10/03(木) 02:03:54.40 ID:7cVKYu14.net
MSの開発者のスキルは世界一だからね
本当凄いよ

782 :login:Penguin:2019/10/03(木) 08:52:36.44 ID:tzg7uxom.net
優秀つっても Isilon や NetApp とかの後追いじゃないか?
OneFS, WAFL, NTFS 以外は完全において行かれた感がある。
zfs や btrfs はそれなりに資金力ある企業傘下だったが残念だ。

783 :login:Penguin:2019/10/03(木) 08:52:50.20 ID:47VJX03k.net
昔との互換性を重視して、仕様は謎みたいな話もあったけどNTFSは問題ないのか?

784 :login:Penguin:2019/10/03(木) 15:39:46.94 ID:06JgUDhC.net
zfsはSunがあんなことにならなければ…

785 :login:Penguin:2019/10/05(土) 20:56:50.83 ID:6SloAFsk.net
NTFSの仕様はマジで謎。

786 :login:Penguin:2019/10/22(火) 03:48:30 ID:sLMeSFJA.net
Ubuntu 19.10でZFSをルートファイルシステム利用やっとかよ

787 :login:Penguin:2019/10/22(火) 04:05:31 ID:sWREnU7X.net
ルートにzfs使うことある?

788 :login:Penguin:2019/10/22(火) 16:37:32.09 ID:bJW2ueVJ.net
zfs重くて泣いた

789 :login:Penguin:2019/10/22(火) 23:17:46.10 ID:4WVgaPY2.net
zfs raid-1

790 :login:Penguin:2019/10/24(木) 07:14:24.88 ID:e5plJI2y.net
ZFSの優秀さはメモリと引き換えなのでパソコンクラスのメモリ量だとあまり使えない

791 :login:Penguin:2019/10/24(木) 14:36:52.38 ID:87akmZa+.net
パソコンクラスってよく分からない表現だな
今のサーバーはほとんどPCサーバーになってきてるのに

792 :login:Penguin:2019/10/24(木) 15:34:41.99 ID:V0q9EpU/.net
パーソナルなやつだろ

793 :login:Penguin:2019/10/24(木) 19:01:35.46 ID:XtN2MzoY.net
ZFS出た2005年当時のメモリなんてどれだけだったと思ってるんだ

794 :login:Penguin:2019/10/25(金) 09:09:25.10 ID:Krt8XDYr.net
うちのパソコンはメモリ512GBだけど足りないかな?

795 :login:Penguin:2019/10/25(金) 09:54:42.46 ID:dtRwUszk.net
OpenZFSはメモリ要件が改善されたらしくはあるけど
キャッシュヒットが環境によって変わるとはいえメモリの必要量が明確に分からないのは正直つらい
L2ARCの追加もメモリ消費するらしいから安易にできないし
でもZILとかスナップショットとか透過圧縮とか使いたい

796 :login:Penguin:2019/10/25(金) 10:31:10.97 ID:fu1VNf4G.net
NASでZFSのdedup onで使ってるけど2TBでメモリ10Gも使わない
メモリ512GB積んでおけば100TBぐらいまでは対応できそうだから個人だとこれで十分そうだ

797 :login:Penguin:2019/10/25(金) 13:35:51.25 ID:+KpuEA9M.net
重複排除設定で使用済みブロックが2TBも使ってるなら相当ゴツいシステムだな

798 :login:Penguin:2019/10/25(金) 23:24:59.22 ID:IP6r7udF.net
重複排除ってサイズが1バイトずれてるだけのやつも
排除してくれるの?

799 :login:Penguin:2019/10/25(金) 23:52:06.19 ID:dtVaeIT3.net
な訳ねー

800 :login:Penguin:2019/10/25(金) 23:54:37.46 ID:IP6r7udF.net
あんまり排除できなくないか?
同じファイル見つけたらハードリンクに
置き換えるツールで十分そうw

801 :login:Penguin:2019/10/25(金) 23:57:34.59 ID:dtVaeIT3.net
そうだよ、専ら仮想鯖みたいな同じユーザランドが無数に作られる様な用途を想定してるんだろう

802 :login:Penguin:2019/10/26(土) 01:22:02.81 ID:vQVY0Sjj.net
一日1万枚ぐらいエロ画像を漁ってると20%ぐらいはかつて落としたエロ画像だったりするから
重複排除は容量の20%ぐらい浮く計算になる

803 :login:Penguin:2019/10/26(土) 01:25:37.95 ID:bm797MDp.net
>>802
そういうのって重複ファイル削除ツール使えばいいだけなんじゃない?
重複させておく必要ないでしょ?

804 :login:Penguin:2019/10/26(土) 01:29:08.15 ID:Pwsut+Es.net
重複排除はリアルタイムである必要はないわな
ZFSが採用しているようなリアルタイムでの重複排除はメモリを食うし
デスクトップ用途ではデメリットの方が大きい。
XFSの重複排除はパフォーマンスに影響しないし実際に使っているけど便利だよ。

805 :login:Penguin:2019/10/26(土) 02:04:42.61 ID:/XO9wWRE.net
後で重複を排除するとなると重複かどうかがわからないから結局一度書き込みに行く事になる
zfsはデスクトップ用途だとアレだけどサーバ用途だと理に適ってはいる

あと画像だと今や同じ画像が違うファイル形式であちこちに散乱してたり
同じJPEGでも品質が違ってたりするからあんまし意味ないんじゃ?

806 :login:Penguin:2019/10/26(土) 02:47:15.22 ID:bm797MDp.net
でも書き込むたびに、これ重複してるかな?って
確認してたら、書き込みが遅くなるじゃん

807 :login:Penguin:2019/10/26(土) 06:32:43.54 ID:/XO9wWRE.net
それを高速化する為にメモリ内にハッシュの類を持ってるんだろうに

808 :login:Penguin:2019/10/26(土) 10:45:29.30 ID:ZfJ5IMnc.net
でも書き込むごとに、データのハッシュ値を計算してるんですよね?

809 :login:Penguin:2019/10/26(土) 11:39:20.84 ID:+7ZIaVI7.net
>>807
非同期書き込みなら書き込み遅いのは気にならないが同期書き込みについては
遅くなるのは致命的だよな

同期・非同期で重複排除をバックグラウンドでやるかリアルタイムでやるか決め
られるだろうけど仮想環境用途の仮想ディスクとかはその上の同期・非同期って
NAS側まで伝わるのかね

>>808
ZFSの場合はハッシュの計算以外にもRAIDの計算もしているが、それをいうなら
商用NASハードはそれで百本越えのHDDとか面倒みながら処理してるわけで
ハッシュ計算はそんなに負担ではないのでは?

810 :login:Penguin:2019/10/26(土) 11:54:16.15 ID:kG6Y+7fi.net
いやめちゃくちゃ負担だけど
やらなきゃ駄目だから

811 :login:Penguin:2019/10/27(日) 15:53:27.45 ID:eiS+LtlM.net
>>800
重複排除はファイル単位ではなくブロック単位
もしファイル単位ならそりゃハードリンクと同じだ

812 :login:Penguin:2019/10/27(日) 17:06:24.41 ID:707D9EX6.net
異なるファイルでブロックが同じってまずないだろ?

813 :login:Penguin:2019/10/27(日) 23:20:14.99 ID:3lwG/9wl.net
それをファイルレヴェルでやってたらでかいファイルの一部が変更されただけで
ハッシュの類を再度算出しなおさなきゃいけなくなる

814 :login:Penguin:2019/10/28(月) 00:15:16.75 ID:IKPi8ihE.net
>>812
世代でバックアップとってるファイルとかゲストOSのイメージとか

815 :login:Penguin:2019/10/28(月) 20:47:04.72 ID:dxvlefLW.net
ファイル単位の重複排除もあるらしい。
更新されなくなったファイルを圧縮するついでにやる?だったかな。
他にもウイルススキャンとかも定期的に走らせるとかあるからハッシュの
再計算を何かのついでにすることで負担は減らせそうだね。

816 :login:Penguin:2019/10/28(月) 22:31:04.60 ID:9iH4PItu.net
>>814
そういうのって仮想マシンソフト側が対応してますよね?

817 :login:Penguin:2019/10/28(月) 23:10:44.32 ID:WlwazsDj.net
ファイル単位でやるにしてもどうしても大きさに制限ができる
COWの事を考えるとどうせブロック単位に回帰する

818 :login:Penguin:2019/10/29(火) 00:52:41.78 ID:fdP/pgCQ.net
>>816
横から失礼
同じ仮想マシンイメージのPCを移動ユーザープロファイルで利用する
ならわかるが、サーバだと初期イメージから離れていくだけだから
差分に対しては仮想マシンソフト側での吸収は難しいと思うが

>>817
データベースの表領域を考えるとそうだけど、それ故最近アクセスしていない
ファイルに限定してるんじゃないかな
そうなると話は変わって逆に大きさがわかる/ファイルサイズがわかるのは
寧ろメリットになってしまう

ブロック単位に回帰する理由を挙げるならスナップショットやシンプロ
ビジョニング、ブロック単位のレプリケーションなど併用すると効率的な
機能要件挙げるべきかな

819 :login:Penguin:2019/10/29(火) 03:00:41.08 ID:L6q0zJPq.net
自宅のCDデータ倉庫で排除率のシミュレーション'(zdb -S)したけど1%も無くてがっかりだった
やっぱZFSの重複排除は仮想化とセットなんかな
バックアップは取得時だけソフトで差分の処理するほうが安くできそうだし

820 :login:Penguin:2019/10/29(火) 08:54:54.57 ID:tiBJfX00.net
>>819
zfsは仰る通りだと思う。
コピーオンライトのお陰でスナップショットが高速・少容量な感じに仕上がってる。

821 :login:Penguin:2019/11/16(土) 21:42:02.73 ID:JSAAagCz.net
重複排除に夢を見ないほうがいいよ
元から圧縮をはじめとする各方面で無駄を無くす努力がなされている現状で
小手先の策は効果がない

822 :login:Penguin:2019/11/20(水) 20:25:14.01 ID:6yGwAp7b.net
そうか?今日保存したエロ画像は以前見てHDDのどこかに保存したような気がするんだが

823 :login:Penguin:2019/11/20(水) 20:40:58.51 ID:oxDwVSd5.net
同じ画像に見えてもバイナリ的に同一じゃない要素があってなぁ
というかそういう画像を探すための同一画像判定をしてくれるアプリがあったな

824 :login:Penguin:2019/11/21(木) 05:47:34.09 ID:FXPGTnmV.net
画像はまだいいけど同一の動画を判定するのは難しそうだなあ
できるソフトあるのだろうか?

825 :login:Penguin:2019/11/21(木) 09:09:11.59 ID:xIJF9Sc2.net
Googleなら持ってるだろうが

826 :login:Penguin:2019/11/21(木) 09:58:12.19 ID:qhCu6Ui0.net
おれは一期一会派だから

827 :login:Penguin:2019/11/21(木) 20:44:46.78 ID:FOikuE8m.net
>>826
年々規制が厳しくなるからいつか後悔するぞ

828 :login:Penguin:2019/11/23(土) 07:34:28.58 ID:RKp6gT6E.net
すでに御禁制の品です

829 :login:Penguin:2019/11/26(火) 09:21:12.69 ID:WiM8NUkS.net
>> 826

俺は市毛良枝派だった。

830 :login:Penguin:2019/11/26(火) 19:19:34.18 ID:dryjMwbD.net
仮想マシンのイメージのように重複排除が効果的なものはあるけど
そういうのは個別に専用の仕組みで対応したほうが早い
例えば掲示板の画像なら重複を探してハードリンクを貼るスクリプトを定期的に回すだけで事足りる
一応btrfsは重複ブロックを探して共有するプログラムが用意されている

さまざまなリスクと制約を負ってでもリアルタイムにファイルシステムでやる必要性が少ない

831 :login:Penguin:2019/11/26(火) 22:41:02.69 ID:KV/Dsi98.net
>>830
いやそれだったら画像を保存するだけのプール作ってそこだけdupすればいいだけ

832 :login:Penguin:2019/11/27(水) 01:03:11.01 ID:j6YMclKw.net
https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.4-Released

> Linux 5.4 Kernel Released With exFAT Support, Faster Radeon Graphics, New Hardware

exFATキタ━━━━(゚∀゚)━━━━!!

833 :login:Penguin:2019/11/27(水) 01:10:07.14 ID:vV9+H2A1.net
これでexFATが汎用性最強になったね

834 :login:Penguin:2019/11/27(水) 01:36:26.23 ID:twkxM08i.net
でもジャーナリングファイルシステムじゃないからなぁ

835 :login:Penguin:2019/11/27(水) 01:39:22.97 ID:BHucuGJr.net
全く用途が違うだろ・・・
何を見当違いな

836 :login:Penguin:2019/11/27(水) 03:08:57.62 ID:zVRigbnf.net
そう言えばRaiserさんはFS開発に戻らないんだろうか

837 :login:Penguin:2019/11/27(水) 07:27:41 ID:yuP2HKak.net
そもそもSDXCカードの標準に採用されてるのに読み書きできない方がおかしい

838 :login:Penguin:2019/11/27(水) 10:28:42.57 ID:aEg54iqa.net
fatは先頭からデータ埋めてくだけだったけどexfatはそのへんどうなの?

839 :login:Penguin:2019/11/29(金) 08:14:02.98 ID:Vz7mdWod.net
スパースファイルのことなら対応してない
アロケーションのことなら実装次第でFATと変わらんだろう
メタデータの一部がファイル化してるが位置がころころ変わるものじゃないから断片化には影響しない

840 :login:Penguin:2019/12/03(火) 19:17:30.18 ID:fFA/yNYa.net
Valid Data Length、Linuxで言う所のUnwritten Extentsなら有る
https://docs.microsoft.com/en-us/windows/win32/fileio/exfat-specification#765-validdatalength-field

841 :login:Penguin:2020/01/01(水) 11:10:00.15 ID:scCDRay6.net
https://www.phoronix.com/scan.php?page=news_item&px=Reiser5-Development

> Reiser5 File-System In Development - Adds Local Volumes With Parallel Scaling Out

> Hans is still serving his fifteen year sentence until 2023 for
> murdering his wife but can see parole eligibility as soon as next month (January 2020).

Hans Reiser仮釈放でReiser5爆誕

842 :login:Penguin:2020/01/01(水) 12:31:59.53 ID:20dym0cL.net
まじかwww まさか復帰するとは思わなかった

843 :login:Penguin:2020/01/01(水) 21:13:48.67 ID:p37tb7FW.net
キラーFSになるな

844 :login:Penguin:2020/01/11(土) 02:19:39.98 ID:UAAx1hWz.net
2020年1月10日 Don't use ZFS ―Linus,ZFSをマージしない姿勢をあらためて強調 階戸アキラ
https://gihyo.jp/admin/clip/01/linux_dt/202001/10

「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと,バズワード以上の
何物でもなく,そして実感するのだけど,例のライセンシング問題は僕にとってZFSを価値のない存在と
思わせるだけだ」

1月6日,IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたある
スレッドにて,Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張
している。(中略)

今後のZFSの扱いについては「Oracleの正式なリーガル担当者が署名したオフィシャルレターが届くか,
もしくはラリー・エリソン自身が“⁠ああ,いいよ,手続きを進めよう⁠”といってZFSをGPLにするか,そういう
事態でも起こらないかぎり,僕はZFSに関するいかなる成果もマージしない」と強調,つづけて「ZFSの
コードやインタフェースを取り入れたければ,個々の環境(ディストリビューションなど)で好きにやるのは
かまわないが,訴訟好きなOracleの体質,さらにはライセンスに関する数々の疑念を考慮するなら,僕は
とても安心してそれをやる気にはなれない」とZFSをメインラインに取り入れない理由を説明している。

また,ZFSを直接カーネルに統合しないだけでなく,Shimレイヤのような透過的なインタフェースを通した
実装にも「まったく興味がない。我々にとってなんの価値もなく,Oracleに(Javaのような)コピーライト
訴訟のよいきっかけを与えるだけ」と一刀両断している。

旧Sun Microsystems由来のファイルシステム技術であるZFSに関しては,何度となくLinuxカーネルでの
実装が議論された過去があり,たとえばUbuntuでは2016年ごろからZFSをサポート,最新版の「Ubuntu
19.10」ではZFSをrootファイルシステムにしたインストールが可能となっている。Linusはこうしたディストリ
ビュータの動きに関しては「やらないほうがいいと思うけど,自分たちの責任でやるなら好きにやれば」という
スタイルを通してきたが,今回あらためてZFSのメインライン統合に対し,明確なNoを突きつけたといえる。

845 :login:Penguin:2020/01/11(土) 04:42:55.15 ID:jnlXzU71.net
マージ無いのはまあ当然だろう
ZFSの為だけに全てのコードをリスクに晒すわけにはいかない

846 :login:Penguin:2020/01/11(土) 13:42:21.31 ID:6TxpLfrk.net
枯れたjfsで運用しとる奴居らんの?

847 :login:Penguin:2020/01/11(土) 13:44:36.61 ID:6TxpLfrk.net
LinuxはSiliconGraphics謹製のxfsと添い遂げろ

848 :login:Penguin:2020/01/11(土) 14:05:29.73 ID:+MC8qtlu.net
jfs いいぞ。
と、言いたいけどAIX由来じゃなくてOS/2からだし

849 :login:Penguin:2020/01/11(土) 16:12:02.81 ID:ICeSTzlT.net
OS/2ってHPFSじゃないの?

850 :login:Penguin:2020/01/11(土) 18:40:44.21 ID:K/LCgiW1.net
>>847
どうせならReiserFSがいいな

851 :login:Penguin:2020/01/11(土) 18:57:24.78 ID:FZkUfr0E.net
>>849
wikipedia の jfs からだが、

1999年4月、新しい JFS が OS/2 Warp Server for e-business に、2000年10月には OS/2 Warp クライアントに向けてリリースされた。

1999年12月、OS/2 の JFS ソースコードがオープンソースコミュニティに提供され、それを受け JFS の Linux への移植が始まった。2001年6月、JFS for Linux の最初の安定版がリリースされた。

852 :login:Penguin:2020/01/11(土) 19:17:27.72 ID:ptgZv5Qn.net
JFSはビデオレコーダーとかのHDDのフォーマットに使われている場合が結構ある/あったか
今はXFSとかか?

853 :login:Penguin:2020/01/13(月) 11:25:23.35 ID:mGzs+Xmt.net
>>852
むしろレコーダーにはXFSが使われてるイメージ

854 :login:Penguin:2020/01/14(火) 04:51:06.14 ID:iZnsu89D.net
うちにちょっと古めのRegza(TV)が2台があるが、録画HDDが認識されなくなって
xfs_repairで3回くらい復活させたことがあるわ

855 :login:Penguin:2020/01/14(火) 08:15:51.05 ID:bK6lhlF1.net
ZFS厨死亡のお知らせ
ttps://www.phoronix.com/scan.php?page=news_item&px=Linus-Says-No-To-ZFS-Linux

856 :login:Penguin:2020/01/14(火) 08:55:56.23 ID:U+JHY6EW.net
典型的な老害

857 :login:Penguin:2020/01/14(火) 09:01:27.05 ID:/3xc9qkj.net
じゃあbtrfs使いますかって話よ
俺はトラウマあるから無理

858 :login:Penguin:2020/01/14(火) 09:36:14.17 ID:Tzu77Qmb.net
>>855
今までと変えるつもりはないからこれ以上話を出すな、ってだけだと思うんだけど
RedHatがxfsベースで似た機能を持ったもの作るのと、ReiserFSがそこまで取り込んでくれるのを期待

859 :login:Penguin:2020/01/14(火) 10:05:18.06 ID:3ySwGeCo.net
>>856
法的な問題が解決されない関わらないっていうのを改めて明確にしただけだと思うけど

860 :login:Penguin:2020/01/14(火) 11:40:03.53 ID:kTd0knbb.net
ZFSなんかバズワードだって一刀両断は胸がすくね
Macが採用を謳ってからの持ち上げようったらおかしかった

861 :login:Penguin:2020/01/14(火) 12:03:54.46 ID:Co6d2U6R.net
linuxではバズワードかもしれないけれど、
FreeBSDなんかは、UFSの代替として一般化してると思うよ。

862 :login:Penguin:2020/01/14(火) 14:46:05.21 ID:s3yt3V1I.net
ソースも見ないアホが語っとるわ
リーナスが言ってるZFSはOracleのZFSのことであってOpenZFSではないぞ

863 :login:Penguin:2020/01/14(火) 17:03:51.82 ID:QOKr6lO9.net
xfsが進化しまくってるから問題ない
俺も早速1年くらいxfsのcowで使っているけど
btrfsとは違ってド安定で一切不具合はないよ
ただしメモリの使用量はなんか多い気がする

864 :login:Penguin:2020/01/14(火) 17:24:05.89 ID:vHb4j94C.net
>>863
xfsは昔からメモリ大好きっ子やけんな

865 :login:Penguin:2020/01/14(火) 17:26:23.56 ID:t+wcCOjj.net
スナップショットと圧縮が欲しいんだよー

866 :login:Penguin:2020/01/14(火) 17:29:22.78 ID:J8UtrzpS.net
>>862
ライセンスがGPLにならないかぎりは同じこと

867 :login:Penguin:2020/01/14(火) 17:38:02.82 ID:3ySwGeCo.net
>>862
誰にアホといってるのか分からんけど
OpenZFSだろうがライセンスが変わらない限り一緒だといってるだろ

868 :login:Penguin:2020/01/21(火) 20:00:20.75 ID:ugNUCPRp.net
たとえGPLになって取り込まれたとしてもZFSに使いどころがないわ
ガリガリ読み書きする部分にはメタデータアクセス遅すぎて使えん
ガチ性能と可用性が必要なところはハードウェアRAID組む
ニアライン用なら機能いらんからもっと安定してるやつ使う

869 :915:2020/01/21(火) 22:45:23 ID:iC7ldWE7.net
LinuxはZFS並みのファイルシステムができるまでまだまだかかりそうね

870 :login:Penguin:2020/01/22(水) 00:52:27.43 ID:RmlHZiYt.net
超サーバ用途には使わんし、かと言って一般的なPCじゃ必要メモリが大き過ぎて使えんし、
運用のハードルが高い割には使いどころが難しいのよね

871 :915:2020/01/22(水) 00:59:56.25 ID:97fPzXLY.net
使ったことないんじゃない?メモリ2GBでも快適だよ
今時のマシンなら16-32G積んでるしちゃんと使ってみてから評価すればいい

872 :login:Penguin:2020/01/22(水) 01:20:43 ID:sJWFkN+Y.net
2GBで快適に動くような使い方してるならZFSでなくてもいいのではって思うけどな

873 :login:Penguin:2020/01/22(水) 01:58:33 ID:wZeNZHAR.net
メタデータ触ると遅いしメモリ食いなのは確かだけどlvmでスナップショットはかなり無理矢理感あるし透過圧縮ないファイルシステムも多い

874 :login:Penguin:2020/01/22(水) 07:16:30 ID:97fPzXLY.net
snapshot、promote、細かいACL、send|reciveに透過圧縮など非RAIDでも恩恵はでかいよな

875 :login:Penguin:2020/01/22(水) 11:38:59 ID:sjf0Rz/o.net
>>874
だね
俺はデスクトップユーザーだからそれら機能の簡易版でもあればbtrでもxfsでも構わないのだが
現時点では選択肢がzfsしかない

876 :login:Penguin:2020/01/22(水) 16:00:37 ID:vGgGBPjr.net
うんうんZFSは素晴らしいみたいだからFreeBSDでつかっててね

877 :login:Penguin:2020/01/23(木) 01:55:54.94 ID:7qSP8O0Q.net
FreeBSDもOpenZFSになるのでLinuxで使いますね

878 :login:Penguin:2020/01/23(木) 14:10:17.07 ID:ZAgXInmL.net
有料でも良ければGPFSが最強なんだけどねえ

879 :login:Penguin:2020/01/23(木) 14:14:08.14 ID:ZAgXInmL.net
今時は1デバイスで100TB、トータル1PBぐらいのシステムを持っている個人も普通にあるよね
そういうとこで実運用に耐えるファイルシステム、って観点だとこれが以外と難しい

880 :login:Penguin:2020/01/23(木) 23:53:42.57 ID:6UDxr1tc.net
NTFS

881 :login:Penguin:2020/01/24(金) 18:35:07 ID:mXgeSarq.net
巨大パーティションは下手すればエラーチェックもままならなくなるから
動画用でもない限り1T程度で切ることにしている

882 :login:Penguin:2020/01/25(土) 04:40:01 ID:hgworRLd.net
重複排除の実装によくハッシュが使われるがハッシュの計算と保存のコストが馬鹿にならない
例えばKSMは最初ハッシュで実装してたのに結局ツリーを作った上で直接比較する方法に変更した

883 :login:Penguin:2020/01/25(土) 06:07:36 ID:v2Q4em8k.net
NTFSって理論上は64ビットの番地だけど
現在の実装は32ビットなんだろ

(2^32-1)*2048KiBの8PiBくらいしか管理できない

884 :login:Penguin:2020/01/25(土) 06:30:47 ID:RUYaEyw5.net
そんな容量が要求される様な用途だとReFSが使われるんじゃ?

885 :login:Penguin:2020/01/25(土) 07:53:48 ID:TTbJFqbp.net
ファイルシステム上には64ビットで書かれてるよ、
読み書きするときに上位の32ビットを0に固定してるだけ。
たしか、4KBクラスタまでの時代で論理限界16EBとか言ってた。
今は2MBだから増えてる?

886 :login:Penguin:2020/01/25(土) 10:14:39 ID:9dDjJPoq.net
個人だとだいたい100TBもあれば足りるからな

887 :login:Penguin:2020/01/25(土) 13:29:15 ID:FQlZOJvl.net
まあストレージやメモリのこれだけあれば十分なんて数字は数年で倍になるし10年で2桁変わる

888 :login:Penguin:2020/01/25(土) 15:54:16.50 ID:Pn3gpz30.net
世の中にPBクラスの規模で動いてるファイルシステムって実際にあるのか…?
普通はそんな肥大化する前に設計の見直ししないか

889 :login:Penguin:2020/01/25(土) 16:15:25.18 ID:XUbXy/+j.net
10年前でメモリ80MBとかPentium IIを10年使っていらしたんですか?

890 :login:Penguin:2020/01/25(土) 17:43:01 ID:FQlZOJvl.net
10年前だとメイン機のRAMは8GB、サブ機で2GBだったかな
今はメインで64GBサブ機8GBだから、まあ10倍にはなっていないか
ストレージは1TB→20TB

さらに10年前、2000年時点だとRAM256MBストレージ4GB
1990年頃だとRAM4MBストレージ80MBくらいか

10年で10倍、25年で1000倍目安くらいだな

891 :login:Penguin:2020/01/25(土) 20:54:00 ID:9YpFJvCS.net
>>888
そこまでいくと実質的に青天井だからS3などのクラウドを選択するだろう
もう自前でストレージを持つ時代じゃない

892 :login:Penguin:2020/01/26(日) 10:26:40 ID:AHO9IC4m.net
>>888
資源系を筆頭にいくつかの業界や世界規模の大手企業ではPBなんて珍しくないよ
そういうところでは単一ネームスペースでアクセスできるところに意味があるからそうなる

>>891
むしろ逆、そこまで大きくなるとクラウドストレージはI/Oが高すぎて話にならなくなる

893 :login:Penguin:2020/01/26(日) 11:00:01 ID:OzJ+Z2xw.net
>>892
事業の性質によるだろう
多くのBtoCビジネスでは、必要なストレージ容量やIOはユーザー数に比例するから問題ない
それで赤字ならそもそも商売として成立しない

894 :login:Penguin:2020/01/26(日) 11:21:19 ID:kSy9PDTE.net
>>892
PBクラスのシステムのファイルシステムは実際は Lustre や GPFS
などの分散ファイルシステムで、その中身は ext4 などのファイル
システムを並列に並べたものだから、単一のファイルシステムとしては
PB 超えれてない

ここでの議論は単一のファイルシステムに限定したほうがいいと
思うんだがどうだろう

895 :login:Penguin:2020/01/26(日) 11:44:24 ID:kSy9PDTE.net
>>893
> 事業の性質によるだろう

具体的にはスパコン(HPC)と映像系だけかな

CIFS/NFS(autofs)/オブジェクトストレージあたりは複数のストレージを
束ねて1つのネームスペースに見せかけられるからそこそこ安定してて
こなれた価格のストレージを並べるから PB のファイルシステムは不要

テキトーなこと言うけど、PB クラスのファイルシステムが必要になる
のは1ファイルがTB超えるとか1バッチあたりの中間ファイルがTB超える
とかぐらいからじゃないかな

896 :login:Penguin:2020/01/26(日) 11:53:39 ID:AHO9IC4m.net
>>894
LustreもGPFSもPanFSも中身は独自でext4等の下層fsを持たないよ、何か別のものと勘違いしてない?

897 :login:Penguin:2020/01/26(日) 12:22:35 ID:AHO9IC4m.net
>>895
HPCはそうだけど映像系は実は必ずしも該当しない、ガチなとこは階層化ファイルシステム使うから
日本では技術力がないのか金があるのか知らないけど単一でゴリ押す映像系の話きくけどね

PB越え単一ファイルシステムが必要なのは、一ファイルの大きさが問題じゃなくて
アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合
だから金融系・資源系・生命系みたいにデータが大量で時間が金に直結するところで良く使われる

898 :login:Penguin:2020/01/26(日) 12:26:01 ID:AHO9IC4m.net
>>896
おっとすまない、Lustreは下層がext4だった、ごめん勘違いしてたのは俺だった
でもGPFSやPanFSが下層を持たないのは本当
まあ現状エンタープライズのファイルシステムの最前線はGPFS vs PanFSみたいな雰囲気はある

899 :login:Penguin:2020/01/26(日) 13:52:42.43 ID:kSy9PDTE.net
>>897
それは失礼。 ちなみに Lustre は ext4 と他に ZFS の実装もあるそうな。

> アクセスする可能性があるファイルが大量にあって、かつテープでは遅すぎる場合

使ってる業種と使い方に異論はないんだけど単一ファイルシステムを使う理由が
それかというとちょっとなんか釈然としないなぁ

結局入力ファイルや中間ファイルを複数のファイルサーバに負荷分散するように組むのが
面倒くさいから使ってるってだけって印象だわ
面倒くさがらなった結果の一つが Hadoop/HDFS だと思ってます、ハイ

900 :login:Penguin:2020/01/26(日) 14:09:39.49 ID:aLHVJ+JL.net
1ファイル1'PBのエロ動画とかどうやって保存してるんだろう

901 :login:Penguin:2020/01/27(月) 01:02:02 ID:SjNVe4Yy.net
>>900
Display Portが2.7Gb/s最大なんで少なく見積もっても823時間分あるんだが
どういう人向けなのか説明Plz

902 :login:Penguin:2020/01/27(月) 12:29:14 ID:0w7PQcpt.net
>>901
DPは最大25Gbps出るしDSC使えばもっといける
そもそもファイルサイズとモニターへの転送速度は関係ないでしょ?
実際に販売する段階になったらエンコードして小さくするとしても編集前のマスターデータをそのまま保存しておく場合なら再生するモニター以上の解像度、フレームレート、色域が記録されていても保存に必要な容量が用意できれば全く問題ない

903 :login:Penguin:2020/01/27(月) 14:05:19 ID:vU+1ytkI.net
>>886
得ろ動画溜め込むのに少ない

904 :login:Penguin:2020/01/27(月) 18:07:52 ID:udH3RDqL.net
8K24bitの24時間ハメ撮りAVだと無圧縮で計算上約8TBだな

905 :login:Penguin:2020/02/02(日) 12:09:33 ID:Hg2ze+cG.net
>>836,841,843
この流れ好き

906 :login:Penguin:2020/02/02(日) 15:16:02 ID:GHB58PtI.net
Linuxのファイルシステム「Btrfs」を5年間使用した記録
https://gigazine.net/news/20200202-btrfs-five-years/

907 :login:Penguin:2020/02/02(日) 15:26:44.86 ID:U7jFn1mT.net
RAIDはmd使った方が無難に思える

908 :login:Penguin:2020/02/02(日) 17:40:25 ID:HE+GXCHP.net
RAID10はmd raidよりbtrfsのほうが安定してる
RAID 1ならmdのほうがいいけど

909 :login:Penguin:2020/02/02(日) 23:14:15.47 ID:cDfryaOr.net
>>907,908
md の上に何乗せてるん? ext4? xfs?

910 :login:Penguin:2020/02/02(日) 23:40:34.80 ID:iaNiREzj.net
スーパー32Xに決まっておる

911 :login:Penguin:2020/02/03(月) 05:01:47.23 ID:9XLDxuL9.net
>>909
RAID1なら何でも乗っける
ESPの多重化もしたいし

それ以外ならファイルシステムのネイティブ機能の方がいいと思う

912 :login:Penguin:2020/02/03(月) 11:50:13 ID:1h1DB/oS.net
>>910
その発想はなかった。俺は評価する。

913 :login:Penguin:2020/02/03(月) 23:45:36 ID:OVT3+6Po.net
セガファンは面白いやつ多いのにセガはあれだな

914 :login:Penguin:2020/02/11(火) 01:11:17 ID:gTMJQSdw.net
2020年2月10日 Linus,次期カーネル「Linux 5.6」の最初のリリース候補版を公開
https://gihyo.jp/admin/clip/01/linux_dt/202002/10

ここで触れられているZonefsは開発したWDによるとSMR HDDやSSDに適したファイルシステムらしい

What is Zoned Storage and the Zoned Storage Initiative?
https://blog.westerndigital.com/what-is-zoned-storage-initiative/

915 :login:Penguin:2020/02/11(火) 10:00:56.86 ID:JmaZPai6.net
ZonefsはPOSIXに準拠していないので既存のファイルシステムを置き換えるものじゃないけどな

916 :login:Penguin:2020/02/11(火) 22:35:10 ID:F8Fgy0xz.net
f2fsじゃあかんのかね

917 :login:Penguin:2020/02/15(土) 20:40:39 ID:ko2/1+4j.net
F2FSは最大FSサイズが16TBなのがSMR HDDには今後ネックになる

918 :login:Penguin:2020/02/15(土) 20:51:22 ID:fQlV7izm.net
FlashFriendly File Systemだからな
HDDとか知らんよ

919 :login:Penguin:2020/02/15(土) 21:41:41 ID:7ROaKxuF.net
HDDも大容量キャッシュ付き瓦だとあんまりfs側でいじらない方がいいような気がする

920 :login:Penguin:2020/02/15(土) 23:17:25 ID:Aj0iDWta.net
WinFS でやりたかったDB の機能も付いたファイルシステムってあります?

921 :login:Penguin:2020/02/16(日) 09:36:26.82 ID:tFc9/bu5.net
>>920
じゃあそれDBでよくね?ってなってどこも開発やめた

922 :login:Penguin:2020/02/16(日) 11:11:50 ID:Cl0cNLYW.net
最近はDBのためにダイレクトIOのパフォーマンス上げる改善が多い

923 :login:Penguin:2020/02/19(水) 08:46:06 ID:+vuP13XZ.net
Googleが新しいファイルシステム作ってる
Android用だからLinuxのメインラインに取り込まれるのか分からんけど
ダウンロード中の不完全なファイルでも実行できるらしい
https://lore.kernel.org/linux-fsdevel/20190502040331.81196-1-ezemtsov@google.com/T/#Z2e.:..:20190502040331.81196-2-ezemtsov::40google.com:0Documentation:filesystems:incrementalfs.rst

924 :login:Penguin:2020/03/20(金) 16:46:34 ID:oDz6Qr3S.net
btrfsはUUIDの変更が鬼門だな
メタデータとUUIDが紐付いているらしくてデータを読めなくなる

925 :login:Penguin:2020/03/29(日) 17:30:13 ID:ZSfzV/DF.net
btrfs使わなええ

926 :login:Penguin:2020/03/29(日) 19:29:33.05 ID:A9QWVCnu.net
カーネル5.4で追加されたネイティブexFATは日付の処理にバグ有り

Windows7とfuse-exFATで作成したファイルを5.4のネイティブexFATドライバで見ると、
更新日付がちょうど 1ヶ月+9時間 遅く表示される
アクセス日付は常に 1979/12/31 9:00:00 と表示される

5.4のネイティブexFATドライバで作成したファイルをWindows7で見ると、
更新日付とアクセス日付がちょうど 9時間 早く表示される
また、5.4のネイティブexFATドライバでマウントしなおすと上記の症状が起こる

つまり、
・読み書き共にタイムロケールが正しく反映されない (日本設定では9時間ずれる)
・読み込みのみ暦月がずれて読み込まれる (書き込み直後はキャッシュされるので症状が見えない)

927 :login:Penguin:2020/03/29(日) 19:38:05.23 ID:A9QWVCnu.net
あと、5.4のネイティブexFATは日本語処理は問題なかった
日付のずれは地味に困るから一旦fuse-exFATに戻す

928 :926:2020/03/29(日) 20:21:00.98 ID:A9QWVCnu.net
アクセス日付を更新するだけでも更新日付が一ヶ月後ろにずれることも分かった
サムネイル表示機能を有効にしてたから試しに開いたSDカードの日付情報も派手にやられた

929 :login:Penguin:2020/04/08(水) 08:54:17.25 ID:ctV6ZAP7.net
Windows10

5000個以上のPDFをAドライブからBドライブに移動させたら、ファイル数はそのまんまなのに総サイズが250MBも減少した
なんで?

930 :login:Penguin:2020/04/08(水) 09:48:50 ID:h2p5sSpc.net
圧縮ディスクだった

931 :login:Penguin:2020/04/08(水) 16:48:38 ID:nNfYJP3N.net
Aドライブってフロッピー?

932 :login:Penguin:2020/04/08(水) 18:26:58 ID:9nhczXSy.net
A側はexfat でアロケーションユニットサイズが 1MB (平均512KB/ファイル余計に消費)で、
B側はNTFSで同サイズが4KBで(同平均2KB/ファイル)だったって感じか?
(意図的にやらない限り 1MB なんて値にはならないはず)

それ以外の可能性としてはA側には隠しファイルがあってサイズは隠しファイル込みだった

933 :login:Penguin:2020/04/09(Thu) 01:04:11 ID:NYHCWS9d.net
exFatをWindowsで初期設定でフォーマットするとクラスタサイズが128KiBになる
1ファイルあたり平均64KiB余計に消費するので、64KiB×5000個=約312MiB
>>929 は順当な結果

934 :login:Penguin:2020/04/09(木) 01:09:19.65 ID:NYHCWS9d.net
1件1ファイルで保存するタイプのメールデータをexFatに保存すると大変なことになる
(1件ごとにほぼ128KiB無駄になる)
あとNTFSは約700バイト未満のファイルはメタデータに直接格納しちゃうから細かい設定ファイルやらメールデータの収納効率が非常に良い

935 :login:Penguin:2020/04/09(木) 08:50:59.38 ID:tHpWeU4o.net
Ubuntu 20.04β試していて初めて知ったんだけどlinux-5.3あたり(?)からNILFS2へ書き込もうとするとクラッシュする(といってもNIFS2を扱っているカーネルのサブシステムだけ)というトラップ(バグ)が仕掛けられてたのね。

/homeをNILFS2で運用していて18.04でバックポートカーネルを入れるとログインできなくなるんで何でだろうと思っていた。
当分18.04+5.0系カーネルで保持かなあ?

936 :login:Penguin:2020/04/09(木) 10:29:58.44 ID:wTSYL5PJ.net
NILFS2って保守されてるのか?
いつか消されるんじゃないかと思っているのだけど

937 :login:Penguin:2020/04/09(木) 12:30:14.75 ID:7wAsdCRN.net
4TB の外付けHDDを exFAT でアロケーションユニットサイズを NTFS と同じ 4kB で使う場合、
大きなデメリットってある?
それとも、アロケーションユニットサイズを変更するくらいなら、素直に NTFS で使ったほうがいい?

Linux でもネイティブ対応しそうな exFAT を考慮したいけど、
今までの外付けHDDが全部 NTFS なので、
ちょっと躊躇してしまう。

938 :login:Penguin:2020/04/09(木) 12:47:50.43 ID:f9lVta1Z.net
数十〜数百GB程度ならexFATでも何でも構わんけど
テラバイトサイズのボリュームはジャーナリングファイルシステムでないと怖すぎないか

939 :937:2020/04/09(Thu) 13:13:20 ID:7wAsdCRN.net
>>938
確かに、ジャーナルのない点は少し気になるねぇ。

サルベージするときの復元率の違いも気になる。
FAT32 のときは、復元できても断片になることもあった。
もっとも、NTFS の場合、復元できなければ断片すら拾えないという感じだから、
優劣という感じじゃないしなぁ。

940 :login:Penguin:2020/04/09(Thu) 17:40:41 ID:vpGccY6F.net
>>936
ジャップ製モジュールはこれが怖い

941 :login:Penguin:2020/04/09(木) 18:04:57.35 ID:9fEj1NQk.net
チョン?

942 :login:Penguin:2020/04/09(Thu) 22:32:27 ID:4pQr46JD.net
手伝お?

943 :login:Penguin:2020/04/10(金) 16:47:03 ID:mZNoA7ar.net
>>937
そのFSを読めるOSが壊れたときなんて想定は別の同じOSを用意すればいいでしかないぞ

944 :login:Penguin:2020/04/11(土) 22:41:34.77 ID:XDts1cPd.net
>>937
Windows95/98と同じ程度の信頼性はあるはず

945 :login:Penguin:2020/04/24(金) 00:01:20.91 ID:OEQFvFGC.net
CoWはその性質上、空き領域をどんどん上書きするからSSDの速度低下が起きやすいようだ
定期的にトリムした方が良い、例えば毎朝と毎夕
マウントオプションでdiscardオプションを付けても良いがLinuxでは遅くなることが多い

fstrim -v /

946 :login:Penguin:2020/05/03(日) 18:58:52 ID:njMyCBBl.net
>>935
NILFS2開発者のMLにとりあえずの回避策が流れてた。
起動からマウントまでの間にそのFSのデバイスへの書き込みがあればいいので、
マウントの前に
dd if=/dev/なんとか of=/dev/なんとか count=1
みたいにダミーの書き込みを発生さればいいのだそう。
例えば、fstabから削除かnoautoにしてrc.localとかでdd, mountという流れとか。

947 :login:Penguin:2020/05/05(火) 05:14:55 ID:AUhfSTN7.net
>>946
ありがとう。

たぶんこれかな↓

https://marc.info/?l=linux-kernel&m=158825033005228&w=2

自分の場合も/homeがnilfs2なんでどうしたものかな???というところですわ。
サブ機のほうはbtrfsに替えてUbuntu20.04に上げたけどメイン機の方はどうするかなあ?

948 :login:Penguin:2020/05/26(火) 11:43:00 ID:1H93WhIH.net
Btrfsとかzfsって一台のhddだけで運用するのはたいしてメリットないの?

949 :login:Penguin:2020/05/26(火) 12:46:01.35 ID:+ELcO//y.net
あるだろ
圧縮とかスナックショトとか 盛りだくさんだわ
>>948

950 :login:Penguin:2020/05/26(火) 17:16:39.31 ID:o4/8jJLs.net
デュアルブートしてたらNTFSのMFTがミラー毎壊れたんですけどなんとかMFTを修復できませんかね?
EaseUS Data Recovery Wizardを使うとディレクトリやファイル名がそのままでデータ救出できるんですけど
という事はMFTも修復できるはずですよね?

951 :login:Penguin:2020/05/26(火) 22:43:28.04 ID:6YtvPgat.net
Btrfsの将来は

952 :login:Penguin:2020/05/27(水) 08:05:49.48 ID:uLCM26Hl.net
君の頑張り次第

953 :login:Penguin:2020/05/27(水) 12:56:13.77 ID:XCSTzVNb.net
まだ始まったばかりだ!
Oracke先生の次回作にご期待ください

954 :login:Penguin:2020/05/27(水) 20:57:11.66 ID:acGll7c1.net
xfsのCoWを有効化したまま1年以上使ったけど時々フリーズするなやっぱり
あとメモリ使用量がちょっと大きすぎるね。
まだまだext4安定の時代は続きそうだ

955 :login:Penguin:2020/05/27(水) 21:38:26 ID:0U4TUkPK.net
それならBtrfsの方が安定してるな。できたばかりでこれからなんだろうけど

956 :login:Penguin:2020/05/27(水) 21:42:16 ID:wyekam7t.net
2017年8月3日 Red Hat,RHEL 7.4リリースで"脱Btrfs"を明らかに
https://gihyo.jp/admin/clip/01/linux_dt/201708/03

957 :login:Penguin:2020/05/27(水) 22:26:06 ID:sT3KZO5+.net
ext5開発開始まだー

958 :login:Penguin:2020/05/28(木) 05:14:42.87 ID:6u6TfIVC.net
うーむbtrfsで組んでる領域どうしよう
compress標準サポートが貴重なんだけどな。
乗り換え先おすすめ教えてください。

959 :login:Penguin:2020/05/28(木) 09:40:13.16 ID:lg5ytPVY.net
なんでBtrfsなんか選択したんや…

960 :login:Penguin:2020/05/28(木) 09:46:17.62 ID:bvSCyOR7.net
Synologyが推してるBtrfs
Googleが使ってるBtrfs

961 :login:Penguin:2020/05/28(木) 09:54:45.61 ID:EreFZKCr.net
btrfsはヤヴァいと何度言えば(ry

962 :login:Penguin:2020/05/28(木) 10:35:33.75 ID:kpVDAvmO.net
>>958
zfs

963 :login:Penguin:2020/05/28(木) 11:26:26.96 ID:ztRPopnD.net
なんだかんだでLinuxで高機能モダンファイルシステム使おうと思うととりあえず何も考えずに使えるのがBtrfsなんだよね。
こまめにバックアップ取りながら人柱のつもりで突っ込んだのに、意外と問題出ないし……

964 :login:Penguin:2020/05/28(Thu) 12:31:52 ID:A6PA4iBR.net
Google遣ってるならBtrfsの未来は明るいと思ってしまう不思議

965 :login:Penguin:2020/05/28(Thu) 12:36:38 ID:rCbDOGHF.net
>>963
俺も数年使ってるけど何も問題起きてないわ
ぼんやり使ってるだけだから気付いてないだけの可能性もあるけど

966 :login:Penguin:2020/05/28(木) 14:51:58.35 ID:kpVDAvmO.net
ぐぐたすヲもう忘れたのか?

967 :login:Penguin:2020/05/28(Thu) 16:25:14 ID:qJC8ExER.net
IT巨人で信頼できるのはMSだけだわ
Window以外はブッチギリで有能

968 :login:Penguin:2020/05/28(木) 22:47:31.09 ID:35G/ZT7g.net
Vista以降のWindowsもNTFSも優秀だよ
今時こんな堅牢なOSちょっと無いよ

969 :login:Penguin:2020/05/29(金) 01:50:04.11 ID:/sA5f8CX.net
https://wiki.archlinux.jp/index.php/Btrfs
本当に隅から隅まで問題が起きていないのか、問題が起きた時にfsckの類が動くのか、etc
よくbtrfsなんぞ使えるな・・・

970 :login:Penguin:2020/05/29(金) 05:52:56.10 ID:BCgb8iXY.net
そんなこと言ったらext4もxfsも使えんぞ

971 :login:Penguin:2020/05/30(土) 22:19:12.00 ID:rxDacgPJ.net
ext4もxfsもBtrfs程の問題は抱えてないだろうて
Btrfsは解決の目途が立ってない既知の問題点が多すぎる

972 :login:Penguin:2020/05/31(日) 00:36:23.90 ID:O/t7Lowh.net
具体的に何が既知の問題なんだ?

973 :login:Penguin:2020/05/31(日) 00:46:30.60 ID:4i1+bTSg.net
何故>>969すら見ないのか・・・

974 :login:Penguin:2020/05/31(日) 00:56:48.74 ID:O/t7Lowh.net
>>973
そこ見たら実験的な機能が多いのは分かるけど
普通に使って問題が起きるようなことは書いていないが

975 :login:Penguin:2020/05/31(日) 01:04:37 ID:4i1+bTSg.net
マウントオプションを貪らずに一切エラーが起きなきゃな
起きた時が問題だからbtrfs checkで全部を直せないとかマウントオプション云々だとか散々警告されてんだろうに
RedHatが匙を投げたって時点でお察し

976 :login:Penguin:2020/06/01(月) 15:44:25 ID:RZhBr4iC.net
Googleってbtrfs使ってんの?

977 :login:Penguin:2020/06/01(月) 18:14:25 ID:7+mv9XDP.net
redhat引き合いに出してbtrfsオワコン唱えるやつ多いけどbtrfs開発者がredhatやめたってだけ
んでまともに触れる社員いないfsはサポート無理ってのとチーム内にXFS開発者ならいっぱいいるからだって元社員がいってたぞ

googleは知らんが大御所で使ってる、貢献してるのはfacebookと富士通とかだな

978 :login:Penguin:2020/06/01(月) 18:38:32.80 ID:uT4k0Fz5.net
GoogleはChromeOS内のLinux環境で使ってるだけ

979 :login:Penguin:2020/06/01(月) 18:40:48.93 ID:2PrO6u28.net
>>978
それってけっこうデカくね?

980 :login:Penguin:2020/06/01(月) 19:50:25 ID:OAVwE/lA.net
遭遇してもクリーンインスコすりゃいいって程度のシステムならbtrfsでも問題にならんのだろうけどな

redhatの件が無くてもbtrfsは昔からモグラ叩きの繰り返しだし、
未だにRAIDやファイルチェック周辺すら完全にできてないし、どこに地雷があるかわからん
一部のfsのエラーを修復できませんって、そのエラーに遭遇した時にどうすんだよと

981 :login:Penguin:2020/06/01(月) 21:36:44.83 ID:9JaREmBh.net
クライアント(スナップショット/RAIDなし)で使えててもファイルサーバで
安心して使えるかというとそうじゃないからなあ

982 :login:Penguin:2020/06/01(月) 21:56:25.70 ID:2PrO6u28.net
スナップショットもRAIDも使ったし、オンラインでストレージ構成変えまくったけど問題出なくて(しかも構成変更が柔軟過ぎて)拍子抜けしたんだよなぁ。
ファイルサーバ用途でこそ輝くよこれ(バックアップはこまめにね)

983 :login:Penguin:2020/06/02(火) 11:47:13 ID:6oGgMjKL.net
ファイルサーバーっていう言葉で考えているものが全然違う二人で会話してる感じがする

984 :login:Penguin:2020/06/02(火) 12:27:10 ID:sg8jbCA1.net
Terastation クラスの NAS(Btrfs 利用だと Synology の製品)/エントリークラスか
会社のファイルサーバ(Isilon や NetApp やその対抗製品クラス)/
エンタープライズクラスかってことかな

クラウド化やセキュリティ強化が進むにつれてエントリークラスの需要は
落ちる/落ちてるんじゃないかな

985 :login:Penguin:2020/06/04(Thu) 01:47:45 ID:xNtEdgfL.net
ノートPCをCoW有効にしたXfsにしてるけど
メモリ使いすぎて本気で後悔してる。
省メモリなFSだとext4が良いのかな?
どこかにFSごとのメモリ使用量の比較データとかあたりしない?

986 :login:Penguin:2020/06/04(木) 07:54:18.56 ID:gBysGF/t.net
そんなにメモリ食うの?

987 :login:Penguin:2020/06/04(木) 09:23:07.24 ID:Bs6FKlOi.net
信じられないくらい食う
プロセスの合計メモリ使用量は大したことないのに
簡単にスワップ突入するよ。

988 :login:Penguin:2020/06/04(木) 09:40:20.48 ID:DMZuMarq.net
CoWとジャーナリングなら比べるのも愚かというレベル

989 :login:Penguin:2020/06/04(木) 09:51:37.00 ID:Bs6FKlOi.net
というかカーネル4.18からDefaultでreflink有効になったのかよ・・・
https://blogs.oracle.com/linux/xfs-data-block-sharing-reflink
もはやxfsは別物じゃん

990 :login:Penguin:2020/06/04(木) 11:31:13.32 ID:DQZXMKEK.net
>>985
使ってないけどメモリ制限できるんでは?

991 :login:Penguin:2020/06/04(木) 12:01:52.27 ID:gBysGF/t.net
dedup使ってるとかでもなしにそんなメモリ食うのか。
Btrfsがメモリ食わないからCoW自体は対してメモリ食わないものだと思ってた

992 :login:Penguin:2020/06/04(木) 15:07:25.35 ID:x4v3XzWR.net
CoWを無効にしたXFS使って比較しろよ

993 :login:Penguin:2020/06/04(木) 17:36:35.28 ID:7r9XEAZX.net
>>946

これはGood News?

>> Wondering if it can be reproduced on mainline with c3aab9a0bd91
>> ("mm/filemap.c: dont initiate writeback if mapping has no dirty pages")
>> reverted?
>
> For mainline kernels with that commit reverted, this oops actually
> doesn't occur.

https://marc.info/?l=linux-nilfs&m=159101200114980&w=2

994 :login:Penguin:2020/06/05(金) 14:07:47.91 ID:jA3wZpDc.net
>>993 で引用された部分は
「ホントにc3aab9a0bd91なしだと起きないん?」「そだよ」
と言ってるだけだけど、
落ちるまでの流れはわかったっぽいしまだ不安定ながらパッチもできた、
というのが現状かな。

995 :login:Penguin:2020/06/08(月) 15:13:54.40 ID:PPU2wP+g.net
>>994
で、もう正式に入れてちょうだいってパッチも出たんだけど、
実質1行追加するだけだった。

こういうパッチ好き。
実際どうかは知らないけど、いかにも問題を追求し切ったって感じがして。

996 :login:Penguin:2020/06/13(土) 14:52:24.01 ID:Qx8FdC0t.net
次スレ
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50

997 :996:2020/06/13(土) 14:53:58.96 ID:Qx8FdC0t.net
なぜか、NGに引っかかったので、関連スレの途中までしか書けていません。
あと、リンク切れの場合は、ご容赦ください。

998 :login:Penguin:2020/06/13(土) 14:54:55.61 ID:Qx8FdC0t.net
次スレ
ファイルシステム総合スレ その18
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50

999 :login:Penguin:2020/06/13(土) 14:55:57.84 ID:Qx8FdC0t.net
間違えた。
ファイルシステム総合スレ 「その19」
でした。
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50

1000 :login:Penguin:2020/06/13(土) 14:56:51.52 ID:Qx8FdC0t.net
ファイルシステム総合スレ その19
https://mao.5ch.net/test/read.cgi/linux/1592027147/l50

1001 :2ch.net投稿限界:Over 1000 Thread
2ch.netからのレス数が1000に到達しました。

総レス数 1001
241 KB
掲示板に戻る 全部 前100 次100 最新50
read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★