Montowanie dużego (rzędu EB) storage pod linuxem - ograniczenia?

Odpowiedz Nowy wątek
2020-06-26 14:29

Rejestracja: 3 tygodnie temu

Ostatnio: 18 godzin temu

0

Czy pod linuxem (powiedzmy najnowszy debian, stockowy kernel) jest jakieś ograniczenie na rozmiar storage który można zamontować?
Potrzebuję zamontować coś stosunkowo dużego i zastanawiam się czy trafię na jakieś problemy w tym przypadku
Przy 8/16EB kończy nam się int64/uint64 przy liczeniu pojemności, z tego co poczytałem o różnych FS to okolice 16EB to górny limit pojemności by design (aczkolwiek nie dla wszystkich) - czy to może spowodować jakieś problemy w obsłudze?
Ah, i w moim przypadku chodzi o montowanie przez FUSE

edytowany 1x, ostatnio: samosa, 2020-06-26 14:32

Pozostało 580 znaków

2020-06-26 14:45
Moderator

Rejestracja: 12 lat temu

Ostatnio: 27 minut temu

Lokalizacja: Wrocław

4

Ah, i w moim przypadku chodzi o montowanie przez FUSE

Przez FUSE możesz sobie montować pliki o nieograniczonej pojemności (na podobnej zasadzie jak działa np. /dev/zero albo /dev/random) - system plików na hoście nie ma żadnego znaczenia.


edytowany 5x, ostatnio: Patryk27, 2020-06-26 14:48

Pozostało 580 znaków

2020-06-26 14:48
Moderator

Rejestracja: 12 lat temu

Ostatnio: 16 godzin temu

2

To zależy głównie od systemu plików jaki użyjesz. ZFS i Btrfs powinny dać radę z luzem. Ciekawi mnie tylko, skąd tyle danych chcesz mieć.


Pozostało 580 znaków

2020-06-29 10:37
Moderator

Rejestracja: 16 lat temu

Ostatnio: 39 minut temu

3

Ciekawi mnie tylko, skąd tyle danych chcesz mieć.

Dane jak dane, mnie bardziej ciekawi jak on to chce fizycznie wpiąć do jednej maszyny. Powiedzmy że można teraz kupić 16 TB dysk, więc 16EB to jest milion (!) takich dysków. Są jakieś taśmy które podchodzą pod 1PB, ale to nadal jest 16 tysięcy takich taśm!


Masz problem? Pisz na forum, nie do mnie. Nie masz problemów? Kup komputer...
Pokaż pozostałe 4 komentarze
Gdzie ty pracujesz ze macie filesystem na 8/16 EB? Ja mam trochę petabajtów i myślałem ze to juz big data ale widzę że nic z tego :D - Shalom 2020-06-30 23:22
Może w amazonie :D - scibi92 2020-06-30 23:24
@Shalom mówiłem :D :D :D @samosa z ciekawości, ile ten filesystem mniej więcej zajmuje (fizycznie / geograficznie)? :D - superdurszlak 2020-06-30 23:32
@superdurszlak: Nie mam pojęcia, można sobie próbować oszacować - zakładając 100TB per maszyna 2u, 42u szafa, to daje 4000 szaf na 8EB. Przy 3u będzie jakieś 6000 szaf - samosa 2020-07-01 14:31
@Shalom: Myślę że s3 ma więcej storage, skoro sam snowmobile wciaga to 100PB ;) - samosa 2020-07-01 14:34

Pozostało 580 znaków

Odpowiedz

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0