Kodowanie Huffmana wypierane przez ANS pochodzące z Polski (m.in. Apple, Facebook, Google)

Odpowiedz Nowy wątek
2016-11-26 12:24
4

Chyba wszyscy informatycy słyszeli o kodowaniu Huffmana - jest ono szybkie ale niedokładne (przybliża prawdopodobieństwa potęgami 1/2), lepszy stopień kompresji daje kodowanie arytmetyczne, tyle że jest znacznie bardziej kosztowne obliczeniowo (potrzebuje mnożenia).
Okazuje się że od 2014 nowe kompresory są oparte już na innym kodowaniu (ANS), które pochodzi z Uniwersytetu Jagiellońskiego - jest ono dokładne i tanie obliczeniowo (nie potrzebuje mnożenia):
Wikipedia: https://en.wikipedia.org/wiki/Asymmetric_Numeral_Systems
wiadomość z UJ: http://www.uj.edu.pl/wiadomos[...]_d82lKZvhit4m/10172/134381865
materiały: http://encode.ru/threads/2078[...]meral-Systems-implementations

Przykładowo obecnie domyślny kompresor Apple (LZFSE), czy open-source kompresor z Facebook (Zstandard), który ma aspiracje do wyparcia standardowego gzip/zlib (zip-y) jako że jest kilkukrotnie szybszy i pozwala na znacznie lepszą kompresję:
https://github.com/facebook/zstd
user image

tytuł jest dość niefortunny, dopisz tam "pochodzące" żeby to można było od razu dobrze zrozumieć - Wibowit 2016-11-26 12:33
a i możesz dodać obrazek jako załącznik - wtedy nie zniknie nawet gdy dropbox go usunie - Wibowit 2016-11-26 12:40

Pozostało 580 znaków

2018-09-17 21:34
0

Dostaniesz dwa różne efekty, dla całego obrazka rozmycie zwiększy objętość, a dla skadrowanego rozmycie zmniejszy objętość.

Bez kadrowania:

  • rozmiar oryginalny: 155309 bajtów <- nie liczy się, bo jest plikiem wejściowym
  • rozmiar po eksporcie do JPG z pewnymi ustawieniami: 173664 bajty
  • rozmiar po eksporcie do JPG z tymi samymi ustawieniami co powyżej ale poprzedzone lekkim rozmyciem: 166094 bajty

Rozmywanie dalej zmniejsza rozmiar JPGa.


"Programs must be written for people to read, and only incidentally for machines to execute." - Abelson & Sussman, SICP, preface to the first edition
"Ci, co najbardziej pragną planować życie społeczne, gdyby im na to pozwolić, staliby się w najwyższym stopniu niebezpieczni i nietolerancyjni wobec planów życiowych innych ludzi. Często, tchnącego dobrocią i oddanego jakiejś sprawie idealistę, dzieli od fanatyka tylko mały krok."
Demokracja jest fajna, dopóki wygrywa twoja ulubiona partia.
edytowany 1x, ostatnio: Wibowit, 2018-09-17 21:34

Pozostało 580 znaków

2018-09-17 22:00
exp6
1

Najwyraźniej jest tu problem z definicją informacji w obrazach, no i stąd te bezsensowne próby i wnioski.

Tu masz 'realne' obrazy do wypróbowania:
http://hubblesite.org/images/gallery

ściągnij coś tam w full rozdzielczości, np. to:
http://hubblesite.org/image/4229/gallery

no i przetestuj co z tego wyjdzie po rozmyciu i kompresji (bezstratnej).

Napracowali się żeby to narysować. Plus za grafikę w klimacie SF. - vpiotr 2018-09-17 22:23

Pozostało 580 znaków

2018-09-17 22:16
2

ściągnij coś tam w full rozdzielczości, np. to:
http://hubblesite.org/image/4229/gallery

no i przetestuj co z tego wyjdzie po rozmyciu i kompresji (bezstratnej).

Rozmiary:

  • wejściowy 99404821 bajtów <- nieistotny bo nie wiadomo czym skompresowane
  • wyeksportowane GIMPem do PNG: 99662285 bajtów
  • rozmyte Gaussem (promień 3 piksele) i wyeksportowane jak wyżej: 63381439 bajtów

Po rozmyciu obraz jest ponad 1/3 mniejszy.


"Programs must be written for people to read, and only incidentally for machines to execute." - Abelson & Sussman, SICP, preface to the first edition
"Ci, co najbardziej pragną planować życie społeczne, gdyby im na to pozwolić, staliby się w najwyższym stopniu niebezpieczni i nietolerancyjni wobec planów życiowych innych ludzi. Często, tchnącego dobrocią i oddanego jakiejś sprawie idealistę, dzieli od fanatyka tylko mały krok."
Demokracja jest fajna, dopóki wygrywa twoja ulubiona partia.
wypłatę też podajesz w groszach? - WeiXiao 2018-09-17 22:58
W ziemniakach. - Wibowit 2018-09-17 23:13

Pozostało 580 znaków

2018-09-17 22:43
exp6
0

Faktyczne to się zmniejsza, a nie zwiększa - i tak ma być, uśrednianie jest zawsze stratne!

Pomyliło mi się już na początku, bo ja robiłem coś zupełnie innego:
podczas korygowania obrazów, zwykle takich marnej jakości - ze skanera,
najpierw to powiększałem np. 2x i teraz wygładzałem;
potem korygowałem kolory i z powrotem wyostrzałem i finalnie zmniejszałem do pierwotnych rozmiarów.

No i po tym wszystkim było to o niebo lepszej jakości, ale i większe po skompresowaniu.

Niekiedy jeszcze odejmowałem to wygładzone z oryginałem (tworząc niby maskę do korekty), co potem wymnażałem z oryginałem - wtedy to już było super ale i dużo większe!

Pozostało 580 znaków

2018-09-17 23:07
exp6
0

A tak na marginesie, z tych prozaicznych obrazków z teleskopów można niekiedy wyciskać fantastyczne - ukryte informacje!

Tu jest przykład:
http://lempel.pagesperso-oran[...]onts_de_matiere_arp102_uk.htm

obraz oryginalny:
title

a po obróbce wygląda to tak:
title

czyli widać wyraźnie że te galaktyki są tam faktycznie powiązane - coś tam wyraźnie przepływa pomiędzy nimi.

Pozostało 580 znaków

2018-09-17 23:43
4

Faktyczne to się zmniejsza, a nie zwiększa - i tak ma być, uśrednianie jest zawsze stratne!

Pomyliło mi się już na początku, bo ja robiłem coś zupełnie innego:

No i to jest świetne podsumowanie całego tego nielogicznego bredzenia.


"Programs must be written for people to read, and only incidentally for machines to execute." - Abelson & Sussman, SICP, preface to the first edition
"Ci, co najbardziej pragną planować życie społeczne, gdyby im na to pozwolić, staliby się w najwyższym stopniu niebezpieczni i nietolerancyjni wobec planów życiowych innych ludzi. Często, tchnącego dobrocią i oddanego jakiejś sprawie idealistę, dzieli od fanatyka tylko mały krok."
Demokracja jest fajna, dopóki wygrywa twoja ulubiona partia.

Pozostało 580 znaków

2018-09-18 17:13
exp6
0

Masz kolejny problem do rozwiązania: jaki jest limit tych strat informacji, z rozmycia, itp. aby obraz był nadal czytelny?

Chodzi mi o coś takiego z czym mamy do czynienia np. we mgle, lub gdy pada śnieg:
widoczność wtedy maleje z dystansem, aż do zera, tyle że w teorii to nigdy nie jest zerem,
ponieważ to idzie zgodnie z funkcją: exp(-x), co zeruje się dopiero w nieskończoności.

Zatem pytanie jest proste:
ile procent tej informacji wystarcza do zidentyfikowania znanych obiektów, jak np. latarnia na ulicy,
albo galaktyka na tych obrazkach z kosmosu - 1%, 5%, a może 10%?

Pozostało 580 znaków

2019-04-24 14:00
0

Jest wideo tutorial o ANS:


I wykład z Berkeley (od 41 minuty):

edytowany 1x, ostatnio: elenorf, 2019-04-24 14:02

Pozostało 580 znaków

Odpowiedz
Liczba odpowiedzi na stronę

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0