Istota informatycznego pojmowania informacji

Uczę się o informacji z takiej książki https://ksiegarnia.pwn.pl/seria/Wyklady-z-informatyki,s,762767361 i jest tam fragment w wikipedii:

Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) – termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej – właściwość pewnych obiektów[1], relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności)[2].

Z tej definicji wybrano ceche informacji, która brzmi następująco:

Informacje niesie każde zjawisko zmniejszające niepewność

Jak wy tą ceche postrzegacie w kontekście informatyki. Bo generalnie staram się stworzyć "informatyczną" definicje informacji i czerpe garściami z różnych źródeł. Czy to co jest tutaj napisane "Informacje niesie każde zjawisko zmniejszające niepewność" można odnieść w jakiś sposób do informatyki. O jakie zjawiska może tutaj chodzić. Mi się osobiście wydaje że tutaj chodzi o źródła, ewentualnie sposoby w jakie człowiek może pogłębiać swoją wiedze na różne tematy poprzez rozwój n technologi dzięki informatyce.

Albo inaczej. Jak rozumieć "zjawisko" w kontekście informatyki?

Wez z tymi pytaniami idz na jeskieś Forum filozoficzne. Tu są normalni ciezko pracujący ludzie co nie mają czasu na takie rzeczy.

Ja jestem niepewny jak mam wysoką entropię, dość łatwo to jest policzalne.

Będąc w labiryncie jak nie wiem jak się w nim poruszać to będę miał wektor, prawdopodobieństw we wszystkich kierunkach identyczny, chodź wraz uczeniem będzie się zmniejszała entropia.
Teraz wystarczy pomnożyć prawdopodobieństwa razy logarytm z tych prawdopodobieństw, zsumować i znak odwrócić.
-np.sum(p * np.log(p))

Jak się uczysz czegoś nowego to tak jakbyś nie wiedział jak się poruszać w danej technologii/języku, potem dalej będziesz błądził, ale sprawniej pokonasz te problemy.

piotrek1998 napisał(a):

Z tej definicji wybrano ceche informacji, która brzmi następująco:

Informacje niesie każde zjawisko zmniejszające niepewność

Jak wy tą ceche postrzegacie w kontekście informatyki.

jak się bawiłem w robienie drzewek decyzyjnych to tam było coś podobnego i się liczyło wg jakiegoś wzoru tzw. Information gain

Czyli przy konkretnych algorytmach może coś podobnego się pojawić.