Alla datafiler består av byte. En byte kan ta värden från 0 till 255. Informationsentropi är en statistisk parameter som visar sannolikheten för förekomst av vissa byte i en fil.
Du kan visuellt bedöma graden av entropi med hjälp av ett histogram - fördelningen av sannolikheten för att upprepa samma byte i en fil. Från filens entropi kan vi gissa vilken typ av fil som ligger framför oss, eftersom vi bara ser dess histogram.
För demonstration, låt oss ta tre filer av olika typer och jämföra deras histogram. Låt den första vara en textfil (*. TXT). Dess histogram visas i figuren:
Textfilen innehåller endast text. Varje tecken i texten kodas med vissa byte i enlighet med kodningstabellen. Även om det finns ett stort antal kodningstyper är det uppenbart att det finns ett begränsat antal alfanumeriska tecken, som vanligtvis är mindre än 255. Därför är endast vissa områden upptagna i det första histogrammet, och vissa byte är inte alls.
Följande fil kommer att vara i PDF-format:
Den här filen innehåller alla möjliga byte, eftersom PDF är kodad annorlunda än textfiler. Den lagrar mycket serviceinformation: formatering, teckensnitt, bilder etc. Men dess histogram visar att vissa byte förekommer med ungefär lika sannolikhet, medan andra - mycket oftare än andra. Därför har de flera skarpa sprängningarna på histogrammet, och i allmänhet har det ett ganska "trasigt" utseende, även om det upptar hela den tillgängliga bredden.
Och den sista filen är zippad i 7Z-format:
Detta histogram har två huvudfunktioner: för det första finns alla byte i den zippade filen med mer eller mindre lika sannolikhet (en ganska platt övre kant), och för det andra finns det praktiskt taget inget ledigt utrymme ovanför histogrammet, vilket indikerar en nästan fullständig frånvaro av redundans en sådan fil. Därför kan vi dra slutsatsen att arkiveringsalgoritmen på något speciellt sätt "blandar" filens byte för att uppnå deras maximala enhetliga fördelning.
Således är entropi inom datavetenskap, som i fysik, ett mått på störningen i systemet, i detta fall störningen i fördelningen av byte i filen. Med Entropy kan du bedöma graden av komprimering av filen och - indirekt - om dess typ.
