Entropia jako koncept naukowy i mierzalna wielkość określająca nieuporządkowanie, niejednorodność, przypadkowość i niepewność funkcjonuje we wszystkich naukach przyrodniczych, socjologii, ekonomii i teorii informacji. Krótko mówiąc im większa entropia tym większy nieporządek, a mówiąc potocznie chaos i bałagan. Pierwszy raz entropia została zdefiniowana w połowie XIX wieku przez fizyków w termodynamice jako funkcja stanu określająca kierunek zachodzących zmian i przepływu energii. Bardzo szybko zaczęto koncepcję entropii termodynamicznej przekładać na inne dziedziny naukowe. Szybko też naukowcy doszli do wniosku, że musi być ona powiązana z tak abstrakcyjnym tworem jak informacja. Z punktu widzenia uczenia maszynowego to właśnie analogia pomiędzy entropią w fizyce a entropią w teorii informacji umożliwia lepsze wykorzystanie uczenia maszynowego…