-
Mierzenie poprawności odpowiedzi LLM
Odpowiedź modelu językowego (LLM) jest zawsze obarczone pewną niepewnością, podobnie jak każdej innej głębokiej sieci neuronowej i klasycznych modeli uczenia maszynowego. LLM generując odpowiedź na zapytanie (prompt) dobiera kolejne tokeny, czyli słowa i znaki interpunkcyjne, w oparciu o prawdopodobieństwo ich występowania. Ta niepewność powinna ograniczać nasze zaufanie do wyników działania modeli językowych o ile jesteśmy świadomi jej istnienia. Z drugiej strony w zależności od zastosowania różna jest też nasza tolerancja na błędy LLM’ów. W niniejszym artykule chciałem osiągnąć dwa cele. Pierwszym było porównanie odpowiedzi LMM dla obszarów, które znacząco różnią się zasobem wiedzy, na której uczono model językowy. Drugim celem było porównanie możliwości testów narzędziami offline oraz z użyciem OpenAI,…
-
Między eksperymentem a harmonogramem – planowanie projektów AI z PERT i Monte Carlo
Czas dostarczenia projektu IT jest niejednokrotnie jednym z kluczowych czynników sukcesu produktu cyfrowego na rynku, a pracochłonność jest często głównym składnikiem jego kosztu. Dlatego tak ważna jest informacja o prawdopodobnym terminie dostarczenia i potencjalnym koszcie projektu. Nie inaczej jest z projektami AI. W gruncie rzeczy są to projekty IT, tyle że rozszerzone o bardzo istotną część jaką są modele ML/AI. Oczywiście w skład mogą wchodzić także inne prace związane z budową urządzeń, montażem czujników, itd. W niniejszym artykule przyjrzymy się również jak za pomocą języka Python wykonać symulacje Monte Carlo w celu oszacowania czasu realizacji zadań metodą PERT by oszacować czas realizacji projektu oraz jego pracochłonność. Niepewność i złożoność zadań…
-
Perkolacja, czyli rozwiązywanie problemów przy kawie.
Parzenie i picie kawy to czynność, która niezależnie od pory dnia pobudza wiele innych osób do dalszej aktywności, wpływając na nasz nastrój i energię. Natomiast sam fizyczny proces parzenia kawy może być zastosowany do rozwiązania problemów w wielu dziedzinach naukowych, funkcjonowania przedsiębiorstw i codziennego życia nas wszystkich. Jeśli planujesz spotkanie to przy kawie Od najmłodszych lat aromat kawy jest dla mnie symbolem kreatywności i pozytywnej werwy w rozwiązywaniu problemów. Pamiętam jak rodzice zawsze razem pili kawę i rozmawiali o różnych rzeczach. Z obserwacji wiem, że kawa podawana na spotkaniach, czy podczas pracy w grupach jest jak krew roznosząca tlen. Potwierdza to eksperyment przeprowadzony na Uniwersytecie w Kalifornii w 2018 roku…
-
Fizyka zmienia uczenie maszynowe
Uczenie maszynowe (ang. machine learning – ML) odcisnęło piętno praktycznie na każdym aspekcie naszego życia i to w bardzo krótkim czasie. Ten element sztucznej inteligencji zrewolucjonizował nie tylko handel i e-commerce odcisnęło piętno zastosowanie elementów sztucznej inteligencji uczenie maszynowe w większym lub mniejszym stopniu Nie ma chyba już aspektów życia w którym uczenie maszynowe nie odcisnęłoby swojego piętna. Modele naukowe a życie Każdy model fizyczny ma za zadanie jak najbardziej wiernie opisać rzeczywistą sytuację lub proces. Dotyczy to zresztą wszystkich modeli naukowych od fizyki przez chemię i biologię po ekonomię i socjologię. Modele bazując na odkrytych prawach naturalnych i teoriach biorą pod uwagę wiele zmiennych, które opisują realne sytuacje i…
-
Narzędzia do automatyzacji eksploracyjnej analizy danych (EDA) w Python
Zrozumienie danych jest pierwszym i najważniejszym krokiem w Data Science i budowie dobrego modelu uczenia maszynowego. Służy do tego analiza eksploracyjna danych (EDA, ang. Exploratory Data Analysis), która jest iteracyjnym, ekscytującym, ale często bardzo żmudnym procesem. Proces zrozumienia i przygotowania danych, którego EDA jest nieodłączną częścią stanowi nawet 80% całego czasu poświęconego na budowę modelu. Z pomocą przychodzi automatyzacja eksploracji, która jest kluczem do usystematyzowania tego procesu i redukcji kosztów. Biblioteki w Python przeznaczone do manipulacji danymi, wizualizacji i uczenia maszynowego jak pandas, scikit-learn, czy seaborn, zawierają w sobie narzędzia, które analizę ułatwiają, jednak nie są stworzone z myślą o automatyzacji powtarzalnych czynności. Ta jest zostawiana twórcom eksperymentów i programistom.…
-
Środowisko pracy Data Science w Python
Każdy specjalista ma swój własny ulubiony zestaw narzędzi i warsztat pracy. Przy okazji uruchomienia kolejnej wersji środowiska wirtualnego Python dla Data Science postanowiłem podzielić się z Wami swoim podstawowym zestawem narzędzi. Conda jako środowisko pracy Ze względu na system operacyjny MS Windows najwygodniejszym środowiskiem jest dla mnie Conda. Przede wszystkim dlatego, że mam do dyspozycji gotowe, stabilne, przetestowane paczki działające pod Windows’em i nie muszę tracić czasu na ich kompilacje (co nie zawsze jest bezproblemowe), czy też ściągać pliki wheel lub egg. Oczywiście nie wszystko znajduje się w repozytoriach Conda, ale do dyspozycji mamy ciągle PyPI. Dodatkowe kanały z paczkami, które należy dodać do standardowej instalacji Conda: Stworzenie środowiska wirtualnego…
