Wielu polega na LLM również do wykonywania operacji matematycznych. Takie podejście nie działa.

Problem jest w rzeczywistości prosty: duże modele językowe (LLM) tak naprawdę nie wiedzą, jak mnożyć. Czasami mogą uzyskać prawidłowy wynik, tak jak ja mogę znać wartość liczby pi na pamięć. Nie oznacza to jednak, że jestem matematykiem, ani że LLM naprawdę wiedzą, jak robić matematykę.

Praktyczny przykład

Przykład: 49858 * 59949 = 298896167242 Wynik jest zawsze taki sam, nie ma kompromisu. Jest albo dobry, albo zły.

Nawet przy ogromnym treningu matematycznym, najlepsze modele potrafią poprawnie rozwiązać tylko część operacji. Z drugiej strony, prosty kalkulator kieszonkowy zawsze uzyskuje 100% poprawnych wyników. A im większe liczby, tym gorsza wydajność LLM.

Czy możliwe jest rozwiązanie tego problemu?

Podstawowym problemem jest to, że modele te uczą się przez podobieństwo, a nie przez zrozumienie. Najlepiej radzą sobie z problemami podobnymi do tych, na których zostały wytrenowane, ale nigdy nie rozwijają prawdziwego zrozumienia tego, co mówią.

Dla tych, którzy chcą dowiedzieć się więcej, proponuję ten artykuł na temat "jak działa LLM".

Z drugiej strony, kalkulator wykorzystuje precyzyjny algorytm zaprogramowany do wykonywania operacji matematycznych.

Właśnie dlatego nigdy nie powinniśmy całkowicie polegać na LLM w obliczeniach matematycznych: nawet w najlepszych warunkach, z ogromną ilością konkretnych danych szkoleniowych, nie mogą one zagwarantować niezawodności nawet w najbardziej podstawowych operacjach. Podejście hybrydowe może zadziałać, ale same LLM nie wystarczą. Być może takie podejście zostanie zastosowane do rozwiązania tak zwanego"problemu truskawkowego".

Zastosowania LLM w nauce matematyki

W kontekście edukacyjnym, LLM mogą działać jako spersonalizowani nauczyciele, zdolni do dostosowania wyjaśnień do poziomu zrozumienia ucznia. Na przykład, gdy uczeń staje przed problemem związanym z rachunkiem różniczkowym, LLM może podzielić rozumowanie na prostsze kroki, dostarczając szczegółowych wyjaśnień dla każdego etapu procesu rozwiązywania. Takie podejście pomaga zbudować solidne zrozumienie podstawowych pojęć.

Szczególnie interesującym aspektem jest zdolność LLM do generowania odpowiednich i zróżnicowanych przykładów. Jeśli uczeń próbuje zrozumieć pojęcie granicy, LLM może przedstawić różne scenariusze matematyczne, zaczynając od prostych przypadków i przechodząc do bardziej złożonych sytuacji, umożliwiając w ten sposób stopniowe zrozumienie tego pojęcia.

Jednym z obiecujących zastosowań jest wykorzystanie LLM do tłumaczenia złożonych pojęć matematycznych na bardziej przystępny język naturalny. Ułatwia to komunikację matematyki z szerszą publicznością i może pomóc pokonać tradycyjną barierę dostępu do tej dyscypliny.

LLM może również pomóc w przygotowaniu materiałów dydaktycznych, generując ćwiczenia o różnym stopniu trudności i dostarczając szczegółowych informacji zwrotnych na temat proponowanych przez uczniów rozwiązań. Pozwala to nauczycielom na lepsze dostosowanie ścieżki nauki swoich uczniów.

Prawdziwa zaleta

Należy również wziąć pod uwagę, bardziej ogólnie, ekstremalną "cierpliwość" w pomaganiu nawet najmniej "zdolnemu" uczniowi w nauce: w tym przypadku pomaga brak emocji. Mimo to nawet ai czasami "traci cierpliwość". Zobacz ten "zabawny przykład.

‍

Aktualizacja 2025: Modele rozumowania i podejście hybrydowe

Lata 2024-2025 przyniosły znaczący rozwój wraz z pojawieniem się tak zwanych "modeli rozumowania", takich jak OpenAI o1 i deepseek R1. Modele te osiągnęły imponujące wyniki w benchmarkach matematycznych: o1 poprawnie rozwiązuje 83% problemów w Międzynarodowej Olimpiadzie Matematycznej, w porównaniu do 13% dla GPT-4o. Ale uwaga: nie rozwiązały one podstawowego problemu opisanego powyżej.

Problem z truskawkami - liczenie "r" w słowie "truskawka" - doskonale ilustruje trwałe ograniczenie. o1 rozwiązuje go poprawnie po kilku sekundach "rozumowania", ale jeśli poprosisz go o napisanie akapitu, w którym druga litera każdego zdania tworzy słowo "CODE", nie powiedzie się. o1-pro, wersja za 200 USD miesięcznie, rozwiązuje go... po 4 minutach przetwarzania. DeepSeek R1 i inne najnowsze modele nadal źle liczą podstawowe dane. W lutym 2025 r. Mistral wciąż odpowiadał, że w słowie "truskawka" są tylko dwa "r".

Pojawiającą się sztuczką jest podejście hybrydowe: kiedy muszą pomnożyć 49858 przez 5994949, bardziej zaawansowane modele nie próbują już "odgadnąć" wyniku na podstawie podobieństw do obliczeń widzianych podczas treningu. Zamiast tego wywołują kalkulator lub wykonują kod Pythona - dokładnie tak, jak zrobiłby to inteligentny człowiek, który wie, jakie są jego ograniczenia.

To "wykorzystanie narzędzi" stanowi zmianę paradygmatu: sztuczna inteligencja nie musi być w stanie zrobić wszystkiego sama, ale musi być w stanie zaaranżować odpowiednie narzędzia. Modele rozumowania łączą zdolność językową do zrozumienia problemu, rozumowanie krok po kroku w celu zaplanowania rozwiązania i delegowanie do wyspecjalizowanych narzędzi (kalkulatorów, interpreterów Pythona, baz danych) w celu precyzyjnego wykonania.

Wniosek? LLM z 2025 roku są bardziej przydatni w matematyce nie dlatego, że "nauczyli się" mnożyć - tak naprawdę jeszcze tego nie zrobili - ale dlatego, że niektórzy z nich zaczęli rozumieć, kiedy delegować mnożenie tym, którzy faktycznie potrafią to zrobić. Podstawowy problem pozostaje: działają na zasadzie statystycznego podobieństwa, a nie algorytmicznego zrozumienia. Kalkulator za 5 euro pozostaje nieskończenie bardziej niezawodny do dokładnych obliczeń.

‍