Entscheidungsmodelle lokal betreiben: was eine Messung auf deutschen Daten zeigt
Seit Ollama 0.35 laufen Entscheidungsmodelle auf dem eigenen Rechner. Eine Messung auf 76 deutschen Anfragen: Das 4B-Modell tev1 lag vor dem 9B-Modell und dem bisherigen Sprachmodell. Wichtiger als die Größe waren Fragestellung, Schwelle und Fehlerrichtung.