Es gibt viele gute Gründe, ein KI-Modell lokal zu verwenden. Vor allem bei wiederkehrenden, klar umrissenen Aufgaben und beim Umgang mit sensiblen Daten profitieren Nutzer:innen von mehr Datenschutz und Unabhängigkeit. Allerdings lässt sich nicht jedes Modell ohne Weiteres auf dem eigenen PC betreiben. Anstatt lange zu recherchieren oder selbst auszuprobieren, bietet die Website Whatmodel.sh eine schnellere Lösung: Nutzer:innen können dort mit wenigen Klicks passende Modelle filtern und vergleichen.

Je nach Einsatzbereich eignet sich ein anderes KI-Modell. Bei Anthropic gilt Claude Haiku beispielsweise als die beste und günstigste Wahl für schnelle Klassifizierungen und Zusammenfassungen. Claude Fable bietet dagegen tiefes Reasoning für komplexe Aufgaben, langfristige Planungen und KI-Agenten, die über mehrere Phasen hinweg arbeiten. Wer solche Modelle in der App oder im Browser nutzt, schickt allerdings jede Anfrage über die Server des Anbieters – und das wirft schnell Datenschutzfragen auf. Deshalb kann es sinnvoller sein, große Sprachmodelle lokal zu verwenden. Quellcode, Dokumente und Kundendaten verlassen den Rechner in diesem Fall nicht. Außerdem funktioniert ein lokal installiertes Modell auch ohne Internetverbindung und bietet oft eine höhere Antwortgeschwindigkeit.

Top-Artikel

${content}

${custom_anzeige-badge} ${custom_tr-badge} ${section}

${title}

${custom_anzeige-badge} ${custom_tr-badge} ${section}

${title}

Welches KI-Modell sich für die lokale Nutzung eignet, hängt aber nicht nur vom Einsatzbereich, sondern auch von der Hardware ab. Jedes Modell benötigt beim Laden und bei jeder Antwort unterschiedlich viel Speicher, Speicherbandbreite und Rechenleistung. Fehlt eine dieser Ressourcen, lässt sich das Modell entweder gar nicht laden oder es läuft nur sehr langsam. Inzwischen gibt es einige Tools, die dabei helfen, KI-Modelle zu vergleichen und das passende Modell für die vorhandene Hardware auszuwählen. Eines davon bietet Whatmodel.sh. Die Seite umfasst aktuell mehrere hundert Modelle. Jedes davon erhält einen Score auf Basis öffentlich zugänglicher Benchmarks. Die genaue Methode ist auf der Website erklärt. Daten, Scoring-Code und Benchmarking-Skript sind Open Source und auf Github zu finden.

Auf Whatmodel.sh geben Nutzer:innen zunächst an, welche Art von KI-Modell sie suchen. Neben großen Sprachmodellen gibt es beispielsweise Bild- und Videomodelle. Anschließend legen sie den Aufgabenbereich fest, für den sie das Modell verwenden möchten. Zu den Auswahlmöglichkeiten zählen unter anderem Coding, Chatten/Schreiben und Web-Suche. Anschließend geben sie die verfügbare RAM- und GPU-Kapazität an. Zudem können sie ihr Budget pro Million Token angeben.

Daraufhin zeigt die Seite, welche Modelle auf dem Rechner laufen könnten, wie viel Arbeitsspeicher sie benötigen, wie schnell sie ungefähr sind und wie groß ihr Kontextfenster ist. Mithilfe des Vergleichstools lässt sich beispielsweise ermitteln, welches KI-Modell am besten lokal auf einem Mac läuft. Das lohnt sich für alle, die nicht nach dem globalen Benchmark-Sieger suchen, sondern das zu ihrer Hardware passende Modell finden wollen. Nutzer:innen können das Tool außerdem verwenden, um die API-Kosten zu vergleichen oder die besten Modelle je nach Aufgabe zu finden.

Startseite