Wer heutzutage generative KI nutzt, tut das in den allermeisten Fällen über ein Chat-Interface im Browser. Tools wie ChatGPT oder Claude haben hundert Millionen Nutzer:innen, und auch wenn sich die Diskussion in Fachkreisen mehr um agentisches Coding oder komplexe Automatisierungen dreht, kommen normale User:innen damit kaum in Berührung.

Dabei braucht es heutzutage nicht mehr zwingend einen Account bei OpenAI, Google oder Anthropic, um KI zu nutzen. Es braucht nicht mal mehr Internetzugang. Denn Open-Weights-Modelle wie Qwen oder GLM lassen sich auch auf der eigenen Hardware betreiben. Auch große Namen wie Nvidia oder Google bieten mit Nemotron beziehungsweise Gemma kleinere, offenere Modelle an, die ihr kostenlos herunterladen und nutzen könnt.

KI-Tools auf dem eigenen Rechner: Können lokale KI-Modelle wie Qwen überzeugen?

Allerdings ist für die Ausführung der Top-Modelle im Open-Weights-Bereich auch entsprechende leistungsstarke Hardware nötig. Ohne mindestens eine Endkonsument:innengrafikkarte aus Nvidias RTX-Reihe blickt man bei den meisten Modellen in die Röhre.

Aber: Es gibt Modelle, die klein genug sind, dass sie auch auf einem Laptop laufen. Für t3n Tool Time haben wir mittels der Software LM Studio getestet, wie gut diese Modelle wirklich sind. Können sie mittlerweile Standardaufgaben zuverlässig bearbeiten? Wie schlagen sie sich im Vergleich zu den großen Sprachmodellen? Und heißt kostenlos wirklich kostenlos?

Ihr wollt in Zukunft keine Folge von t3n Tool Time verpassen? Dann abonniert jetzt unseren Youtube-Kanal und aktiviert die Benachrichtigungen.