2. LLM in der Kommandozeile
Das eingangs bereits erwähnte Tool von Simon Willison - LLM - bietet eine simple Option, um quelloffene, große Sprachmodelle herunterzuladen und lokal auf dem eigenen Rechner auszuführen. Dafür müssen Sie zwar Python installiert haben, aber keinen Python-Code anfassen.
Wenn Sie auf einem Mac arbeiten und Homebrew benutzen, installieren Sie es einfach mit:
brew install llm
Wenn Sie einen Windows-Rechner nutzen, verwenden Sie Ihre bevorzugte Methode, um Python-Bibliotheken zu installieren - etwa:
pip install llm
LLM verwendet standardmäßig die Modelle von OpenAI. Andere Modelle lassen sich aber über Plugins verwenden. Mit dem gpt4all-Plugin haben Sie beispielsweise Zugriff auf dessen lokale Modelle. Es stehen auch Plugins für Llama, das MLC-Projekt und MPT-30b sowie andere Remote-Modelle zur Verfügung
Plugins installieren Sie über die Kommandozeile mit:
llm install model-name
Folgender Befehl zeigt darüber hinaus alle verfügbaren Sprachmodelle an:
llm models list
Foto: Sharon Machlis / IDG
Um eine Anfrage an ein lokales LLM zu senden, nutzen Sie folgende Syntax:
llm -m the-model-name "Your query"
Was die Benutzererfahrung von LLM elegant gestaltet, ist der Umstand, dass das Tool das GPT4All-LLM automatisch auf Ihrem System installiert, falls es nicht vorhanden sein sollte. Das LLM-Plugin für Metas Llama-Modelle erfordert ein wenig mehr Einstellungsarbeit als im Fall von GPT4All. Die Details dazu entnehmen Sie dem GitHub-Repository des Tools.
Das LLM-Tool verfügt darüber hinaus über weitere Funktionen, etwa ein argument-Flag, das sich aus vorherigen Chat-Sessions übernehmen und innerhalb eines Python-Skripts übernehmen lässt.