Hi,
hat von Euch jemand zufällig TrueNas Scale am Laufen mit einer LocalAI-Instanz?
Ich bekomme das Image nicht richtig zum Laufen. 
Wen ja, wie sieht Deine Konfig aus? 
Danke schon Mal.
LG
TrueNas Scale und LocalAI
-
- Privat
- DreamMachine
- UDM
- Frage
- Dream Machine Pro (UDM-Pro)
- TheFreeman
Es gibt 3 Antworten in diesem Thema, welches 1.307 mal aufgerufen wurde. Der letzte Beitrag () ist von vosmic.
-
Muss mal Nachfragen: Was bekommst du nicht zum Laufen TrueNas Scale oder die AI Instanz auf True Nas?
Bin auf Unraid und seit Jahren von True Nas weg. Afaik ist aber keine AI Instanz implementiert oder?
-
Ich bekomme die localai instanz nicht ans Laufen. Die bleibt immer im "deploying" hängen.
True Nas läuft
-
Ok so habe ich es mir gedacht. Bei Unraid gibt es ähnliche Lösungen. Diese AI "Apps" (VM/Docker) sind in der Regel relativ groß und benötigen leistungsfähige Hardware. Oft wird auch zwischen GPU unterstützenden und CPU only unterschieden (2 App Versionen) . GPU oft nur auf Nvidia.
Hab jetzt keine gezielte Hilfe aber vielleicht hilft es.
Wenn die AI-Anwendung beim Bereitstellen (Deploying) hängen bleibt, kann dies verschiedene Ursachen haben. Hier sind einige mögliche Gründe und Schritte, die Du unternehmen könntest, um das Problem zu beheben:
Ressourcenüberlastung: Überprüfe, ob Ihr System über ausreichend Ressourcen wie CPU, RAM und Speicher verfügt, um die AI-Anwendung zu deployen. Möglicherweise benötigen Sie mehr Ressourcen oder Optimierung.
Fehler im Code oder Setup: Überprüfe den Code und die Konfiguration, um sicherzustellen, dass sie korrekt sind. Stelle sicher, dass alle Abhängigkeiten korrekt installiert sind und keine Fehler vorliegen.
Netzwerkprobleme: Probleme mit der Netzwerkkonnektivität können dazu führen, dass das Deploying hängen bleibt. Stelle sicher, dass die Netzwerkverbindungen stabil sind.
Logs und Fehlermeldungen überprüfen: Schaue Dir sich die Logs und Fehlermeldungen an, um herauszufinden, an welcher Stelle der Prozess hängen bleibt. Dies kann Dir helfen, das Problem genauer zu lokalisieren.
Neustart des Deploying: Versuche, das Bereitstellen erneut zu starten, nachdem Du einige der oben genannten Probleme überprüft und behoben hast.
Viel erfolg
