In Firmen findet man häufiger nun so KI Chats wo man fragen kann wer macht was im Unternehmen,
Wir nutzen das in der Firma sehr viel, meiste aber spezielle Anwendungen aus eigenen Entwicklung, von Chat-Boot angefangen über eben solche Suchdienste fürs Intranet bis zu komplex Übersetzungsprogramm oder Tools die Dokumente analysieren.
In der Regel nutzen wir dafür AI-Services bei unseren Cloud-Anbieter, aber teilweise auch laufen die lokal auf eigener Hardware ( Server mit NVIDIA-Datacenter-Karten ). Da der Bedarf immer größere wird ist sogar die Überlegung, eigene KI-Cluster aufzubauen.
Zuhause hab ich das mal auf Proxmox probiert, bin aber immer wieder gescheitert, weil die LLM enorme Resourcen wollte und das meinen Proxmox-Server komplett ans Limit gebracht hat, obwohl der schon einen AMD Ryzon9 und 64GB Ram hat.
Ich hab schon überlegt, mit mal meine MacMini zuzulegen mit M3/M4-CPU, weil die haben AI-Erweiterung direkt onBoard, aber aktuell hab ich keinen Anwendungsbedarf dazu und für das was ich nutze, nehme ich die AI-Services im Netz.
Also ich spiele zu Hause mit Ollama und Open Webui, das läuft auf einer alten Nvidia P40 mit 24gb Vram, da laufen schon nette Modelle.
Aktuell gibt es bei eBay von Verkäufer pioparts eine AMD Radeon Instinct MI50 Accelerator Vega 20 32GB HBM2 -AI HPC GPU Server KI.
240€, letzte Woche noch mit Gutscheinen für unter 200€.
Damit könnte man es probieren da Ollama mittlerweile AMD unterstützt.
Vielen Dank für die Info, dann lese ich mal das man Privat so etwas nicht betreiben sollte. Zuviel rechnen Power wird benötigt.
Bei Firmen was nimmt man noch so.
Och das würde ich so nicht sagen - jetzt kommt die Standard Frage bzw. Aussage ... Was ist der genaue UseCase und möchtest du die Hardware und Stromkosten dafür aufbringen? Es gibt Einsatzgebiete wo auch kleinere LLMs ihren nutzen haben ... aber wie gesagt es kommt immer drauf an was gemacht werden soll ... und oftmals braucht man keine neue Hardware kaufen. Jeder hat eine "ältere" GPU bzw. Grafikkarte rumliegen um zu experimentieren.
Bei uns in der Firma nutzen wir Github Copilot ...
Was ist der genaue UseCase und möchtest du die Hardware und Stromkosten dafür aufbringen?
Die Gedanken sollte man sich vorher auch machen, weil solche System selber zu hosten und zu betreiben kosten viel Geld.
Wir haben KI-Server mit einer NVIDIA-Datacenterkarte, die kosten schnell mal 25 k€ mit entsprechender CPU, viel RAM und schnellen NVME's, etwas mehr als 1/3 des Preis fallen alleine auf die NVIDIA-Karte. Stromverbrauch zw. 0,5 bis 1,4 KW
Und das sind Mittelklasse-GPU-Server !
Für kleine Anwendungen lohnt sich das nicht wirklich, da müssen schon gewaltige Gründe für sprechen, das lokal zu betreiben, z.b. das die verarbeiten Daten lokal bleiben müssen.
Für kleine Anwendungen sollte man eher sich Cloud-Modelle ansehen, da laufen bei über 90% der KI-Anwendungen drauf. Die meisten sind Container-Anwendungen, die dann im Backend das AI-Modell der Cloud nutzen.
Du musst aber auch jemanden haben, der die Software entwickelt und betreut und auch die System betreibt.
Naja es geht halt auch um Privatsphäre. Zu Hause hab ich 24/7 mein Homeserver laufen der unter anderem eine alte Tesla P4 drinnen hat, die ist für meine Home-Assistent Voice Preview für lokale Verarbeitung von Sprache zu Text (Whisper) und Text zu Sprache (Piper).
Sowas läuft ja auch alles unter AI und verbraucht jetzt nicht viel (der ganze Server nuckelt so 100Watt durchgehend mit allen Apps die drauf laufen). Dafür halt keine Alexa wo Amazon teilweise Befehle nachdem Code Wort auswertet.
Und selbst die P40 braucht idle ca. 20Watt wenn man pstated installiert.
Entweder man bezahlt mit Daten oder den Strom/Hardware.
Don’t have an account yet? Register yourself now and be a part of our community!
