AI Toolbox Cockpit

Jeg skrev i forrige indlæg om at køre lokal LLM på Intel Arc Pro B70. Det virker, men det er stadig bøvlet. Drivers, containere, flag til llama.cpp — man skal holde styr på for meget.

Så faldt jeg over AI Toolbox Cockpit af kyuz0. Det er en TUI i terminalen. Du vælger hvilken GPU du har, og så kan du installere, opdatere og starte de containere der passer. llama.cpp, vLLM, den slags.

Til B70 er llama.cpp med SYCL og Vulkan allerede med. Det er det jeg kører nu.

LLM Scaler

Det jeg venter på er understøttelse af Intel LLM Scaler. Det er vLLM-stakken, og det er der kortet faktisk bliver hurtigt. Lige nu skal du selv rode med image og mounts hvis du vil køre det.

Der kommer støtte for det i cockpittet snart. Så bliver det mere plug-and-play — vælg image, peg på en model, start serveren. Som det allerede er på AMD og NVIDIA.

Fedora og Distrobox

Hvis du kører Fedora er det nemt. Podman + Toolbx, installer med pipx, færdig.

Kører du en anden distro — Ubuntu, Arch, whatever — så kører det under Distrobox. Samme cockpit, samme images.

pipx install git+https://github.com/kyuz0/ai-toolbox-cockpit.git
ai-toolbox-cockpit

Hvis Distrobox skal bruge Docker i stedet for Podman:

DBX_CONTAINER_MANAGER=docker ai-toolbox-cockpit

Jeg gider ikke huske podman-kommandoer hver gang jeg skifter mellem SYCL til hverdagen og vLLM når jeg skal have fart på. Cockpittet samler det. Når LLM Scaler lander, kan man køre Intel-siden uden at bygge det hele selv.