Pi 5 + Hailo-10H (AI HAT+2, 40 TOPS): wire the hailo-genai LLM backend (community help wanted)

[jaylfc]

Tracking issue for accelerated LLM inference on the Raspberry Pi 5 with the Hailo-10H (AI HAT+2, 40 TOPS). Community help wanted from anyone who has this exact hardware.

Primary goal: zero-touch, auto-detected + auto-installed (parity with the RK3588 NPU)

The bar is the same as the Rockchip NPU experience: the user should NOT have to hand-configure anything. On install, taOS should detect the Hailo accelerator and set up its driver + runtime + backend automatically, exactly like it does for RK3588 today:

• Detection at install time. install.sh already gates the Rockchip path on the device node (if [ -e "/dev/rknpu" ]) and runs the RK NPU setup. Mirror that: detect the Hailo device (e.g. /dev/hailo0 / the PCIe device) and, if present, run a Hailo setup path.
• Auto-install the stack. RK3588 installs its runtime via scripts/install-rknpu.sh (+ install-ezrknpu.sh). Add the equivalent scripts/install-hailo.sh: ensure HailoRT + hailo-genai are present (install if missing), matching the "install just works" principle.
• Runtime detection. tinyagentos/hardware.py and the workers detect_backends() (tinyagentos/worker/agent.py`) detect the RK3588 NPU and register it as an accelerator. Add Hailo there so a Hailo host auto-registers with an LLM-capable backend instead of falling back to CPU.
• Managed backend service + catalog, same one-tap pattern the other accelerators use.

Net: plug in the AI HAT+2, run the taOS installer, and Hailo-accelerated LLMs just work, no manual steps.

Where things stand today

• The verified, daily-driven NPU backend in taOS is Rockchip RK3588 (Orange Pi), via rkllama/rknn. That path is solid and is the reference implementation to mirror.
• The Pi 5 + Hailo-10H is documented as a target profile (arm-hailo10h-8gb / arm-hailo10h-16gb in os-build/boards/rpi5.md) and the Hailo-10H is genuinely LLM/VLM-capable (unlike the vision-only Hailo-8L), but the board status is still "Planned" (os-build/README.md). There is no taOS Hailo LLM backend wired yet.
• Until then, taOS runs on the Pi 5 fine in CPU mode via llama.cpp (e.g. Qwen3-4B Q4_K_M at ~4-6 tok/s on 8GB). The Hailo excels at vision right now.

Work breakdown

1. Detection: recognise the Hailo-10H (device node + HailoRT) at install time and at worker startup, so it auto-registers as an accelerator (parity with /dev/rknpu).
2. Auto-install: scripts/install-hailo.sh to ensure HailoRT + hailo-genai (mirror install-rknpu.sh).
3. Runtime: drive LLM inference through hailo-genai (Hailo`s GenAI runtime for LLMs/VLMs on the -10H).
4. Model format: the HEF (Hailo Executable Format) conversion path for a couple of small chat models + catalog manifests for the Hailo variants (mirroring the RK3588 RKLLM variants).
5. Managed service + one-tap install, matching the backend-service pattern.

How to help (you have the hardware)

If you have a Pi 5 + Hailo-10H with the Hailo stack installed (HailoRT + hailo-genai), you are perfectly placed to help:

• Comment here with your setup: Pi OS vs Armbian, RAM, HailoRT + hailo-genai versions, and how you installed them (that directly informs the auto-install script).
• Share what LLM inference you can get running directly with hailo-genai (which models, tok/s), independent of taOS. That establishes the ground truth we build the backend against.
• Test taOS builds/branches as the backend takes shape and report back.
• Contributions welcome via PR if you want to dig into the detection + backend adapter.

Reference: HailoRT + hailo-genai docs, and the existing RK3588 backend + install.sh/install-rknpu.sh/hardware.py/worker/agent.py detection in taOS as the exact shape to mirror. Thanks in advance to anyone who jumps in.

[jaylfc]

References shared by a community member (Raspberry Pi 5 + Hailo-10H owner, via Discord) for the Hailo backend work:

• gregm123456/raspberry_pi_hailo_ai_services: https://github.com/gregm123456/raspberry_pi_hailo_ai_services - a Pi + Hailo AI-services project; a strong ground-truth reference for how to run Hailo AI services on the Pi and for shaping the taOS backend + the auto-install script.
• Demo/tutorial video: https://www.youtube.com/watch?v=rwhzHg_7i9c

Adding here so they are tracked with the effort. Thanks to the community member for surfacing these.

[doc62fr]

Bonjour pour ma part j'ai suivi le tuto suivant :

https://youtu.be/820nG-bmWx4?is=ZI1_JL9FrVi97ELA

https://toucancreator.com/learn/wagner-s-techtalk/tutorial/ai-hat-2-quick-setup-on-a-raspberry-pi-5

Afin de pouvoir tester la carte Hat +2 40tops hailo 10h acheter d'occasion comme le Raspberry Pi 5 8go et son alimentation de 45w ( une 27w suffit normalement avec le module hailo 10H)

C'est le tuto que j'ai trouvé le plus simple pour valider le fonctionnement de la carte avec les LLMs étapes par étapes.( pas encore eu l'occasion de la tester en audio et vidéo)

Je vous conseille fortement de faire des backups à chaque grande étapes afin de ne pas tout recommencer...

Le firmware de ma carte Hailo-10H est actuellement 5.1.0....d'après ce que je vu sur le net si on veux qu'une caméra soit reconnue en USB faut lui mettre le firmware 5.3.0. Et faut que le flux de la caméra soit compatible avec.le V4L2 pas compatible en natif avec la Kinect V1...
A méditer donc ( dommage car elle en plus la détection de profondeur et 4 mico array ( idéal pour savoir dans quelle direction vient le son)...

[jaylfc]

Merci beaucoup pour ces notes détaillées, c'est exactement le genre de retour concret qui aide.

Deux choses que je retiens de votre configuration : l'AI HAT+2 (Hailo-10H) sur un Pi 5 8 Go avec le tutoriel que vous avez partagé est une façon simple de valider la carte avec des LLM, et votre précision sur le firmware est utile : le 5.1.0 fait tourner les LLM, tandis que le 5.3.0 est celui vers lequel migrer pour une caméra USB (flux V4L2 requis, et comme la Kinect V1 n'est pas nativement V4L2, ce chemin demande plus de travail). Bon réflexe aussi de faire une sauvegarde à chaque grande étape.

Côté taOS : il détecte déjà spécifiquement la Hailo-10H (il identifie la 10H à 40 TOPS, distincte de la 8L qui ne fait que de la vision). Ce qui reste à construire ici, c'est l'autre moitié : installer automatiquement le runtime LLM Hailo à l'installation, pour que vous n'ayez plus du tout à suivre un tutoriel manuel, le même parcours zéro configuration que nous avons déjà pour le NPU Rockchip.

Deux choses aideraient beaucoup ce travail si vous avez un moment : (1) quelles versions de HailoRT et de hailo-genai votre configuration 5.1.0 a fini par utiliser, et (2) si un LLM tourne directement via le runtime Hailo sur votre carte, et à peu près combien de tokens/seconde vous observez. Rien d'urgent, et merci encore d'avoir testé et partagé.

---

(English) Thanks a lot for these detailed notes, exactly the kind of ground truth that helps. taOS already detects the Hailo-10H specifically (it identifies the 10H at 40 TOPS, distinct from the vision-only 8L); what is still being built here is the other half, auto-installing the Hailo LLM runtime on install so you would not have to follow a manual tutorial at all, the same zero-touch path we already have for the Rockchip NPU. Two things would help if you have a moment: which HailoRT and hailo-genai runtime versions your 5.1.0 setup ended up with, and whether an LLM runs directly through the Hailo runtime on your board plus roughly what tokens/sec you see. Thanks again for testing and sharing.

[doc62fr]

Bonsoir au bout de la 5e installation ca à fonctionné je vous details ça demain

[jaylfc]

Bonne nouvelle, et merci d'avoir persévéré jusqu'à la 5e tentative, c'est un vrai coup de main. J'attends vos détails avec plaisir. Les deux points qui m'aideraient le plus quand vous aurez un moment : (1) les versions de HailoRT et de hailo-genai que votre installation a fini par utiliser, et (2) si un LLM tourne bien directement via le runtime Hailo, avec un ordre de grandeur en tokens par seconde. Le fait qu'il ait fallu 5 essais confirme surtout pourquoi nous voulons rendre tout cela automatique à l'installation, votre retour va directement nourrir ce travail.

---

(EN) Great news, and thanks for persevering to the 5th attempt, that is a real help. Looking forward to your details. The two things that would help most when you have a moment: (1) which HailoRT and hailo-genai versions your install ended up using, and (2) whether an LLM runs directly through the Hailo runtime, with a rough tokens per second figure. That it took 5 attempts is exactly why we want to make this automatic at install time, your feedback feeds straight into that work.