Przykład sterowania profilem GitHub (github.com/wronai) na zrzucie screen.png.
Na pionowym zrzucie GitHub jest w region-top (górna połowa ekranu).
imgl windows screen.png --export-crops
# → screen.region-top.png (zakładki, README, Repositories)export OPENROUTER_API_KEY=sk-or-... # lub .env
imgl capture -o screen.png --verify --analyze # opcjonalnie, gdy brak screen.png
imgl interact screen.png --llm --window region-top --annotate --open| # | Element | Akcja |
|---|---|---|
| 1 | Overview | click |
| 2 | Repositories | click |
| 3 | Projects | click |
| 9 | Type to search | click (fokus) → potem type |
| 11 | Follow | click |
1 # Overview
kliknij Projects # zakładka Projects
kliknij Repositories # lista repozytoriów
wpisz imgl w Type to search
mapa # screen.region-top.numbered.png
vql://window/imgl?image=...&file=layout.vql.json&action=click&text=Projects&window=region-top&lang=eng%2Bpol
Via uri2vql:
uri2vql query 'vql://window/imgl?image=/path/screen.png&file=layout.vql.json&action=click&text=Projects&lang=eng%2Bpol'imgl find screen.png --text Projects --click
imgl find screen.png --text Follow --click- Etykiety OCR mogą różnić się od wizualnych (
ff ProjectsvsProjects) — LLM i snap OCR to korygują - Po kliknięciu zakładki UI się zmienia → nowy capture (
imgl capture --analyze) - Przyciski w README (
img2nl,nlp2cmd) to linki — LLM je wykrywa jako klikalne
examples/scripts/demo-github.sh screen.png