--- name: pp-openbdap description: "Il catalogo Open Data della Ragioneria Generale dello Stato da terminale: ricerca offline, righe filtrate per nome di colonna leggibile e opere pubbliche cercabili per CUP, CIG o codice fiscale. Trigger phrases: `cerca un dataset su openbdap`, `dati di finanza pubblica RGS`, `opere pubbliche per CUP`, `quante opere pubbliche ha un ente`, `usa openbdap`, `catalogo BDAP`." author: "aborruso" license: "Apache-2.0" argument-hint: " [args] | install cli|mcp" allowed-tools: "Read Bash" metadata: openclaw: requires: bins: - openbdap-pp-cli install: - kind: go bins: [openbdap-pp-cli] module: github.com/mvanhorn/printing-press-library/library/other/openbdap/cmd/openbdap-pp-cli --- # OpenBDAP — Printing Press CLI ## Prerequisites: Install the CLI This skill drives the `openbdap-pp-cli` binary. **You must verify the CLI is installed before invoking any command from this skill.** If it is missing, install it first: 1. Install via the Printing Press installer. It defaults binaries to `$HOME/.local/bin` on macOS/Linux and `%LOCALAPPDATA%\Programs\PrintingPress\bin` on Windows: ```bash npx -y @mvanhorn/printing-press-library install openbdap --cli-only ``` 2. Verify: `openbdap-pp-cli --version` 3. Ensure the reported install directory is on `$PATH` for the agent/runtime that will invoke this skill. If the `npx` install fails (no Node, offline, etc.), fall back to a direct Go install (requires Go 1.26.6 or newer). This installs into `$GOPATH/bin` (default `$HOME/go/bin`), so add that directory to `$PATH` instead: ```bash go install github.com/mvanhorn/printing-press-library/library/other/openbdap/cmd/openbdap-pp-cli@latest ``` If `--version` reports "command not found" after install, the runtime cannot see the binary directory on `$PATH`. Do not proceed with skill commands until verification succeeds. OpenBDAP pubblica migliaia di dataset di finanza pubblica dietro un'API CKAN con conteggi sbagliati e un OData con nomi di colonna offuscati e senza elenco. Questa CLI allinea il catalogo in un archivio SQLite locale con 'allinea', ci costruisce sopra una ricerca full-text su titolo e descrizione, e traduce i nomi leggibili delle colonne negli identificativi che il servizio pretende. Comandi come dossier, opere e serie fanno in un colpo cio' che oggi richiede una manciata di chiamate costruite a mano. ## When to Use This CLI Usa questa CLI per esplorare il catalogo Open Data della Ragioneria Generale dello Stato e per estrarne dati tabellari. E' la scelta giusta quando devi trovare quale dataset copre un anno, una regione o un tema, quando devi capire come si chiamano davvero le colonne prima di filtrare, e quando devi ricostruire il quadro di un'opera pubblica a partire da un CUP, da un CIG o dal codice fiscale di un ente. ## Anti-triggers Do not use this CLI for: - non usarla per altri portali CKAN: questo e' un portale con un'API CKAN parziale e non standard - non usarla per i dati ANAC sui contratti pubblici, che stanno su un'altra banca dati - non usarla per interrogare il portale OpenCUP o ReGiS ## Unique Capabilities These capabilities aren't available in any other tool for this API. ### Opere pubbliche trasversali - **`dossier`** — Il quadro completo di un'opera pubblica a partire dal CUP: progetto, pagamenti, gare, partecipanti, piano dei costi e soggetti titolari. _Usalo quando ti serve tutto su un'opera e hai solo il CUP, invece di cinque chiamate OData con filtri diversi._ ```bash openbdap-pp-cli dossier I77H11000120009 --agent ``` - **`opere`** — Le opere pubbliche in capo a un ente, a partire dal suo codice fiscale, con il totale reale. _Usalo per capire quante e quali opere risultano a un'amministrazione._ ```bash openbdap-pp-cli opere --cf 80208450587 --agent ``` - **`mop`** — Quale dataset MOP interrogare per ogni regione e ruolo, con il relativo identificativo OData. _Usalo prima di una ricerca mirata sulle opere pubbliche, per sapere dove cercare._ ```bash openbdap-pp-cli mop --regione Sicilia --agent ``` - **`cig`** — La gara e i partecipanti a partire dal codice CIG. _Usalo quando parti da un CIG invece che da un CUP._ ```bash openbdap-pp-cli cig 12345678AB --agent ``` ### Catalogo che si capisce - **`serie`** — Le annualita', le mensilita' e le regioni disponibili di una stessa serie di dataset. _Usalo per sapere se esiste l'annualita' che ti serve senza scorrere il catalogo._ ```bash openbdap-pp-cli serie "Pagamenti Bilancio dello Stato" --agent ``` - **`novita`** — I dataset il cui ultimo aggiornamento cade nella finestra indicata. _Usalo per sapere cosa e' cambiato di recente senza riscaricare il catalogo._ ```bash openbdap-pp-cli novita --da 30d --agent ``` - **`campi`** — In quali dataset esiste un campo, con l'identificativo pronto da usare nei filtri. _Usalo quando sai quale campo ti serve ma non in quale dataset vive._ ```bash openbdap-pp-cli campi "codice fiscale" --agent ``` ## Command Reference **Archivio locale** — da lanciare prima dei comandi che leggono in locale - `openbdap-pp-cli allinea` — Allinea il catalogo dei dataset nell'archivio SQLite locale. `cerca`, `serie`, `mop`, `novita`, `cup`, `cig`, `dossier` e `opere` leggono da li': senza questo passaggio restituiscono un risultato vuoto con una nota che lo dice. - `openbdap-pp-cli campi --aggiorna` — Popola l'indice degli schemi, che e' separato dal catalogo e richiede una chiamata al servizio per dataset. Senza, `campi` non trova nulla. **Comandi principali** - `openbdap-pp-cli cerca [testo]` — Cerca dataset nell'archivio locale, per titolo e descrizione, con filtri per tema, tag, anno, regione e famiglia MOP - `openbdap-pp-cli colonne ` — Colonne di un dataset, con il nome da usare nei filtri - `openbdap-pp-cli righe ` — Righe di un dataset, filtrabili per nome di colonna leggibile (`--dove`, `--campi`, `--tutte`) - `openbdap-pp-cli conta ` — Conta le righe, anche con un filtro - `openbdap-pp-cli cup ` — Cerca un progetto di opera pubblica dal codice CUP **catalogo** — Dataset del catalogo OpenBDAP - `openbdap-pp-cli catalogo dettaglio` — Metadati di un dataset (solo per UUID: i nomi non sono risolvibili) - `openbdap-pp-cli catalogo elenco` — Elenca gli identificativi di tutti i dataset del catalogo - `openbdap-pp-cli catalogo ricerca` — Ricerca testuale lato portale (il campo count non e' affidabile e fq viene ignorato) **dati** — Dati tabellari dei dataset via OData - `openbdap-pp-cli dati colonne` — Colonne del dataset: nome leggibile, nome fisico, identificativo da usare nei filtri, tipo - `openbdap-pp-cli dati conta` — Conta le righe del dataset, rispettando il filtro - `openbdap-pp-cli dati metadati` — Metadati OData del dataset (ultimo aggiornamento, stato) - `openbdap-pp-cli dati misure` — Misure numeriche dichiarate dal dataset - `openbdap-pp-cli dati righe` — Righe del dataset, con filtri OData **gruppi** — Temi (gruppi) del catalogo - `openbdap-pp-cli gruppi dettaglio` — Dettaglio di un tema, con gli UUID dei dataset che contiene - `openbdap-pp-cli gruppi elenco` — Elenca i temi del catalogo **licenze** — Licenze usate nel catalogo - `openbdap-pp-cli licenze` — Elenca le licenze **scarica** — Scaricamento integrale dei dataset in CSV - `openbdap-pp-cli scarica ` — Scarica l'intero dataset in CSV (separatore punto e virgola) **tag** — Parole chiave del catalogo - `openbdap-pp-cli tag` — Elenca le parole chiave ### Finding the right command When you know what you want to do but not which command does it, ask the CLI directly: ```bash openbdap-pp-cli which "" ``` `which` resolves a natural-language capability query to the best matching command from this CLI's curated feature index. Exit code `0` means at least one match; exit code `2` means no confident match — fall back to `--help` or use a narrower query. `--json` (and other machine formats) keep that exit-2 contract and write `{"matches":[]}` on stdout so agents can inspect the envelope without treating a miss as success. ## Recipes ### Allineare il catalogo prima di ogni ricerca offline ```bash openbdap-pp-cli allinea ``` Popola l'archivio SQLite locale su cui lavorano cerca, serie, mop e novita. ### Trovare i dataset di un tema e un anno ```bash openbdap-pp-cli cerca SIOPE --anno 2024 --agent ``` Cerca offline nell'archivio locale con i filtri derivati dai titoli. ### Estrarre righe filtrate senza conoscere gli identificativi di colonna ```bash openbdap-pp-cli righe bda1676b-62ab-44b7-8f9a-ca93b8534488 --dove "Codice CUP=I77H11000120009" --csv ``` Il nome leggibile viene tradotto nell'identificativo che il servizio pretende. ### Il quadro di un'opera, campi essenziali ```bash openbdap-pp-cli dossier I77H11000120009 --agent --select cup,progetto ``` Riduce il documento alle sole chiavi di primo livello che servono all'agente. ### Contare le opere di un ente ```bash openbdap-pp-cli opere --cf 80208450587 --solo-conteggio ``` Usa il conteggio reale del servizio invece di scaricare le righe. ### Costruire l'indice dei campi e cercarci dentro ```bash openbdap-pp-cli campi --aggiorna --tema 172_opere-pubbliche ``` L'indice degli schemi si popola su richiesta: senza questo passaggio 'campi' non trova nulla. ## Auth Setup No authentication required. Run `openbdap-pp-cli doctor` to verify setup. ## Agent Mode Add `--agent` to any command. Expands to: `--json --compact --no-input --no-color`. Global format flags share one contract on promoted, novel, sync, and `--deliver` paths: - `--json` — one JSON document on stdout (sync progress events go to stderr) - `--compact` — keep identity/status/timestamp fields; does not change the document vs stream shape - `--csv` / `--plain` — tabular rows (collection envelopes unwrap to the row array) - `--quiet` — one identity value per row, no envelope - **Pipeable** — JSON on stdout, errors on stderr - **Filterable** — `--select` keeps a subset of fields. Dotted paths descend into nested structures; arrays traverse element-wise. Critical for keeping context small on verbose APIs: ```bash openbdap-pp-cli catalogo dettaglio --id d032b3a2-2b70-4193-a0c8-cb7eb69f8710 --agent --select id,name,title ``` - **Previewable** — `--dry-run` shows the request without sending - **Offline-friendly** — sync/search commands can use the local SQLite store when available - **Non-interactive** — never prompts, every input is a flag - **Explicit confirmation** — `--agent` does not imply `--yes`; pass `--yes` separately only after the target, arguments, and side effects are clear ### Response envelope Commands that read from the local store or the API wrap output in a provenance envelope: ```json { "meta": {"source": "live" | "local", "synced_at": "...", "reason": "..."}, "results": } ``` Parse `.results` for data and `.meta.source` to know whether it's live or local. A human-readable `N results (live)` summary is printed to stderr only when stdout is a terminal AND no machine-format flag (`--json`, `--csv`, `--compact`, `--quiet`, `--plain`, `--select`) is set — piped/agent consumers and explicit-format runs get pure JSON on stdout. ## Paths and state Agents should treat the CLI's path resolver as part of the runtime contract: - Use `--home ` for one invocation, or set `OPENBDAP_HOME=` to relocate all four path kinds under one root. - Use per-kind env vars only when a specific kind must diverge: `OPENBDAP_CONFIG_DIR`, `OPENBDAP_DATA_DIR`, `OPENBDAP_STATE_DIR`, `OPENBDAP_CACHE_DIR`. - Resolution order is per-kind env var, `--home`, `OPENBDAP_HOME`, XDG (`XDG_CONFIG_HOME`, `XDG_DATA_HOME`, `XDG_STATE_HOME`, `XDG_CACHE_HOME`), then platform defaults. - `config` contains settings like `config.toml` and profiles. `data` contains `data.db`, l'archivio locale del catalogo. `state` contains persisted queries, jobs, and `teach.log`. `cache` contains regenerable HTTP/cache files. - Questa CLI non usa credenziali: l'API di OpenBDAP e' pubblica e non autenticata. - Run `openbdap-pp-cli doctor --fail-on warn` to surface path warnings. `agent-context` exposes a schema v4 `paths` block for agents that need the resolved dirs. - For MCP, pass relocation through the MCP host config. The MCP binary does not inherit CLI flags: ```json { "mcpServers": { "openbdap": { "command": "openbdap-pp-mcp", "env": { "OPENBDAP_HOME": "/srv/openbdap" } } } } ``` Fleet precedence: an inherited per-kind env var overrides an explicit `--home` for that kind. Use `OPENBDAP_HOME` or per-kind vars as durable fleet levers, and use `--home` only for a single invocation. Relocation is not reversible by unsetting env vars; move files manually before clearing `OPENBDAP_HOME`, or `doctor` will not find the local store left under the former root. ## Automatic learning This CLI ships a self-capturing learning loop. The CLI does its own bookkeeping: every invocation is journaled locally, a failed flag followed by a corrected retry auto-derives a `flag_alias` candidate, and a `teach` on a query family without a playbook auto-synthesizes a `playbook_candidate` from the session's journal. Your job is judgment only: `recall` first, act on surfaced candidates, `teach` the final answer, `playbook amend` when you observe a correction. You never record failures by hand. ### Step 1: `recall` before any discovery Before list/search/drill commands on a new user question, pass the question as an argv or MCP tool argument to `recall --agent`. Do not interpolate user-controlled text into a shell command line. Quoted `recall ""` breaks on an apostrophe, which is ordinary English. A quoted heredoc breaks when a body line equals the delimiter, and that delimiter is published in these docs. Write the question with a non-shell file-writing tool, then read it back as data: ```bash # Write the question verbatim with your file-writing tool (no shell involved). # Command substitution on a file only ever yields data — the shell never # parses the file's bytes as syntax. QUERY=$(cat /path/to/question.txt) openbdap-pp-cli recall "$QUERY" --agent ``` Prefer MCP: pass the question as the tool's query argument. `"$QUERY"` after a file read is argv-safe; putting the question itself in the command text is not. The response envelope: ```json { "query": "...", "normalized": "", "query_entities": ["..."], "found": true | false, "match_score": 0.0, "results": [ { "resource_id": "...", "resource_type": "...", "venue": "...", "confidence": 2, "entity_match": "exact|partial|unknown", "source": "taught|preseed|pattern", "warnings": ["..."] } ], "mismatches": [ /* only when --debug-mismatches */ ], "warnings": [ /* top-level */ ], "candidates": [ { "id": 12, "class": "flag_alias | playbook_candidate", "summary": "...", "sightings": 3, "last_seen": "...", "rationale": "...", "next_action": ["", "openbdap-pp-cli learnings confirm 12"] } ], "playbook": { "query_family": "...", "playbook": { "steps": [ { "cmd": "", "purpose": "..." } ], "entity_slots": ["$ENTITY"], "expected_tool_calls": 3 }, "slots_resolved": { "$ENTITY": { "token": "", "canonical": "" } }, "notes": "" }, "notes": "" } ``` Empty-store short-circuit: if the store has no learnings, playbooks, or candidates yet (recall finds nothing and `learnings list` and `learnings candidates` are both empty), skip recall for the rest of this session instead of taxing every query; resume recall-first once something has been taught. ### Step 2: decision tree Read `candidates`, `playbook`, `notes`, `results[0]`, and warnings in that order: ``` if Candidates present (warnings include "candidates_present"): -> candidates are try-then-confirm, never facts. Follow each candidate's two-step next_action verbatim: run the trial command first, then run `learnings confirm ` only after the trial verified the behavior. Reject a wrong candidate with `learnings reject `. -> NEVER re-teach something recall surfaced as a candidate; confirm or reject that candidate instead of teaching a duplicate. -> candidates ride alongside playbooks and resource hits, not instead of them; continue with the branches below after acting on them. if Playbook present: -> READ Playbook.notes verbatim FIRST (workarounds + gotchas the CLI surface doesn't expose) -> replay Playbook.steps in order, substituting Playbook.slots_resolved entries for the entity slot tokens. If a step's slot is unresolved, fall back to discovery for that step only. -> the Playbook's expected_tool_calls is a budget; if you find yourself running materially more, record the divergence via `openbdap-pp-cli playbook amend` at end-of-session. elif Notes present (no Playbook): -> read Notes verbatim before any discovery step; they carry known gotchas for this query family even when no structured choreography exists yet. elif Found AND Results[0].EntityMatch == "exact" AND Results[0].Confidence >= 2: -> skip discovery; fetch live data for Results[*].ResourceID in parallel elif Found AND Results[0].EntityMatch == "partial": -> candidate hint, NOT a hit; read the resource title to validate before trusting elif (any row in Mismatches[] when --debug-mismatches was passed): -> treat as cold start; the stored learning is for a different entity (different canonical resolved from query_entities) else: // Found == false, no playbook, no notes -> cold start; run discovery normally; teach the answer afterward (Step 4). If the family has no playbook yet, that teach auto-synthesizes a playbook candidate from this session's journal - you do not need to record one by hand. ``` Playbook and Notes are orthogonal to the per-resource path. A recall response can carry both a Playbook AND a `Results[]` hit - use both: the Playbook tells you which choreography to run; the resource hits short-circuit specific steps. Default to skipping `mismatches`; pass `--debug-mismatches` only when investigating cold-start surprises. Candidate judgment details: `learnings confirm ` prints the candidate's full payload before materializing it - check that the printed payload matches the behavior you verified. `learnings reject ` tombstones the derivation signature so the same candidate does not resurface. The envelope carries only the few candidates worth acting on now; `openbdap-pp-cli learnings candidates` lists the full open set. Graceful degradation: if `learnings confirm` is an unknown command, you are driving an older binary - ignore the candidates guidance and follow the rest of the protocol. ### Step 3: always read `warnings` - `low_confidence`: row exists at `confidence<2`. Treat as a hint, not a skip-discovery hit. - `resource_not_in_store`: the local store doesn't have the resource the learning points at. The match validator couldn't classify entities — direct-fetch and re-evaluate. - `cross_alias_match` (per-result): the row was taught under a different alias and matched the live query's canonical via `entity_lookups` (e.g., a "USA" teach satisfying a "United States" recall). Trust the resource