Neural Governance Engine

Lokale ONNX-Inferenz für PII-, Injection- und Intent-Erkennung — unter 50 ms, 85-95 % LLM-Kostenreduktion.

Die Neural Governance Engine (NGE) ist die lokale Inferenzschicht von Palveron. Fünf ONNX-Modelle laufen direkt im Gateway und ersetzen die meisten LLM-Assist-Aufrufe durch lokale Calls unter 50 ms.

Prompt → NGE-Pipeline (5 Stufen) → Entscheidung
            1. Regex            schnell, deterministisch
            2. Aho-Corasick     Multi-Keyword-Matching
            3. ONNX NER         Entity-Extraktion
            4. NLI Contextual   semantisches Intent-Scoring
            5. LLM-Assist       Eskalation nur bei Grenzfällen

Was NGE erkennt

Signal	Pipeline-Stufe	Anwendungsfall
Strukturierte PII (SSN, IBAN, Kreditkarte, E-Mail, Telefon)	Regex	Strenge, false-positive-arme Maskierung
Marken-spezifische Keywords, eigene Denylists	Aho-Corasick	Interne Produktnamen, gesperrte Begriffe
Named Entities — `PERSON`, `ORG`, `LOC`, `EMAIL`, `SECRET`, `INJECTION`	ONNX NER × 2	Kontextbezogene PII-Erkennung jenseits von Regex
Intent-Klassifikation — `injection`, `toxicity`, `off_topic`, `pii_density`	NLI Contextual	Erfasst paraphrasiertes bösartiges Intent
Grenzfälle	LLM-Assist	Letzte Eskalationsstufe bei niedrigem Local-Confidence

Engine-Modi

Konfigurierbar unter Einstellungen → Sicherheit → Neural Governance Engine oder per Umgebungsvariable NGE_MODE:

Modus	Verhalten	Wann einsetzen
`disabled`	Nur Regex + LLM-Assist (Pre-Sprint-54-Verhalten)	Benchmarks oder Fallback
`nge_local`	Nur lokale Modelle — niemals Cloud-LLM-Aufrufe	EU-Datenresidenz, Zero-Egress; Grundlage für Air-Gapped-Deployment (auf der Roadmap)
`nge_fallback` (Standard)	Local-first; Grenzfälle eskalieren zum LLM	Die meisten Kunden — beste Balance
`llm_only`	Überspringt Local-Inferenz, ruft immer Cloud-LLM	Benchmark des Genauigkeits-Maximums

Palverons interne Benchmarks (nge_fallback vs. llm_only) zeigen:

85-95 % Reduktion der LLM-Assist-Aufrufe
Unter 1 Prozentpunkt Genauigkeitsverlust auf einem 50k-Prompt-Evaluierungsset
6-10× Latenzverbesserung beim Median (p50)

Sensitivitäts-Presets

Ein einzelner Slider mappt auf interne Schwellenwerte über alle fünf Stufen:

Preset	Schwellenwerte	Typische Branche
Strict	Niedrig — mehr BLOCKs und MODIFYs	Gesundheitswesen, Finanzen, Behörden
Balanced (Standard)	Vom Hersteller getunt	Allgemeine Unternehmensnutzung
Tolerant	Höher — weniger Eingriffe	Interne F&E, Developer-Tooling

Sensitivität sollte nicht pro Policy getunt werden — nutzen Sie Presets auf Projektebene und verlassen Sie sich auf die Pro-Policy-Enforcement-Aktionen (BLOCK, APPROVAL, ANONYMIZE, FLAG) für die Feinabstimmung.

Shadow Mode

Wenn Shadow Mode aktiv ist, wertet die Engine jede Anfrage aus, erzwingt aber keine Entscheidung. Traces zeigen, was passiert wäre; die Anfrage läuft unverändert durch.

Verwenden Sie Shadow Mode, um:

Ein strengeres Sensitivity-Preset A/B-zu-testen, bevor Sie es ausrollen
Einen neuen Agent-Typ ohne False-Positive-Blocks einzuführen
Die NGE-Genauigkeit gegen ein bekanntes Referenz-Korpus zu validieren

Aktivieren Sie das Enforcement wieder unter Einstellungen → Sicherheit → Neural Governance Engine → Shadow Mode, sobald Sie mit der Trace-Historie zufrieden sind.

NGE-Ergebnisse im Trace Explorer lesen

Öffnen Sie einen Trace im Trace Explorer. NGE-getriebene Traces enthalten:

Engine-Badge — nge_local, nge_fallback (local), nge_fallback (LLM), llm_only, disabled
Confidence-Bars — pro NLI-Dimension (injection, toxicity, off_topic, pii_density) mit der aktiven Schwellenlinie
Entity-Labels — farbcodierte Inline-Annotationen am Prompt: PII, SECRET, INJECTION, TOXICITY
Stage-Timings — Millisekunden pro Pipeline-Stufe

Stufe              ms     Beitrag zur Entscheidung
Regex              0.3    ssn-Match → MASK
Aho-Corasick       0.4    kein Hit
ONNX NER           18.2   PERSON × 1, EMAIL × 1
NLI Contextual     22.1   injection: 0.04 (unter 0.5)
LLM-Assist         —      nicht aufgerufen
Total              40.9   ✓ MODIFIED

NGE in der API-Response

POST /api/v1/verify liefert NGE-Felder neben der Entscheidung zurück:

{
  "decision": "MODIFIED",
  "engine": "nge_local",
  "nge_policy_scores": {
    "injection": 0.04, "toxicity": 0.02,
    "off_topic": 0.18, "pii_density": 0.91
  },
  "detected_entities": [
    { "type": "SSN", "start": 26, "end": 37, "confidence": 0.99 }
  ],
  "deterministic_results": { "regex_matches": ["ssn_us"] }
}

Das vollständige Response-Schema steht unter api/verify.

Sprachpakete

Standardpakete: Englisch + Deutsch. Jedes zusätzliche Paket (Spanisch, Französisch, Italienisch, Portugiesisch, Niederländisch, Polnisch) fügt ein ONNX-Modell (~250 MB) hinzu und lädt beim ersten Zugriff.

Aktivieren Sie zusätzliche Pakete unter Einstellungen → Sicherheit → Neural Governance Engine → Sprachpakete. Mehrsprachige Prompts werden über die Spracherkennung des Gateways automatisch auf das nächstgelegene Paket geroutet.

Self-hosted Hinweise

Setzen Sie in Self-hosted Deployments:

NGE_MODE=nge_fallback
NGE_MODELS_DIR=/app/models/nge

Die Modelle werden separat ausgeliefert (~4 GB insgesamt). Download:

python scripts/download-nge-models.py --models-dir ./models/nge

Mounten Sie das Verzeichnis in den Gateway-Container (das Helm-Chart erledigt dies via PVC). NGE warmt beim Boot auf — der /ready-Endpoint des Gateways liefert erst 200, wenn alle Modelle geladen sind.

NGE-Scores sind Assistance-Signale, keine rechtsverbindlichen Urteile. Sie informieren die Policy Engine; die finale Entscheidung trifft weiterhin die Policy Engine. Behandeln Sie sie wie einen Rauchmelder — informativ, aber die Feuerwehr (Ihre Policy) entscheidet, was zu tun ist.

Neural Governance Engine

On this page