Multi-Modal Guardrails

Palveron unterstützt Multi-Modal-Governance-Verifizierung. Senden Sie Text, Bilder, Audio, Dokumente und Code in einer einzigen Anfrage — das Gateway erkennt den Content-Type automatisch und leitet an den passenden Analyse-Provider weiter.

Unterstützte Content-Types

Content-Type	Provider	Analyse
Text	GPT-4o-mini	PII-Erkennung, Prompt Injection, Policy-Evaluation
Bild	Llama Guard Vision	NSFW-Erkennung, Content-Policy, OCR + Textanalyse
Audio	Whisper	Sprache-zu-Text-Transkription → Textanalyse-Pipeline
Dokument	Textextraktion	PDF/DOCX-Textextraktion → Textanalyse-Pipeline
Code	Secret Scanner	API-Keys, AWS Credentials, GitHub Tokens, Private Keys
Video	Stub (Phase 2)	Frame-Extraktion → Bildanalyse-Pipeline

Attachments senden

Attachments werden Base64-codiert mit einem MIME-Type gesendet. Das SDK übernimmt die Codierung automatisch bei Verwendung der Datei-Helfer.

TypeScript

// Aus Dateipfad
const result = await palveron.verifyWithFile(
  'Analysiere dieses Dokument auf Compliance-Probleme',
  './vertrag.pdf'
);

// Aus Base64
const result = await palveron.verify({
  prompt: 'Prüfe dieses Bild auf sensible Inhalte',
  attachments: [{
    contentType: 'image/png',
    data: base64EncodedImage,
    filename: 'screenshot.png',
    metadata: { source: 'benutzer-upload' },
  }],
});

Python

from palveron import Palveron, VerifyRequest, Attachment

client = Palveron(api_key="pv_live_...")

# Aus Datei
result = client.verify_file("Prüfe das", "/pfad/zu/bild.png")

# Programmatisch
result = client.verify(VerifyRequest(
    prompt="Analysiere diesen Code auf Geheimnisse",
    attachments=[Attachment.from_file("app.py")],
))

# Aus Raw-Bytes
att = Attachment.from_bytes(image_bytes, "image/jpeg", "foto.jpg")

Go

att, _ := palveron.AttachmentFromFile("/pfad/zu/vertrag.pdf")
result, _ := client.Verify(ctx, &palveron.VerifyRequest{
    Prompt:      "Prüfe dieses Dokument",
    Attachments: []palveron.Attachment{*att},
})

cURL

BASE64=$(base64 -i foto.jpg)

curl -X POST https://gateway.palveron.com/api/v1/verify \
  -H "Authorization: Bearer pv_live_..." \
  -H "Content-Type: application/json" \
  -d "{
    \"prompt\": \"Prüfe dieses Bild\",
    \"attachments\": [{
      \"content_type\": \"image/jpeg\",
      \"data\": \"$BASE64\",
      \"filename\": \"foto.jpg\"
    }]
  }"

Response

Multi-Modal-Responses enthalten content_type und findings:

{
  "decision": "BLOCKED",
  "reason": "Geheimnis im Code erkannt",
  "content_type": "code",
  "findings": [
    {
      "risk": "CRITICAL",
      "category": "aws_credentials",
      "description": "AWS Access Key ID erkannt: AKIA...",
      "confidence": 0.99
    }
  ],
  "trace_id": "clx...",
  "integrity_hash": "sha256:abc...",
  "should_anchor": true
}

Sensitivitätsstufen

Konfigurieren Sie die Sensitivität pro Projekt unter Einstellungen → Multi-Modal:

Stufe	Blockiert bei
Niedrig	Nur CRITICAL Findings
Mittel (Standard)	HIGH + CRITICAL
Hoch	MEDIUM + HIGH + CRITICAL

Code Secret Scanning

Der Code-Provider scannt nach hardcodierten Geheimnissen in jeder Programmiersprache:

Muster	Beispiel
AWS Access Keys	`AKIAIOSFODNN7EXAMPLE`
AWS Secret Keys	`wJalrXUtnFEMI/K7MDENG/bPxRfiCY`
GitHub Tokens	`ghp_xxxxxxxxxxxxxxxxxxxxxxxxxxxx`
Stripe Keys	`sk_live_...`, `sk_test_...`
Generische API-Keys	`sk-proj-...`, `Bearer ...`
Private Keys	`-----BEGIN RSA PRIVATE KEY-----`

Konfiguration

Multi-Modal kann in drei Modi konfiguriert werden unter Einstellungen → Multi-Modal:

Modus	Beschreibung
Managed	Palveron-gehostete Analyse-Provider. Kein Setup nötig.
Self-Hosted	Eigene Llama Guard / Whisper Instanzen. Volle Datensouveränität.
Deaktiviert	Multi-Modal-Analyse aus. Nur Text wird verifiziert.

Architektur

verify({ prompt, attachments })
  → Content-Type-Erkennung (auto: OpenAI / Anthropic / Palveron-Format)
  → Provider-Routing: Text → GPT-4o-mini
                      Bild → Llama Guard Vision
                      Audio → Whisper → Text-Pipeline
                      Code → Secret Scanner
  → Findings zusammenführen
  → Sensitivitätsfilter anwenden
  → Entscheidung (ALLOWED / BLOCKED / MODIFIED)
  → Trace + Flare-Verankerung

Alle Content-Types durchlaufen dieselbe Flare-Blockchain-Anchoring-Pipeline. contentType und contentMetadata.findings werden auf jedem Trace für Audit-Zwecke gespeichert.

On this page