Files
skillfactor-pipeline/knowledge/REPORT.md
skillfactor-pipeline 6b3b2abe4f feat(knowledge): competence layer complete - 589 files across 9 professions
73 stackexchange-grounded, 516 model-knowledge (ESCO-seeded gemma3),
0 review_needed (calibration caveat documented). Adapters rebuilt with
the full competence sets; final REPORT numbers; all verify checks pass.
Known gap: engineering-manager lacks an ESCO package counterpart.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01PDKeXvpT6tENSvyQGLV1Uq
2026-07-10 06:13:31 +02:00

5.0 KiB
Raw Permalink Blame History

REPORT — Stack-Exchange-Wissensschicht

Stand: 2026-07-10 · Branch quality/reference-standard · Verify: ALL CHECKS PASSED (V1 XML-Stichproben, V2 Mapping-Konsistenz, V3/V4 Wissensdateien + Attribution-Links, V5 Homepage, V6 Schema-Validierung, V7 Prompt-Konsistenz Homepage↔SKILL.md).

Hauptlauf (Ingest → Kompilierung)

Dump-Version: stackexchange_20260331 (archive.org-Suche ergab einen neueren Mirror als den beauftragten 20251231 — DECISIONS D1). 6 Sites, ~929 MB komprimiert.

Site Fragen roh Fragen nach Filter Q&A-Paare
workplace 32.894 9.642 10.697
pm 6.481 1.517 1.708
law 31.790 4.543 4.803
money 40.144 6.934 7.573
softwareengineering 64.475 14.062 15.631
datascience 36.282 2.563 2.724
Σ 212.066 39.261 43.136

Tag-Mapping: 1.048 Tags ≥ 20. 471 Top-Tags (≥ 50) direkt von Claude klassifiziert; Long-Tail (577) via gemma3 mit Few-Shots. Resolver gegen die lokale ESCO-DB: ~870 gemappt, 250+ mit validierter ESCO-URI, Konfidenz high/medium/low im CSV; 27 begründet unmapped (Jurisdiktions-/ Meta-Tags) → mappings/unmapped.csv.

Kompilierung: 10 Berufe × exakt 150 attribuierte Q&A-Insights (= 1.500), 849 Themencluster je Beruf, vocabulary.json je 100 Begriffe. 9 Skill-Pakete tragen das Wissen live als references/practitioner-qa.md (engineering-manager hat kein ESCO-Paket-Pendant — Wissen liegt trotzdem unter professions/). Alle 9 Pakete durch das Lint-Gate publiziert.

Homepage: Stack Exchange als 6. Quelle in Donut (Segment stackx, #00acc1), Legende mit Beitrags-Erklärung, Chips/Formel/Pipeline-Texten; globaler Anteil datenbasiert (1.350+ gezählte Items). Kein verwaistes „five sources" (Verify V5).

Folgelauf Competences

Umfang: essential + 40 optional je Beruf (DECISIONS D8). Final: 589 Competence-Dateien (73 stackexchange-geerdet, 516 model-knowledge, 0 review_needed):

Beruf stackexchange model-knowledge review_needed
accountant 4 53 0
data-scientist 7 90 0
database-administrator 6 61 0
financial-advisor 9 54 0
hr-manager 9 67 0
legal-counsel 8 46 0
project-manager 9 59 0
recruiter 10 33 0
software-engineer 11 53 0
Σ (9 Berufe) 73 516 0

Bekannte Lücke: engineering-manager hat kein ESCO-Paket-Pendant (kein package_slug-Match) → keine Competence-Ableitung möglich; das Berufs-Wissen (knowledge.md, 150 Einträge) existiert trotzdem. Optionen: manuelles Nearest-Mapping auf eine ESCO-Occupation oder O*NET-basierte Competence-Liste — Entscheidung offen.

Web-Research-Stufe: 0 Pflichtfälle — gemma3 hat keine Erklärung mit confidence: low abgegeben. Bekannte Schwäche: Die Selbsteinschätzung des Modells ist vermutlich optimistisch; Empfehlung: menschliches Stichproben-Review von ~20 model-knowledge-Dateien pro Beruf, und die Web-Research-Stufe zusätzlich für die fachlich riskantesten Domänen (legal-counsel, financial-advisor: Rechts-/Steueraussagen!) fahren, auch ohne low-Flag.

Priorität für Stufe-2-Literatur: legal-counsel und financial-advisor (Haftungsrelevanz, Jurisdiktionsabhängigkeit) vor pm/hr; SWE/DS sind durch Stack-Exchange-Dichte am besten geerdet.

Architektur-Bausteine (Auftrag 3)

  • ARCHITECTURE.md (verbindlich): 3 Schichten, Beförderungslogik, Multi-Plattform-Adapter, MCP-Gateway, Wege A/B — mit Mermaid.
  • schemas/: lesson/competence/vocabulary — bindend, in Verify (V6) eingehängt; Vertrauensgrenze (kein customer/project in Schicht 1) im Schema kodiert.
  • templates/org-repo/: Schicht 2+3 mit Bauunternehmer-Beispielen inkl. kompletter Beförderungskette (2 Projekte → Overlay → anonymisiertes Community-Destillat).
  • adapters/claude/: Generator GELAUFEN — 10 Skill-Pakete + marketplace.json; kanonischer Trigger-Prompt identisch mit der Homepage (V7-geprüft).
  • adapters/openai/: lauffähiges Bundle-Gerüst + openapi.yaml; adapters/ gemini/: SPEC (kein Test-Account) — Spec-only.
  • services/skillfactor-mcp/: tools.json + FastMCP-Stubs — Gerüst; services/m365-mining/: SPEC mit DDL-Annahme (D10) — Spec-only.
  • Homepage: Schichtenmodell umgebaut, Multi-Plattform- + Anreicherungs- Sektionen, Chat-Beispiel mit kopierbarem Prompt.

Bekannte Schwächen / nächste Entscheidungen

  1. gemma3-Konfidenz-Kalibrierung (s.o.) — Stichproben-Review einplanen.
  2. MCP-Gateway & M365-Mining sind Spec/Stub — Implementierungsauftrag nötig (inkl. Entscheidung: HTTP-Facade-Hosting, Token-Verwaltung).
  3. Gemini-Adapter braucht einen Test-Account.
  4. Tag→Skill-Mapping: fuzzy-aufgelöste ESCO-URIs (Konfidenz herabgestuft) könnten ein menschliches Review der medium-Zeilen vertragen.
  5. Q&A-Dichte je Competence ist ungleich (stackexchange-Quote 725%) — die geplanten Stufe-2-Quellen (EconStor, CORE, DOAB, arXiv) sind der Hebel, siehe „Weitere Anreicherung" in jeder Datei.