Copilot-Metriken jetzt auch pro Organisation sichtbar

Consulting Briefing: KI-Zitate als neue Währung im Intranet

Bis gestern habt ihr Intranet-Erfolg an Klassikern gemessen: Seitenaufrufe, Downloads, vielleicht noch Suchbegriffe. Alles nett – aber mit Microsoft 365 Copilot und SharePoint-Agents kommt eine neue, ziemlich entlarvende Frage auf den Tisch: Welche Inhalte werden von der KI tatsächlich als Quelle verwendet? Genau dafür ist SharePoint AI Citations Analytics da: Es macht sichtbar, wie oft Dokumente, Seiten und News in Copilot-/Agent-Antworten zitiert werden – bis hoch zur Aggregation auf Site-Ebene.

Das ist nicht nur ein neues Dashboard. Das ist ein neuer Blick auf Wahrheit im Unternehmen: Was Copilot zitiert, prägt Entscheidungen. Und was nicht zitiert wird, existiert aus KI-Sicht ungefähr so wie ein Ordner „ALT_ALT_FINAL(3)“.

Welche Metriken sind neu sichtbar?

Im Kern kommt eine neue Messdimension dazu: „Worauf hat die KI sich gestützt?“ statt „Wer hat geklickt?“. Typisch sichtbar werden (je nach Rollout/Ansicht) vor allem:

• Zitationsanzahl pro Datei/Seite/News: wie oft ein Inhalt in einer Copilot-Antwort als Quelle auftauchte.

• Aggregierte Zitationen auf Site-Level: wie stark eine ganze Site als „Quellenlieferant“ für Copilot/Agents dient.

Praktisch heißt das: Zwei Dokumente können gleich viele Views haben – aber nur eins wird von Copilot ständig zitiert. Dann ist das andere eher Deko.

Wer darf das sehen?

Hier wird’s spannend, weil Analytics in Microsoft 365 gern wie eine Matroschka ist: außen hübsch, innen Rollenmodell.

1) Site-Ebene (klassische SharePoint-Analytics / Site Usage)
Site-Admins, Site-Owner, Mitglieder und Besucher können Site-Usage-Daten sehen; Besucher haben dabei Einschränkungen (z. B. keine externen Reports/Downloads).

2) Agent-/Copilot-nahe Nutzungsdaten (rollenbasiert)
Microsoft beschreibt für „Agent Usage“-Monitoring eine klare Trennung:

• Personen mit mindestens Besucherrechten können z. B. Datei-Statistiken/„Site usage“ im Rahmen ihrer Site sehen.

• SharePoint-Admins haben tenantweite Optionen (Inventar, Auswertungen), und für Audit-Details braucht es passende Compliance-Rollen.

3) Namen vs. Zahlen (Datenschutz-Schalter!)
Wichtig: In SharePoint-Usage hängt die Sichtbarkeit von Personennamen an einem Admin-Setting („SharePoint Viewers“). Ohne das seht ihr eher aggregierte Zahlen; mit aktivierter Option können Namen an bestimmten Stellen sichtbar werden.

Least Privilege einrichten: so wenig wie möglich, so viel wie nötig

Das Ziel ist simpel: Kennzahlen dorthin, wo gehandelt wird – Identitäten nur dorthin, wo es zwingend nötig ist.

Empfohlene Rollenaufteilung:

• Content-Verantwortliche (Site-Owner):
  Dürfen Zitations-Trends und Top-Inhalte ihrer Site sehen, um Inhalte zu pflegen. Keine tenantweiten Exporte, keine Audit-Details.

• SharePoint-Admins:
  Sehen tenantweite Muster und können Governance-Maßnahmen steuern (z. B. Policies, Reports).

• Compliance-/Security-Rollen (Purview Audit):
  Nur wenn ihr wirklich Nachvollziehbarkeit auf Ereignisebene braucht (z. B. „wer hat was erstellt/genutzt“), gehört das in den Purview-Audit-Kontext – und damit in ein restriktives Admin-Set.

Datenschutz-Hebel, die ich fast immer ziehe:

• Personennamen nur bei Bedarf aktivieren (und dann sauber begründen, dokumentieren, zeitlich begrenzen).

• Für zentrale M365-Reports: Anonymisierung in Erwägung ziehen, wenn Adoption/Usage breit ausgewertet wird.

Abweichungen richtig lesen: „Org“ vs. „Enterprise“

Viele Microsoft-Dashboards arbeiten mit zwei Vergleichslinien:

• Org: eure eigenen Daten (euer Tenant, eure Nutzung).

• Enterprise: ein Benchmark/Referenzwert aus aggregierten Daten anderer Organisationen – häufig als Fallback oder Vergleich, besonders wenn eigene Daten dünn sind. Bei Microsoft ist dieses Muster dokumentiert: Wenn eine Organisation nicht genug eigene Daten hat, werden Daten anderer Microsoft-365-Organisationen angezeigt.

So interpretiert ihr Abweichungen ohne Kaffeesatz:

• Org deutlich unter Enterprise bei Zitationen:
  Oft ein Signal für Auffindbarkeit, Struktur, Metadaten, Berechtigungen. Nicht „die Leute nutzen KI nicht“, sondern „die KI findet eure guten Inhalte nicht oder darf sie nicht sehen“.

• Org deutlich über Enterprise:
  Glückwunsch – oder Alarm. Prüft, ob ein kleiner Content-Kern alles dominiert (Single-Point-of-Truth) und ob die Inhalte aktuell sind. Ein veraltetes „Top-zitiertes“ Dokument ist wie ein kaputter Kompass: zeigt zuverlässig irgendwohin, nur nicht nach Norden.

• Sprünge nach oben/unten:
  Typisch nach großen Content-Moves, Berechtigungsänderungen, Rollouts von Agents, oder wenn ihr „SharePoint Viewers“/Reporting-Settings ändert (Vergleichbarkeit beachten).

Messplan: Baseline, Zielwerte, Monat-zu-Monat

1) Baseline (Monat 0, ideal: 4 Wochen stabil)

• Gesamt-Zitationen pro Kernsite (Intranet, Policies, IT, HR, Projekte)

• Top 20 zitierte Inhalte je Kernsite

• Anteil Zitationen aus Top-5-Inhalten (Konzentrationsgrad)

• „Dark Content“-Quote: Anteil wichtiger Inhalte mit 0 Zitationen (definiert über eure „Must-have“-Listen)

2) Zielwerte (Monat 1–3, pragmatisch statt poetisch)

• +20–40 % Zitationen in den 3–5 wichtigsten Wissens-Sites (nicht überall gleichzeitig)

• Konzentration senken: Top-5-Anteil runter (z. B. von 80 % auf 60 %), damit Wissen breiter verteilt ist

• Dark Content reduzieren: z. B. 30 % weniger „wichtig aber nie zitiert“

3) Monat-zu-Monat-Rhythmus

• Monatlich: Trend-Review mit Site-Ownern (30 Minuten pro Kernsite)

• Quartalsweise: Governance-Review tenantweit (Policies, Oversharing-Risiken, Archivierung, Verantwortlichkeiten)

Goldene Regel: Nur Werte vergleichen, die wirklich vergleichbar sind (gleiche Sites, gleiche Zeitraumlogik, keine „wir haben nebenbei alles umbenannt“-Monate).

Checkliste: Governance und Datenschutz

Governance

• Klare Content-Verantwortliche für „Top-zitiert“-Inhalte benennen (Owner-Pflicht)

• Review-Takt festlegen: Top 20 monatlich prüfen (Aktualität, Gültigkeit, Duplikate)

• „Single Source of Truth“ erzwingen: Dubletten abbauen, kanonische Seiten definieren

• Change-Log für große Struktur-/Berechtigungsänderungen führen (sonst sind Sprünge im Chart Rätselraten)

Datenschutz

• Sichtbarkeit von Personendaten in Analytics bewusst steuern („SharePoint Viewers“ nur bei Bedarf)

• Zentralreports bei Bedarf anonymisieren (Adoption messen, ohne Personen zu jagen)

• Zugriff auf Audit-Logs streng rollenbasiert (Need-to-know, nicht „weil spannend“)

• Dokumentierte Zwecke: Warum wird gemessen? Wer nutzt die Ergebnisse? Wie lange werden Auswertungen aufbewahrt?

Unterm Strich: AI Citations Analytics ist euer neues Radar. Es zeigt nicht, wer am lautesten klickt, sondern welche Inhalte Copilot als Fundament nutzt. Und wenn das Fundament wackelt, hilft kein schönes Intranet-Logo – dann braucht ihr Handwerk: Struktur, Verantwortung, Berechtigungen, Messdisziplin.