Your Copilot - KI in der Microsoft 365 Welt verstehen und anwenden Cover

Your Copilot - KI in der Microsoft 365 Welt verstehen und produktiv anwenden

Michael Greth

Since 01/2024 33 Episoden

YCP032 - Recherche Agent - hier kommt der Faktencheck

27.06.2025 27 min Michael Greth

Zusammenfassung & Show Notes

🎧 Your Copilot – Episode 32:

🕵️‍♂️ Acht Stunden Deep Dive in ein 58-seitiges Handbuch? Mein KI-Experiment mit dem Copilot Research Agent.

In dieser Folge nehme ich euch mit auf meine ganz persönliche Reise durch das Copilot Control System – genauer gesagt durch einen zweitägigen Microsoft Deep Dive, den ich mithilfe des Copilot Research Agents in ein komplettes, strukturiertes Handbuch verwandelt habe.Aber kann man KI wirklich mit so viel Verantwortung betrauen? Und wie gut ist das Ergebnis wirklich? Das erfordert einen Fakten- und Inhaltscheck - natürlich mit KI-Unterstützung.

🗂️ Das Handbuch gibt es kostenlos zum Download in DE & EN

👉 CCSDD Event auf TechCommunity: https://techcommunity.microsoft.com/event/microsoft365copilot-events/digital-deep-dive-copilot-control-system-ccs/4414752
👉 CCSDD Event auf Adoption: https://adoption.microsoft.com/en-us/copilot/control-system/ (PPTX Downloads)
👉 CCSDD Event Recordings: https://www.youtube.com/watch?v=H4gFSHkO1Qs&list=PLR9nK3mnD-OU3EgBl8GzkOGKAePQrzc3-

👉 Download CCS Deep Dive Handbook english: https://sharepointsocial.de/ccsen
👉 Download CCS Deep Dive Handbook deutsch: https://sharepointsocial.de/ccsde

🎧 Your Copilot – Episode 32:

🕵️‍♂️ Acht Stunden Deep Dive in ein 58-seitiges Handbuch? Mein KI-Experiment mit dem Copilot Research Agent.

In dieser Folge nehme ich euch mit auf meine ganz persönliche Reise durch das Copilot Control System – genauer gesagt durch einen zweitägigen Microsoft Deep Dive, den ich mithilfe des Copilot Research Agents in ein komplettes, strukturiertes Handbuch verwandelt habe.Aber kann man KI wirklich mit so viel Verantwortung betrauen? Und wie gut ist das Ergebnis wirklich?

🔍 Was euch in dieser Episode erwartet:

Warum ich den achtstündigen Online-Event „Digital Deep Dive Copilot Control System“ nicht live verfolgt habe – aber trotzdem alles rausgeholt habe.
Wie ich mit dem Copilot Research Agent und meinen eigenen YouTube-Transkripten ein 44-seitiges Handbuch erstellt habe.
Warum ich Google Gemini und NotebookLM als „zweite Meinung“ für den Faktencheck herangezogen habe.
Wie gut das Handbuch wirklich ist – laut KI-Bewertung und meinem eigenen Bauchgefühl: Zwischen 90 und 95 % treffsicher!
Was gut funktioniert hat – und wo der Research Agent vielleicht ein bisschen zu kreativ war.
Mein Fazit zur Qualität, Verlässlichkeit und zum praktischen Nutzen solcher KI-generierten Inhalte für Entscheider.

Transkript

Hallo, Copilot-Rechercheagent. Kannst du mir helfen, über acht Stunden Deep Dive in das Copilot-Kontrollsystem aus einem Online-Event einzutauchen und zu verstehen, worum es da geht? Ich brauche definitiv Unterstützung. Your Copilot. Der Podcast, der hilft, die künstliche Intelligenz in der Microsoft 365 Welt zu verstehen und produktiv anzuwenden. Mit eurem Copiloten Michael Greth. Ja, Hallihallo und herzlich willkommen zur 32. Ausgabe des Your Copilot Podcasts, eurem Podcast, der euch helfen soll, die künstliche Intelligenz in der Microsoft 365 Welt besser zu verstehen und vor allen Dingen auch produktiv einzusetzen. So, meinen Hilferuf habt ihr schon im Intro gehört. Es geht heute mal wieder um das, was mich in diesem Podcast hier bewegt, euch nämlich mit Inhalten, Themen zu versorgen, die man vielleicht nicht an jeder anderen Ecke hört. und insbesondere meine persönlichen Erfahrungen mit dem Microsoft 365 Co-Pilot hier mit euch zu teilen. Und heute geht es um nochmal, wir sind ja gerade im Wave 2, also mit den vielen neuen Funktionen, heute geht es nochmal um den Rechercheagent. Ich habe ja schon im Podcast darüber erzählt, wir haben uns den schon auch in Videos angeguckt, aber ja, was kann der denn nun wirklich? Man muss halt ihn in der Praxis testen. Und da kam mir in der letzten Woche ein Online-Event in den Sinn. Und zwar hat Microsoft auf der Tech-Community einen zweitägigen Online-Event gemacht. Der nannte sich Digital Deep Dive in das Co-Pilot Control System. Das ist halt das Framework, was Microsoft rund um Copilot aufgebaut hat, um den Einsatz von Microsoft 365 Copilot, Microsoft Chat und Copilot Studio sicher zu administrieren, einzuführen, zu managen, zu monitoren und was man dort alles machen muss, wie man das einrichten muss. All das ist halt in diesen Copilot Control System inkludiert. Und dazu gab es halt diesen zweitägigen Event mit zehn Sessions, Gesamtlänge über acht Stunden. Und ich hatte leider keine Zeit, da direkt daran teilzunehmen. Aber erfreulicherweise hat Microsoft nicht nur diese ganze Veranstaltung aufgezeichnet. Also alle Videos stehen auf YouTube zum Ansehen bereit, sondern haben auch noch alle PowerPoint-Folien dazu veröffentlicht. So und dann dachte ich mir, das wäre doch mal eine gute Aufgabe für den Rechercheagenten, mir aus diesem Event mal so ein richtiges, nicht eine Zusammenfassung oder irgendeinen Schnickschnitz zu machen, das kennen wir alles, sondern mal ein richtig fundiertes Dokument zu erzeugen, Was für mich als Entscheidungsträger oder als jemand, der sich auf einem etwas höheren Level über dieses ganze Thema informieren müsste, mit den wichtigsten und aber trotzdem tiefgehenden Informationen aus diesen acht Stunden Online-Event versorgt. So, das war der Ansatz. Und naja, habe ich gesagt, okay, das müsste eigentlich der Rechercheagent können. Also losgelegt. Erstmal muss ich mir natürlich nochmal das Quellmaterial besorgen. Also klar gab es zum einen die PowerPoint-Folien, die habe ich mir schon runtergeladen. Die könnte man jetzt analysieren. Ja, ist nicht so schön. Wir haben ja was Besseres. Wir haben hier die 10 Sessions auf YouTube. Also mal schnell die 10 Sessions von YouTube transkribiert. Das mache ich tatsächlich bei mir, indem ich mir die YouTube-Videos herunterlade und dann lokal auf meinem MacBook mit MacWhisper, also mit dem Whisper-Speech-to-Text-Modell, das Ganze transkribiere. Das geht super gut in einer richtig klasse Qualität und dauert auch gar nicht so lange. Das Ergebnis dann sind zehn Textdateien, in denen das gesamte Transkript jedes einzelnen, jeder einzelne Session drin ist. So, damit habe ich sozusagen die Inhalte. Und jetzt habe ich gesagt, okay, diese zehn Sessions, das ist mein Quellmaterial und damit soll der Rechercheagent jetzt mal arbeiten. Und habe ihm dann folgende Aufgabe gegeben. Und die habe ich mir wie immer einfach per Sprache als Prompt diktiert. erstelle ein Handbuch zum Copilot-Control-System-Deep-Dive-Event, recherchiere für Entscheider, das war meine Zielgruppe, für diejenigen, die sich Gedanken darüber machen müssen, wie sie qualitativ den Einsatz von Copilot monitoren und so weiter. Es muss nicht auf dem tiefsten, tiefsten technischen Level sein, aber es muss verständlich sein, es muss die einzelnen Themen alle zehn Sessions ansprechen, es muss sagen, warum es wichtig ist, was die Herausforderungen sind, welche Tools und welche Möglichkeiten man hat, dieses entsprechend jeweils geschriebene Problem zu monitoren, Was brauchst du dafür als Quellen für Input? So, kurze Anmerkung, natürlich ist das nicht ein optimaler Prompt. Ich habe halt, wie es mir so eigen ist, gerne mit meinem Co-Palettier gequatscht. Habe ihm das also per Text gesagt, kann man besser machen, aber spielt für das hier keine Rolle, weil der versteht mich schon sehr gut. Der wiederholt dann erstmal das, der sagt, ich verstehe, dass du ein Handbuch für das Co-Palett-Kontrollsystem Deep Type Event erstellen möchtest. Er soll sich an den Scheider richten und die Themen der 10 Sessions abdecken, einschließend der Bedeutung, Herausforderung, Tools und Möglichkeiten zur Überwachung des Einsatzes von Copalit. Das ist im Grunde das, was ich da gesagt habe, nur mal schon ein bisschen hübscher formuliert. Und dann wollte er gerne von mir noch wissen, ob das Handbuch in einem bestimmten Format vorliegen soll, ob es spezifische Quellen oder Dokumente gibt, die er unbedingt berücksichtigen soll und ob das Handbuch auch visuelle Elemente enthalten soll. Darauf habe ich dann auf die zweite Frage nur geantwortet. Hier sind die zehn Textdateien aus den Transkriptionen. Da hast du deine Quellen und jetzt mach mal. Und das habe ich ihm dann abgeschickt. So, und dann hat er so sieben bis acht Minuten gebraucht. Und nach sieben bis acht Minuten war er dann mit seiner Recherche fertig und hat mir insgesamt nachher 44 Seiten in Word als Ergebnis ausgespuckt. Kurz, um die Schritte nochmal nachzuverzeugen. Also der Chat war fertig. Dann habe ich natürlich gleich unten draufgeklickt. bitte kopiere mir das Ergebnis des Chat in eine neue Copilot-Page. Dann hat er das Ganze rübergenommen in die Copilot-Seite, Copilot-Page. Das, wo man auf Loop-Basis dann weiter mit arbeiten kann, umrangieren. Er hatte in den Text auch richtig Tabellen eingearbeitet in den Chat und die sind dann natürlich schöne Tabellen im Loop, mit denen man arbeiten kann. Also es ist richtig schon kuschelig und funktioniert auch sehr gut. Und dann habe ich nochmal auf den Knopf gedrückt und gesagt, bitte exportiere das Ganze mal nach Word. Und dann hat der Internet-Share-Pand-Seite genommen, der Co-Pand-Seite genommen und hat ihn in ein neues Word-Dokument kopiert. Und dann, wie gesagt, waren es die 44 Seiten. So, das hat alles wunderbar funktioniert und sieht dann auch in Word recht ordentlich formatiert aus. Also da kann man nicht meckern. Jetzt Faktencheck. Ist das, was mir der Rechercheagent gemacht hat, Ist das gut? Ist das qualitativ richtig? Ist das inhaltlich richtig? Entspricht das meiner Zielsetzung? Hat er das, was in den einzelnen Sessions tatsächlich gesagt wurde, richtig rausgenommen? Hat er nichts vergessen, was wichtig ist? Hat er irgendwelche Bewertungen gesetzt? Hat er irgendwas hinzugedichtet? Es tun sich viele Fragen auf. Denn wenn ich mir das Ergebnis, was er mir sozusagen ohne Nachbearbeitung ausgespuckt hat, durchlese, dann muss ich sagen, das liest sich richtig gut. Und da ich ja auch über das Copac-System schon einiges weiß und im Hinterkopf habe, kann ich das natürlich auch noch zuordnen und sagen, ja, das ist auch richtig gut. Ich habe mal gesagt, das sind so 95 Prozent, vielleicht irgendwo zwischen 90 und 95 Prozent dessen, was ich erwartet habe und was stimmt, müsste eigentlich okay sein. Natürlich müsste ich jetzt, wenn ich das veröffentlicht, nochmal in den dezidierten Faktencheck einsteigen. Das habe ich einfach mal an der Stelle abgeblockt und habe gesagt, so wie das ist, ist es fertig. Ich habe ein PDF draus gemacht und dieses PDF der Originalversion könnt ihr euch herunterladen. Ich habe da einen Link in den Shownotes mit drin. Dann ein ganz kurzer Ausflug. Ich hatte bei dem Prompt leider vergessen, ihm zu sagen, dass ich das in Deutsch haben möchte. Und deswegen hat er mir das ganze Dokument in Englisch ausgespuckt. Dann ging natürlich die Frage los, was machst du jetzt? Ich wäre jetzt doch gerne in Deutsch. Hab versucht das mit einem Rechercher, gern zu sagen, mach das mal inhaltlich unverändert, aber einfach nur übersetzt in Deutsch. Das ist dann kläglich gescheitert. Auch mit ChatGPT, in dem ich das gesagt habe, ist gescheitert. Letztlich, was bei mir funktioniert hat, ich hab das im AI-Studio von Google in Gemini Pro 2.5 Pro eingepackt. Und der hat mir dann eine komplette Übersetzung daraus gemacht, aus dem Dokument. Und die ist dann auch von 44 auf 57 Seiten angewachsen in Deutsch. Und die liest sich auch richtig gut. Also das nur noch ein kleines Nehmen. Deshalb gibt es auch die ganze Version in Deutsch. Und die habe ich auch noch zum Download zur Verfügung gestellt. So, das ist wieder so eine Kombination von verschiedenen Tools, um zu sehen, was man als Ergebnis bekommen kann. Gut, bis zu diesem Punkt. Dann habe ich Videos dazu aufgezeichnet. Eins in Englisch, eins in Deutsch. Habe beide Videos auf LinkedIn, YouTube und Facebook online gestellt. und habe mal ein paar Kommentare eingesammelt. Das war schon mal sehr gut. Und natürlich habe ich auch in die Dokumente oben ganz groß reingeschrieben, Achtung, Achtung, kleiner Disclaimer. Das, was ich hier gemacht habe, ist ein Proof of Concept. Da gibt es, ich habe keinen Faktencheck gemacht, keine inhaltliche Überprüfung. Guckt einfach mal an, was aufgrund dieser Anforderungen, aufgrund der vorhandenen Quellen der Rechercheagent als Ergebnis ausgeworfen hat. So, ja, damit dachte ich, bin ich fertig. Und dann, ist ja auch schon ein paar Tage her, dann habe ich natürlich auch diese 32. Episode vom Copa-Lip-Podcast auch schon aufgezeichnet. Die ist jetzt in die digitale Tonne gekippt worden, weil ich mir nämlich sagte, nee, eigentlich müsste es sie jetzt wirklich mal überprüfen, wie gut das wirklich ist. Also der Eindruck, den ich hatte und den ich habe immer noch ist, dass das, was als Ergebnis auch mit meinem Fokus, Also ich wollte ja jetzt nicht eine 1 zu 1 Kopie der Transkripte oder so weiter haben, sondern ich hatte schon gesagt, ich bin Entscheider, ich hätte gern einen Fokus auf diesem gesamten Event. Ich möchte zu jedem der einzelnen Sessions eine Zusammenfassung haben, die für mich, für meine Grundlagen sind und auf einem tieferen, aber nicht zu tiefen technischen Niveau organisiert sind. Und wie gesagt, ihr könnt das in den Dokumenten ja angucken, was da als Ergebnis rausgekommen ist. Und ich fand das recht ordentlich. Aber die Frage ist, wie Fakten checke ich das denn? Ich könnte jetzt natürlich bei den Transkripten, das ist schon mal blöd, das ist ja alles, das ist ja auch wirklich gegliedert oder ähnliches, sondern das liest sich natürlich nicht. Also ich könnte mir jetzt jedes Video angucken und mal sehen, ob das alles da reinpasst. Ja, also eine Option. Und dann dachte ich mir, gibt es nicht irgendwie KI? Ich weiß, gibt es jetzt nicht KI? Kann mir KI nicht dabei helfen, das ganze Ding mal zu überprüfen? andere Brille aufsetzen, von der anderen Seite mal gucken. Naja gut, und da dachte ich mir, okay, mach das mal. Lass doch mal von der KI deine PDFs gegen die 10 Transkripte checken und mal rauskriegen, was da richtig ist und ob es da Fehler gibt und wie die Qualität zu beurteilen ist. Nehme ich dazu den Microsoft 365 Co-Pilot? Natürlich nicht. Warum nicht? Ganz einfach, ich meine, soll der Co-Pilot sich selber überprüfen? Ich hole mir doch lieber eine zweite Meinung an von einem anderen System, das vielleicht mit anderen Werten getrainiert worden ist und anderer Einstellung hat und von dem ich vielleicht auch selber noch Erfahrung mit gesammelt habe. Also bei mir sind das zwei Dinge gewesen, die ich genommen habe. Diesmal nicht ChatGPT, tatsächlich nicht, sondern Notebook LM und das AI-Studio von Google mit dem dortigen Chat. Da kann man das erstmal kostenlos ausprobieren. So als erstes habe ich dann, wie gesagt, den AI, als erstes habe ich mir überhaupt erstmal einen Prompt gebaut, mit dem ich sozusagen diesen Faktencheck durchführen kann. Und dazu habe ich mir natürlich wieder ChatGPT genommen, weil das mein Buddy ist, um Prompt zu bauen. Ich könnte es vielleicht auch mal mit dem Prompt-Agent in Microsoft 365 Copilot versuchen, aber das ist ein anderes Thema. Was habe ich dem ChatGBT gesagt? Also das PDF-Dokument in den Quellen, dass ich dir hier hochlade, ist aus zehn anderen Transkript-Dateien, den Textdateien entstanden. Mache bitte einen Faktencheck und auch einen Inhaltigencheck, ob das, was in der PDF drinsteht, mit den jeweiligen Quellen vereinbar ist und ob das Abweichungen gibt oder Dinge, die nicht drinstehen oder so gut und wie gut der Qualität des Outputs ist. Also wieder in meiner lockeren Art formuliert und dann macht mir daraus dann ChatGPT natürlich wieder einen schönen Prompt, der dann da heißt, du hältst ein zusammenfassendes PDF-Dokument sowie zehn Texttranskripte als Quellenmaterial. Bitte führe einen detaillierten Fakten- und Inhaltscheck durch, vergleiche die Inhalte der PDF-Dokumenten mit den zehn Transkriptdateien, markiere alle Aussagen im PDF, die so nicht wörtlich oder sinngemäß in den Transkripten vorkommen, kennzeichne Abwechung und Auslassung, also Inhalte, die im PDF stehen, aber nicht in den Transkripten vorkommen und umgekehrt bewerte die Qualität der Zusammenfassung im PDF in Bezug auf inhaltliche Genauigkeit, Vollständigkeit, Kohärenz und Verständlichkeit für eine Entscheiderzielgruppe. und gibt mir noch eine kurze Gesamtbewertung der Qualität des Outputs, zum Beispiel auf einer Zahl der Skala von 1 bis 5 mit Begründung. So, und das ist natürlich dann schon wieder ein richtig gutes Prompt aus meinem Quagel raus. Und dieses Prompt mit den Dateien habe ich dann in das AI-Studio von Google eingegeben, in den Chat mit, wie heißt das Kältchen hier, Gemini 2.5 Pro. Und was dann daraus gekommen ist, das liest sich dann ungefähr so. Und zwar mache ich mal, er hat also jedes Kapitel analysiert, gibt mir dann für die einzelnen Kapitel auch eine Bewertung und zeigt mir auch an, was für Auslassungen da drin sind. Das ist allerdings relativ kurz und knapp an verschiedenen Stellen gefasst. Aber die Gesamtwerte, die Genauigkeit ist hoch, aber nicht perfekt. Die Kernkonzepte, Werkzeuge und strategische Empfehlungen aus jeder Session werden korrekt wiedergegeben. Der Schwachpunkt liegt in der Hinzufügung von illustrativen Beispielen, zum Beispiel spezifische KPI-Werte, Protokollanträge und gelegentlichen Schlussfolgerungen, zum Beispiel das Wort wahrscheinlich. Obwohl diese Hinzufügungen das Dokument für die Zielgruppe verständlicher machen, handelt es sich nicht mehr um eine reine Wiedergabe der Quellen. Das habe ich öfter mal gefunden, dass in dieser Beschreibung auch drin stand, ja, das steht so ähnlich drin, aber es ist hier doch ein bisschen anders formuliert, was ich jetzt gar nicht so schlecht finde, weil ich will es ja auch für eine schöne Zielgruppe haben und das muss ja nicht unbedingt mit dem übereinstimmen, was halt in der Session los war. So, Vollständigkeit. Dazu hat er gesagt, die Vollständigkeit ist exzellent. Jeder der zehn Sessions wird sich in eines Kapitels im Handbuch abgedeckt. Die Struktur des PDFs erfolgt logisch und thematisch der Gliedung des Events. Ist jetzt auch nicht schwer, das ist ja vorgegeben gewesen. Die wichtigsten strategischen und technischen Punkte aus der E-Session scheinen erfasst worden zu sein. Es gibt keine offensichtlichen Lücken. Und zur Kohärenz und Verständlichkeit ist herausragend. Die größten Stärken des Dokuments sind die Zielgruppenorientierung. Die Sprache ist konsequent auf eine nicht-technische Entscheidebene ausgerichtet. komplexe technische Inhalte werden in strategischen Notwendigkeiten und handhabbare Konzepte wie Zonen-Säulen übersetzt. Die Struktur, die Gliederung in zehn thematische Kapitel, die wir jetzt für sich stehen können, ist klar. Die Verwendung von Tabellen, Listen und Back-Practices-Abschnitten macht die Information leichter verdaulich. Und als drittes die Handlungsorientierung. Das Handbuch konzentriert sich auf das, warum ist das wichtig und das, wie kann man das steuern, was ist für Scheide-End wichtig. Das ist die Begründung und die Gesamtbewertung sind 4.5 von 5 Sternen mit der Begründung, dass vom Co-Palace Research Agent erstellte Handbuch ein exzellentes Proof of Concept, es demonstriert eindrucksvoll die Fähigkeiten aus langen, unstrukturierten Transkripten ein kohärentes, gut strukturiertes und zielgruppengerechtes Dokument zu erstellen. Die Stärken, das ist die Struktur, die Verständlichkeit, die Vollständigkeit und die strategische Aufbereitung der Inhalte für Entscheider sind auf einem sehr hohen Niveau. Das Dokument ist mehr als eine Zusammenfassung, er ist ein echtes, nutzbares Handbuch. Das wollte ich ja auch haben, nicht schlecht. Die Schwäche ist, das einzige aber wichtige Kritikpunkt ist die Tendenz des Agenten, die Faktenbasis der Transkripte durch eigene plausible Beispiele und Schlussfolgerungen zu bereichern. Für ein Dokument, das als verlässliche Referenz dienen soll, ist dies ein Manquo. Die Warnhinweise auf der ersten Seite sind daher absolut notwendig und korrekt. Und das hatte ich ja jedem Dokument eingefügt, dass ich gesagt habe, Achtung, das ist nicht geprüft. Ja, so, das Fazit aus dieser Analyse ist, ja, ich finde diese Hinzuführung und Ergänzung, die müsste man jetzt überprüfen, ob die tatsächlich auch richtig sind, aber finde ich gar nicht schlecht. dass ich, wenn ich das für eine Zielgruppe aufbereite in so einem Handbuch, dass ich dann die Inhalte, die vielleicht für eine technische Zielgruppe anders aufbereite und das vielleicht mit eigenen Beispielen ergänze, die dann passen und richtig sind. Das würde ich ja auch als Redakteur oder als Autor eines solchen Handbuchs machen, dass ich das nicht nur eins zu eins abschreibe. Es sollte ja nicht nur eine eins zu eins Zusammenfassung sein, sondern es sollte ja eine Erstellung der Inhalte für eine bestimmte Zielgruppe sein. Das halte ich mal für ganz richtig. So, und um dann noch eine zweite Meinung einzuholen, habe ich das Ganze, wie gesagt, nach Notebook-LM kopiert. Also die zehn Transkripte, mein Handbuch-PDF und dann natürlich den Chat dort abgefragt. Und Notebook-LM ist dann natürlich mit dem gleichen Prompt versehen. Und Notebook-LM ist dann aber nochmal auf einem ganz anderen Level da rangegangen. Ich musste dieses Prompt da im Notprogramm auf zwei Prompts aufteilen. Beim ersten Mal, wo ich gesagt habe, hier hast du alle zehn, mach mal, ist er so nach dem vierten Kapitel hat er ausgesetzt. Das war ein bisschen zu viel für ihn. Also habe ich das aufgeteilt in die ersten fünf Kapitel und dann die zweiten fünf Kapitel. Und er hat mir dann doch ausführliche Auskunft gegeben. Da gibt es dann also für jedes Transkript praktisch einen detaillierten Faktor-Inhaltscheck, wo man sagt, hier, das ist die Aussage, das ist das, was im Transkript drin steht und ich bewerte das dann mal. Da steht dann zum Beispiel, okay, zwischen diesen beiden Aussage im Transkript, starke Übereinstimmung, inhaltlich korrekt und direkt unterstützt. Und so geht das weiter, dass er sich praktisch Aussage für Aussage mit entsprechenden Quellen holt und dann immer eine entsprechende Wertbewertung gibt. Da steht dann aber auch zum Beispiel mal drin, bei einer Aussage bei Tools und Methoden, signifikante Ergänzungen im PDF ohne direkte Quellenunterstützung aus Transcript. Dies sind allgemeine Best Practice für Governance und Projektmanagement. Dies ist eine qualitative Aufwertung der Inferenz, auch wenn sie nicht explizit aus den Sessions stammen. die Tabelle 1 ist ebenfalls eine reine Ergänzung durch den AI-Agenten. So geht das da durch und das geht dann alles zusammen, so sind es glaube ich 22 Seiten, die da nochmal rüberkommen sind und gibt mir auch nochmal viel. In der Regel steht da immer drin, da gibt es Unterschiede, aber eigentlich passen die und da habe ich nur an zwei Stellen wirklich etwas gefunden, wo es einen definitiven Unterschied gab, wo man vielleicht noch etwas anderes machen konnte, aber er hat letztlich auch hier eine auf der Skala von 1 bis 5, 4 von 5 Sternen verteilt, hat hier wieder die Zielgruppen über Orientierung ganz nach vorne geholt. Die Lesbarkeit ist ebenfalls äußerst effektiv, sagt er mir hier. Die meisten Informationen sind akkurat aus den Transkripten extrahiert und paraphrasiert für die inhaltliche Konsistenz. Und Inferenz und Wertsteigerung hier auch nochmal als komplett. Der Copa Research Agent hat nicht nur zusammengefasst, sondern auch sinnvolle Interpretationen vorgenommen und relevanten Best Practices hinzugeführt, die nicht immer wörtlich in den genau zugeordneten Transkripten standen, aber den Wert des Handbuch als praktische Leitfrau erheblich steigern. Ist ja auch nicht schlecht. Bei den Schwächen, wie gesagt, einmal die selektive Detaillierung, um Kürze und Verständlichkeit für Entschärter zu wahren, wurden teils wichtige spezifische Tools und zukünftige Funktionen aus den Transkripten weggelassen, zum Beispiel Purview, DSPM Details, Microsoft Defender for Cloud Apps. Dies ist der Hauptgrund für den Abzug eines Sternen, da die Aspekte der tiefe, bereiten Stellung der Kontrollsysteme hätten weiter verdeutlicht werden können. Das ist jetzt natürlich so eine Entscheidung, wie weit mache ich das? Oder sage ich dann, wenn du mehr lesen willst, guck doch tatsächlich in die entsprechende Session rein. Hier würde man natürlich jetzt als Autor eine entsprechende Entscheidung treffen können. Und wie gesagt, das wird hier bemängelt. Und geringfügige Ungenauigkeiten und Fehlzuordnungen sind das Zweite. Was hier kritisiert wird als Schwäche, das gelegentliche Mischen von Funktionen oder Attributierung von Informationen aus einem anderen thematischen Transkript innerhalb des Abschnitts weisen auf eine leichte Unschärfe in der Quellenintegration hin. Das kommt wahrscheinlich daher, dass ich das hier in zwei Teile aufgeteilt habe. Und er natürlich dann, wenn Referenzen in den zweiten fünf Sessions auf die ersten Sessions sind, er das da nicht drin hat. Ist auch verständlich und nachvollziehbar. Aber alles in allem, um da jetzt mal ein Fazit zu ziehen und den ganzen Podcast nicht über 30 Minuten auszuteiligen, Muss ich sagen, mein Fazit daraus. Also, dieses Handbuch, was da erstellt worden ist, automatisiert, könnte ich eigentlich jetzt mit diesem Faktencheck und wenn ich mich noch ein bisschen neunpinne, tatsächlich eins zu eins auch sagen, das ist okay. Das ist okay, dahinter stehe ich, das kann ich veröffentlichen mit den entsprechenden, vielleicht am Anfang immer noch stehen lassen, dass es automatisch erstellt worden ist. Aber ich sagen kann, ein KI-Faktencheck hat dazu geführt, dass im Wesentlichen das, was hier drin ist, mit 4 von 5 Sternen bewertet oder 4,5 Sternen bewertet ist. Also ja, wie weit will man das Ganze treiben? Das kann man wahrscheinlich, muss man halt gucken. Und dafür, dass das drin ist und ich würde wahrscheinlich am Anfang sagen, wenn irgendwas unklar ist oder wenn etwas tiefer erläutert werden soll, dann bitte steigt direkt in die jeweilige Session ein, lade euch die PowerPoints runter oder schaut euch das Video an und geht da nochmal direkt rein. So, aber dafür bekomme ich halt hier jetzt ein 58-seitiges deutschsprachiges Handbuch über das ganze Copilot-Kontrollsystem, was mir aufgrund der KI, des Feedback und auch aus meinem persönlichen Feedback, was ich gelesen habe, sage, also da hast du eine über 90%-Lösung, mindestens. So, und jetzt muss man immer noch entscheiden, hm, mache ich das oder mache ich das nicht? Hätte ich mir diese acht Stunden anders aufbereiten lassen können? Hätte ich mir die Erkenntnisse, die daraus kommen, anders zuführen können? Ja, aber geht es schneller, geht es besser? Das muss man jetzt selber entscheiden. Ich finde nur, diese Kombination mit dem Rechercheagent und den Tools, die ich hier habe, die funktioniert in diesem Falle sehr gut. Ja, YouTube, sehr gut, ja, 1-, 1-, 2+, 1-, 1- für den Agenten, und eine 2+, weil ich es nicht richtig nachrecherchiert habe. Naja, man weiß nicht. Okay, der Zweifel bleibt immer. Aber gut, zumindest waren keine riesengroben Schnitzer drin, keine Falschinformationen. Und ja, wie gesagt, ihr könnt euch die PDFs runterladen, ihr könnt euch die Videos anschauen, ihr könnt die PDFs, und könnt selber beurteilen, wie das Ganze geworden ist. Und ja, wenn ihr mal mit eurem Rechercheagent arbeitet und entsprechende Ergebnisse bekommen, dann wird mich definitiv mal interessieren, wie überprüft ihr die ganzen Informationen, die da drinstehen? Ob das alles so, wie der Rechercheagent gemacht hat, oder ist man einfach, was ich bei vielen immer schon gehört habe, ja, da kommt das Ganze raus und boah, das ist aber richtig toll, was da drinsteht und wahnsinnig super und toll. Ja, wohin geht es? Ich denke mir, das muss man sich nochmal überleben. Aber wie gesagt, das jetzt mal hier exklusiv im Podcast. Ich werde das Ganze auch nochmal in ein kleines Video aufbereiten. So als Nachgang zu den beiden Videos, die ich dazu gemacht habe in Deutsch und Englisch. Kommt dann in der nächsten Woche. Aber ihr könnt hier in diesen 30 Minuten und Grüße an Alex, der gesagt hat, ich soll einen Podcast machen, damit erinnert, kürzer und kompakter wird. Ist jetzt noch ein bisschen länger geworden, weil ich denke, kürzer und knapper wird es an vielen Stellen gemacht. Man muss damit auch mal richtig intensiv darauf eingehen, damit man sich der Problematik bewusst ist, der Verantwortung bewusst ist, mit dem man zu arbeiten hat und auch der Qualität auf der anderen Seite dieses Agenten und der Tools hat, mit dem man hier arbeitet. In dem Sinne, ich freue mich natürlich gerne über ein Like hier über den Podcast, auch über euer Feedback. Würde mich gerade in diesem Fall besonders interessieren. Und wenn ihr diesen Podcast weiterempfehlt, kriegt ihr noch ein Herzchen extra dazu. Vielen Dank und dann tschüss, bis zum nächsten Mal. Yourcopilot Der Podcast, der hilft, die künstliche Intelligenz in der Microsoft 365 Welt zu verstehen und produktiv anzuwenden. Mit eurem Copiloten Michael Greth.