Your Copilot - KI in der Microsoft 365 Welt verstehen und produktiv anwenden

Michael Greth

YCP002 YourCopilot Daten-Talk mit Markus Raatz

Big Data und KI Talk mit Markus Raatz

08.02.2024 39 min Michael Greth

Zusammenfassung & Show Notes

In dieser Episode sprechen Michael Greth und Markus Raatz,  Ceteris AG Berlin, Experte für Big Data und Generative KI, über die Herausforderungen und Möglichkeiten, die sich aus der Verbindung von Big Data und generativer KI ergeben. Sie beleuchten die Komplexität der Datenbereinigung, die Bedeutung von sauberen und gut strukturierten Daten für KI-Anwendungen und die Grenzen aktueller KI-Modelle im Umgang mit Prozessautomatisierung und Datenanalyse. (Zusammenfassung von GPT:VideoSummarizer.ai)

  • Generative KI und Big Data: Die Diskussion eröffnet mit einer Einführung in die Themen Big Data und generative KI. Der Fokus liegt auf der Frage, wie generative KI Big Data verarbeiten kann und welche Erfahrungen Markus Ratz in diesem Bereich gesammelt hat.
  • Datenbereinigung: Ein zentrales Thema ist die Qualität der Daten. Viele Unternehmen glauben, ihre Daten seien sauber und bereit für KI-Anwendungen, doch oft ist das Gegenteil der Fall. Die Bedeutung sauberer Daten für den Erfolg von KI-Projekten wird betont.
  • Prozessautomatisierung vs. KI: Es wird diskutiert, dass viele Ideen zur Automatisierung, die Unternehmen haben, nicht wirklich KI benötigen, sondern durch einfache Prozessautomatisierung realisiert werden können. Die Diskrepanz zwischen den Erwartungen an KI und den tatsächlichen Möglichkeiten wird beleuchtet.
  • Limitationen von KI: Die aktuellen Grenzen von KI-Modellen, insbesondere bei der Prozesssteuerung und Datenanalyse, werden erörtert. Es wird klargestellt, dass große Sprachmodelle wie GPT-3 keine Prozesse steuern oder eigenständig komplexe Datenanalysen durchführen können.
  • Praktische Anwendung von KI: Anhand von Beispielen wird erläutert, wie KI in spezifischen Szenarien sinnvoll eingesetzt werden kann, wie bei der Kategorisierung von E-Mails oder der Unterstützung von Sachbearbeitern durch vorbereitende Analysen.
  • Zukunft der KI in der Datenanalyse: Die Diskussion schließt mit einem Ausblick auf die Entwicklung von KI in der Datenanalyse und wie Unternehmen sich auf die Integration von KI-Technologien vorbereiten können. Dabei wird die Bedeutung von gut definierten und verstandenen Datenmodellen hervorgehoben.

Insights basierend auf Zahlen:
  • Die Diskussion zeigt, dass der erfolgreiche Einsatz von KI nicht nur von der Technologie selbst, sondern auch von der Qualität und Struktur der zugrundeliegenden Daten abhängt.
  • Die Notwendigkeit, Daten effektiv zu sammeln, zu bereinigen und zu strukturieren, wird als Voraussetzung für den Nutzen von KI in der Datenanalyse und Prozessautomatisierung betont.

Markus Raatz auf LinkedIn : https://www.linkedin.com/in/markus-raatz/
Michael Greth auf LinkedIn : https://www.linkedin.com/in/mgreth/


Transkript

Heute dreht sich alles um das Thema Big Data und die Rolle der generativen KI dabei dazu ein ausführliches Expertengespräch Your Copilot, der Podcast, der hilft, die künstliche Intelligenz in der Microsoft 365 Welt zu verstehen und produktiv anzuwenden. Mit eurem Co Piloten Michael Greth. Hallo und herzlich Willkommen zur 2. Ausgabe von YOurCopilot. Zunächst mal vielen Dank für das Feedback zur 1. Ausgabe. Es hat mich sehr gefreut, wie viel das auch schon gehört wurde und natürlich ermutigt das auch hier in diesem Format unbedingt weiterzumachen. Heute stellen wir uns mal die Frage, welche Anforderungen an die Qualität unserer Daten müssen wir eigentlich stellen, damit sie mit generative AI oder Co. Piloten vernünftig zusammenarbeiten können? Denn ne Binsenweisheit, ja sagt ja Müll rein, Müll raus, also was müssen wir dazu tun? Und dazu hab ich mir einen Experten eingeladen. Markus Raatz, hier aus Berlin, von der Ceteris seit vielen, vielen Jahren mein Ansprechpartner, wenn es um das Thema Big Data, Datenanalyse und Ähnliches geht. Er ist ein super Experte da drin, er hat auch schon mit seinen Kunden erste Projekte in dieser Richtung gemacht und auch aus Persönlichem erproben Erfahrung gesammelt, die er mit uns hier in diesem Gespräch teilen wird. Also viel Spaß und informative Unterhaltung beim Talk mit Markus Raatz. Hallo lieber Markus, ich freue mich, dass du dir Zeit genommen hast, uns heute mal ein bisschen in das Thema einzuführen. Nicht nur Big Data, sondern vor allen Dingen was macht eigentlich generate fi mit Big Data? Und du hast ja da doch so die einige oder andere Erfahrungen gesammelt, das stimmt allerdings ja erstmal. Vielen Dank, dass ich da sein darf und dass wir diese Serie auf diese Weise hier fortsetzen können, ganz genau, Daten sind eben schon lange mein Thema, hast du ja richtig gesagt. Jetzt kommt die KI hinzu und normalerweise sind es 2 eng verwandte Geschwister. Die können sehr gut miteinander, ja meistens, wenn die Leute von mir ne KI wollen, dann muss ich sie fragen, sind denn eure Daten sauber, dann sagen Sie natürlich, selbstverständlich sind unsere Daten sauber, da muss ich. Raufgucken Nachsehen und stelle fest, Nein, da ist gar nicht sauber und dann muss man da was tun und oder mancher muss man überhaupt erst anfangen zu sammeln, weil sie gar keine Daten haben. Das ist der Klassiker und jetzt kommen die Large Language Model. Die Jet GPD Lama und so weiter und ich habe ja von dir gelernt. Eurer Kunden jetzt einfach sagen, die haben Cloud Change Modell gesehen, sehen was mit Jet GPT alles machen kann und sagen dann oh prima, jetzt bringt das meinen ganzen Ablauf meine ganzen Prozesse super in Ordnung. Gib mir doch mal ein Large Change Model und du hast ja da ne sehr spezifische Meinung wo du sagst Moment mal Moment mal was heißt denn Moment mal eine Stelle also Moment mal heißt nur mal so um ein Beispiel zu sagen wir machen mit Kunden oftmals Workshops um beim Kunden herauszufinden, gerade so im Mittelstand was könnte ein sinnvoller Einsatzbereich für eine KI bei ihnen sein? Meine Erfahrung ist mindestens 50% aller Ideen, die die Leute haben, haben eigentlich nichts mit KI zu tun, sondern sind eine reine Prozessautomation, übrigens Bizarrerweise sogar besonders stark dann, wenn die Leute sogar ganz gut definierte Prozesse haben, also selbst wenn sie ein Bewusstsein davon haben, was passiert dann bei uns, wenn eine Bestellung eingeht, was passiert, wenn wir einen Auftrag bekommen und so weiter dann gerade dann sagen die und ich brauche eine KI, die jetzt kommt eine Bestellung rein, die fragt, die kriegt automatisch heraus, was für Einzelteile, für Halbzeuge Wir brauchen, die ruft automatisch. Schickt E-Mails an alle Lieferanten, bittet um ein Angebot. Wenn dann die Preise zu hoch sind, guckt sie natürlich in der Preisdatenbank nach, erfährt der Preis es um 10% gestiegen, dann verhandelt sie von alleine nach, das ist ein Nummernbeispiel, was die Leute ganz selbstverständlich vorbringen. Das gilt nicht. Das ist unmöglich, weil ein Large Language Model kann keine Prozesse, ein Large Language Model ist kein Ablaufdiagramm, wo man ihm sagen kann, jetzt geh bitte links lang und dann ist die Frage ja nein oder weiß ich nicht, sind genug Teile vorrätig, dann geh nach Nein oder so das ist eine ganz normale Prozesssteuerung und die kann eine KI nicht, die KI kann meinetwegen an einer so einer Scheidestelle eventuell entscheiden ob man jetzt nach links oder rechts gehen sollte, da kann man ein einzelnes kleines Modell draus machen, was genau das dann entscheidet aber zu sagen. Die KI hat meinen Prozess im Hinterkopf und verfolgt ihn mit dem Kunden selbstständig und allein das ist vollkommen ausgeschlossen es kommt einem nur nicht so vor weil der so schön quatschen kann ja eben man will jetzt auch nicht wir wissen ja generativ AI funktioniert auch so statistischen Verfahren mit denen es seine Antworten generiert das macht ja eigentlich keinen Sinn wenn du schon ganz fertige Daten hast die einfach ja auch deterministisch sind und du weißt ja einfach wie die Prozesse ablaufen müssen aber insofern ist es für euch dann vielleicht auch ein guter Einstieg. Dass du mit dem Kunden dann ins Gespräch kommst und sagst, ja Moment mal, lass uns erstmal aus, vielleicht können wir ja das mit ganz klassischen Prozessen, seit wir diese Diskussion haben, reden wir viel, viel häufiger und zeigen wir viel häufiger Dinge wie Power Automate aus der Power Plattform, als wir es früher gemacht hätten. Das rückt viel mehr in den Vordergrund, aber jetzt seien wir doch mal ehrlich, die Leute wollen ja nicht power Orte Mate, die Leute wollen ja was, was richtig sexy ist, was ein disruptives Potenzial hat und das ist nunmal von der KI sind das derzeit am ehesten die Darlehen Language Models. Ja, und Sie haben noch etwas und das muss man noch mal allen klarmachen. Large Language Models können nicht rechnen, Mhm und genau genommen können sie nicht mal ne Tabelle verstehen und darauf weisen sie auch hin, also die allermeisten Modelle sind sogar so freundlich und sagen dir explizit oh mit einer Tabelle kann ich nicht gut umgehen, aber vielleicht ja ganz oft ist es so, dass man diese tabellarische Information überhaupt nicht reinbekommt in das Modell, also wenn man nicht die Möglichkeit hat. Eigene Tabellen in dem Fall weiß ich Excel oder CSV s hochzuladen. Die Möglichkeit ist nur sehr eingegrenzt gegeben, also ganz viele können das nicht, selbst wenn ich das nicht kann, dann sagt er einfach, ja, gib mir es doch irgendwie mit mit Pipe Zeichen getrennt zum Beispiel, also er akzeptiert, er schlägt dann sowas vor, dann muss ich meine Tabelle irgendwie umzaubern das ist ja auch viel Mühe ist kann man von einem Endnutzer eigentlich nicht erwarten, dann gebe ich ihm meine Tabelle rein und dann ist zum Beispiel meine Erfahrung gbt 335 stellt sich Stulle doof an wenn es eine Tabelle ist wo ich einfach nur sage Ach und welche ist ne Produkttabelle zum Beispiel welches von denen ist denn jetzt das teuerste ja GPT 35 halluziniere halluzinier er erzählt mir einen vom Pferd 40 ist besser, der kann ein bisschen besser mit Tabellen umgehen aber Achtung von was ich hier rede ne die Leute haben im Hinterkopf ich nehm Nerd Language model ich lass das auf meine gesamten Daten los und dann hat er nicht nur die Prozesse im Kopf sondern kann mir auch alle Zahlen analysieren das ist das was die Erwartung im Hinterkopf und ich muss zu Ihnen hingehen ich muss sagen Nein er kann eure Prozesse nicht mal verstehen, er kann sie nicht mal lernen und er kann mit euren Zahlen nicht umgehen und er kann nicht mal rechnen. Natürlich eine krasse Enttäuschung für viele, ja. Aber es sind so schöne Dinge. Ja wir. Dieser Podcast ist ja ambitioniert und möchte auch praktische Lebenshilfe bieten, das heißt? Eine Erkenntnis, die ich daraus gewährt, ist, wenn man quasi jetzt an seine Abläufe geht im Unternehmen und guckt, was man hat und denkt, Oh, jetzt kommt so ne Large Language Modell Microsoft 365, Copilot und was alles so im im Hinterkopf steht, das könnte jetzt meine Probleme lösen, ist aber ein guter Ansatz sich einfach tatsächlich erstmal zu überlegen. Moment mal, ist das dafür was geeignet oder gehen wir klassisch in Power Automat rein? Müssen wir jetzt mal unsere Prozesse neu strukturieren, wo dann viele auch sagen hatten wir früher keinen Bock mehr, haben wir jetzt auch keinen Bock mehr, könnte ich mir vorstellen, warum hat man es bisher noch nicht gemacht, weil man hat ja eigentlich so Werkzeuge dazu richtig auf der anderen Seite kann aber du hast gerade gesagt KI ist da nicht so geeignet, aber trotzdem kann natürlich in solchen Abläufen KI auch eine Rolle spielen wenn du sagst du nimmst dann halt von der Azure Plattform die Bilderkennung, die Spracherkennung, die Ausgabe aber ist das richtig? Aber genau Mhm. Also man darf erstmal nicht vergessen, ganz viele Dinge, die einem super helfen können und die auch KI sind, sind in dieser Cognitive Services Plattform, die ja jetzt Schande über Schande in Microsoft AI Plattform umbenannt wird ne also cogitive Services hat ja wenigstens noch ein bisschen vermittelt. Dass der auch sowas kann wie Augen und Ohren und so ne, das kann der Meinung man sollte n eigenen Large Language Modell bauen, was einfach diese ganzen Umbenennungen noch mal nachvollziehbar macht, weil das ist ja Maßnahmen ein eigenes GPT ja aber weißt du was an dem GPT auch das allerwichtigste? Werden dürfte das Format, in dem du es ihm beibringst, damit er auf die Frage erkläre mir doch mal bitte weiß ich nicht ich, ich möchte Bing Chat Enterprise nutzen. Erzähl mir mal wie das früher hieß und wie das jetzt aktuell heißt, also. Ihnen die Frage, Was ist denn das Datenmodell, wie du ihm das Einfüttern musst in der Eingabeseite ja ganz schön kurrig ja, also aber noch mal zurück zu den zu der zur Azure Plattform mit den communsies Services, die ihr denn an die Daten mit einbaut, ne? Die sind ja super einfach und die sollte man. Man sollte auch immer dran denken. Dass auch Open AI von Azure einen Teil der Cognitive Services ist und nicht der wichtigste ja, sondern ist manchmal super wichtig. Als allererstes mal muss ich erstmal einen Text erkennen. Haben. Als nächstes muss ich irgendwie ein Text to speech haben oder ich muss ne Bilderkennung haben und so weiter und die Dinge kann man super leicht zusammenfriemeln und da kommen die allerschönsten Szenarien bei raus. Ja und dass dann eben in vorhandene Prozesse, wenn sie halbwegs. Ist definiert sind einzubauen, kann extrem sinnvoll sein, also der absolute Klassiker, der aber immer wieder super gut funktioniert ist. Dieses Beispiel gibt es auch Videos von mir drüber, dass wir vielen Kunden zum Beispiel E-Mails automatisch nicht automatisch beantwortet. Was macht man eigentlich nicht so gerne, aber dass man eben Leuten, die diese E-Mails dann bearbeiten sollen, dass man denen helfen an die Hand gibt, zum Beispiel das erstmal quasi Chat GPT die E-Mails liest und zum Beispiel selber kategorisiert, ist das wahnsinnig dringend oder nicht so dringend oder so und überhaupt erst mal, worum geht es an, welche Abteilung muss das, ist das eine Reklamation, ist das eine neue Beschwerde, ist das ist das ein Auftrag oder will der nur eine Information haben oder so solche Dinge zu machen und das Ganze dann eben zum Beispiel mit Power Automate zu automatisieren und nur an der entscheidenden Stelle mal bei Chgbt anzufragen, super. Das heißt, du musst dann dafür auch praktisch Power Plattformen als als Ablaufplattform, aber nutzt dann das Azure Open A im Hintergrund, um diese Konversation hinzubekommen. Dieses Analysieren der Sprache und dann auch das entsprechende Ausgaben an an das tun wir eben an 2 Stellen guckt die reinkommende E-Mail guckt er sich an und sagt was für eine Art von Mail ist das und dann kann er auch gleich mal eine Zusammenfassung der E-Mail machen, damit der arme Sachbearbeiter nur diesen kleinen Absatz lesen muss und man könnte dann dafür gibt es einen schönen Fachausdruck, übrigens, das nennt sich Dunkelverarbeitung, das ist, wenn man dann wirklich auch die Antwort formuliert und rausschickt, das ist aber, sage ich mal, die hohe Schule, das tut man in der Regel nicht, wenn man wirklich echte Sachbearbeiter irgendwo sitzen hat, dann lässt man die rüber schauen, aber man kann denen ja Vorschläge machen, damit die eben deren wichtiger Arbeitszeit besser eingesetzt wird da. Echt viel zu machen und da gibt es schöne Erfolge, die man auch gerade mit einem Large Language Model, der ja sehr gut quatschen kann, kann man das einsetzen, aber eben nicht, wenn es um Datenmengen geht, nicht wenn es um Prozesse geht und nicht wenn es um zahlen geht und das will ich noch mal nochmal zusammenfassen. Also es ist jetzt nicht für den Endanwender, dass er sein wie aus Jet Gbt oder aus Copilot kennt, einfach nur seine Eingabefeld hat, seine Texte eingibt, sondern ihr baut im Hintergrund auf der Open AI Plattform auf der Azure Plattform. Mit zusammen mit Powerautomate eine komplette einen kompletten Workflow, der dieses Prozess abarbeitet. Und der nimmt aber an den Stellen, wo es interessant ist, wo man die Kommunikation eintritt, nimmt er dann halt diese entsprechenden Elemente, Spracherkennung und Sprachausgabe und fügt das ein. Das ist aber jetzt eine eigene eigene Selbsterstellte mit Power Auto mit selbst erstellt, das ist ja schon so gut wie eben selbst gemacht, das sagst du ja ganz so gut wie selbstgemacht, wie einfach ist das denn, das ist ganz einfach, was auch immer für Voraussetzungen um das sozusagen. Eigentlich wirklich so wie Power Automate eigentlich für den, wie heißt das so schön Citizen Developer gedacht ist. Also für den engagierten Business User, der eigentlich schon am liebsten im Leben lieber IT ler geworden wäre, der nutzt ja powerautomat gern und viel und gut und für die ist es vollkommen ausreichend. Ja also wir machen dann in der Regel um es noch einfacher zu machen, wir haben einen eigenen Konnektor für Chpt zum Beispiel also Azure Open AI, den kann man nutzen, dann wird es noch einfacher, aber das Ding hat natürlich auch eine Rest API, man kann auch mit Power orthomate Rest API is anfragen das funktioniert. Also da bitte weiter drüber nachdenken, aber eben bitte nicht drüber nachdenken. So, hier sind meine Quartalszahlen, die werfe ich dir mal rüber in Form eines mächtigen Excel Sheets und du sagst mir jetzt mal wo ich noch Diskrepanzen oder wo ich rückständig bin oder wo ich am meisten Potenzial habe, also diese Datenanalyse, ja das ist etwas, es gibt ja auch ein Copilot in Power bi. Weil jetzt gerade meine Frage, wo ich die Stellen würde. Du bist ja immer der Spezialist für die Datenauswertung, du hast ja da diese wunderschönen Tools wie Power BI und ähnliches. Ich darf jetzt noch mal bisschen Werbung für deinen wöchentlichen Video. In Beitrag den, den du schon seit einigen Monaten machst, wo du auf deinem linkedin Profil jeden Freitag immer so 10 Minuten Tipps rund um dieses ganze Thema Power BI Daten auswerten Datenanalyse gibt. Wie spielt denn da jetzt das Thema generell der zunächst mal auch. Ein ganz bisschen enttäuschend, ne, denn wie ich schon sagte. Large Language Models können nicht rechnen und können mit Zahlen überhaupt nicht besonders gut umgehen. Das heißt, wenn du denen diese Frage stellst und ihnen eine Menge Daten hinwirfst, dann haben Sie ein Problem und da wundern sich auch schon viele, weil es gibt ja einen Co Pilot in Power bi. Und der wird leider noch nicht in Deutschland ausgerollt. Der wird Region für Regionen ausgerollt, aber man kann natürlich bei den Amerikanern schon mal rübergucken und schauen, was er macht. Der tut fast jede Dinge, aber die Datenanalyse musst du selber machen. Was er tut ist er bietet dir an, ich hab gesehen, du hast da dieses Datenmodell, ja ich würde dir da mal n schicken Bericht drauf machen und dann macht er den und der Bericht sieht sagenhaft aus, aber raufschauen und gucken wo sind für mich interessante Informationen damit ich darauf reagieren möchte vielleicht ja das muss ich selbst und das kann er nicht und das kriegt er auch auf absehbare Zeit nicht hin, also er kann sich auch nicht so fragen, guck dir mal die Daten an, was gibt's denn da für kritische Trends die ich bisher nicht, nein was er tut ist er kann durchaus vorschlagen. Welche Art von Bericht er mir jetzt mal zeigen würde, weil er denkt, da könnte was Kritisches sein und dabei sind manchmal erfrischende Vorschläge dabei, was ich selbst noch nicht untersucht habe oder so und dann generiert er mir diese Power bi berichte und da die Berichte die da rauskommen ehrlich gesagt Ratten scharf aussehen und man die sehr gut danach editieren kann, ist es vielleicht ein guter Startpunkt, also den Werten diesen Co Piloten werden Leute nutzen, aber wenn man sich die Videos die Demo Video von Microsoft ansieht am Anfang, dann geht es genau. Die andere Richtung geht es in die Richtung, dass die wirklich Fragen an die Daten stellen und eher mit der Antwort zurückschießt und es ist exakt das, was auch im im grob halt für Power BI nicht kommt. Ja geht das generell was meinst du geht das generell nicht oder müsste das einfach nur ein bisschen weiterentwickelt werden? Man hat ja zum Beispiel auf wenn ich mit ch jetzt arbeite, da sind ja zum Beispiel der Code interpreterin, dass ich, wenn ich solche Fragen habe, dann schmeiße im Hintergrund weiß ich was ein Python Skript an, was mir dann zum Beispiel eine Datenauswertung der Richtung macht oder ich kann noch eine API ansprechen die im Hintergrund sowas macht, das heißt wird es da auch so eine Kombination geben, dass du einfach nur wie gesagt dieses generative AI Modell oder diesen Copilot für Power bi einfach halt als diese Sprachschnittstelle nutzt. Und im Hintergrund muss aber dann doch noch wieder was anderes ablaufen. Also das gibt es also der Copilot und Vwi ist ja noch nicht da bzw kommt dann erst langsam nach Deutschland, aber es gibt schon mal einen einen Teil, der ist da schon drin und das sind die sogenannten Smart measures ja also die intelligenten Kennzahlen. Und was der da macht. Also diese laufen auch, funktionieren mit dem Copilot, da kriegst du einfach ein Fenster angezeigt, wenn es darum geht, welche Art von Kennzahl soll auf deinen Daten berechnet werden, dann darfst du in diesem Fenster eintippen, was du dir für eine Kennzahl wünschen würdest. Und dann generiert er dir das Berechnungsstatement für den Power BI, was das Ding berechnet, was er generiert ist diese abfragesprache Dax ne und die ist ja ganz ehrlich gesagt die Sprache für den der Vater und Mutter erschlagen hat, sollte ja mal aussehen wie ne vereinfachte Form von Excel Formeln, aber es geht leider eher ganz in die entgegengesetzte Richtung los, also viele Menschen scheitern an Dax und dafür gibt es diesen Co Pilot der in Power BI jetzt schon drin ist. Und wenn man da eben noch sowas eingibt, ich möchte den Umsatz immer mit dem Vorquartal vergleichen, dann macht er und generiert mir das Statement. Dax die Berechnung führt sie aus und zeigt mir die Zahl an. Das sieht natürlich total sexy aus, weil ich sehe die Zahl und denke in dem Moment, er hat mich verstanden, er hat meine Daten, er hat verstanden was ich will und deswegen hat er eine Abfrage generiert und ich sehe dann das Ergebnis und kann aber dann natürlich sagen, dieses Measure will ich jetzt dauerhaft in meinen Daten drin haben, das funktioniert fantastisch und ich glaube in die Richtung wird es gehen, das ist ja so ähnlich wie der. Copilot in Excel der wo ich sage ich brauch jetzt ne tolle Formel. Stell mir doch mal ne Formel mit der ich das und das sag mal und dann baut der dir die Formel zusammen und erst rechnet jetzt nicht, sondern er zeigt ja nur die Formel dazu. Ja und du machst die Formel und dann musst du selber die Datenanalyse machen und genau in die Richtung denke ich wird's gehen und was ich bisher noch am hoffnungsvollsten am besten finde ist wenn man mal zu unseren Freunden den Entwicklern rüberschaut die benutzen eigentlich alle, also wenn sie nicht wirklich unterm Stein leben, dann benutzen sie den Git hub weil. Ja, einfach. Also man glaubt es nicht, wie gut der versteht, was ich erreichen will im Programmieren und mir das sofort einfach mal eben programmiert. Ja, das nimmt wirklich die ganze Mühsal, die Tragey auf dem Programmieren raus, oder wie Satya Nadella gesagt hat, als er hier in Berlin war, er sagte, das bringt The Fun Back to Broken, weil diese endlos langen Coden Coden und jetzt hier noch eine Fehlerbehandlung rein, das macht er alles automatisch, oder was Entwickler ja hassen wie die. Kommentieren, das kann ich ja da so machen, dass ich im Nachhinein zu ihm sage, bitte kommentiert mal, was ich gerade gecoded habe, oder ich gebe überhaupt nur den Kommentar ein und sage Code das bitte mal und in der Richtung, da nämlich den sage, guck mal, das ist meine Datenbank und ihm dann sage, machen wir mir bitte folgende SQL Abfrage, dann macht er fantastische SQL abfragen mit allem mit Join, mit Groupby, mit having Dinge die also gerade nicht datenspezialist. Gar nicht gefallen macht er Easy macht er locker. Ja, und da bauen wir gerade an einer Chatvariante auch basierend machen wir es auf Power Automate, aber darum geht es gar nicht. Es geht darum, dass man eben eine Frage stellen kann, hier nicht der Sprache. Es wird SQL generiert, es wird eine SQL Datenbank gefragt und die Ergebnisse werden wieder ganz normal als Tabelle oder so als als Textzeile zurückgegeben. Das funktioniert sehr gut und es hat noch n weiteren Riesenvorteil, diese Ergebnisse kommen quasi in Echtzeit, die holen die Daten aus der Datenbank wie sie jetzt sind, meistens wenn du auf deinen eigenen Datenabfragen machen willst musst du deine eigenen Daten ja vorher indexieren damit er die schneller darauf zugreifen kann und dieser Index muss immer aktualisiert werden wenn sich was ändert. Wenn ich jetzt Leute habe die sagen Mach mir doch mal so einen Chatbot, der mir über meinen aktuellen weiß ich Warenbestand Auskunft gibt, hilft mir der nicht, weil er unter Umständen eine Stunde immer hinterher ist, weil er nur einmal in die Stunde aktualisiert werden kann oder so und wenn ich ihn über SQL gehen lasse und direkt auf eine Datenbank gehen lasse, dann ist er in Echtzeit, aber insofern ist das genau das, was wir jetzt gerade sagen nochmal zusammenzufassen. Ich als Anwender stelle jetzt eine Frage an mein Warenwirtschaftssystem oder ähnliches, die vorher nicht programmiert worden ist. Und das. System kann dann so intelligent sein, wenn du das entsprechend eingerichtet hast, dass es aus der Frage quasi das entsprechende technische Statement erzeugt, dann quasi in diese Abfrage macht über SQL oder DAX oder was auch immer und dir dann die richtige Antwort gibt oder die richtige Antwort aus den Standardformularen, die da sind. Die Standardberichte gibt exakt das heißt es ist halt das, was ich auch immer wieder sage, dieses Vorteil von diesem Modell ist einfach, es ist nicht nur das Wissen da drin, sondern ist einfach diese diese Schnittstelle Mensch. Kommunikation das, was wir bisher nicht hatten. Also ich brauch nicht mehr Tastatur, ich brauch nicht mehr die Maus, ich brauch nicht mehr selbst wo du sagtest ich bin jetzt im Power BI drin und möchte jetzt irgend so n kleinen Bericht haben, da hast du vielleicht vorher auch gesagt Oh welches Menü war das wo muss ich anklicken, wo muss ich mit der Maus hinklicken kommt das jetzt raus jetzt sag ich es einfach nur und das System macht aus meiner meiner Anfrage die entsprechenden ich sag mal im Hintergrund die Mausklicks und erzeugt dir dann den Bericht heraus und das ist glaube ich etwas was generell für jede Anwendung wenn man heute fragt wo kann ich das denn verwenden wo man wenn man selber Programme entwickelt oder Anwendungen die anbietet wo man sagen kann man kann sich dieses Teil also diese Funktionalität des Modells nehmen um einfach noch ne ganz andere Kommunikation zu schaffen. Das heißt gar nicht, das muss gar nicht rechnen, sondern ich nehm praktisch deine Anfrage auf und generiere was, was mein System verstehen kann. Lass es im System verarbeiten und schicke dir dann wieder zurück, was sozusagen als Antwort kam und bereite das vernünftig auf, aber. Das Teil am Hintergrund ist komplett. Klassischen Methoden ganz genau. Und ich finde genau das Wissen von Lars Language Models ist manchmal sogar eher hinderlich. Es ist zwar toll, dass der was weiß und dass der auch viel weiß, aber es geht wirklich eigentlich nur darum, dass er mich gut verstehen kann und dann muss der das übersetzen, die Dinge, die, die ich wissen, die ich für ihn habe und die ich ihm zur Verfügung stellen kann und das könnte zum Beispiel eben sein, die Daten jetzt aus meinem ERP System oder so, die kann er abfragen wenn er die Struktur der Tabellen kennt, dann kriegt er das hin, aber ansonsten. Es ist super schwierig, ihm solche Daten. Unterzuliefern insbesondere ein beliebtes Problem habe ich auch schon ein paar Mal erzählt, wenn ich sie vor allem nur in Tabellenform vorliegen habe. Also ich habe ja oft bei Kunden jetzt gefragt, ja, haben Sie denn zum Beispiel, wenn Sie jetzt einen Chatbot haben wollen, wo man die Eigenschaften ihrer Produkte abfragen kann, haben sie denn mal Daten über ihre Produkte, also haben Sie mal sowas? Ja, wir haben ganz viele PD fs mit Produktbeschreibungen, ich öffne diese PD fs und ich sehe da ist eine Tabelle mit Dateninformationen nach der anderen. Ja, so macht man das ja auch normalerweise, weil es so schön komprimiert ist und weil es eigentlich um Daten geht. Es geht eben um diese ganzen technischen Daten, die da in der Tabelle dann drin drin sind. Wenn ich dieses PDF Chat GPT vorwerfe, dann guckt er mich mit großen Fragezeichen an. Für den wäre es tausendmal besser und damit ist er hundertmal besser, wenn es ein langatmiger Text wäre, der das Ganze dann aufbereitet. Und wir müssen wir, wir haben Kunden, für die müssen wir präprozessoren schreiben, die quasi in die PDFS reingehen und wenn die sehen, dass da eine Tabelle ist, dann müssen die, die quasi umformatieren auf so eine simple Variante, dass sie eben chpt auch verstehen kann und dann geht es mittlerweile mit GPT 40 auch so ganz okay reinkriegen ist schwierig, weil du das gerade erwähnt hast mit dem github Copilot, der ist ja extrem gut angekommen, den Nutzen ganz viele und haben auch einen erheblichen. Wirklich richtigen Vorteil dafür. Ich habe den ja auch mittlerweile meinen Visual Code eingebaut und mal ein bisschen Python Programmierung ohne es zu können. Das ist wirklich faszinierend oder? Ich habe neulich einen Beitrag gelesen, den will ich jetzt auch noch mal ausprobieren, dass man in seinem Chat GPT jetzt auch so eine Action einbauen konnte, dann muss man halt bloß wenn man eine API anspricht muss man halt ein Schema in Jason haben, damit das beschrieben ist. Und das ist einfach so vorgeführt worden, wie man das mal. Man gibt ihm die Dokumente, Dokumentation macht er, hier ist die Dokumente das Schema daraus und dann kriegt man das, das ist schon faszinierend, das liegt aber letztlich daran, im Gegensatz jetzt zu dem Thema, was wir jetzt hier besprechen mit den Daten. Dass ja dieses Programmieren im Prinzip ja auch nur Sprache ist. Ja und ne einfache Sprache und ne einfache Sprache und und auf der anderen Seite natürlich von den Dingen, die diese Large Rankings Modelle trainiert worden sind, ist natürlich so endlos sprachmodelle und und ganz. Programmiersprachen und die Dokumentation und dann einfach mal github abgesaugt und dann auch noch wie hieß dieses Forum, was mittlerweile fast schon pleitegegangen ist, wo alle immer rüber gegangen sind und sich programmatisch über die Programmierung ausgetauscht haben, was mittlerweile auch viele er will nicht mehr machen, weil sie sagen das Kriege ich vom Co Palet schon hin und da liegt natürlich so eine Stärkere, also auch eine inhaltliche Stärke, weil er da Textverarbeitung macht und halt in diese Richtung und Programmierung hat, weil auch dieser Programmiercode dann, ich sag mal schon mal sehr strukturiert vorgeliefert wird, das heißt du hast da quasi schon Metadaten drin, du weißt wenn ich ein Python Script mache, dann darf ich halt keine Basic Befehle oder sonst was da reinbringen, ich muss halt da mal, da ist das auch schon getaggt. Funktioniert das glaub ich auch so gut, was auch noch mal praktisch Lebenshilfe hier ist. Das heißt meine Daten, je besser ich die vorbereitet habe und je besser ich die sozusagen aufbereitet habe, desto besser kann auch nachher ein Large Language Modell damit. Da käme jetzt nämlich meine Folgefrage dann, das heißt ja auch, wenn ich irgendwie für alle, die den Microsoft 365 Copilot mal einfühlen wollen, heißt es ja immer ja, ihr müsst aber vorher noch mal n bisschen euer ganzes System aufräumen, Daten aufräumen. Da habt ihr das hat mich erinnert, so an die Themen, als wir mal von sharepoint on migriert. Aber selbst wenn wir vom Fallsystem nach sharepoint, Microsoft, kannst du uns dann vielleicht mal ein paar praktische Tipps zu geben zu dem Thema, wie sollte man eigentlich seinen. Datenbestand sozusagen seine seine, ja seine sein Basis aufbereiten. Was Günther so vielleicht 34 Tipps, wenn man später mal bessere Auskünfte über so ein Larvenmodell hat, also es wohl ist ganz klar eine Sache, die ich schon seit Jahren immer wieder. Pläne und ich werde da oft in Projekten wirklich gedisst. Man hasst mich dafür. Nach einigen Stunden Workshop. Du magst das oder ich kann, nein, ich bin überzeugt, ich bin Überzeugungstäter, ich lasse mich dissen, weil ich. Überzeugt bin bin überzeugt davon, dass es super wichtig ist, in so einem Projekt die richtigen Begriffe zu finden und zu verwenden. Also wenn ich keine Ahnung, ich will da ein Projekt machen und da werden Arbeitszeiten von Mitarbeiter ausgewertet, dann kämpfe ich mit denen. Sich rum, dass die banalsten Dinge klar sind. Ich sage, wie sagt man denn bei ihnen, keine Ahnung. Zu dem was der da wieviel Stunden der dann geschafft hat, wieviel was sagt man dazu? Und dann stell ich sagen die alle auch was fragen Sie denn immer das doch hier jedem klar oder so und dann stellt sich ja auch das ist die netto Arbeitszeit und dann irgendjemand hinten im Raum im Workshop sagt Nein überhaupt nicht weil bei der netto Arbeitszeit ist ja noch die Pause mit drin und so und da ergeht die schönste Diskussion los wenn ich solche Begriffe klar habe, so dass da das steht was ich später auch in einem Begriff in einem Bericht an meinen blödesten Chef schicken würde, da würde ich auch keine Zahl drin haben. Keine Erklärung drin haben wollen wo ich weiß, die ist nicht vorstandstauglich, die versteht der Chef einfach nicht. Also diese Begriffe klar zu haben ist extrem sinnvoll. Jetzt sagen manche, naja, ich kann ja jetzt in meinem ERP System, da heißt das eben brumms und nicht Bruttoumsatz, ich kann es ja in meinem ERP System nicht umbenennen oder so. Na dann baue ich mir eben ein schönes Datenmodell, es geht immer wieder um. Datenmodelle auch in Power BI auch in Microsoft Fabric wird es immer um das Datenmodell gehen. Das ist im Grunde so was wie die Oberfläche meiner Datenausbildung und da stecken hinter jedem Attribut Begriffe und wenn die gut gewählt sind und wenn die nicht falsch. Die den den Nutzer in die richtige Richtung lenken, weil sie der im Unternehmen übliche Begriff sind. Da muss dann jeder wissen, was unter Nettoumsatz zu verstehlen ist. Dann kann ich das auch in meinen Auswertungen verwenden und was jetzt sind die besten Ergebnisse, die ich da habe, ist eben. Ich habe ein einfaches Datenmodell, 345, Tabellen, Zwinker, Zwinker, sieht aus wie ein Delta Warehouse. Ja und dann kann ich ihm auch erklären, was die einzelnen Attribute dieser 345 Tabellen bedeuten, in echter Sprache, ja, und dann kann ich auch in echter Sprache ihm Fragen stellen, er generiert das richtige SQL daraus, er schießt es gegen die Daten und zeigt mir die Antwort kurz danach in Echtzeit wieder an. Das ist für mich bisher das beste Potenzial in Sachen Datenanalyse mit Jetgpd, das geht ja auch so ein bisschen in die Richtung, dass ich sozusagen. Mein eigenes Open AI Modell trainiere oder ein bestehendes Modell mit Zusatzinformationen aus meinem eigenen Umfeld, um mir sozusagen meinen eigenen Co Pilot auf Dauer, was ja bei Microsoft 365 Co Pilot der Vorteil ist, dass ich auf meine Unternehmensdaten im sicheren Kontext zugreifen kann und wenn ich das selber baue, ist ja auch eine Tendenz, die man jetzt für das Jahr 2024 sieht, dass man weggeht von diesen Large längsmodell und eher so spezialisiert. Dinge, die eben verstehen, dass das eben der Bruttoumsatz ist, der Halt bei uns bums und dass er so Bums aus die Maus oder eben ja, das ist aber extrem wichtig, dass man dies versteht, dann das Modell an sich kennt es nicht genau und da liegt es, glaube ich, auch etwas, was man unabhängig jetzt, wenn man jetzt nicht gerade, wie du es gesagt in Richtung Datenmodelle und so weiter geht, selbst wenn man mit seinem Bing Chat oder ähnlichen kommuniziert, dass man solche Begriffe, wenn die nicht da sind, einfach mit erklärt von dem System auch die Dinge mit Rüberbringt, richtig, das geht ja auch ohne prompt, das kann ich mir auch einfach so erklären, so in der in der Abfrage, aber da sind wir schon wieder bei einem anderen Punkt, den du ja auch oft aufbringst nämlich eben was für Fragen muss man stellen, ich habe eben gefragt, wie kriege ich meine eigenen Daten wirklich verwendbar in sonderschlägen Model rein oder für den Zugriff und du fragst immer wieder völlig zurecht wie. Ich denn fragen, damit er auch die richtige Antwort für mich findet? Ne, und das ist wieder das nächste. Ja ich warte mal, ich kann was ich Mitarbeitern die wirklich businessmäßig was anderes zu tun habe, den kann ich nicht ein promping Kurs überhelfen. Die sollen ja auch gar nicht den prompt ändern. Die sollen nur eben ne vernünftige Art und Weise fragen können und das muss auch erstmal gelernt sein. Also aus meiner persönlichen Erfahrung her ist es tatsächlich so, wenn du, ich sag mal so n gewisses Ziel vor Augen hast. Du weißt wo du eigentlich Hinwillst, ohne jetzt konkret zu wissen, was das Ergebnis ist, dass man dann einfach das System in diese Richtung steuern kann. Man fängt mit relativ einfachen Dingen an, bekommt eine Frage zurück mit einem Antwortzeug gesagt Okay das geht aber jetzt nicht in die richtige Richtung, Ich geb dir nochmal die Richtung vor im nächsten Schritt. Dann geht's weiter, dann kriegst du wieder eine Antwort und sagst, das war schon besser, kannst du das mal ausführlicher machen und dass man wirklich so in diese Interaktion mit Eintritt, das wird wahrscheinlich genau auch mit den Datenmodellen, wenn ich da eine entsprechende Anfrage habe drüber gehen, also Grundverständnis wohin man will, Ziel vor Augen haben ist glaube ich ganz wesentlich oder kannst du das soweit in dem Rahmen automatisieren, dass du sagst ich geb halt 15 verschiedene Prompts vor und dann könnt ihr damit schon mal arbeiten und dann ist auf jeden Fall ein super super Trick sind wirklich Tricks es sind einfach diese ganz banalen. Sagen diese Beispielanfragen, da ist ja Microsoft auch ganz wichtig, also fast überall, wenn ich, wenn ich irgendwo n prompt NN Chat angeboten bekomme, stehen ja erst mal beispieleanfragen, die sind wirklich super wichtig, auch gerade wenn der mein Datenmodell kennt, muss ich halt Anfragen machen wo er schon die wichtigsten Informationen von alleine aus meinem Datenmodell rausholt und das ist für die Leute schon extrem hilfreich und basierend auf den Anfragen, da können sie sich dann voran Robben und ich meine da haben wir mehrere Fälle erlebt, wo es eben wirklich heute noch so ist. Da ist dann jemand Ausfuhrvertrieb aus dem Marketing, aus der Geschäftsleitung und wenn der irgendwas wissen will aus der zentralen Datenbank, dann geht das zu einem IT ler hin Text den zu was er haben will oder schreibt eine endlos lange E-Mail und der it ler, wenn er denn mal Zeit hat setzt sich an seine Datenbank und schreibt das QL Statement das. Wirklich einfacher, das kann man wirklich leichter haben. Ja, auf der anderen Seite, gerade wenn du sagst, immer diese Musteranfragen, die immer so gestellt werden, das sind ja immer so kurze Dinge, ist ja eigentlich ja nicht, wie man mit so einem Chatbot eigentlich arbeiten soll, ich denke immer, wenn man noch ein bisschen guckt hinterher, was läuft eigentlich im Hintergrund ab, also für jede Anfrage wird irgendwie ein Baum abgebrannt, wenn ich das mal so vorsichtig abfragen, ja, aber das ist wirklich die Frage, ist das dann einfach? Na gut, ich habe das Werkzeug, ich kann das raushauen, aber eigentlich. Bisschen besser organisiert wäre, wenn unsere Prozesse besser gesteuert werden, müsste diese Frage gar nicht stellen, weil das einfach besser gehen würde. Und ist das nicht wirklich einfach nur so diese. Dieses Ich verstehe das völlig. Es ist ja wirklich extrem hilfreich, dass du das Wegbekommst. Aber ist das so bisschen philosophisch? Ich hol jetzt mal den Hegel raus ist das ist das wirklich das, was die KI? Dann wirklich mit KI machen sollten oder ob das. Und wir einfach sagen wir, wir haben jetzt so n richtig tolles Tool mit allem drum und dran, aber ich mach doch eh bloß ne Aufnahme mit. Ich hab das den Superodecaster mit allen Features drum und ich mach doch bloß so ein Mikrofonaufnahme ohne alles andere. Ja, ich mein, das ist natürlich, da muss man eben sagen, der Mensch ist wirklich gut. Nur im Zusammenarbeit mit anderen Menschen. Der Mensch braucht andere Menschen für sowas und ich glaube der der iphone Moment mit ch kommt daher weil man diesen Large Language Models abnimmt, dass sie wie andere Menschen sind, also bei dem was sie beantworten ist es schon so gut, dass man das Gefühl hat, man redet mit einem anderen Menschen darüber und kann eben auch solche Nachfragen stellen, wie du gerade sagst, man kann ihn in eine bestimmte Richtung lenken oder kommt da irgendwann an und dann hat man auch selber eine riesen Menge dazu getan und das ist ja im richtigen Leben auch so. Ich rede mit jemandem anders, manchmal kennt doch jeder von uns, er hat ein Problem und dann sucht man immer. Mein Vater sagte immer ich such mir einen Dummnormal. Er sucht jemanden, der keine Ahnung davon hat und ganz normal drauf ist. Erklärt ihm das Problem. Der stellt dumme Fragen zurück. Das Conget GP auch ziemlich gut und am Ende kommen beide gemeinsam zu einem richtig richtig guten Ergebnis. Das kann Chat GPT auch. Aber das kann er eben, zum Beispiel beim Thema Datenanalyse heute noch überhaupt nicht. Aber bei 1000 anderen Dingen kann er es tun, die die Interface, die Schnittstelle ist. Mensch zu Mensch eigentlich nur der andere Mensch ist halt n bisschen künstlich. Markus erstmal vielen Dank für die den Einstieg in diese Datengeschichte, weil es ist halt, ich glaub wir müssen, wenn wir uns auf dieses Copile Copilot Wheel mal anschaust. Es gibt ja diese wunderbare Grafik, die zeigt wie viele Tausende von Copilots es mittlerweile in Microsoft gibt. Jeder Copilot ist anders und jede Anforderung ist anders und gerade bei den Daten, ich meine wer heute überlegt was will ich in 2024 in meinem Unternehmen in Richtung ki machen. Dem, glaube ich, ist es wirklich gut ans Herz gelegt, wenn es um die Prozesse geht. Erstmal zu gucken, kann ich das mit Bordmitteln machen, kann ich das überhaupt mit Prozesssteuer machen, brauche ich da überhaupt ki, wo kann KI Zusatzleistungen, wie benenne ich das und wie benenne ich das, das wäre jetzt auch dein dann wenn ich dir nochmal das Schlusswort geben dürfte, das wäre auch deine Empfehlung sehr wichtig ich sage Daten sauber machen auf jeden Fall, das ist immer eine gute Sache, überhaupt erst mal anfangen zu sammeln, viele Leute wollen fragen. Im Systemwissen, basierend auf Daten, die noch gar nicht gesammelt werden. Ja, also anfangen zu sammeln, aber eben dann gut benennen und dann ist es eben auch nicht trivial, vor allem bei Datenanalyse bitte die Erwartungen nicht zu hoch hängen, sondern wirklich gucken, was geht. Mit einer guten Benennung, was geht vielleicht mit einer generierten SQL Abfrage schon? Dann glaube ich bei der Geschwindigkeit, wie sich dieses Thema weiterentwickeln, mache ich mir keine Angst darum, dass wir wahrscheinlich schon nach einem halben Jahr hier sitzen werden und ganz viele Hürden sind sehr, sehr viel kleiner geworden und wir kommen mehr und mehr in die Richtung, aber noch ist es einiger Pfad Markus, vielen Dank und ich kann euch, die ihr hier zugehört habt allen nur empfehlen jeden Freitag mal auf Markus. Linkedin Profil zu schauen, weil da kommt immer eine neue Folge. Hast du eigentlich einen Namen für dieses Format oder ist das einfach nur Markus? Erzählt uns das, also im Moment bin ich bin ich, mache ich etwas, das nennt sie warum Fabrik mache ich und ich gucke mir dieses neue Microsoft Fabric an und schaue mir mal an, warum es viele viele, viele dieser Features da drin gibt, es ist nämlich super komplex eigentlich und da stecken eine Menge sehr gute Ideen dahinter und das finde ich ergiebiger als eben nur einfach. Das letzte neue Feature mal zu zeigen, es ist natürlich viel einfacher für ein Video aber mal zu erklären. Warum ist das jetzt wirklich vielleicht was grundsätzlich anderes? Dass es derzeit so der Weg, aber es wird vielleicht auch wieder andere Serien geben, jetzt erstmal n paar Monate warum Fabrik ja also gern so vielen dank Markus und ja, dann hören wir uns definitiv in diesem Jahr öfter wieder und immer wenn es um das Thema Daten ganz speziell geht, werde ich immer gerne auf dich wieder zukommen, aber auch natürlich zu den praktischen Erfahrungen, denn ich glaube das was wir noch machen müssen ist unsere Erfahrung an die Hörer und auch an alle anderen weitergeben um ihnen zu helfen mit diesem Ki Thema fertig zu werden. Markus vielen Dank nochmal Michael Ich freu mich drauf you are copilot. Der Podcast, der hilft, die künstliche Intelligenz in der Microsoft 365 Welt zu verstehen und produktiv anzuwenden. Mit eurem Co Piloten Michael Gred.