YCP008 - PHI-3 und Llama3 für Sparfüchse
25.04.2024 26 min Michael Greth
Zusammenfassung & Show Notes
In dieser Episode von YourCopilot erkläre ich, wie man aktuelle Sprachmodelle wie Llama 3 und Microsofts PHI-3-MINI lokal nutzen kann, ohne auf Internetzugang angewiesen zu sein und dabei Daten sicher auf dem eigenen Rechner behält. Es ist verblüffend einfach, diese Modelle mit LM-Studio lokal zu installieren und effektiv zu nutzen. Kostengünstig und sicher kommt noch hinzu. Ein Ausblick gibt zu dem auf Agentensysteme, die spezialisierte Aufgaben effektiv automatisieren können.
Transkript
Lohnt sich eigentlich diese KI?
Kriege ich das Geld da wieder
zurück, was ich investiere? Gute
Frage, Deshalb machen wir heute
mal eine Sendung für Sparfüchse
yourCopilot.
Der Podcast, der hilft, die
künstliche Intelligenz in der
Microsoft 365 Welt zu verstehen
und produktiv anzuwenden.
Mit eurem Co Piloten Michael
Greth.
Ja, halli Hallo und herzlich
willkommen zur 8. Ausgabe von
YourCopilot mit Eurem Podcast,
der euch helfen soll, die
künstliche Intelligenz in der
Microsoft 365 Welt besser zu
verstehen und vor allen Dingen
produktiv anzuwenden und heute
mit dem Zusatz vielleicht auch
den 100€ zu sparen oder auch
sinnvoller einzusetzen.
Das geht heute ein bisschen über
den Copilot hinaus
beziehungsweise in eine etwas
andere Richtung.
Kurz sozusagen der Teno des
Ganzen. Wie kann ich eigentlich
diese Sprachmodelle wie zum
Beispiel GPT oder ähnliches
beziehungsweise diejenigen
Sprachmodelle, die auch als Open
Source zur Verfügung gestellt
werden? Wie kann ich die
eigentlich lokal nutzen, wie
kompliziert ist das? Hat das
überhaupt Sinn sowas zu machen?
Habe ich in den letzten Wochen
doch die ein oder andere
Erfahrung gesammelt und.
Bin ich sag.
Begeistert also. Es hat mich
dann doch manchmal umgehauen,
mit welch geringem Aufwand man
auf seinem eigenen, in dem Fall
bei mir macbook Pro mit dem m 1
Prozessor drin doch extrem coole
Ergebnisse erzielen kann, ohne
dass man ins Internet gehen
muss, weil diese Modelle dann
komplett lokal arbeiten. Und
diese Erfahrung würde ich gerne
mit euch heute teilen, euch da
mal ein paar Tipps geben und
euch auch vielleicht mal
ermutigen sich das ein oder
andere mal anzuschauen und
vielleicht auch ein bisschen,
ich sag mal
ganzen Hype, der um diese ganzen
Modelle immer getrieben wird.
Bisschen so die Luft
rauszunehmen und zu sagen, ja
komm alles schön und gut, aber
was ist denn Whats informie, was
hab ich denn eigentlich davon?
OK, also das ist so die die
Grundvoraussetzung und.
Ausgangspunkt war für mich
eigentlich jetzt die Frage, vor
einiger Zeit kann ich eigentlich
so n Sprachmodell eigentlich
auch bei mir lokal auf dem
Rechner installieren und damit
arbeiten? Schafft das mein
Rechner überhaupt? Bin ich
überhaupt in der Lage sowas zu
machen? Na dann guckt man sich
das ein oder andere Video an und
dann stellt man fest ja es gibt
ja ganz viele Open Source
Modelle die man auf
verschiedenen Quellen
herunterladen kann. Das aktuelle
was jetzt in der vor 2 Wochen
oder anderthalb Wochen
rausgekommen ist halt das neue
Lama.
Modell von Meta, die das in 3
Varianten mittlerweile
produzieren. Das ist ein was
haben wir hier ein ein 8
Milliarden.
Parameter Modell 170 Milliarden
Parameter Modell und außerdem
arbeiten sie noch an einem 450
oder 400 Milliarden Parameter
Modell, das also mit
entsprechend großen Daten
trainiert worden ist, riesig
umfangreich ist und dann
natürlich besser performt
performt als das alte Lama 2
Modell und auch als andere
Modelle und dann gibt es
wunderbare Statistiken wo man
die Nachkommazahlen miteinander
vergleichen kann, was ja alles
super spannend ist. Was mir
eigentlich gesagt.
In die Details kann ich da eh
nicht einsteigen. Für mich wäre
eigentlich die Frage okay wenn
ich mir jetzt so ein Modell
runterlade, das läuft auf meinem
Rechner, ich krieg das irgendwie
lokal zum Laufen und kann die
Anfragen, die ich dann
vielleicht normalerweise ein
Chat, GPT oder ein Azure Open AI
stelle, dann mit den Dingen
vergleichen, die ich vielleicht
lokal bekomme und stelle fest,
Oh was da lokal ist, ist ja auch
richtig gut, das würde mir
eigentlich viel mehr helfen.
Genau das hab ich auch gemacht
und dann ist natürlich die erste
Frage, wenn es solche tollen
Modelle gibt wie Krieg ich die
jetzt eigentlich lokal
installiert und
erschreckenderweise ist das
dermaßen simpel.
Dass, ja, ich bin eigentlich
doch recht erstaunt. Also bei
mir hat es tatsächlich, ich sag
mal 15 Minuten gedauert, bis das
installiert war, bis das Modell
geladen war und ich die erste
Anfrage stellen könnte, wobei
ich zwischendurch auch immer
noch geguckt hatte, was will man
da machen, was passiert da also
Grund.
Es gibt verschiedene Soft.
Die solche lokalen Modelle auf
einem Windows, Mac oder auch auf
dem Linux Rechner unterstützt
und 1 davon ist LM Studio, das
lädt man sich herunter, dann hat
man Applikationen die öffnet man
dann und dann.
Sagt LM Studio so Hallo, ich bin
hier LM Studio, ich bin
sozusagen die Arbeitsumgebung
mit der du Open Source Modelle
von verschiedenen Quellen
herunterladen kannst. Die
installiere ich dann lokal hier
auf deinem Rechner und stelle
dir gleichzeitig dann.
Ein Chatfenster zur Verfügung,
mit dem du dann mit diesem
Modell kommunizieren kannst, so
wie es auch mit Chat, GPT oder
wie mit dem Copilot machen. Oh,
das hört sich doch gut an. Na
gut, man installiert LM Studio,
lädt das herunter.
Führt einmal die Installation
aus, das sind 2 Minuten, dann
ist das Ding installiert und
dann guckt man halt ja OK wo ist
jetzt die Suchfunktion? Dann
gibt es halt eine eingebaute
Suchfunktion, da gibt es nen
Katalog der Dahinterlegt ist wo
diese ganzen Open Source
Modelle.
Dir zur Verfügung stellen oder
zumindest diejenigen, die über
LM Studio verfügbar sind
aufgelistet werden. Ich hab
heute mal geguckt, das sind
siebzehnhundert Modelle
mittlerweile und dann guckt man
relativ schnell mal nach. OK,
gibt es denn jetzt auch dieses
Lama? 3 Modell 8 Billiarden
Parameter?
Man muss ja gucken, die
Amerikaner sagen immer 8
Billiarden, 8 Billionen, das
sind aber halt da, das ja
entsprechend mit dieser
Umrechnung, das sind alten 8
Milliarden Modell, das gibt es
halt dann auch auf.
Im LM Studio dann lädt man sich
das herunter beziehungsweise man
kann vorher noch mal schauen. Es
gibt dann verschiedene Varianten
von diesem Modell, verschiedene
Größen die entsprechend
quantisiert sind, was auch immer
das sein mag, im Prinzip ist es
nur so, wir haben dieses
Basismodell und machen das ein
bisschen kleiner.
Damit es auch ohne jetzt allzu
großen inhaltlichen Verlust und
gucken, ob es dann trotzdem auf
dem Rechner läuft, noch noch
gute Ergebnisse läuft, damit es
performanter läuft, mit weniger
Speicher auskommt und ähnlich
ne, kann man sich vorstellen wie
MP 3. Hat auch je nachdem.
In welcher Qualität man das
Macht, hat es halt Audiodateien
komprimiert und kleiner gemacht,
damit man es auch auf andere
Dinge im Grunde nichts
Großartiges, genau das macht man
dann, dann guckt man noch, was
ich natürlich auch gemacht hab,
wenn.
Gesagt nur von Lama 3 gibt es
jetzt irgendwie 88 bit Modell
gibt es dann irgendwie 17
verschiedene Varianten mit
unterschiedlichen
Quantisierungen, dann guck mal
mal kurz auch im LM Studio, das
gibt so Battlecards wo man sehen
kann was eigentlich dieses
Modell macht und man bekommt
auch vom LM Studio anhand seines
eigenen Rechners Konfiguration
vorgeschlagen und sagt da okay
dieses Modell kann auf deinem
Rechner laufen, das würde
funktionieren, das läuft,
vielleicht musst du mal gucken
und bei anderen gibt es nicht,
das ist zu groß, das
funktioniert auf deinem Rechner
nicht.
Dann guckt man sich ran, dann
kann man auch noch ein bisschen
nachlesen. Was wäre denn ein
gutes Modell, womit ich mal
anfangen kann, ein bisschen
Background und das ist zum
Beispiel bei Lama 3, bei diesem
Achtermodell.
Ist dieses Modell besonders gut
in 12 verschiedenen Varianten
und diese 12 verschiedenen
Varianten oder Use cases sind so
sprachenorientiert. Also ich
kann das mal kurz vorlesen,
asking for advise Brainstorming
classifications.
Quest Question Answering Coding
Creative writing extraction
personas creating open question
answering reasoning, rewiting
and samuraiation also auf, wenn
ihr solche Anfrage habt, also
Zusammenfassung von irgendwas
oder?
Schreib mir mal kreativen Text
oder ich brauch ne Hilfe von dir
zu diesem Thema oder wir machen
mal n Brainstorming dazu, dann
ist so n Lama 3 Modell speziell
darauf trainiert und wenn man
dann diese instruct Variante von
dem Modell wählt, dann hat man
auch die die optimiert ist für
dieses Fragen und
Antwortspielchen so und dann
sucht man sich halt raus ok
gibt's dann halt ne Vierer
Dreier zweier Fünfer
quantifikation in Malls small
medium lutsch und ja ich hab es
ein bisschen.
23 Sachen recherchiert, noch 3
Videos angeguckt nebenher und
hab mich dann letztlich für ein
fünfer Modell Medium size
entschieden instruct und hab mir
das heruntergeladen auf mein lm
Studio und das dauert dann halt
sind 6 Gigabyte oder die
darunter oder 5 Gigabyte die
runtergeladen werden und wenn
das fertig ist dann starte ich
meinen Chat, wähle mein Modell
aus und wups dann habe ich ein
Chat Fenster und kann dann
Fragen stellen, so auch wie ein
Chat GPS und bekomme dann
antworten und kann mir die
Antworten angucken und sagen
bevor gefallen die mir da
gefallen die mir nicht und ich
muss sagen die haben mir sehr
gefallen.
Zum einen geht das ganz schnell
relativ schnell, also kommt ein
bisschen darauf an.
Was ihr für n Rechner natürlich
habt. Also bei mir ist es so,
ich sag mal n Chat GPT 4.
Zeitrahmen, also ja, etwa in
dieser Art hat es bei mir auf
mein m 1 mit 16 Gigabyte RAM
tatsächlich auch gearbeitet,
also völlig erträglich und man
schaut sich das an. Natürlich
habt ihr dann in diesem LM
Studio auch die Möglichkeit halt
diese Parameter, die man ja von
diesen Sprachmodellen kennt,
also wie mit wie hast du schön
die Temperatur und lass mal kurz
gucken.
Tolerance und Penalty und so
weiter an diesen Parametern, die
kann man natürlich auch noch
konfigurieren. Man kann auch
noch die System und die User
Prompts anpassen, aber ich bin
da erstmal überall erstmal nur
von den Basics den
Standardeinstellungen
ausgegangen und musste schon
sagen, also das war jetzt ganz
ganz passable Sachen und ich
habe das halt, weil das auch
gerade mein Spezialthema ist.
Halt Auswertung von Video
transkripten also wenn man.
Ein How to Video auf Youtube
gesehen hat sich einfach mal
davon das Transkript ziehen.
Und dann dieses Transkript jetzt
in das Chatprogramm eingeben und
sagen, bitte fass mir doch mal
die 5 wichtigsten Themen da
zusammen, oder das war jetzt n
instructionvideo sag mir doch
mal Schritt für Schritt, wie der
Sprecher diesen Vorgang dort
beschrieben hat.
Und wenn man das halt in das in
das prompt eingibt und das
Transkript dazu reinpackt, dann
bekommt man auch ne Antwort und
die muss ich sagen. Also bei
diesem Lama 3 Modell war die
schon beeindruckend gut ne das
für mich ist jetzt auch noch die
Aufgabe diese Prompts noch ein
bisschen zu optimieren, also man
kriegt ja dann so man muss ja
ein bisschen arbeiten damit um
zu sehen was dabei rauskommt vom
Ergebnis her, aber das ist schon
richtig cool, was mich echt
richtig gut fand ist so dieses
Erstellen von Personas, wenn man
sagen Gutes prompt hat, weil man
sagt ich hätte gerne eine
Persona mit folgenden
Eigenschaften erstellen mir die
doch mal so richtig dazu.
Das funktioniert gut, was ich
als anderes noch gemacht habe.
Ich habe mir Testdaten erstellen
lassen für Chatprotokolle von
einer Customer Hotline und auch
das ist richtig, richtig gut
geworden bei Lama 3 übrigens
auch und nicht nur in Englisch,
sondern auch in Deutsch recht
ordentlich geworden muss.
Definitiv nicht dahinter
verstecken, als wenn ich das
jetzt mit dem Chat GBT 3 gemacht
hab. Bei Chat GPT 4 würde ich
sagen mit meiner subscription
die ich da hab und hätte das
über die über den Chat gemacht,
ich vermute mal die Antworten
wären noch n bisschen besser
gewesen, was aber für den Zweck
für die ich sie einsetzen würde
überhaupt nicht mehr nötig
gewesen wäre, das soll das
Häubchen was oben drauf ist und
ich glaube, dass da auch so ein
Lama 3 Modell was ich bei mir
lokal habe echt präziser wirkt
und wenn ich dann jetzt noch mal
bei der Temperatur ein bisschen
dran schraube und das Modell
sage.
Weniger.
Fantasie, sondern mehr
Präzision. Dann wird das auch
noch besser und das kann man
dann locker ausfallen. Das läuft
halt alles lokal auf meinem
Rechner.
Und ich kann mir dann die
Ergebnisse aus dem Chat raus
kopieren und sie an anderer
Stelle weiterverwenden. Und das
zweite, was sie mit so einem LM
Studio machen kann, was
natürlich dann noch cooler ist,
ist, man kann in einen Server
Modus gehen, dann heißt das.
Hab ich start, ich halt quasi
NAPI auf meinem Rechner zu
diesem Modell und diese API kann
ich genauso ansprechen wie die
Open AIAPI. Das heißt wenn ich
zum Beispiel ein Skript hätte,
oh ich hab ein Skript in Python
geschrieben, mit dem ich zum
Beispiel ein Transkript nach
open AI schicke und sage, bitte
fasse mir dieses Transkript
zusammen mit folgenden
Voraussetzungen, suche raus was
die.
100 Worten, Was die
Kernbotschaft dieses Videos ist,
dann sage mir detailliert, was
waren die Topics, die besprochen
wurden, gib mir ein paar Zitate
daraus, gib mir ein paar best
Practice daraus, mach ein paar
Hashtags und stell noch mal 5
Fragen dazu, mit dem ich den
Text weiter erschließen könnte,
dann kriege ich das alles
wunderbar von Jet GPT von Open
AI quasi über die API wieder
zurück. Jetzt kann ich aber
einfach, indem ich einfach nur
die URL für die API austausche,
kann ich auch sagen, jetzt
schickt diese Anfrage aus meinem
Pythonscript nicht zurück nach.
Open AI, sondern schick die
einfach mal lokal an mein LM mit
Studio, wo ich ja im Hintergrund
mal Lama 3 Modell laufen hab und
dann nimmt er dieses und die
Ergebnisse der Rückführung sind
natürlich nicht ganz so
ausführlich, aber.
Und das ist jetzt eigentlich
meine Aufgabe. Das ist jetzt
noch ein bisschen prompt
schrauben, ich muss einfach
jetzt nur noch mal sehen, was
will ich denn jetzt wirklich
haben, ich kann es zwick mich
auch noch mal präziser.
Darauf zu reagieren, was möchte
ich gern aus diesem Transkript
des Videos haben und was muss
ich mir dann halt noch mal mein
prompt schärfen und sehen, wie
ich das noch verbessern kann.
Das ist ja so, wie man auch
übrigens Use Cases erstellt. Ja,
wir sind schon fast bei Copilot
Use Cases also aber das machen
wir am nächsten oder
übernächsten Ausgabe ja und dann
ja und ich krieg dann die
entsprechenden Ergebnisse raus
und das ist total faszinierend
wie gut das funktioniert
natürlich jetzt, ich sag mal
speziell weil Lama 3 halt auf.
Diese sprach Key Use Cases
trainiert ist und wenn ich einen
solchen Use Case habe, kann ich
das damit machen. So und das
geht dann eben sogar noch einen
Schritt weiter, weil heute
beziehungsweise gestern hat
Microsoft auch einen neue
Version seines Phi Modell, also
Phi wie die griechische Zahl.
PHI 3 veröffentlicht und dieses
Phi 3 Modell. Ich hatte mir das
doch hier irgendwie schon mal
rausgesogen genau das haben Sie,
das ist speziell, das kommt in
kleinen Bausteine in kleinen
Häppchen, das sind so kleine
Small Language Model, nicht
large light sondern Small
Language Model. Die Idee hinter
diesen Modellen wie?
Dass sie kleiner sind als die
großen Modelle, so zum Beispiel
dieses Phi 3 Mini, nur halb so
groß wie ein vergleichbares
Modell mit gleicher Leistung.
Wenn ich das mal so
zusammenfassen darf, war nicht
ganz richtig, aber im Prinzip
ist das so, also die sollen
kleiner werden, trotzdem so
leistungsfähig sein wie ein
doppelt so großes Modell und
sollen dann auch mal für
spezielle Use Cases optimiert
sein. Spezielle use Cases heißt,
wenn ich so ein kleines Modell
habe, dann kriege ich das auf
dem Handy rauf, weil es zum
einen weniger Speicher hat.
Vielleicht, weil es auch
Performanter ist, weil es
schneller reagiert und auch
vielleicht mit so einem Handy
besser arbeiten kann. Darauf
sind die optimiert und da hat
Microsoft jetzt auch mehrere
Varianten von diesem Feed 3
veröffentlicht, da gibt es ein 3
Billionen.
Paare an Diversified 3 Small ist
7 Milliarden, Phi 3 Medium 14
Milliarden und das Phi 3 mini
3,8 Milliarden.
Ja, dingenskirchen groß, also da
so und dann hatte ich mir das
heute morgen gedacht und hieß
auch, ja, das ist auch Open
Source, ich weiß nicht ob es
Open Source ist, jedenfalls
kriegt man es von den gängigen.
Repositories wie Hugging, Face
und so weiter kann man sich das
Herunterladen. Haben auch schon
freundliche Menschen da
hochgeladen und ja, dann wollte
ich das auch in meinem LMM
Studio installieren, aber gab
dann gleich irgendwo paar
Fehlermeldungen und dann ging
das nicht und dann war ich heute
morgen traurig und frustriert
und habe meinen Rechner wieder
zugemacht und habe was anderes
gemacht und dann lese ich heute
Nachmittag auf linkedin einen
Beitrag von Mike Martens, der
gesagt hat bei mir läuft das
aber ich musste genau dieses
Modell nehmen und diese Variante
dieses Modells und.
Sich hey super, danke für den
Tipp, habe mich gleich
hingesetzt mir dann mal in LM
Studio diese Variante
rausgesucht, installiert und
auch innerhalb von 2 Minuten
also gut das Download hat
vielleicht was zu singen, dieses
33 Gigabyte großer 2,83 Gigabyte
groß.
Hat irgendwie 2 Minuten
gedauert, dann war das drin.
Modell Angeschmissen, LMS Studio
eingeladen, mein altes prompt
was ich vorher auf das Lama 3
Modell abgeschickt habe, das
gleiche Prop noch mal
abgeschickt und ich bin echt
hypnoger gekippt weil der Text
dabei rauskam. War tatsächlich
besser als der andere, er war
ausführlicher, war auch schöner
geschrieben, es war halt alles
in Englisch, in Deutsch ist
dieses Modell nicht ganz so gut,
aber vom Englisch Text her war
das war das richtig cool und
vor.
War es auch recht zackig und ja,
und insofern kann ich jetzt
zwischen diesen beiden Modellen
hin und her schalten. Ich hab
natürlich auch noch andere, ich
hab ein Wizard LM und ich hab
auch ein Mistral installiert,
sodass man mit diesen
verschiedenen Modellen dann
lokal auf seinem Rechner spielen
kann und kann dann immer sagen
guck mal, ich hab jetzt hier ein
prompt generiert und diesen
prompt möchte ich mal mit meiner
entsprechenden weiß ich mit
meinem Transkript oder mit
meiner Anforderung quasi mit den
verschiedenen Modellen
ausprobieren und guck mal was
als Ergebnis soll was passt denn
für mich am besten und das kann
ich alles lokal spielen, das
funktioniert auf.
Diesem macbook pro m 1 was ich
hier habe wirklich absolut
performant und man ist
überrascht und erstaunt was
dahinter steckt. Ja, und
insofern kann ich euch echt
ermutigen, das vielleicht selber
mal auszupolieren ich bin weder
ein Dieb versteher wie solche
Sprachmodelle gebaut werden und
wie die erstellt werden, also im
Prinzip weil sie schon was, aber
ich könnte das nicht selber
machen, aber es sind ja
freundliche Instanzen, die da
Hunderte von Milliarden für
Millionen.
Wurden Dollar investieren, um
solche Modelle zu trainieren,
sie dann über Open Source oder
zur Verfügung stellen? Ich kann
mir die innerhalb von ein paar
Minuten auf meinen Rechner
laden, ich hab NLM Studio mit
dem ich dann quasi automatisch
ohne noch ne Zeile Code oder was
zu programmieren ne chatumgebung
habe, kann mich dann an die das
basteln meiner Prompts wagen und
kann einfach sehen was da
Ergebnisse rauskommen das mach
ich alles lokal bei mir es geht
nichts übers Internet raus und
für und das wenn man das mal
zusammenfassen speziell jetzt
für diese Use Cases also wie
gesagt das larmodell 12 use
cases auf die es optimiert ist
und auch dieses.
Fi 3 Modell ist auch optimiert
und zwar sind das auch übrigens
Dinge, da kann man auch noch mal
sich einen Artikel zu durchlesen
wie dieses Modell trainiert
worden ist. Man hat da ZB.
Märchensynthetisch erstellen
lassen, um die als
Trainingsmodell zu verwenden,
als Trainingsdaten zu verwenden,
und man hat dann glaube ich auch
nochmal, wenn ich das richtig
irgendwo gelesen habe.
Mit 10000000 Human Annotations
in dieses Training des Modells
eingebaut. Das heißt, das Modell
ist nicht nur automatisch
trainiert worden, sondern auch
noch mal von Menschenhand mit
10000000 Anmerkungen.
Versehen werden die ja gesagt
haben. Das ist gut, das ist
schlecht, das ist besser das.
An da merkt man schon, dass
diese Modelle jetzt einfach
nicht mehr so vielleicht die
ersten GPT Modelle kommen.
Saugen wir mal das Internet ab,
egal was da reinkommt, sondern
man jetzt schon sehr fokussiert
darauf geht, sagt okay was ist
der Verwendungszweck dieses
Modells, möchte ich zum Beispiel
möglichst klein haben und
möglichst performant, damit es
auf dem Handy läuft und trotzdem
gerade auf dem Handy, wo ich
viel sprachinteraktion habe,
Anfragen, da würde ich
wahrscheinlich keinen Roman
drauf schreiben, aber da werde
ich wahrscheinlich Alltagsfragen
gut beantworten müssen oder
ähnliches oder geht es mir eher
darum, wie auf dem Lama 3
Modell?
Ja, Meter im Moment noch
trainiert mit den 400
Milliarden.
Informationen, die da
abgespeichert sind, dass dann
natürlich noch mal ganz andere
Möglichkeiten bei bei
Kreativität und so weiter macht,
ist unterschiedlich. Das wird
auch auf meinem Rechner gar
nicht mehr laufen, aber darauf
werden die trainiert und dann
eben für diese speziellen Use
Cases auch schon optimiert mit
Feintuning was dahinter steht,
insofern kriegt man da schon
spezielle gut vorgefertigte
Modelle, die wie aus meiner
eigenen Praxis ich jetzt
bestätigen kann, doch echt
richtig, richtig.
Spannende Ergebnisse liegen. Es
liegt jetzt, glaube ich, an mir.
Mit rauszufinden, mit welchen
Prompts kann ich das ganze jetzt
noch entsprechend?
Ach so, vielleicht noch mal zum
Abschluss zu dieser
Servergeschichte was ich gesagt
hab, wie gesagt ich hab Python
Skripte die jetzt lokal mein
Modell einfach als Backend
benutzen über die und dazu muss
man auch tatsächlich kein
Programmierer sein. Diese ganzen
Pythons Skripte die ich da habe.
Die hab ich mir alle, ohne
tatsächlich jemals in Python
originär programmiert zu haben,
mit Hilfe des Github co Pilots
in ein paar längeren Sessions
mir zusammenbauen lassen und die
funktionieren auch sehr gut.
So mit anderen Worten, das war
mehr so. Die Heimwerkeredition
für Sparfüchse denn letztlich
die 100 Milliarden Millionen,
die in die Entwicklung dieser
Modelle gesteckt werden, die
müssen sie sich auch für
Rentieren für euch rentieren
sich, weil ihr könnt die Modelle
kostenfrei nutzen und könnt
damit arbeiten. Meine Frage an
euch wäre, ich würde habe das
auch gerade auf linkedin nochmal
gepostet, ich würde wenn
Interesse besteht auch gern dazu
mal ein Live Event machen um
euch das dann mal in einer Live
Session ein bisschen
ausführlicher zu erklären.
Wenn ihr da Interesse daran
habt, dann schreibt einfach mal
was in die Kommentare oder
antwortet Halt über mein
LINKEDIN Profil. Darauf würde
mich freuen und dann machen wir
das mal in diese Richtung. So,
das war heute ein bisschen
andere your copalizession, aber
vielleicht.
Ein ein kleines, eine kleine
Idee zum Abschluss. Was mir an
diesem ganzen System übrigens
auch gefällt, ist, dass man ein
noch besseres Verständnis dafür
bekommt, wieso diese Technologie
im Hintergrund ein bisschen
funktioniert.
Und wie auch die einzelnen
Modelle reagieren, was es da für
Abstufungen gibt und ähnliches.
Also es gibt ein bisschen
Hintergrundwissen, was man jetzt
vielleicht in der täglichen
Arbeit mit dem Word Coupilate
nicht unbedingt braucht, aber.
Wenn man generell, so Microsoft
365 Copilot arbeitet und
überlegt, was kann ich denn
damit alles machen? Was gibt es
denn für Ideen, warum
fokussieren sie sich da zum
Beispiel auf 12 verschiedene Use
cases, kann ich das bei mir auch
irgendwie nutzen, dann gibt es
doch noch mal ein ganz gutes
Verständnis und.
Man muss echt kein Experte sein,
um das Nutzen zu können. Ich bin
es in dem Sinne auch nicht,
sondern ich hab das mehr oder
minder so in einer halben Stunde
mal alles zusammen geklöppelt
und es läuft und es hilft
richtig, richtig spannend.
So in diesem Sinne viel Spaß auf
eurer eigenen Reise und wir
hören uns in der nächsten
Ausgabe wieder und bis dahin
freut mich, wenn ihr diesen
Podcast teilt. Wenn ihr auch ein
Like hinter Leerlasst und wenn
ihr dir auf den Plattformen
Videos hört, auch vielleicht das
ganze noch abonniert und mir
dann noch Feedback gibt und dann
bin ich happy und freue mich und
freue mich, wenn ich euch beim
nächsten Mal wieder mit Rat und
Tat zur Verfügung stehen, bis
dann bis zum nächsten Mal.
Tschüss.
YourCopilot der Podcast, der
hilft, die künstliche
Intelligenz in der Microsoft 365
Welt zu verstehen und produktiv
anzuwenden.
Mit eurem Co Piloten Michael
Greth.