Deep Dive 141 – Integration von LLMs mit Christian Weyer

Generative AI, also eine künstliche Intelligenz, die neue Inhalte erzeugen kann, ist aktuell im Tech-Umfeld omnipräsent und schwappt auch in den Diskurs von Non-Techies. Nahezu täglich werden neue, größere, bessere Modelle veröffentlicht. Um mithalten und die Technologie nutzen zu können, wollen wir sie ganz nüchtern und pragmatisch verstehen. Dazu haben wir erneut Christian Weyer eingeladen und sprechen mit ihm über seine Erfahrungen bei der tatsächlichen Integration von Generative AI in echte Anwendungen.

Wir diskutieren, wie ihr euch dem Thema nähern solltet, wenn ihr Software und Produkte entwickelt, welche Überlegungen dabei eine zentrale Rolle spielen und wieso ihr vielleicht doch kein eigenes KI-Modell hosten solltet – auch wenn ihr es könntet.

Wir stellen die These auf, dass AI und insbesondere Large Language Models für uns als Entwickler:innen eigentlich bloß weitere Werkzeuge sind. Dabei erklären wir, worin es sich von allem zuvor Dagewesenen unterscheidet.

Und weil wir schon lange nicht mehr so schön im Studio beieinander saßen, haben wir bei der Aufnahme vergessen, auf die Uhr zu schauen. ;) Einen Pick of the Day gibt es am Ende trotzdem noch für euch.

Picks of the Day:

• Jan Gregor: Jan – Ähnlich wie LM Studio ermöglicht euch auch „Jan“, Large Language Models lokal auf eurem Computer laufen zu lassen. Dabei habt ihr die Auswahl aus verschiedenen Modellen, die über einen zentralen Hub bereitgestellt werden. Alternativ ladet ihr einfach selbst Modelle herunter (etwa via HuggingFace) und importiert diese zur Nutzung in Jan. Für die Nutzung steht euch sowohl ein Chat-Interface als auch eine HTTP-API zur Verfügung. Wer Modelle selbst nutzen möchte, aber dafür nicht das GUI von Jan braucht, kann auch die zugrundeliegende Library Nitro selbst verwenden.

Schreibt uns!
Schickt uns eure Themenwünsche und euer Feedback: podcast@programmier.bar

Folgt uns!
Bleibt auf dem Laufenden über zukünftige Folgen und virtuelle Meetups und beteiligt euch an Community-Diskussionen.

Twitter
Instagram
Facebook
Meetup
YouTube

Musik: Hanimo