Bossie Awards

Die besten Open-Source-Produkte 2023

31.10.2023 von Heinrich Vaske
Unsere US-Kollegen von der Infoworld haben ihre "Bossie Awards" für die führenden Open-Source-Tools 2023 vergeben. Das Spektrum umfasst Softwareentwicklung, Datenmanagement, Analytics, KI und mehr.
Unsere-Schwesterpublikation InfoWorld kürt jedes Jahr im Herbst die besten Open-Source-Projekte. Lesen Sie, wer 2023 die begehrten Bossie-Awards erhalten hat.
Foto: InfoWorld

Immer wenn die Blätter fallen und die Schnupfenzeit naht, ist es Zeit für die "Best of Open Source Software Awards" der InfoWorld, ein Ritual unserer US-Kollegen von der InfoWorld, das die Redakteure dort liebevoll "Bossies" getauft haben. Seit nunmehr 17 Jahren wird mit den Bossies die beste und innovativste Open-Source-Software ausgezeichnet.

Prämiert wird eine erstaunlich vielseitige Mischung von Technologien. Unter den 25 Gewinnern finden sich Programmiersprachen, Laufzeitumgebungen, App-Frameworks, Datenbanken, Analyse-Engines, Bibliotheken für maschinelles Lernen (ML), große Sprachmodelle (LLMs), Tools für den Einsatz von LLMs und das eine oder andere Projekt, das über diese Beschreibungen hinausgeht.

Hier die Gewinner der Bossie Awards 2023 von der InfoWorld in alphabetischer Reihenfolge:

Apache Hudi

Um einen Data Lake oder ein Data Lakehouse zu bauen, benötigen Unternehmen eine entwicklungsfähige und anpassbare Plattform. Apache Hudi ist eine transaktionale Data-Lake-Plattform der jüngsten Generation. Sie eignet sich insbesondere für Streaming-Workloads und das Verarbeiten von inkrementellen Batch-Pipelines.

Schnelle Analysen sind wichtig, reichen aber nicht aus. Deshalb bietet Apache Hudi nicht nur ein schnelles Datenformat, Tabellen und SQL, es ermöglicht vor allem Echtzeit-Analysen bei geringen Latenzen. Die Data-Lake-Plattform lässt sich mit Apache Spark, Apache Flink sowie Tools wie Presto, StarRocks oder Amazon Athena integrieren. Kurz gesagt: Wer Echtzeit-Analysen auf einem Data Lake umsetzen will, sollte sich Hudi ansehen. (InfoWorld-Autor: Andrew C. Oliver)

Apache Iceberg

Was nützt es, wenn ein System "skaliert", aber das Ergebnis dann doch eine Ewigkeit auf sich warten lässt? Das Hadoop Distributed File System (HDFS) und Hive sind bekanntlich ziemlich langsam. Hier kommt Apache Iceberg ins Spiel, ein High-Performance-Format für große Analytics-Tabellen. Es bringt die Zuverlässigkeit und Einfachheit von SQL-Tabellen in die Big-Data-Welt und arbeitet dabei mit Hive, aber auch direkt mit Apache Spark und Apache Flink sowie mit anderen Systemen wie ClickHouse, Dremio und StarRocks zusammen.

Iceberg bietet ein leistungsstarkes Tabellenformat für diese Systeme und ermöglicht gleichzeitig eine vollständige Schema-Evolution, Datenverdichtung und einen Versions-Rollback. Iceberg ist eine Schlüsselkomponente für viele moderne Open Data Lakes. (Andrew C. Oliver)

Apacje Iceberg ist ein High-Performance-Format für große Analytics-Tabellen.
Foto: NicoElNino - shutterstock.com

Apache Superset

Seit vielen Jahren ist Apache Superset die Nummer eins in Sachen Datenexploration und -visualisierung. Die Anwendung kann Daten im Petabyte-Bereich verarbeiten und ist erste Wahl in vielen Unternehmen, die kunden- oder benutzerseitig Analysen in großem Umfang vornehmen. Superset setzt nahezu jedes Analyseszenario um, von Tortendiagrammen bis hin zu komplexen Geodiagrammen. Es arbeitet mit den meisten SQL-Datenbanken zusammen und bietet einen Drag-and-Drop-Builder sowie eine SQL-IDE. Wenn Sie Daten visualisieren wollen, sollten Sie sich Superset als erstes ansehen! (Andrew C. Oliver)

Bun

Bun ist ein superschnelles All-in-one-Toolkit für JavaScript- und Typescript-Anwendungen. Hier wird alles geboten, was Entwickler für Server-seitiges JavaScript brauchen: Runtime, Bundler und Paketmanager in einem Tool vereint. Bun ist als Ersatz für Node.js und NPM gedacht, arbeitet aber viel schneller. Diese simple Eigenschaft macht Bun zum super-disruptiven Tool für die JavaScript-Welt.

Einen Teil seiner Geschwindigkeit verdankt Bun dem Zig-Projekt (siehe unten), die meiste Arbeit aber hat der Urheber Jared Sumner geleistet. Anwender werden die Verbesserungen sofort auf der Kommandozeile spüren. Abgesehen von der Leistung macht die Tatsache, dass alle Tools in einem integrierten Paket enthalten sind, Bun zu einer überzeugenden Alternative zu Node und Deno. (Matthew Tyson)

Claude 2

Claude 2 ist ein Transformer-basiertes Sprachmodell von Anthropic. Es kann, vergleichbar mit ChatGPT und Google Bard, menschenähnliche Konversationen führen. Das LLM zeichnet sich dabei durch ein besonders großes Ein- und Ausgabevolumen aus. Es akzeptiert bis zu 100.000 Token (etwa 70.000 Wörter) in einem einzigen Prompt und kann Geschichten mit einigen tausend Token erzeugen.

Claude kann editieren, umschreiben, zusammenfassen, klassifizieren, strukturierte Daten extrahieren, Fragen und Antworten auf der Grundlage des Inhalts stellen und vieles mehr. Das Modell ist momentan noch vorwiegend auf Englisch trainiert und in weiten Teilen Europas nur über VPN nutzbar. Claude 2 verfügt über umfangreiche Kenntnisse der gängigen Programmiersprachen. Das Modell wurde so trainiert, dass es sich nicht so leicht zur Erzeugung anstößiger oder gefährlicher Ergebnisse missbrauchen lässt. Claude ist als kostenlose Beta verfügbar und wird von kommerziellen Partnern wie Jasper, Sourcegraph und AWS genutzt. (Martin Heller)

CockroachDB

Eine verteilte SQL-Datenbank, die stark konsistente ACID-Transaktionen ermöglicht, ist CockroachDB. Das System löst ein zentrales Skalierbarkeitsproblem für hochleistungsfähige, transaktionsintensive Anwendungen, indem es eine horizontale Skalierbarkeit von Lese- und Schreibvorgängen in der Datenbank ermöglicht. CockroachDB unterstützt Deployments in über mehrere Regionen und Cloud-Umgebungen hinweg, so dass sich Latenzzeiten reduzieren und regulatorische Vorgaben besser einhalten lassen.

Prominentes Beispiel für den Einsatz von CockroachDB ist die Netflix-Datenplattform mit mehr als 100 Cockroach-DB-Clustern, die Medienanwendungen und Device Management unterstützen. Weitere Kunden sind Hard Rock Sportsbook, JPMorgan Chase, Santander und DoorDash. (Isaac Sacolick)

CPython

Ob es um maschinelles Lernen, Data Science, Task-Automatisierung oder Web-Entwicklung geht: Es gibt viele gute Gründe, die Programmiersprache Python zu lieben. Leider gehört die Runtime-Leistung nicht dazu - aber das ändert sich gerade. In den letzten beiden Versionen, Python 3.11 und Python 3.12, hat das Entwicklungsteam eine Reihe von grundlegenden Verbesserungen an CPython, der Referenzimplementierung des Python-Interpreters, vorgestellt.

Eine besonders schnelle Python-Runtime bietet CPython.
Foto: Wright Studio - shutterstock.com

Das Ergebnis ist eine Python-Laufzeitumgebung, die für alle Nutzer schneller ist, nicht nur für die wenigen, die neue Libraries verwenden oder modernste Syntax nutzen wollen. Mit der geplanten Abschaffung des Global Interpreter Lock, einem langjährigen Hindernis für echte Multi-Thread-Parallelität in Python, wurden die Weichen für noch weitreichendere Verbesserungen gestellt. (Serdar Yegulalp)

DuckDB

OLAP-Datenbanken sind immer riesig, oder? Zumindest würde wohl niemand IBM Cognos, Oracle OLAP, SAP Business Warehouse oder ClickHouse als "leichtgewichtig" bezeichnen. Einen anderen Ansatz verfolgt DuckDB, es löst das Versprechen eines "Just-enough-OLAP" ein. Bei DuckDB handelt es handelt sich um eine Analytics-Datenbank, die embedded und in-process läuft, ohne externe Abhängigkeiten.

DuckDB gehört zu den Projekten, die ähnlich wie SQLite von einer kleinen, zielstrebigen Community mit einem unglaublichen Spirit vorangetrieben werden. Sie bietet alle wichtigen Funktionen eines relationalen Datenbankmanagement-systems (RDBMS), darunter SQL-Abfragen, ACID-Transaktionen und sekundäre Indizes. Dem fügt DuckDB noch Analysefunktionen wie Joins und Aggregate für große Datensätze hinzu. Außerdem kann sie gängige Big-Data-Formate wie Parquet einlesen und direkt abfragen. (Serdar Yegulalp)

HTMX und Hyperscript

HTMX fügt dem HTML, das wir über Jahrzehnte kennen und manchmal auch lieben gelernt haben, einige Verbesserungen hinzu, so dass es einfacher wird, moderne Webanwendungen damit zu schreiben. HTMX eliminiert einen Großteil des Standard-JavaScripts, das zum Verbinden von Web-Frontends und -Backends verwendet wird. Stattdessen werden intuitive HTML-Eigenschaften genutzt, um Aufgaben wie das Handling von AJAX-Anfragen oder das Auffüllen von Elementen mit Daten auszuführen.

HTML bekommt mit HTMX und Hyperscript wichtige Verbesserungen.
Foto: GagoDesign - shutterstock.com

Ein Schwesterprojekt namens Hyperscript führt eine HyperCard-ähnliche Syntax ein, um JavaScript-Aufgaben zu vereinfachen - einschließlich asynchroner Operationen und DOM-Manipulationen. Zusammengenommen bieten HTMX und Hyperscript eine kühne alternative Vision zum aktuellen Trend der reaktiven Frameworks. (Matthew Tyson)

Istio

Mit Istio lassen sich Container-basierte Microservices leichter vernetzen und die Kommunikation verbessern. Es handelt sich um einen Service-Mesh, der Traffic-Routing, Überwachung, Protokollierung und Monitoring bietet und dabei die Sicherheit durch Verschlüsselung, Authentifizierung und Autorisierung erhöht.

Istio trennt die Kommunikation und ihre Security-Funktionen von der Anwendung und der Infrastruktur, was eine sicherere und konsistentere Konfiguration ermöglicht. Die Architektur besteht aus einer Steuerebene, die in Kubernetes-Clustern eingesetzt wird, und einer Datenebene zur Kontrolle der Kommunikationsrichtlinien. Im Jahr 2023 verließ Istio die CNCF-Inkubationsphase und hat sich in der Cloud-Native-Community durch Unterstützung und Beiträge von Google, IBM, Red Hat, Solo.io und anderen einen Namen gemacht. (Isaac Sacolick)

Kata Containers

Kata Containers kombiniert die Vorteile eines Container-Systems mit einer einfachen virtuellen Maschine (VM). Ziel ist es, eine besonders leichtgewichtige VM zu schaffen, die in alle Richtungen kompatibel, sicher und leistungsstark ist. Die Community setzt dazu von außen auf eine starke Isolierung und von innen auf eine Hardwarevirtualisierung als zweite Verteidigungslinie.

Die sichere Container-Runtime nutzt Intel Clear Containers (Projekt für sichere Linux-Container) zusammen mit Hyper.sh runV, eine Hypervisor-basierten Laufzeitumgebung. Kata Containers lässt sich mit Kubernetes genauso wie mit Docker einsetzen und unterstützt verschiedene Hardwarearchitekturen, darunter x86_64, AMD64, Arm, IBM p-series und IBM z-series. Das Projekt wird von der OpenStack Foundation verwaltet, zu den Sponsoren gehören Microsoft Azure, Amazon Web Services (AWS), Google Cloud und Alibaba Cloud. Auch Cisco, Dell, Intel, Red Hat, SUSE und Ubuntu sind Unterstützer. (Isaac Sacolick)

LangChain

Hier handelt es sich um ein Framework, das Entwickler mit Tools versorgt, um Anwendungen auf der Grundlage von Large Language Models (LLMs) zu schreiben. LangChain gibt es erst seit Oktober 2022. Es lässt sich auch als Orchestrierungshilfe für Prompts beschreiben, die es Entwicklern leichter machen soll, Prompts intelligent miteinander zu verketten. Mit LangChain können Programmierer Agenten bauen, die größere Aufgaben in viele kleinere Teilaufgaben zerlegen, wobei Zwischenschritte definiert und Befehle miteinander verkettet werden.

LangChain-Komponenten sind zum einen modulare Abstraktionen und zum anderen Sammlungen von deren Implementierungen. Das Framework bietet auch standardisierte Ketten, bei denen es sich um strukturierte Zusammenstellungen von Komponenten handelt, mit denen bestimmte Aufgaben in der Entwicklung bewältigt werden können. Entwickler können also bestehende Ketten nutzen, anpassen sowie neue Ketten erstellen. Derzeit gibt es LangChain-Versionen in Python, TypeScript/JavaScript und Go. Zum Zeitpunkt der Erstellung dieses Artikels gab es etwa 160 LangChain-Integrationen. (Martin Heller)

Language Model Evaluation Harness

Momentan entstehen viele neue LLMs, deren Eigenarten und Leistungsfähigkeit in Rahmen von Benchmarks objektiv verglichen werden müssen. In der Regel werden die Modelle anhand mehrerer Benchmark-Datensätze evaluiert und mit Punktzahlen versehen, die einen Vergleich der Modelle ermöglichen sollen. Dabei hängt die Leistung eines Modells oft von kleinen Implementierungsdetails ab.

Um diese Probleme zu lösen, hat das KI-Forschungsinstitut EleutherAI das LM Evaluation Harness eingeführt, ein vereinheitlichendes Rahmenwerk, das es ermöglicht, jedes kausale Sprachmodell mit genau denselben Eingaben und derselben Codebasis zu testen. Es bietet eine solide Grundlage für die Evaluierung neuer LLMs, spart ihnen Zeit und unterstützt die Vergleichbarkeit ihrer Ergebnisse mit früheren Arbeiten.

Das LM Eval Harness unterstützt mehrere verschiedene NLP-Aufgaben und Modell-Frameworks - mit einer einheitlichen Schnittstelle und Task-Versionierung für die Reproduzierbarkeit. Es bietet über 200 Benchmarks und ist leicht erweiterbar. Es wurde sogar verwendet, um Schwachstellen in den vorhandenen Benchmarks zu entdecken und auch, um das Open LLM Leaderboard von Hugging Face zu betreiben. (Ian Zeiger)

Llama 2

Llama 2 ist die jüngste Generation des LLM von Meta. Es wurde auf zwei Billionen Token aus öffentlich zugänglichen Quellen trainiert, was ein Plus von 40 Prozent gegenüber Llama 1 bedeutet. Die Kontextlänge wurde in der Default-Einstellung auf 4096 verdoppelt. Bei Llama 2 aus den KI-Laboren von Meta handelt es sich um ein autoregressives Sprachmodell, das eine optimierte Transformer-Architektur verwendet.

Die getunten Versionen nutzen Supervised Fine Tuning (SFT) und Reinforcement Learning mit menschlichem Feedback (RLHF). Code Llama kann Code aus anderem Code oder über natürliche Spracheingabe generieren. Es wurde durch das Fine-Tuning von Llama 2 anhand von codespezifischen Datensätzen trainiert. (Martin Heller)

Ollama

Ollama ist ein Tool, mit dem Anwender KI-Modelle wie Llama 2, Code Llama und andere Sprach-, Bilderkennungs- und Übersetzungsmodelle lokal auf ihren Rechnern ausführen können. Dabei wird die Utility auf dem Rechner installiert und die KI-Modelle werden aus der Cloud heruntergeladen. Ollama stellt eine Reihe von Befehlen bereit, mit denen Nutzer die Ausführung des jeweiligen Modells auf ihrem Endgerät steuern können. Zu den Vorteilen gehört, dass Anwender die volle Kontrolle über die Daten haben, die Leistung optimieren und KI-Modelle unzensiert ausführen können. Nachteile sind der hohe Speicherbedarf und die schlechte Performance.

Ollama unterstützt derzeit knapp zwei Dutzend Familien von Sprachmodellen, für die jeweils zahlreiche "Tags" verfügbar sind. Dabei handelt es sich um Varianten der Modelle, die in verschiedenen Größen mit unterschiedlicher Feinabstimmung trainiert wurden, damit sie lokal gut funktionieren. Dass Ollama auch unzensierte Modellvarianten unterstützt, heißt, dass diese LLMs ohne die üblichen Leitplanken trainiert werden. In der Ollama-Variante wird Llama 2 auf die Frage, wie man Schießpulver herstellt, einfach ein Ergebnis liefern und nicht davor warnen, dass die Herstellung von Sprengstoff illegal und gefährlich ist. (Martin Heller)

Polars

Man könnte sich fragen, warum Python eine weitere Library zum Verarbeiten von Daten-Frames braucht, wo sich doch das altehrwürdige Pandas gut bewährt hat. Und tatsächlich kann Polars nicht alles, was Pandas kann, aber es hat einen entscheidenden Vorteil: Es skaliert viel besser als Pandas und ist fünf bis zehn Mal so schnell - bei halb so großem Speicherbedarf.

Polars ist eine Dataframe-Bibliothek für Python, die auf Apache Arrows basiert und in Rust geschrieben wurde. Auch Entwickler, die mit PySpark zu tun hatten, werden sich mit der Polars-API wohler fühlen als mit den etwas esoterischen Operations in Pandas. Vor allem, wenn Sie mit großen Datenmengen arbeiten, kommen Sie mit Polars schneller voran. (Ian Pointer)

PostgreSQL

Dazu muss man eigentlich nicht viel sagen: PostgreSQL wird seit über 35 Jahren entwickelt, die Zahl der Kontributoren liegt inzwischen bei über 700 Personen. Der geschätzte Marktanteil unter den relationalen Datenbankmanagement-Systemen liegt bei 16,4 Prozent. Eine Umfrage zeigte kürzlich, dass PostgreSQL sogar für 45 Prozent der befragten 90.000 Entwickler die erste Wahl ist. Das deutet darauf hin, dass die Dynamik immer noch zunimmt.

Im September 2023 wurde PostgreSQL 16 veröffentlicht. Die Leistung von Aggregat- und Select-Discrete-Abfragen wurde verbessert, ebenso parallele Abfragen. Das System erhielt neue I/O-Monitoring-Funktionen und detaillierte Zugriffskontrollen hinzu. Ebenfalls im Jahr 2023 fügte Amazon seiner Variante "Aurora PostgreSQL" die Funktion "pgvector" hinzu, um GenAI-Embeddings zu unterstützen. Google Cloud veröffentlichte eine ähnliche Funktion für AlloyDB PostgreSQL. (Ian Pointer)

QLoRA

Tim Dettmers und sein Team legen es offenbar darauf an, LLMs auf allen Geräten bis hinunter zum Toaster laufen zu lassen. Letztes Jahr portierten sie mit ihrer Library bitsandbytes die Inferenz größerer Modelle auf Consumer-Hardware. In diesem Jahr haben sie sich dem Training zugewandt, indem sie die LoRA-Techniken auf quantisierte (speicheroptimierte) Modelle verkleinert haben.

Mit QLoRA können massive Modelle mit mehr als 30 Milliarden Parametern für Desktop-Rechner feinabgestimmt werden - mit einem vergleichsweise geringen Genauigkeitsverlust im Vergleich zum vollständigen Tuning für mehrere GPUs. Es gibt sogar Fälle, in denen QLoRA besser abschneidet. Low-Bit-Inferenz und -Training bedeuten, dass LLMs für noch mehr Menschen zugänglich sein werden. (Ian Pointer)

Mit QLoRA lassen sich umfangreiche LLMs auf Desktops portieren.
Foto: sdecoret - shutterstock.com

RAPIDS

RAPIDS ist eine Sammlung von GPU-beschleunigten Libraries für gängige Data Science- und Analytics-Aufgaben. Jede Programmbibliothek behandelt eine bestimmte Aufgabe, wie cuDF für die Verarbeitung von Daten-Frames, cuGraph für die Graphanalyse oder cuML für maschinelles Lernen. Andere Bibliotheken decken Image Processing, Signalverarbeitung und Spatial Analytics ab, während Integrationen RAPIDS mit Apache Spark, SQL und anderen Workloads verbinden.

Für den Fall, dass keine der verfügbaren Bibliotheken den Anforderungen entspricht, enthält RAPIDS mit RAFT eine Sammlung von GPU-beschleunigten Primitiven für diverse Machine-Learning- und Information-Retrieval-Aufgaben bereit. RAPIDS arbeitet bei Bedarf auch Hand in Hand mit Dask, damit über mehrere Knoten skaliert werden kann, und mit Slurm, um in High-Performance-Computing-Umgebungen zu laufen. (Serdar Yegulalp)

Spark NLP

Spark NLP ist eine Bibliothek für Natural Language Processing (NLP). Sie wird auf Apache Spark mit Unterstützung für Python, Scala und Java ausgeführt. Spark NLP hilft Entwicklern und Data Scientists im Umgang mit LLMs, einschließlich Transformer-Modellen von Google, Meta, OpenAI und anderen.

Der Modell-Hub von Spark NLP bietet mehr als 20.000 Modelle und Pipelines zum Herunterladen. Sie sind einsetzbar für Sprachübersetzung, Eigennamen-Erkennung (Named-Entity-Recognition), Textklassifizierung, das Beantworten von Fragen, Sentiment-Analyse und vieles mehr. Im Jahr 2023 veröffentlichte Spark NLP zahlreiche LLM-Integrationen, einen neuen Bild-zu-Text-Annotator für die Beschriftung von Bildern, die Unterstützung für alle wichtigen öffentlichen Cloud-Speichersysteme und ONNX-Unterstützung (Open Neural Network Exchange). (Isaac Sacolick)

StarRocks

Die Anforderungen an Analytics haben sich verändert, Unternehmen wollen heute komplexe Daten für Millionen von gleichzeitigen Benutzern in Echtzeit bereitstellen. Sogar Petabyte-Abfragen sollen in Sekundengeschwindigkeit bereitgestellt werden. Dabei hilft die Query-Engine StarRocks. Sie kombiniert nativen Code (C++), einen effizienten kostenbasierten Optimierer, Vektorverarbeitung (mit Verwendung des SIMD-Befehlssatzes), Caching und materialisierte Ansichten, um Joins in großem Umfang effizient zu verarbeiten.

StarRocks bietet sogar eine nahezu native Performance bei der direkten Abfrage von Data Lakes und Data Lakehouses wie Apache Hudi oder Apache Iceberg. Ganz gleich, ob Nutzer Realtime- oder kundenorientierte Analysen durchführen oder einfach nur Ihren Data Lake abfragen möchten, ohne dabei Daten zu verschieben: StarRocks wird ihnen dabei helfen. (Ian Zeiger)

TensorFlow.js

TensorFlow.js packt die Power von Googles TensorFlow-Framework für maschinelles Lernen in ein JavaScript-Paket und bietet Entwicklern außergewöhnliche Fähigkeiten, wobei keine große Lernkurve nötig ist. Entwickler können TensorFlow.js im Browser, auf einem reinen JavaScript-Stack mit WebGL-Beschleunigung oder mit der tfjs-node-Bibliothek auf dem Server ausführen. Die Node-Bibliothek bietet Ihnen die gleiche JavaScript-API, läuft aber auf dem C-Binary für maximale Geschwindigkeit und CPU/GPU-Nutzung. Wenn Sie also ein JavaScript-Entwickler mit Interesse an maschinellem Lernen sind, ist TensorFlow.js Ihre Anlaufstelle! Es hilft, KI der breiten Gemeinschaft von JavaScript-Entwicklern zugänglich zu machen. (Matthew Tyson)

vLLM

Unternehmen haben derzeit große Eile, um LLMs produktiv einzusetzen. Deshalb ist eine ganze Reihe von Frameworks entstanden, die alle darauf abzielen, der Inferenz Beine zu machen. vLLM ist eines der vielversprechendsten Rahmenwerke, da es das Hugging-Face-Modell einschließlich PagedAttention unterstützt. Bei ersterem handelt es sich um eine OpenAI-kompatible API, bei zweiterem um einen Algorithmus, der einen bis zu 20-fachen Durchsatz der Transformer-Bibliothek von Hugging Face erreicht. vLLM ist für viele Modell in Produktion heute die erste Wahl. Neue Funktionen wie die Unterstützung von FlashAttention 2 sorgen dafür, dass das so bleiben wird. (Ian Zeiger)

Weaviate

Mit dem Aufkommen von Generative AI ist der Bedarf an einer neuen Art von Datenbank geweckt worden, die große Mengen komplexer, unstrukturierter Daten verarbeiten kann. Hier kommen Vektordatenbanken ins Spiel. Weaviate bietet Entwicklern jede Menge Flexibilität in Bezug auf Deployment-Modell, Ökosystemintegration und Datenschutz.

Weaviate kombiniert Keyword- und Vektorsuche für eine schnelle, skalierbare Recherche in multimodalen Daten (Text, Bilder, Audio, Video). Die Open-Source-Vektordatenbank bietet außerdem unmittelbar einsetzbare Module für Retrieval-Augmented Generation (RAG). So lassen sich Chatbots und andere GenAI-Anwendungen mit domänenspezifischen Daten versorgen, was sie oft nützlicher werden lässt. (Andrew C. Oliver)

Zig

Von allen Open-Source-Projekten, die derzeit laufen, ist Zig vielleicht das ambitionierteste. Hier geht es um den seit 2016 laufenden Versuch, eine neue universelle Programmiersprache mit objektorientierten, imperativen sowie deklarativen Sprachelementen zu entwickeln. Sie soll letztendlich die allgegenwärtige Programmiersprache C übertreffen und dabei eine besonders leistungsfähige und wenig fehleranfällige Syntax bieten. Bei Zig handelt es sich um ein gutes, altmodisches Graswurzelprojekt mit großen Ambitionen und einem extremen Open-Source-Ethos dahinter. (Matthew Tyson)

Der Beitrag basiert auf dieser Übersicht der US-Kollegen von Inforworld, wurde aber in einigen Details angepasst.