TrueFoundry, ein von ehemaligen Meta-Ingenieuren geführtes Startup, das Unternehmen dabei unterstützt, KI-Systeme in großem Maßstab einzusetzen, hat eine frische Investition in Höhe von 19 Millionen US-Dollar erhalten, angeführt von Intel Capital.
Mit dem Aufkommen von GenAI nach der Einführung von ChatGPT im November 2022 haben Unternehmen aller Größenordnungen nach Möglichkeiten gesucht, wie sie KI nutzen können. GenAI basiert jedoch auf großen Sprachmodellen, um Intelligenz (Effizienz) zu liefern, was eine erhebliche Rechenleistung erfordert. Nicht alle Unternehmen haben den Vorteil, auf Hunderte oder Tausende von GPUs zugreifen zu können, was die GPU-Optimierung wesentlich macht. Darüber hinaus müssen Unternehmen mit mehreren Modellen experimentieren, um die beste Lösung für ihren Anwendungsfall zu finden, und vorhandene Modelle feinabstimmen, um KI-Systeme für ihre Abläufe relevant zu machen.
TrueFoundry adressiert all dies mit seiner Software, die unter einem Platform-as-a-Service-Modell erhältlich ist und sich an Full-Stack-Datenspezialisten richtet. Es bietet Funktionen wie automatisches Skalieren, proaktive Wartung, zentrale Zugriffskontrollen und Echtzeitüberwachung, um die End-to-End-KI-Bereitstellungen zu vereinfachen.
TrueFoundry wurde im Juni 2021 von den ehemaligen Meta-Ingenieuren Nikunj Bajaj und Abhishek Choudhary sowie ihrem IIT Kharagpur-Kommilitonen Anuraag Gutgutia gegründet und bot zunächst eine cloudbasierte Software für maschinelles Lernen an. Da GenAI jedoch 2023 zum Mainstream wurde, passte das Startup sein System an, um GenAI-Fähigkeiten zu unterstützen.
„Früher arbeiteten Datenspezialisten nur mit Modellen und experimentierten mit ihnen, aber ein Großteil der Bereitstellung wurde an ML-Ingenieure übergeben. Mit unserem System ermöglichen wir es den Datenspezialisten selbst, dieses gesamte komplexe System zu entwickeln und in großem Maßstab zu testen, bevor es an das Plattformteam zur endgültigen Bereitstellung übergeben wird “, sagte Gutgutia in einem exklusiven Interview.
Das Startup bietet eine Softwarelösung namens Autopilot-System an, das KI verwendet, um Protokolle und Metriken zu analysieren, um KI-Anwendungen durch Anpassung der GPU-Nutzung und Behebung von Speicheranforderungen zu skalieren.
Unter Verwendung des Autopilot-Systems hat Gutgutia gegenüber TechCrunch berichtet, dass eines der Kunden von TrueFoundry mit einem kleinen Team von zwei Personen 10 Millionen Anfragen pro Sekunde verarbeiten konnte.
TrueFoundry hat derzeit 30 zahlende Kunden weltweit sowie "eine Menge" Benutzer, die auf sein Open-Source-RAG-Framework für Experimente zugreifen. Von diesen Kunden verwendet der GPU-Gigant NVIDIA die Software, um Agenten zu entwickeln und bereitzustellen, die seine GPU-Cluster optimieren. Das Medizintechnikunternehmen Resmed nutzt ebenfalls das Angebot von TrueFoundry, um eine interne KI-Plattform zu entwickeln. Ebenso zählen Siemens Healthineers, Automation Anywhere, Games24x7 und Whatfix zu den Kunden.
Das Startup hat seine Software mit Kubernetes architekturiert, was sie multi-cloud-fähig macht und mit allen wichtigen Cloud-Plattformen wie AWS, Google Cloud Platform und Azure kompatibel macht, unter anderem können Unternehmen die Plattform auch lokal bereitstellen.
Unternehmen, die TrueFoundry verwenden, haben ihre internen KI-Plattformen in zwei Monaten aufgebaut und gestartet und ihren ROI in vier Monaten erreicht, im Gegensatz zum Branchendurchschnitt von 14 Monaten, so Bajaj. Gutgutia fügte hinzu, dass das Startup seinen Kunden rund 40-50 % Kosteneinsparungen bei Infrastrukturausgaben, sowie eine 10-fache Steigerung der Bereitstellungsgeschwindigkeit ermöglichte, unabhängig davon, ob an einem Agenten, RAG, einem komplexen Deep-Learning-Modell oder einem feinabgestimmten Modell gearbeitet wurde.
Cloud-Anbieter haben begonnen, ihre eigenen Softwarelösungen anzubieten, um den Bau und die Bereitstellung von KI-Modellen zu erleichtern, wie zum Beispiel Amazons Sagemaker und Googles Vertex. Dennoch sagte Gutgutia gegenüber TechCrunch, dass die Lösung von TrueFoundry nach wie vor relevant ist, da sie „die Nutzung von Rechenleistung beschleunigt“ für Cloud-Anbieter, die Markteinführungszeit von KI-Anwendungen verkürzt und die Gesamtkosten senkt.
Die Beteiligungsrunde der Serie A in Form von Eigenkapital sah die Beteiligung von Eniac Ventures, Peak XV Partners und Jump Capital sowie von Business Angels wie Gokul Rajaram, Mohit Aron und Cyan Bainster.
Das Startup wird die Mittel nutzen, um das Team von 45 Mitgliedern mit Sitz in Indien auf Stellen in den USA auszubauen, einschließlich Vertrieb, Kundenerfolg und Produktmarketing. Es plant auch, in Partnerschaften zu investieren, insbesondere mit Cloud-Anbietern, und befindet sich im Prozess, in den wichtigsten Cloud-Marktplätzen gelistet zu werden, beginnend mit dem AWS Marketplace.
Darüber hinaus beabsichtigt TrueFoundry, seinen KI-Agenten zu starten, der die richtigen Ressourcen vorschlagen und das automatische Skalieren sowie die Fehlerbehebung ermöglichen wird.
Mit der frischen Finanzierung hat TrueFoundry insgesamt über 21 Millionen US-Dollar eingesammelt, einschließlich der 2,3 Millionen US-Dollar aus seiner Seed-Runde im September 2022, angeführt von Peak XV (damals Sequoia India) Surge.
Das Startup hat im letzten Jahr seinen Kundenstamm vervierfacht und über 1.000 Cluster für ML-Workloads bei Kunden bereitgestellt. Gutgutia erzählte TechCrunch auch, dass es mit "nördlich von 1,5 Millionen ARR" liegt und plant, dieses Jahr zu verdoppeln.
