OpenAI zet de laatste tijd een aantal grote stappen om bedrijven te voorzien van veilige AI-agents, waaronder het aankopen van Promptfoo, een organisatie die ondernemingen ondersteunt bij het oplossen van problemen met AI-systemen.
Het plan is om veelvoorkomende gevaren, zoals jailbreaks, data leaks en misbruik van tools, tijdig op te sporen en de risico’s te beperken. Hierdoor zouden AI-systemen in bedrijven veiliger worden en zouden die bedrijven meer inzicht hebben in hun werking.
Focus op AI-agents
Bij de overname van Promptfoo ligt de focus vooral op AI-agents in de zakelijke context, ook wel ‘AI-collega’s’ genoemd door OpenAI zelf. Frontier, een tool van dat laatste bedrijf dat instaat voor het beheer van AI-agents, is hierbij een onmisbare schakel.
Meer dan een kwart van de Fortune 500-bedrijven gebruiken Promptfoo om kwetsbaarheden in AI-tools te herkennen en op te lossen, althans volgens de oprichters. Zelfs als dit aantal overdreven is, bestaat er geen twijfel over dat de technologie achter de tool van nut kan zijn voor bedrijven die zich zorgen maken over de veiligheid van AI-agents.
Samenwerking tussen Promptfoo en OpenAI
Promptfoo zelf is tegenwoordig druk in de weer met het opzetten van een open source command line interface, maar ook een bibliotheek voor de evaluatie en red-teaming van LLM-applicaties. OpenAI heeft al aangegeven met Promptfoo samen te willen werken aan dit grootschalige project.
De overname doet bij sommige experts wenkbrauwen fronsen, aangezien Promptfoo zelf pas in 2024 werd opgericht. Anderen zijn dan weer van mening dat deze beslissing het idee achter het bedrijf juist zal doen groeien, gezien de globale kracht en bekendheid van de overnemer, OpenAI. Wellicht gaat het juist daarom ook om een enorm aankoopbedrag, hoewel er geen precieze cijfers bekend zijn.
