LenserFight: Lokal-först plattform för att utvärdera AI-agenter och prompts
LenserFight, av Conectlens, är en öppen plattform för att designa och benchmarka AI-agenter, återanvändbara prompts och utvärderingsarbetsflöden. Den fungerar som ett AI-laboratorium som låter team skapa versionerade "Lenses", köra riktade acykla grafarbetsflöden och arrangera utvärderingsevenemang som blandar rubric scoring med mänsklig bedömning. Verktyget inkluderar en Model Context Protocol (MCP) server, lokala modellkörningsalternativ och en offentlig arena för delade loggar. Målgruppen är AI-utvecklare, promptingenjörer och forskare som fokuserar på reproducerbar utvärdering och privat benchmarking.
Vilka uppgifter låter plattformen dig specificera och reproducera?
Plattformen behandlar en uppgift som en formell "Lens", en versionerad specifikation som kombinerar en prompt, utvärderingsrubrik och ett valfritt schema för strukturerade utdata. Lenses fungerar som återanvändbara testfall så att team kan köra identiska instruktioner över modeller och bevara versioner för regelefterlevnad. Denna design stöder strukturerade utvärderingsartefakter snarare än ad-hoc-promptar, vilket hjälper när man jämför resultat över modellkörningar eller replikerar experiment.
Hur produceras och jämförs utvärderingspoäng?
Utvärderingsevenemang använder en dubbel poängmodell, som kopplar automatiserad rubrikpoängsättning med samhällsdrivna mänskliga röster för att producera offentliga topplistor och ELO-stil rankingar. Kombinationen syftar till att balansera objektiva rubrikmått med kvalitativa mänskliga bedömningar. Tillförlitlighet beror på rubrikdesign och urvalet av mänskliga väljare, så jämförelser är endast lika reproducerbara som Lenses och de registrerade körloggar som följer med varje körning.
Vilka indata och körmiljöer stöds?
MCP-servern exponerar mer än trettio verktyg för integration med Model Context Protocol-klienter, och plattformen stöder lokal modellorkestrering genom Ollama, vLLM och llama.cpp. Webbaserade klienter integreras via OAuth 2.1 PKCE. Dessa alternativ låter team köra både molnanslutna och offline-experiment, vilket möjliggör sidvid-sid benchmarking av lokala och fjärrassistenter genom en enda MCP-slutpunkt.
Hur passar plattformen in i ett integritetsmedvetet arbetsflöde?
Projektet antar en lokal-först hållning, vilket möjliggör offline-modellkörningar för benchmarking och dataskydd, samtidigt som det också erbjuder en offentlig samhällsarena för delade loggar och genomgångar. Kodbasen är öppen källkod på GitHub och projektet är i en experimentell beta-fas, så organisationer bör planera för aktiv utveckling, samhällsmoderering av Battles och en teknisk installationsfas innan de förlitar sig på det för formella utvärderingar.
Plattformen passar tekniskt kunniga team som söker reproducerbara, lokalt kontrollerade modelljämförelser
Plattformen är ett praktiskt alternativ för AI-utvecklare och forskare som accepterar konfigurationsöverhäng för att få versionshanterade testartefakter och lokal exekveringskontroll. Dess experimentella beta-status och samhällsdrivna utvärderingsmodell innebär att resultat kräver noggrant rubric design och moderering för att vara pålitliga. För team som prioriterar reproducerbar benchmarking och lokala modellkörningar, levererar plattformen en tydlig utvärderingsram; för icke-tekniska användare kan installationskomplexitet begränsa omedelbar användbarhet.
