Et nyt open source-projekt, crw, positionerer sig som et hurtigt og let alternativ til etablerede værktøjer som Firecrawl og Tavily til webscraping, crawling og søgning. Skrevet i Rust og med en drop-in-kompatibel Firecrawl-API, henvender det sig direkte til udviklere og virksomheder, der bygger AI-agenter og har brug for pålidelig dataadgang uden tung infrastruktur.
Projektet, der i dag har 659 stars og 14 nye i dag, hævder at være 2,3x hurtigere end Tavily og 1,5x hurtigere end Firecrawl i benchmarks med 1.000 URL'er. Det bruger kun 6 MB RAM og leveres som en enkelt binær fil, hvilket gør det muligt at køre på minimal hardware eller i edge-miljøer. Det kan enten selv-hostes eller bruges via en administreret cloud-løsning.
For beslutningstagere er det væsentlige ikke kun hastigheden, men hvad det betyder for omkostninger og fleksibilitet. Et værktøj, der kræver så få ressourcer, kan sænke barrieren for at integrere webdata i AI-systemer markant — især for organisationer, der ønsker at undgå leverandørbinding eller har strenge krav til databehandling. MCP-serveren (Model Context Protocol) gør det desuden nemt at forbinde til eksisterende AI-agent-workflows.
Selvom projektet er ungt og benchmarks bør verificeres uafhængigt, signalerer det en tendens: Specialiserede, letvægtsværktøjer vinder frem som alternativer til tunge, kommercielle API'er. For teams, der bygger, køber eller investerer i AI-infrastruktur, er det værd at holde øje med, om denne type løsninger kan levere samme kvalitet til en brøkdel af omkostningerne.
