Ils génèrent +30M$/an en laissant leur communauté créer leurs produits

Dans cet épisode d'Open Source, Fabian de chez Apify partage des insights précieux sur le web scraping, l'automatisation et le marketing de produits tech. Apify se positionne comme une marketplace d'automatisations prêtes à l'emploi, allant au-delà du simple web scraping pour inclure des logiques basées sur des LLM, la filtration et la classification de données. La plateforme attire également des fournisseurs d'API cherchant une nouvelle chaîne d'acquisition, comme ICP et Scalist pour des bases de données d'emails, ou encore Buildwi pour l'enrichissement de sites web. La valeur ajoutée principale d'Apify réside dans son infrastructure gérée, offrant une solution clé en main pour le web scraping à grande échelle, là où des approches locales ou basées sur le cloud (comme Cloudflare) atteignent rapidement leurs limites en termes d'IP et de fingerprinting. Apify maintient un pool d'adresses IP pour la rotation et a développé son propre "unblocker" pour contourner les blocages des sites web, gérant ainsi la complexité de l'infrastructure pour les utilisateurs. Un aspect crucial d'Apify est sa marketplace communautaire, où les développeurs peuvent publier et monétiser leurs automatisations. L'incitation financière est forte, notamment grâce au bon référencement SEO d'Apify, permettant aux développeurs de générer des revenus. Le modèle de rémunération est basé sur un paiement par événement (souvent une ligne de résultat), où Apify prélève une commission de 20% après déduction des coûts d'infrastructure. L'objectif interne est d'aider les développeurs à atteindre 1000$ de revenus mensuels, leur permettant potentiellement de se consacrer à plein temps au développement sur la plateforme. Les succès stories sont nombreuses, incluant des personnes sans bagage technique initial qui développent des solutions grâce à la simplicité croissante du codage. Un exemple marquant est celui d'une entreprise dans la vente qui a développé un outil pour identifier des prospects photovoltaïques en analysant des images Google Maps et en utilisant des LLM pour évaluer le potentiel des toitures. Les revenus générés peuvent être considérables, avec des développeurs atteignant parfois 20 000$ par mois. La maintenance des scrapers est un défi constant, car les sites web évoluent pour bloquer le scraping. C'est là que la communauté joue un rôle essentiel en fournissant un levier de croissance pour le développement et la maintenance des acteurs. La marketplace a été lancée en 2020, Apify existant depuis 2015, initialement avec un scraper générique de contenu web. L'entreprise a également proposé des services professionnels de développement sur mesure, bien que l'accent soit désormais mis sur le produit. La croissance d'Apify a été fulgurante, passant de 70 000$ de payouts développeurs en janvier 2024 à 1,5 million de dollars en août. Cette croissance est attribuée à deux dynamiques majeures : l'expansion de la marketplace et l'explosion des LLM. Les LLM ont résolu le goulot d'étranglement du post-processing des données, rendant le web scraping plus actionnable. L'intégration avec des agents autonomes comme Grokbot a également révélé des cas d'utilisation inattendus, où les agents utilisent Apify pour accéder à des données sans intervention humaine. L'intégration avec le protocole 402 (paiement pour service) et des implémentations comme X42 (paiement en cryptomonnaies) ouvrent de nouvelles voies de monétisation pour les agents. Sur le plan marketing, Apify a dû adapter ses stratégies pour atteindre une audience technique souvent réticente à la publicité traditionnelle. Le contenu de qualité, tel que les benchmarks, la documentation technique et les tutoriels, est privilégié. Les événements, conférences et hackathons sont également des canaux d'acquisition majeurs. Le défi marketing actuel est de repositionner Apify au-delà du web scraping pour englober une vision plus large de l'automatisation et de la fourniture de données pour les LLM. L'objectif est de capitaliser sur la notoriété acquise dans le web scraping pour promouvoir Apify comme un outil essentiel pour fournir du contexte aux LLM. Les cas d'utilisation les plus marquants incluent l'identification de cas de trafic humain en extrayant des données de sites comme Pornhub pour les croiser avec des profils de personnes disparues, une application qui illustre la puissance inattendue des données et des outils d'automatisation. D'autres exemples incluent la génération de leads via Google Maps ou LinkedIn, l'audit automatisé de la présence en ligne des clients pour des agences de branding, et l'analyse de publications académiques pour identifier des experts dans un domaine spécifique. Le défi de la validation des API sur la marketplace est géré par des tests automatisés quotidiens et, bientôt, des tests plus avancés pour vérifier la conformité des résultats avec la description de l'acteur. La gestion des demandes de retrait (DMCA) est prise au sérieux, avec un département juridique dédié. Pour assurer la qualité et la sécurité, Apify a mis en place des badges (Apify maintain, partenaires vérifiés), des permissions granulaires pour les acteurs et un processus de KYC pour les développeurs. En matière de growth, Fabian souligne l'évolution des canaux d'acquisition. Product Hunt et Quora, autrefois efficaces, ont perdu de leur pertinence en raison du volume et de la qualité des contenus générés par IA. Le SEO avec un contenu de qualité, axé sur les tutoriels et les comparaisons d'outils, est privilégié pour le long terme. Pour le court terme, le "cold outreach" macro-segmenté, basé sur des signaux d'achat précis (comme des offres d'emploi restées en ligne longtemps), est une stratégie efficace. Pour un cas d'usage spécifique comme un CRM pour chirurgiens, Fabian suggère de scraper Google Scholar pour identifier des publications académiques et des contacts email, puis d'utiliser un LLM pour le scoring des papiers et une vérification d'email avancée avant un outreach personnalisé. La stack recommandée pour l'automatisation de ce processus inclut Apify pour le scraping et le scoring, Sales Forge pour l'infrastructure d'envoi d'emails et la délivrabilité, et une page web simple pour la prise de rendez-vous. La stratégie de croissance pour les startups devrait prioriser l'outbound pour obtenir rapidement des feedbacks produits, surtout en B2B où la cible est réduite. En B2C, l'inbound peut être très efficace avec des coûts d'acquisition faibles. Des pipelines d'automatisation peuvent être mis en place pour analyser les données de concurrents sur des plateformes comme G2 Crowd ou Capterra, identifier les signaux d'achat via des outils comme Buildwith, ou encore utiliser les bibliothèques d'annonces des plateformes publicitaires pour analyser les stratégies des concurrents. En conclusion, Apify se positionne comme un outil puissant pour l'automatisation et l'acquisition de données, en constante évolution pour s'adapter aux nouvelles technologies comme les LLM et les agents autonomes. La plateforme et sa communauté continuent de repousser les limites des cas d'utilisation possibles, offrant des solutions innovantes pour les développeurs et les entreprises.