Moteur de crawl et de web-scraping

Basée sur des workflows

Le système de workflow vous permet de pallier à tous les scénarios de scrap. Sans Keedata, vous auriez surement dû développer votre propre Bot pour un site en particulier. Avec Keedata, vous pouvez simuler des navigations complètes : postez des formulaires, appelez une API via un token personnalisé, transformez et affinez vos datas avant de les enregistrer en base de donnée, en chaînant simplement vos différentes actions.

Vous pouvez même scrapper plusieurs sites dans le même worklow : un site de petites annonces, puis les pages jaunes..

Sur Keedata, vous pouvez "coder" votre Data Template. Grâce à un pseudo-code, vous pouvez récupérer votre data en une seule ligne de code et économiser beaucoup de post-traitements.

Vous avez deux styles d'écriture à disposition, en fonction de vos préférences :
price: float(css(".product-price"))
price: css(".product-price").float()

Afin de stocker de la data parfaitement propre, vous avez à dispositions une vingtaine de fonctions pour caster et transformer votre data.

Vous pouvez choisir d'envoyer chaque data récoltées dans un "Data visualizer". Grâce à lui, vous disposez d'un véritable moteur de recherche pour votre dataset, directement accessible depuis votre navigateur.

Vous pouvez exporter vos données directement dans votre base MongoDB.

Le typage de votre data est respecté, et les updates sont gérés.

Planification

En quelques clics, créez un lancement planifié de votre crawl. Vous pouvez lancer le même crawl quotidiennement.

En complément d'un crawl complet quotidien, il est possible de faire un crawl de "découverte de nouveaux contenus" toutes les heures.

Démarrage dynamique via API

Il est possible de déclencher des crawls via l'API. Pratique pour utiliser du crawl dans votre application !