Le Workflow

Screenshot

Chaque projet dispose de son propre workflow, que vous pouvez éditer dans sous l'onglet "Workflow".

Le workflow défini la logique métier de votre projet.

Tasks & Workers

Les workflows sont composés de différentes tasks, chacune fonctionnant avec sa propre logique métier.

Imaginons le workflow comme une ligne de production d'usine.

Cette ligne de production est composée de machines qui transforment la matières premières : ce sont nos tasks.

Notre matière première : la data.

Une task dispose d'une file d'attente d'action à effectuer.

Une task est exécutée par un ou plusieurs workers.

Il est possible d'augmenter le nombre de workers d'une task. En passant par exemple de 1 à 10 workers, le traitement de notre file d'attente est 10x plus rapide.

Question: La file d'attente d'une task est-elle limitée ?

Le nombre de message dans la pile est illimité. Par contre, la taille d'un message est limité à 50 Mo.

Question: l'augmentation des workers provoque-t-elle une coupure ?

Non. Vous pouvez augmenter et diminuer les workers de vos tasks à chaud.

Messages

La data transite dans le workflow via des messages au format JSON

Prenons ce workflow comme exemple. Ici, la tâche de crawl est configurée pour extraire les "title" des pages crawlées.

État initial du message

Le message envoyé au démarrage du workflow contient simplement une URL :

État après le crawl

Routes

Les routes relient les tâches entres elles.

Les routes sont configurables : une route peut modifier à la volée les messages qui l'empruntent.

En d'autres termes : il est possible de générer de nouvelles requêtes en modifiant par exemple l'url.

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de Cookies pour vous proposer des publicités ciblées et réaliser des statistiques de visites.