Histoire de l’entreprise Majestic (anciennement MajesticSEO)

En 2004, une équipe de développeurs décidait de se mesurer à un géant. Google n’était alors qu’une jeune entreprise de six ans, mais son influence grandissait déjà à une vitesse vertigineuse. Pour contrebalancer cette domination, Alex Chudnovsky avait un plan audacieux : utiliser la puissance d’une communauté mondiale pour indexer le web et créer un nouveau moteur de recherche participatif. Ce projet, nommé Majestic-12, était plus qu’un moteur de recherche, c’était une révolution technologique qui, quelques années plus tard, allait donner naissance à l’un des outils SEO les plus influents : Majestic.

Encore aujourd’hui, cette aventure technologique marque le paysage du référencement, laissez-moi vous la raconter🙂

1. Les débuts avec Majestic-12

L’histoire de Majestic commence en 2004 avec la création de Majestic-12, un projet ambitieux initié par Alex Chudnovsky.

A l’époque Google commence déjà à prendre le monopole sur le jeune secteur de la recherche en ligne. Majestic-12 veut contrebalancer cette concentration de pouvoir avec un outil participatif basé sur une communauté décentralisée. Il y a une vraie volonté d’être un concurrent sérieux de l’entreprise de Mountain View, comme en témoigne ce GIF de l’époque :

Il faut dire qu’en 2004, Google n’a que 6 ans, mais son introduction en bourse lui a permis de lever 1,69 milliards de dollars ! Vous trouverez des détails (beaucoup) au sujet de l’introduction en bourse de Google sur cette page de WebRankInfo.

Une équipe de développeurs bien motivée et créative à toutes les raisons d’espérer les rattraper, voire même les surpasser et, pourquoi pas, toucher le jackpot ! 

1.1. Une idée issue de la recherche d’extraterrestres

Majestic-12 s’inspirait directement du programme SETI@home (Search for Extraterrestrial Intelligence), qui avait innové dans le domaine du calcul distribué. L’idée était simple mais ingénieuse : utiliser les ressources informatiques inactives des particuliers pour accomplir des tâches chronophages. SETI@home découpait les immenses volumes de données provenant de l’espace en petits paquets. Chaque petit paquet était alors distribué à des participants volontaires. Chaque petit paquet était traité par le PC lorsqu’il n’était pas utilisé par son propriétaire, permettant ainsi de mobiliser une puissance de calcul collective sans précédent. Grâce à ce réseau distribué sur des milliers d’ordinateurs à travers le monde, SETI@home pouvait analyser les signaux spatiaux à une échelle inédite, pour un coût infime (voir la page Wikipédia).

Inspiré du modèle de calcul distribué de SETI@home, Majestic-12 appliquait cette approche à l’indexation web (un défi tout aussi colossal), en créant un réseau de crawlers participatifs. Chaque utilisateur contribuait à l’exploration du web en allouant les ressources inutilisées de son ordinateur, constituant ainsi une alternative décentralisée aux moteurs de recherche centralisés comme Google. Ce système permettait à Majestic-12 d’explorer le web en profondeur à moindre coût, en exploitant une puissance de calcul collective répartie sur une communauté mondiale.

Ce modèle présentait plusieurs avantages :

• Réduction des coûts d’infrastructure : Au lieu de financer des centres de données coûteux, Majestic-12 utilisait les ordinateurs des participants volontaires pour effectuer le crawl, ce qui permettait de minimiser les coûts de fonctionnement.
• Collecte de données indépendante : Contrairement aux géants du secteur, Majestic-12 ne dépendait pas de ressources internes massives. Cela offrait une certaine transparence et une alternative aux méthodes de collecte de données centralisées.

Cependant, ce modèle comportait également des défis majeurs :

• Recrutement de participants : Il était indispensable d’attirer suffisamment de volontaires pour assurer une couverture web étendue. Il fallait convaincre les utilisateurs des bénéfices d’un tel projet et les motiver à partager leurs ressources.
• Gestion des données : Coordonner les efforts de milliers de participants et agréger les données collectées en temps réel demandait une architecture logicielle sophistiquée.
• Concurrence avec les géants : Se mesurer à des moteurs de recherche établis comme Google était une tâche ardue, ces derniers disposant de ressources quasi illimitées et de parts de marché importantes.

2.2. Les premières années de Majestic-12

Les premières années de Majestic-12 furent marquées par des avancées techniques notables, mais aussi par de nombreux défis. Le projet a réussi à attirer une communauté de volontaires dévoués (plusieurs milliers !), ce qui a permis d’amorcer un processus de crawl distribué fonctionnel. 

Hélas, malgré cet enthousiasme, le projet ne parvenait pas à concrétiser son ambition de créer un moteur de recherche capable de rivaliser avec Google. Il y avait de nombreux obstacles :

• Couverture limitée du web : Bien que le modèle de crawl distribué ait prouvé son efficacité, il ne pouvait pas rivaliser avec les index massifs de Google, dont les capacités de crawl étaient bien plus vastes et rapides.
• Le manque de traction commerciale : Il était difficile de convaincre les investisseurs et les utilisateurs de l’efficacité du modèle par rapport aux solutions existantes.
• Défis techniques : La coordination et la centralisation des données provenant de milliers de sources posaient des problèmes de performance et de cohérence, ce qui limitait la compétitivité de la plateforme.

2. Transition vers « Majestic SEO »

En 2008, face à ces obstacles, Alex Chudnovsky et son équipe décidèrent de réorienter le projet. Ils comprirent que la technologie développée pour Majestic-12, en particulier les capacités de crawl, pouvait être exploitée dans un secteur en pleine croissance : le SEO. Le projet pivota donc vers une nouvelle direction, celle de l’analyse de backlinks, un élément clé pour l’optimisation des moteurs de recherche.

« Majestic SEO » allait naître.

2.1. Fonctionnalités pour le SEO

Le lancement de Majestic SEO marque le début d’une nouvelle ère pour l’entreprise. L’équipe a commencé à utiliser son infrastructure de crawl pour collecter des données spécifiques sur les liens entre les sites web. En analysant ces liens, Majestic SEO a pu fournir des informations aux professionnels du référencement, leur permettant de mieux comprendre la structure de liens de leurs sites et celle de leurs concurrents.

Les premières fonctionnalités de l’outil incluaient :

• Analyse des backlinks : Les utilisateurs pouvaient voir quels liens pointaient vers leur domaine, ainsi que le nombre de liens entrants et sortants.
• L’ACRank, qui  fonctionnait sur une échelle de 0 à 15, pour évaluer l’influence d’une URL en fonction du nombre de liens entrants. Cette métrique a été rendue obsolète en 2012 par le Citation Flow.

L’adoption par la communauté SEO a été rapide, car Majestic SEO offrait une perspective unique sur les backlinks, à une époque où les outils de ce type étaient encore rares. Grâce à la richesse de ses données et à la profondeur de son index, Majestic est rapidement devenu un outil incontournable pour les professionnels du référencement.

2.2 Nouvelle architecture technique, plus centralisée

Aujourd’hui, Majestic n’offre plus la participation au réseau de crawl au grand public. Ils utilisent un nombre de personnes plus restreint pour effectuer le crawl distribué. Cela permet à Majestic de mieux contrôler la qualité des données et de protéger leurs ressources.

L’entreprise a développé un index volumineux, souvent mis à jour, pour analyser les profils de liens de manière exhaustive. Cet index est divisé en deux :

1. Fresh Index : un index de liens récents qui est mis à jour quotidiennement et contient des données sur les liens actifs au cours des derniers mois.
2. Historic Index : un index plus ancien couvrant des années de données historiques sur les backlinks, permettant d’analyser l’évolution d’un domaine sur le long terme.

Cette architecture plus centralisée a permis à Majestic de fournir des analyses de liens robustes, avec une couverture étendue du web, tout en maintenant des performances élevées pour les requêtes d’utilisateurs

3. L’évolution de l’outil Majestic au fil des années

3.1. Les métriques phares de Majestic

Au fil des années, Majestic a introduit plusieurs métriques pour évaluer la qualité et la pertinence des backlinks d’un site. 

En mai 2012, Majestic a sorti ces métriques les plus connues : le Trust Flow, le Citation Flow et la “Flamme violette” :

• Trust Flow (TF) : Cette métrique mesure la qualité des backlinks d’un site en se basant sur un ensemble de sources de confiance. Plus le Trust Flow est élevé, plus le site est jugé crédible. Elle est particulièrement utile pour identifier les liens provenant de sites fiables et pertinents.
• Citation Flow (CF) : Contrairement au Trust Flow, le Citation Flow se concentre sur la quantité de liens pointant vers un site, sans tenir compte de leur qualité. Il reflète donc le volume de backlinks et est souvent utilisé en combinaison avec le Trust Flow pour obtenir une vue plus équilibrée du profil de liens.
• Refering Domain Link Profi (RDLP) : plus connu sous le nom de “flamme violette”, RDLP aide à comprendre non seulement combien de domaines différents font référence au site, mais également leur diversité en terme de qualité et de popularité. La “flamme violette” permet de saisir en un clin d’oeil la robustesse du profil de liens d’un site.

En  avril 2014, Majestic a sorti le Topical Trust Flow, qui est une extension du Trust Flow, Cette métrique évalue les backlinks en fonction de leur pertinence thématique. Elle classe les sites dans différentes catégories (comme « Business », « Sports », etc.), permettant d’analyser la qualité des liens non seulement en termes de fiabilité, mais aussi de pertinence thématique.

En octobre 2019, Majestic propose un nouvel indicateur : le Visibility flow. Cette métrique mesure la proportion de liens par rapport au texte non lié sur une portion de la page. Ceci donne des informations sur l’importance d’un lien.

Toutes ces métriques fournissent aux professionnels du SEO des outils puissants pour évaluer la performance d’un site en termes de netlinking et de crédibilité sur le web. Afin de rendre ces données accessibles et exploitables, Majestic a également beaucoup investi dans l’amélioration de son interface utilisateur.

3.2. Evolution de l’interface utilisateur

Majestic a également fait évoluer son interface utilisateur pour répondre aux besoins croissants des professionnels du SEO. L’interface actuelle est conçue pour offrir une expérience utilisateur fluide et intuitive, avec une présentation claire des données. Les principales évolutions incluent :

• Amélioration de l’UX (Expérience Utilisateur) : Majestic a simplifié l’accès à ses principales fonctionnalités, telles que l’exploration de site, la comparaison de domaines et la visualisation des profils de liens. Le Link Graph offre une visualisation en 3D de l’écosystème des liens d’un site, permettant d’explorer de manière interactive les connexions et relations entre les pages :

• Outils et rapports supplémentaires : En plus des analyses de backlinks classiques, Majestic propose des rapports de comparaison de domaines, qui facilitent l’analyse concurrentielle.
• Intégration avec d’autres plateformes : Majestic offre des API permettant aux utilisateurs d’intégrer les données de backlinks dans leurs propres outils d’analyse ou dans des tableaux de bord personnalisés. Cela facilite l’automatisation des tâches et l’intégration des données de liens dans les workflows existants.

Grâce à ces améliorations continues, l’interface de Majestic est devenue un outil complet et polyvalent pour l’analyse des backlinks. Il est aujourd’hui un incontournable pour les professionnels du référencement, leur permettant d’exploiter pleinement les données collectées par l’outil pour affiner leurs stratégies de netlinking et de SEO.

Pour conclure

L’histoire de Majestic illustre parfaitement comment un projet visionnaire peut évoluer face aux défis et aux opportunités du marché. Ce qui a commencé comme une alternative communautaire aux moteurs de recherche centralisés s’est transformé en un outil d’analyse de liens incontournable pour les professionnels du SEO. 

En adaptant son approche et en exploitant la puissance de son infrastructure de crawl, Majestic a su se démarquer avec des métriques uniques telles que le Trust Flow et le Citation Flow.

Aujourd’hui, Majestic continue d’évoluer en offrant aux experts du référencement des données sur les backlinks, contribuant ainsi à affiner leurs stratégies de netlinking et à améliorer leur visibilité en ligne.