• La stratégie évolutive de Storj en tant que fournisseur de services cloud distribués pour les charges de travail distribuées
• Ce que PetaGene et cunoFS fournissent
• Ce que cela signifie pour le stockage distribué en général
• Ce que cela signifie pour nos clients dans les industries de la vidéo, des médias et du divertissement
• Ce que cela signifie pour nos clients dans les industries de l'IA/ML

La stratégie évolutive de Storj.

Pour ceux qui connaissent l'histoire du cloud, Amazon Web Services a été lancé il y a près de vingt ans. L'un des premiers services lancés a été le stockage d'objets (S3). AWS s'est ensuite étendu au stockage de fichiers, à l'informatique élastique (EC2), etc. Lorsque Storj v3 a été lancé en 2021, il était compatible avec S3. Cependant, il y avait des différences importantes. Tout d'abord, nous avons construit dès le départ une infrastructure distribuée, en exploitant efficacement les disques et les serveurs sous-utilisés dans le monde entier, plutôt que de construire des centres de données. En chiffrant et en distribuant des morceaux de données, nous avons offert des performances, une sécurité, un coût et une efficacité carbone supérieurs. Deuxièmement, nous avons optimisé notre conception pour les charges de travail distribuées. Lors du lancement d'AWS, les charges de travail étaient principalement centralisées, et le traitement dans un grand centre de données centralisé était donc logique. Au début de cette année, nous avons commencé à étendre la notion de services cloud distribués pour les charges de travail distribuées au-delà du stockage d'objets et de la sortie, en ajoutant les services de calcul distribué et de GPU de Valdi. Comme Storj l'avait fait pour le stockage, Valdi a été le premier à utiliser efficacement les ressources de calcul et de GPU déjà déployées. Comme Storj, Valdi s'est concentré sur les marchés qui utilisaient le plus les charges de travail distribuées :  AI, calcul scientifique et médias.

Ce que PetaGene et cunoFS fournissent.

En plus d'avoir réuni une équipe exceptionnellement talentueuse, PetaGene a été à l'origine d'une technologie incroyable. cunoFS est un client de montage de stockage de fichiers haute performance qui permet aux clients d'interagir avec le stockage d'objets comme s'il s'agissait d'un système de fichiers natif rapide, avec une compatibilité POSIX qui peut exécuter toutes les applications nouvelles ou existantes.  

cunoFS fonctionne avec la plupart des principaux systèmes de stockage d'objets, y compris AWS S3 et Azure Blob Storage, ainsi que les magasins d'objets sur site tels que minIO, Dell ECS, et NetApp StorageGRID. Bien sûr, cunoFS fonctionne également très bien avec Storj ! Et cunoFS prend en charge des combinaisons hétérogènes de ces services. Nous sommes ravis de cette capacité à prendre en charge des charges de travail hétérogènes. Les clients continueront à pouvoir utiliser cunoFS avec ou sans le stockage objet Storj comme back-end. En outre, grâce à la conception unique de cunoFS (notamment le choix de ne pas avoir de serveur de métadonnées centralisé), cunoFS est extrêmement performant. Ses vitesses dépassent toutes les alternatives d'un ordre de grandeur dans nos tests, et atteignent jusqu'à 50 Gbps par nœud et plus de 10 Tbps de performance de débit global. cunoFS change radicalement la façon dont le stockage d'objets est utilisé, en le transformant en un niveau direct de première classe pour l'accès aux fichiers POSIX, où les charges de travail POSIX et les charges de travail natives d'objets peuvent accéder directement au stockage d'objets. cunoFS le fait sans introduire de passerelles et sans brouiller les données - chaque fichier est directement stocké comme un objet et chaque objet est directement accessible comme un fichier.

Ce que cela signifie pour le stockage distribué en général.

En règle générale, il existe trois principaux types de systèmes de stockage : le stockage en bloc (principalement pour les bases de données), le stockage de fichiers et le stockage d'objets. En intégrant cunoFS dans nos offres, les clients de Storj dans tous les secteurs pourront désormais utiliser Storj pour des applications basées sur le stockage de fichiers en plus du stockage d'objets. Cela élargit considérablement les cas d'utilisation et les clients pour lesquels Storj est un excellent choix. Parce que cunoFS fonctionne avec un ensemble hétérogène de solutions, et que le stockage distribué est par nature global et inter-centres de données, cette acquisition élargit encore l'utilité de nos offres de stockage distribué, de calcul et de GPU. Enfin, cunoFS dispose de clients Linux et Windows (un client MacOS est prévu pour la fin de l'année). Ainsi, les clients peuvent facilement utiliser Storj avec une interface familière basée sur les fichiers et les dossiers. (Même si nous adorons le stockage d'objets, la plupart des gens sont plus enclins à penser aux fichiers et aux dossiers avec des noms).

1. de l'énorme avantage en termes de performances que présente cunoFS par rapport à d'autres montages de fichiers (voir le tableau 2 ci-dessous pour l'analyse comparative de cunoFS sur AWS S3) et
2. de l'énorme avantage en termes de performances globales que présente Storj par rapport aux hyperscalers pour les charges de travail multimédias (voir le tableau 3 ci-dessous pour les performances de stockage de Storj par rapport à AWS et à d'autres hyperscalers

Nous sommes extrêmement impatients de voir ce que cette combinaison signifie en termes de performances globales ! 

Ce que cela signifie pour les clients de l'espace vidéo.

La production et la post-production de médias, ainsi que la consommation de vidéos sont des charges de travail intrinsèquement distribuées. Il n'est donc pas surprenant que l'espace vidéo soit devenu l'un des deux principaux marchés verticaux de Storj. De nos jours, la production de médias à distance devient la norme : tout élément de média donné est susceptible d'être travaillé par des équipes distribuées aussi éloignées que Burbank, Bollywood et Berlin. Le stockage d'objets distribués de Storj permettait déjà à toutes ces équipes d'accéder, de charger, de télécharger et d'éditer des fichiers multimédias volumineux de manière performante. Avec cunoFS, elles peuvent désormais le faire sans introduire de passerelles et sans interface personnalisée. Là encore, chaque fichier est directement stocké en tant qu'objet et chaque objet est directement accessible en tant que fichier.

Principaux avantages :

• Pas de contenu emprisonné.
• Pas de formats de fichiers propriétaires
• Performances rapides. Quelle que soit la taille de votre projet vidéo.
• Une mise en cache intelligente pour vous faire gagner du temps et de l'argent.
• Une seule source de vérité.

Ce que cela signifie pour les clients qui innovent en matière d'IA.

Bien qu'on n'en parle pas souvent, le stockage est vital pour la formation à l'IA. (À mesure que les modèles se développent pour inclure la formation sur de grandes quantités d'images, de vidéos et de textes, la quantité de données augmente de manière significative. L'intégration de cunoFS dans notre écosystème marque une étape importante dans notre objectif de révolutionner l'infrastructure cloud pour l'IA. cunoFS permet un chargement performant avec une prédiction intelligente de ce qui sera nécessaire à l'avance. En combinant le stockage distribué et les capacités GPU de Storj avec le montage de fichiers haute performance de cunoFS, nous créons une plateforme inégalée pour la formation et le déploiement de grands modèles de langage tels que LLaMA, GPT-4, et au-delà.

Les principaux avantages de l'intégration Storj-cunoFS pour la formation LLM sont les suivants :

• Augmentation de la vitesse de traitement des données, cruciale pour former efficacement de grands modèles
• Amélioration de l'évolutivité pour traiter les ensembles de données toujours croissants requis pour l'IA avancée
• Solutions de stockage et de calcul rentables pour les charges de travail d'IA à forte intensité de ressources
• Augmentation de la sécurité et de la confidentialité des données, essentielle pour protéger les précieuses données de formation à l'IA

Plus de détails sur cunoFS et nos solutions d'IA seront fournis dans un prochain blog par notre directeur technique, Jacob Willoughby.

Autres avantages de l'acquisition.

En plus de cunoFS, l'équipe de PetaGene possède également un ensemble d'expertises autour de la gestion des charges de travail scientifiques. Avant de développer cunoFS, PetaGene a mis au point des produits pour la compression des données génomiques, qui peuvent réduire les coûts de stockage et les temps de transfert de données de 60 à 90 %. Storj continuera à soutenir ces technologies.

PetaGene compte parmi ses clients des instituts de recherche de premier plan, des sociétés pharmaceutiques et des hôpitaux, qui utilisent leurs produits pour gérer collectivement des centaines de pétaoctets de données. Storj continuera à servir ces clients, en espérant étendre la suite de services qu'ils utilisent pour inclure le stockage distribué et le calcul distribué/GPU.

Tous les employés de PetaGene feront partie de Storj. PetaGene elle-même restera une filiale à part entière. Aucun jeton n'a été utilisé dans cette transaction.

Source : Storj - Oct 8, 2024