Combien de RPI/PI en cluster pour concurrencer un DS916+ ?

[boris21dd]

Bonjour à tous,

En 2014, l'idée d'un cluster voyait le jour avec 120 RPI.  http://www.framboise314.fr/120-raspberry-pi-avec-ecran-chez-resin-io/  A ce jour, cette équipe vise plus haut mais ce n'est pas le sujet.

De nos jours, les versions clusters de particuliers plus légères sont en début de mode.

http://climbers.net/sbc/diy-raspberry-pi-3-cluster/

http://climbers.net/sbc/40-core-arm-cluster-nanopc-t3/

http://climbers.net/sbc/orange-pi-plus-2e-cluster/

http://climbers.net/sbc/bargain-pine-a64-cluster/

http://omahs.tumblr.com/post/135658720534/probably-cheapest-cluster-in-the-world-currently

Un autre lien pour synchroniser : https://www.hackster.io/Penguinfly/banana-pi-cluster-47d566

Afin de viser le caviar de Synology, il fallait faire un choix donc j'ai choisi le DS916+. 

J'aimerai avoir votre vision sur le choix de la carte PI à utiliser en cluster https://en.wikipedia.org/wiki/Comparison_of_single-board_computers ainsi que la quantité de cartes à utiliser pour viser les performances d'un DS916+.

Avez vous déjà réalisé un tel projet récemment ?

    

 

[marcien]

Mais c'est quoi le but ? Faire un NAS a base de PI ? Un proof of concept de NAS ?

Un 916+ 2Go, c'est a grosse maille : 600 euros. Pour ce prix, tu doit avoir 10 PI (les PI, les alim, le switch, les cables, les SD,...).

Tu devrais donc synchroniser un RAID entre 10 PI ?

Et au niveau débit, vu que le point d'entrée, ca sera un seul PI " le master", qui gérera la répartition entre les autres, tu auras du 50Mo max !!!

[boris21dd]

Salut Marcien, merci pour ce premier post sur ce sujet.

il y a 2 minutes, marcien a dit :

Mais c'est quoi le but ? Faire un NAS a base de PI ? Un proof of concept de NAS ?

Effectivement, il s'agit d'avoir une idée du coup d'un tel serveur venant concurrencer une bête de course comme le DS916+

il y a 3 minutes, marcien a dit :

Un 916+ 2Go, c'est a grosse maille : 600 euros. Pour ce prix, tu doit avoir 10 PI (les PI, les alim, le switch, les cables, les SD,...).

Bien sur, j'ai mis la liste des différents PI afin de ne pas sélectionner un RPI avec une bande passante à 100Mbit/s 500mo de ram en 2 coeurs. A ce jour, j'aimerai votre avis sur les nouvelles PI au vu de ce qu'il se fait comme les 8 coeurs gigabits 2go de ram  et du Sata donc couplés en cluster, je vous laisse imaginer. J'ai bien conscience qu'on est pro Syno mais cela n’empêche pas la comparaison.

[Fenrir]

Ce n'est pas comparable comme ça, il faudrait le faire point par point, dans un contexte précis

• pour du transfert de fichiers :
  • 1 rpi3 c'est 100mbits en filaire + 20 wifi, donc il en faudrait 9, ou moins avec des cartes réseau usb
  • mais le DS916+ a 2 ports rj45 => il faut doubler
  • par contre, une carte micro sd ce n'est pas aussi rapide qu'un disque dur
  • et encore moins qu'un ssd
• pour du calcul
  • si on compte en bogomips, il faudrait environ 40 rpi3
  • à la condition d'arriver à parfaitement paralléliser les calculs
  • mais comme cluster de calcul, 3 ou 4 rpi peuvent facilement faire mieux, si le calcul est bien adapté
• après il faut tester la vitesse de la ram
• la qté de ram (avec ou sans l'os ?)
• la vitesse des bus
• la consommation
• et bien sur, l'usage
• ...

Si je me contente de répondre à ton titre, pour ma part 1 seul rpi de première génération est plus efficace que le plus gros des synology pour gérer la domotique, tout simplement parce qu'un syno c'est un nas, dépourvu de connecteurs GPIO, S2C, ...

Dernier point, tu indiques "RPI" donc Raspberry PI, mais tu sembles plutôt parler de "micro machines" de manière plus générale. Si on étend le raisonnement aux cartes spécialisées, ton erx est au moins 5 fois plus rapide que le DS916+ ... pour du forwarding de paquets (switch) et probablement 3 fois plus rapide pour du routage.

=>une longue réponse pour simplement indiquer que ta question n'a aucun sens

[boris21dd]

Il y a 9 heures, Fenrir a dit :

=>une longue réponse pour simplement indiquer que ta question n'a aucun sens

Bonjour Fenrir, 

Visiblement la question n'a pas été comprise, je vais donc expliquer les éléments qui tendent à la comprendre.

Rappel de la question : Combien de RPI/PI en cluster pour concurrencer un DS916+ ? 

Il y a 9 heures, Fenrir a dit :

tu indiques "RPI" donc Raspberry PI, mais tu sembles plutôt parler de "micro machines" de manière plus générale

 Déjà, on peut dire que sa démarre mal dans la compréhension de la question, il est signifié RPI ok et aussi PI donc incluant les différents modeles s'inspirant des premiers  RPI qui ont ensuite évolués selon les technologies et surtout les applications visées. Pour rappel, je cites aussi en lien la listes des quasi totalités des cartes PI. 

https://en.wikipedia.org/wiki/Comparison_of_single-board_computers

 

 

 

 

 

Coté cahier des charges :

Il y a 14 heures, boris21dd a dit :

J'aimerai avoir votre vision sur le choix de la carte PI à utiliser en cluster https://en.wikipedia.org/wiki/Comparison_of_single-board_computers ainsi que la quantité de cartes à utiliser pour viser les performances d'un DS916+.

Pas de probleme, je veux bien apporter des précisions en réalisant une impression d'écran de ce que j'ai demandé juste au dessus :

src : https://www.synology.com/fr-fr/products/performance#4bay

 

Coté choix :

Il y a 9 heures, Fenrir a dit :

1 rpi3 c'est 100mbits en filaire + 20 wifi, donc il en faudrait 9, ou moins avec des cartes réseau usb

 

Il y a 13 heures, boris21dd a dit :

j'ai mis la liste des différents PI afin de ne pas sélectionner un RPI avec une bande passante à 100Mbit/s 500mo de ram en 2 coeurs. A ce jour, j'aimerai votre avis sur les nouvelles PI au vu de ce qu'il se fait comme les 8 coeurs gigabits 2go de ram  et du Sata donc couplés en cluster, je vous laisse imaginer.

Si tu choisis, le matériel le plus inadapté, c'est certain, il en faudra beaucoup. 100mbits en filaire  

 

 

Coté matériel dédié :

Il y a 10 heures, Fenrir a dit :

Si on étend le raisonnement aux cartes spécialisées, ton erx est au moins 5 fois plus rapide que le DS916+ ... pour du forwarding de paquets (switch) et probablement 3 fois plus rapide pour du routage.

J’espère te rassurer en disant que j'ai bien compris via nos échanges précédents, qu'un matériel dédié est généralement mieux conçus qu'un élément tout en un pour effectuer une tache bien précise. 

Rappel : le but étant de réaliser un Nas en cluster via les cartes Pi proposées en lien afin d'obtenir les performances DS916+.

              Performances mesurées et énoncées comme arguments de ventes via Synology : https://www.synology.com/fr-fr/products/performance#4bay      Ici on ne fera pas référence aux softwares etc car sinon on ne s'en sortira pas.

 

Merci d'avance pour vos retours sur le sujet.

[Fenrir]

RPI et PI désignent la même chose pour la plupart des gens, tu devrais plutôt parler de SBC (le rpi n'est pas le premier, il a "juste" démocratisé la chose), mais soit.

Il existe trop de modèles pour te répondre, mais sur la plupart des SBC le contrôleur de stockage est en bridge avec l'usb, l'audio, ... et a donc des performances très réduites, sauf bien entendu sur les cartes dédiées.

Si ta demande concerne uniquement le rôle de serveur de fichier, le nombre de boîtiers ne changera rien au perf mono accès, la "puissance" sera donc celle d'un boîtier car il est très difficile et très cher (en cpu et en ram) de paralléliser (pvfs) les accès à un système de fichier. De plus il faut que les clients parlent le même protocole que le serveur (et il ne s'agit pas de SMB/NFS/...).

Je pense donc, mais c'est uniquement mon avis, qu'il n'est pas possible de reproduire un Syno (même le plus petit) pour la fonction serveur de fichiers avec des SoC type RPI.

Par contre il existe des cartes plus adaptés au stockage, en général sous la forme de cartes contrôleur (comme une carte raid, mais avec des fonctions protocolaires intégrées). C'est ce genre de carte qu'on retrouve dans les gros nas (Netapp, EMC, Fujustu, Hitachi, ...), mais avec la puissance actuelle des CPU, c'est de moins en moins vrai.

[PiwiLAbruti]

Il y a 2 heures, boris21dd a dit :

J'aimerai avoir votre vision sur le choix de la carte PI à utiliser en cluster https://en.wikipedia.org/wiki/Comparison_of_single-board_computers ainsi que la quantité de cartes à utiliser pour viser les performances d'un DS916+.

Étant donnée la complexité de l'architecture à mettre en œuvre pour (ne même pas) atteindre les performances d'un Intel Pentium N3710, je ne comprends pas vraiment le but de la question. Surtout que tu ne nous a pas dit pourquoi tu souhaites monter un cluster de SBC.

C'est un peu comme si tu demandais combien il faudrait de trottinettes électriques pour atteindre la qualité de transport d'une voiture. Ça n'a pas de sens, il faut partir du besoin.

[boris21dd]

Bonjour PiwiLAbruti,

Visiblement tu n'as pas lu les posts précédents ou tu n'as pas su les interpréter. Je vais donc reformuler.

il y a 41 minutes, PiwiLAbruti a dit :

Ça n'a pas de sens, il faut partir du besoin.

Qu'est ce qu'un DS916+ ? Réponse : Un NAS. "Certain diront bien plus je sais !"

Le besoin est donc de créer un nas similaire au DS916+ via un cluster de SBC.

Quelles sont les performances visées par ce projet ? Réponse : Uniquement uniquement uniquement, les performances affichées plus haut dans ce post ou dans ce lien si tu préfères.  https://www.synology.com/fr-fr/products/performance#4bay

Coté architecture :

J'ai bien précisé dans les posts précédents :

Il y a 3 heures, boris21dd a dit :

Ici on ne fera pas référence aux softwares etc car sinon on ne s'en sortira pas.

Si tu veux, voici un model de SBC afin de te guider un peu plus :

On partira sur la Orange Pi Plus 2 : http://www.orangepi.org/orangepiplus2/ 

 

src : https://en.wikipedia.org/wiki/Comparison_of_single-board_computers#cite_note-opiplus2-50

En résumé une SBC 4cores "ARM Cortex-A7" cadencés à 1.536 GHZ, GPU ARM Mali-400 MP2 @600 MHz, DDR3 2GO, SATA 2.0, 3 ports USB dont 1 OTG, 16 GB eMMC + micro SD, wifi b/g/n (RTL8189ETV), Ethernet 10/100/1000.

 

 

 

[marcien]

Comme dit dans mon 1er post, tu seras limité par le réseau : Si tu veux copier un fichier sur ton PI-NAS, la moitié du RJ45 sera consommé par l'entrée du fichier, l'autre moitié par l'envoie des morceaux sur les autres PI du cluster => 50 Mo/s max...

Donc, pour être presque à la "hauteur", il te faudrait un PI avec 2 port GBit !

On parlera d'aggrégation de lien qu'a la 3ème page de ce post... Faut que le sujet monte encore en température

Perso, j'attends la photo du proto de PI-NAS... Un bon sujet de projet de fin d'étude...

Question : un cluster de 10 PI (+disque dur), montée en "BigData", avec du HDFS avec une réplication de 2 (ou +), ca ferait pas aussi NAS RAID 5 (ou +) ?!? Plus simple à faire, mais sans obtenir les perf d'un 916+ ...

[boris21dd]

Salut Marcien,

La carte citée dans le post précédent dispose de 3 ports USB + 1 port ethernet Gigabits donc avec les USB tu auras ton deuxième port gigabits. Donc 4 ports gigabits possibles sur 1 seule carte.

https://www.google.fr/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=usb+2.0+gigabit+ethernet+adapter

 

il y a 13 minutes, marcien a dit :

On parlera d'aggrégation de lien qu'a la 3ème page de ce post... Faut que le sujet monte encore en température

Je savais qu'en demandant une comparaison avec un Syno,on allait faire monter la température du site 

Question suivante hors architecture et software svp !

 

il y a 31 minutes, marcien a dit :

Perso, j'attends la photo du proto de PI-NAS... Un bon sujet de projet de fin d'étude...

http://www.cnx-software.com/2017/03/23/gnubee-personal-cloud-1-low-cost-linux-nas-supports-up-to-six-2-5-sata-drives-crowdfunding/

[marcien]

Je suis déçu... Je m'attendait à voir plein de PI, plein de DD, du cable à gogo...

[Fenrir]

Sur ton modèle, les ports USB et sata se partagent le même bus, donc au mieux tu auras un débit de 500mbits pour l'accès au disque, si tu dois le partager avec le trafic d'une carte réseau usb, il faut diviser par 2.

La carte réseau intégrée semble avoir un bus dédié, donc ça ne devrait pas poser de problème de ce coté.

=>dans le meilleur des cas, un orangePI devrait pouvoir offrir 500mbits à 1 client, sur 1 transfert (ce qui est déjà pas mal), minus la vitesse des bus et les capacités du SoC (AllWinnerH3 avec un Cortex-A7).

Comme indiqué précédemment, le passage en mode "cluster" n'apportera rien pour l'accès aux fichiers, au mieux tu pourras répartir tes clients sur les différents nœuds (ce qui implique d'avoir les mêmes fichiers sur chacun des nœuds).

Pour franchir cette limite, il faut utiliser un système de fichier distribué (comme lustre ou ceph) ou parallélisé (comme glusterfs), l’inconvénient, c'est que l'accès aux fichiers doit alors passer par un intermédiaire.

Si et seulement si l'intermédiaire est aussi le client final (ou si cet intermédiaire est assez gros), alors là tu pourras commencer à additionner les perfs des différents nœuds. Le problème, c'est que ce type de FS consomme bcp de ressources CPU et RAM, sans parler du trafic intra nœuds.

Néanmoins ça reste intéressant pour l'aspect ludique et éducatif.

Voici un exemple avec Ceph : http://bryanapperson.com/blog/the-definitive-guide-ceph-cluster-on-raspberry-pi/

[boris21dd]

Merci pour ce retour constructif 

[Einsteinium]

Je c'est pas pour certains... mais moi je me délecte de ce fil de message  

Pour ton projet... je pense que cela te coûterait bien moins si tu prenais directement un 916+  

Bande de malade  

[boris21dd]

Eh bien je continue dans cette discussion en vous proposant dans ce débat, cette carte : L'EspressoBin 

A mon avis, il y a des gens qui y ont cru avant moi ! : 

 

L'EspressoBin s'adresse à une variété d'applications, y compris NAS, bureau et NAS, diffusion de médias et IoT. Des exemples spécifiques incluent une solution de diffusion vidéo NAS qui diffuse des vidéos stockées SATA via WiFi, ainsi qu'un moniteur de caméra vidéo et un serveur multimédia Plex . Vous pouvez également créer un cluster de commutateurs d'empilement qui agit comme une passerelle IoT qui convertit ZigBee ou Z-Wave en Ethernet ou Bluetooth LE en IP, dit Globalscale. 
 

https://translate.google.fr/translate?sl=en&tl=fr&js=y&prev=_t&hl=fr&ie=UTF-8&u=http%3A%2F%2Flinuxgizmos.com%2F39-dollar-network-switching-pico-itx-sbc-packs-dual-core-cortex-a53%2F&edit-text=&act=url

https://www.kickstarter.com/projects/874883570/marvell-espressobin-board?token=6a67e544

http://espressobin.net/  La 2GB arrive bientôt dans le commerce. 

A vos commentaires

[PiwiLAbruti]

Le 18/04/2017 à 16:31, boris21dd a dit :

Le besoin est donc de créer un nas similaire au DS916+ via un cluster de SBC.

Ce n'est pas un besoin, c'est une solution technique. Qu'est-ce que tu veux faire tourner concrètement sur un cluster de SBC ? Parce qu'il faut des applications faites pour être massivement distribuées, sinon c'est inutile.

[boris21dd]

Le 18/04/2017 à 16:31, boris21dd a dit :

Qu'est ce qu'un DS916+ ? Réponse : Un NAS. "Certain diront bien plus je sais !"

Le besoin est donc de créer un nas similaire au DS916+ via un cluster de SBC.

Quelles sont les performances visées par ce projet ? Réponse : Uniquement uniquement uniquement, les performances affichées plus haut dans ce post ou dans ce lien si tu préfères.  https://www.synology.com/fr-fr/products/performance#4bay

Le texte entier était celui-ci dessus. Donc le besoin est d'obtenir les performances décrites au dessus avec un Nas alternatif.

[Fenrir]

Il y a 4 heures, boris21dd a dit :

Eh bien je continue dans cette discussion en vous proposant dans ce débat, cette carte : L'EspressoBin 

Le SoC est un Marvell Armada 3700LP (donc offload ipsec/ike/ssl) avec un fond de panier de 2.5Gbits (environ 1Gbits full duplex). Par contre je n'ai pas trouvé la vitesse des bus USB et sata (je pense qu'ils sont à 3Gbits sur cette carte).

Donc en gros c'est un Raspberry PI 3 (même cpu) dans lequel ils ont remplacé le multimédia (gpu, h264, wifi, bluetooth, hdmi) par des fonctions réseau (ce n'est pas une critique, la cible n'est pas la même).

Mais le problème reste le identique (il est juste minoré), il faudra plusieurs de ces SBC en cluster avec un système de fichier distribué (et tout ce que ça implique), pour concurrencer un DS916+ en transfert de fichiers.

Néanmoins, contrairement à ton orangepi, avec une seule carte (+un boitier sata alimenté ou un ssd) tu devrais pouvoir faire un bon petit nas (sans raid, sans h264, sans vtx, ...), sous réserve que les modules soient d'accélération existent (sinon pas d'offload, tout sera fait en cpu).

[boris21dd]

Afin de faire un petit bilan des cartes sbc existantes et les posts précédents :

La sbc espessobin est clairement une piste à retenir néanmoins après quelques recherches celle-ci n'est pas vraiment sortie à la vente de masse. Au final en France on paiera le prix fort pour la livraison de l'ordre de 80% du prix de la carte. Du coup soit on part directement sur la quantité de carte nécessaire soit on reperd de l'argent en livraison. Au niveau du mode cluster de cette carte, ils en parlent mais rien de plus.

Un projet donc trop hasardeux pour l'instant et de part mes compétences. 

Je ne ferme pas le sujet mais j'attends la suite des sources sur le net pour cette carte ou une autre. 

En attendant un ds916+  est en commande ? me revoilà reparti pour gérer un nas voir plusieurs donc attendez vous à d'autres sujets ?

 

 

[marcien]

Sage décision... Et ton DS916+ sera 100% opérationnel moins d'une heure après déballage !!