DELL POWEREDGE C6100 possibilités d'encodages ?

[boris21dd]

Bonjour,

J'ai recherché un serveur pour avoir pas mal de puissance de calcul pour encoder en x265. 

Viblement ce type de serveur 4noeuds deux unités  semble devenu abordable et de plus doté d'une bonne puissance de calcul. 

Mes questions sont les suivantes, j'ai cru lire que les deux unités pouvaient être regroupees pour fonctionner ensemble donc est il possible d'encoder en x265 un seul fichier avec les 32cores qui composent ce serveur 4 nœuds deux unités ? 

Est il possible d'exploiter la puissance des 4 gpu conjuguée des 4 nœuds ? 

Quelqu'un a t il déjà testé ce type de projet ? Avez vous des références pour estimer le temps d'encodage sur ce type de serveur ? (je sais déjà que vous allez me demander d'être plus précis donc au besoin :

ffmpeg -i (une vidéo 1080p24 1h45) -c:v libx265-preset veryslow -b:v 800k -c:a ac3 -b:a 48k *.mp4

Que me conseillez vous comme OS à installer ?

Exemple d'un produit qui m'intéresse :

Dell PowerEdge C6100

Est ce s'est compliqué à faire ? 

[PiwiLAbruti]

Quel est le besoin exact ?

[firlin]

Chauffer une habitation en hiver @PiwiLAbruti

[boris21dd]

1-Encoder 2to en 1080p en x265 plus toutes les vidéos de famille qu'on va me partager 

2-idem pour des futures vidéos de famille en 4k de go pro et autres 

3-j'imagine de l'hébergement de serveur de jeu comme diablo 2(nostalgie) si mon synology n'y arrive pas mais je pense que si. 

4-transcoder en live des chaînes vidéos en x265

5-sauvegarder les données du nas

6-si possible remplacer mon Nvr actuel

7-jeux si possible. 

 

 

 

[PiwiLAbruti]

C'est complètement surdimensionné donc.

[boris21dd]

Bah oui mais bon ? 

-Par contre, quelqu'un sait si on peut réunir les deux unités en 1seule pour encoder un gros fichier ? Idem pour utiliser la puissance  gpu ? 

-Quel OS vous me conseillerez ? Pour arriver à faire tout les projets énoncés plus haut ? 

Est ce que c'est compliqué à mettre en œuvre ? 

 

 

[boris21dd]

Quelqu'un a une idée ? 

[PiwiLAbruti]

Le 28/05/2017 à 10:38, boris21dd a dit :

Par contre, quelqu'un sait si on peut réunir les deux unités en 1seule pour encoder un gros fichier ? Idem pour utiliser la puissance  gpu ?

Il faudrait déjà trouver une application d'encodage distribuée, je doute que quelque chose d'efficace (et récent) existe pour le grand public. Côté professionnel, c'est très certainement inabordable.

Le 28/05/2017 à 10:38, boris21dd a dit :

Quel OS vous me conseillerez ? Pour arriver à faire tout les projets énoncés plus haut ? 

Peu importe, c'est l'application d'encodage qui déterminera l'OS.

[Fenrir]

Pour l'encodage distribué, la réponse est simple => ce n'est pas possible (en restant raisonnable sur les moyens à mettre ne œuvre)

Pour encoder l'image B, on a besoin de l'image A, donc si A est traité par le serveur1 et B par le serveur2, serveur2 devra attendre que serveur1 ait terminé avec A et lui ait envoyé le résultat, idem avec les images C, D, ...

Pour faire ça efficacement il faudrait que les échanges entre les 2 serveurs soient aussi rapide que les accès mémoire (infiniband) ou que la vidéo soit coupée en segments (ce qui est déjà nettement plus facile), regroupés à la fin.

Par contre, la plupart des softs d'encodage savent utiliser toutes les unités de calcul d'un même serveur (soit CPU, soit GPU, pas les 2 à la fois encore une fois pour un souci de communication entre les 2).

Un peu de lecture : http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7588152

Par contre on commence à voir apparaitre des carte d'encodage temps réel à des tarifs "abordables".

[Whag]

l'OS que tu cherche est ESXi de VMWare a installer sur chaque noeud,il te faudra savoir configurer un hyperviseur, et deployer une machine virtuelle qui profiterai de la ressource cumulé de tes servers, un joli challenge d'administrateur resau mais une aventure passionante, nonobstant

 

au passage...

http://www.ebay.fr/itm/142380769889?_trksid=p2057872.m2749.l2649&var=441398832364&ssPageName=STRK%3AMEBIDX%3AIT

Modifié le 31 mai 2017 par Whag

[Fenrir]

Une infra vsphere n'améliorera pas les perfs (au contraire). Dans un cluster ESX, une machine tourne sur 1 seul esx, même si le cluster en comprend 50.

Et même si c'était possible, on en reviendrait au problème que j'ai évoqué précédemment : les échanges entre les noeuds

Modifié le 31 mai 2017 par Fenrir

[Whag]

autant pour moi il me semblait que c'etais possible...

enfin de mon coté ca ne change pas grand chose, les calculs de 3d ont des modes distributed.
Je viens de recevoir le mien, mais j'attends encore une paire de composants et je n'ai pas encore poussé ce genre de test ;)

[Fenrir]

Pour les calcul 3D ça ne pose pas de problèmes puisqu'il s'agit d'opérations qui sont facile à segmenter en petits morceaux et facile à réassembler à la fin. D'ailleurs par curiosité, tu utilises Horizon 6.1 avec nvidia grid ?

[Whag]

Bientot j'espere, les GPU sont le prochain investissement mais j'ai du mal a me decider. J'ai un budget taille porte monnaie et je ne suis pas habitué aux modeles half length&heigh, je me demande encore  si je devrai choisir quadro ou tesla (ou AMD eventuellement mais plutot Nvidia a cause de CUDA et des certifs multiples)
Je reve de trouver une carcasse de c410x, vide, a pas cher ( oui chut, j'habite un chateau en espagne x) donc je laisse murrir un peu tout ca le temp de me fixer sur un modele
entre les k2000 (yeah) k2200, n510s, k1200 c'est long de faire le tri ( et etre sur que ca rentre)

Modifié le 31 mai 2017 par Whag

[boris21dd]

Bonjour à tous et merci pour vos conseils,

Je suis content que vous me parliez de Vmware car s'est vers cette idée que je penche pour l'instant. Du coup, j'ai eu aussi ma réponse via Fenrir

Le 31/05/2017 à 11:27, Fenrir a dit :

Une infra vsphere n'améliorera pas les perfs (au contraire). Dans un cluster ESX, une machine tourne sur 1 seul esx, même si le cluster en comprend 50.

Et même si c'était possible, on en reviendrait au problème que j'ai évoqué précédemment : les échanges entre les noeuds

A défaut de pouvoir encoder ensemble un même fichier , je pense qu'ils peuvent travailler en concert chacun sur une partie (comme le dit Fenrir et me l'avait évoqué un vendeur sur ebay) ou plus simplement un fichier complet chacun.

Coté GPU + CPU, j'ai Aiseesoft Video Converter Ultimate sous windows qui le fait par exemple mais mes pc sont trop vieux pour etre plus performant que mon syno meme si il fonctionne avec deux coeurs quand il encode en x265 :(

http://www.aiseesoft.com/video-converter-ultimate/

 

 

Le 01/06/2017 à 00:35, Whag a dit :

Je reve de trouver une carcasse de c410x, vide, a pas cher (

ici le rack pour ta Nvidia http://www.ebay.fr/itm/Dell-C410X-Tray-D8JC7-4V7TY-for-NVIDIA-Tesla-M2070-M2090-/232224397726?hash=item3611a7199e:g:7yAAAOSwcUBYGg-O

Pour le serveur, tente ta chance peut être ici https://www.novirent.com/produits/Vente-serveur-DELL-Poweredge-C410x-occasion

 

 

 

[Whag]

 Bien joué merci pour le lien !

Je pense  me rabattre sur 2 tesla s1070, les GPU d'un 410 doivent tous etre similaire d'apres la doc, et les chariots sont spécifiques a une serie de GPU :/

les tesla ont l'air plus facilement "bidouillable"

sinon GRID permet a plusieurs personnes de partager un GPU, mais pour l'inverse ca ne me sert a rien non ?

Modifié le 5 juin 2017 par Whag

[boris21dd]

Le 05/06/2017 à 15:11, Whag a dit :

Bien joué merci pour le lien !

Avec plaisir....

De mon coté avec les connaissances que vous m avez apporté mon cœur penche plus vers un HP Z620

http://www.ebay.fr/itm/HP-z620-Workstation-2x-Intel-Xeon-Hexa-Core-E5-2630-2-3GHz-2x-NVS310-/152569701277?hash=item2385dce39d:g:B-8AAOSw2gxYvTK-

En effet, Vmware ne permettant pas une plus grande puissance de calcul sur un même fichier et le fait d'avoir 4 noeuds ne sera pas un plus.

Du coup si je recherche aussi une acceleration GPU faudra éviter les GT et les GTX " GeForce GT and GTX GPUs are limited to 2 encode sessions per system " scr http://wiki.avblocks.com/about-avblocks/about-hardware-acceleration Les tesla et autre Nvidia semblent plus adaptées.

A suive donc...