4 Coisas que Gerentes de Data Center podem aprender com os mais rápidos Supercomputadores

1. Supercomputadores são construídos com a finalidade de consistência

Diferentemente da maioria das plataformas de computação na nuvem como Amazon Web Services ou Microsoft Azure que foram criadas para alimentar uma variedade de aplicativos que podem utilizar recursos e infraestruturas compartilhadas, a maioria dos supercomputadores é criada para necessidades específicas. A atualização mais recente da lista dos TOP500 supercomputadores mais rápidos do mundo (de conhecimento público e não reservado), observa não apenas os locais e velocidades das instalações, mas o principal campo de aplicação.

Onze das principais doze máquinas são dedicadas à pesquisa de energia, testes nucleares e aplicações militares. O único fora do padrão é o Frontera, um novo sistema de computação em escala peta no Centro de Computação Avançada do Texas na Universidade do Texas, financiado pela NSF, que oferece recursos acadêmicos para parceiros de pesquisas científicas e de engenharia. Os seguintes 20 supercomputadores na lista dos TOP500, quase todos são dedicados a aplicações do setor militar e inteligência do governo. As máquinas de número 30 ao 50 da lista são majoritariamente dedicadas a previsão do tempo. As últimas 50 das principais 100, são um misto de computação corporativa (NVIDIA, Facebook, et.al), previsões do tempo de nível médio, programas espaciais, exploração de petróleo e gás, uso acadêmico e usos específicos do governo.

Essas máquinas não são todas iguais. Elas são desenvolvidas e customizadas por fabricantes como Intel, Cray, HP, Toshiba e IBM para realizar tipos específicos de cálculos em conjuntos de dados bem específicos - seja em tempo real ou computação assíncrona.

Eles definiram limites de latência aceitáveis:

• Recursos de computação predefinidos alavancando milhões de núcleos de processamento
• Apresenta valores de clock entre 18.000 e 200.000 teraFLOPS.

Suas capacidades de armazenamento são medidas em exabytes ― muito além dos petabytes dos modernos bancos de dados.

Sistemas como o Frontera não precisam apenas mergulhar no pico de uma carga de computação, mas invés disso devem consistentemente ler grandes quantidades de dados para chegar a um resultado. Um pico no desempenho da computação poderia na verdade causar erros nos resultados, assim a ênfase é dada à consistência.

Atualmente o gerente de data center precisa primeiro perguntar: “O que estamos fazendo com o sistema?”para planejar, gerenciar recursos e integrar proteções de falhas previsíveis. Gerenciar um data center que opera uma série de desktops virtuais é muito diferente de um call center ou sistemas de controle de tráfego aéreo. Eles têm diferentes necessidades, demandas, contratos de serviço e orçamentos - e precisam ser projetados de acordo.

Da mesma forma, existe a necessidade de considerar como conseguir um desempenho consistente sem precisar de configurações customizadas. Empresas como a Amazon, Google e Microsoft possuem orçamento para projetar armazenamento customizado ou infraestruturas de computação, mas a maioria dos prestadores de serviço precisa ser mais seletivo com o hardware disponível no mercado.

Assim, mais gerentes de data centers precisam definir critérios rígidos para benchmarks de desempenho que sejam compatíveis com a QoS e assegurem que a maior ênfase não seja apenas na velocidade e latência da computação, mas também na consistência.

3. Limites de latência, flash NAND e configuração de DRAM

A maioria dos limites de latência são definidos devido às demandas da aplicação. Em ambientes comerciais, segundos significam milhões, se não bilhões de dólares. Para previsões do tempo e acompanhamento de furacões, pode significar decidir entre evacuar New Orleans ou Houston.

Os supercomputadores operam com a carga de nível de serviço a priori - seja a latência, recursos de computação, armazenamento ou largura de banda. Muitos empregam computação com reconhecimento de falhas (fail-aware), onde o sistema pode mudar o caminho de fluxos de dados para condições ótimas de latência (com base em clocking 𝛱+Δmax), mudando para modelos de computação assíncronos ou priorizando recursos do computador para proporcionar energia de processamento ou largura de banda suficiente para os trabalhos.

Esteja você trabalhando com estações de trabalho de ponta, servidores iron ou cargas de trabalho científicas ou HPC, grandes computadores e Big Data exigem grandes quantidades de DRAM. Supercomputadores como o Tianhe-2, usam grandes quantidades de RAM combinadas com placas especializadas de aceleração. O modo como a supercomputação refina o hardware e a estrutura de controle é exclusiva do projeto do aplicativo. Frequentemente as tarefas de computação específicas, onde o acesso do disco cria um gargalo enorme com as exigências de RAM, torna o DRAM impraticável, mas são pequenas o suficiente para se adequarem ao flash NAND. Os clusters FPGA também são posteriormente sintonizados para cada carga de trabalho específica para garantir que grandes conjuntos de dados alcancem excelente desempenho se tiverem que usar mídia tradicional para recuperar dados.

As equipes de colaboração entre a Universidade de Utah, o Lawrence Berkeley Lab, a Universidade Southern California e o Argone National Lab apresentaram novos modelos para Sintonia Automatica de Desempenho (ou sintonia automática) como um meio eficaz de fornecer portabilidade de desempenho entre as arquiteturas. Em vez de depender de um compilador que pode oferecer ótimo desempenho em arquiteturas multinúcleo mais recentes, kernels com sintonia automática e aplicações podem automaticamente sinalizarem à CPU, rede e modelo de programação visados.