A Standard Performance Evaluation Corp. (SPEC) lançou uma nova versão importante de seu benchmark de solução de armazenamento, projetado para ajudar os gerentes de TI a tomar melhores decisões de compra, configuração e otimização.
por Don Capps, presidente do subcomitê SPEC Storage
A Standard Performance Evaluation Corp. (SPEC) lançou uma nova versão importante de seu benchmark de solução de armazenamento, projetado para ajudar os gerentes de TI a tomar melhores decisões de compra, configuração e otimização.
O novo benchmark SPECstorage Solution 2020 é baseado em aplicativos reais e cenários do mundo real. Ele inclui novas cargas de trabalho para inteligência artificial (IA) e genômica, recursos de carga de trabalho personalizados expandidos, dimensionamento extremamente melhor e um mecanismo de visualização estatística para exibir resultados de referência. Há também dezenas de atualizações que tornam o benchmark mais fácil de usar e mais eficiente na entrega de resultados.
Cargas de trabalho do mundo real
As cargas de trabalho no benchmark SPECstorage Solution 2020 representam aplicativos usados em cinco mercados diferentes. Cada carga de trabalho tem um conjunto de critérios de aprovação e reprovação que devem ser atendidos para validar os resultados do benchmark. Exemplos de critérios incluem:
- Se a solução de armazenamento em teste manteve a op_rate média sustentada solicitada.
- Se a solução manteve uma latência média abaixo de um determinado limite.
- Se a solução manteve um equilíbrio igual de operações entre os subcomponentes da carga de trabalho.
- Se a solução manteve uma latência máxima abaixo de um limite específico para qualquer subcomponente na carga de trabalho.
A nova carga de trabalho AI representa ambientes de processamento de imagens AI Tensorflow, com rastreamentos coletados de sistemas que executam conjuntos de dados COCO, Resnet50 e CityScape. As métricas são baseadas no número de empregos— definido como um conjunto de subcomponentes que englobam um fluxo de trabalho completo — que pode ser mantido sob os critérios de aprovação/reprovação definidos.
A nova carga de trabalho de genômica vem de traços de operações de E/S usadas por instalações comerciais e de pesquisa para realizar análises genéticas. Os dados foram higienizados para que não contenham nenhum dos dados originais do genoma. As métricas são baseadas no número de trabalhos simultâneos que podem ser mantidos de acordo com os critérios de aprovação/reprovação da carga de trabalho.
Três cargas de trabalho são transportadas do benchmark SPEC SFS 2014 SP2, lançado em dezembro de 2017:
- A carga de trabalho de automação de design eletrônico (EDA) representa o comportamento típico de uma combinação de aplicativos EDA, incluindo processamento front-end e back-end. As métricas são baseadas no número de tarefas que podem ser concluídas dentro de um conjunto definido de critérios de aprovação/reprovação.
- A carga de trabalho do ambiente de construção de software compreende testes intensivos de metadados derivados de análises e rastreamentos do sistema de aplicativos do mundo real. As métricas são baseadas no número de compilações simultâneas que podem ser concluídas de acordo com os critérios de aprovação e reprovação.
- A carga de trabalho de aquisição de dados de vídeo (VDA) simula aplicativos que armazenam dados adquiridos de uma fonte sensível ao tempo, como uma câmera de vigilância. As métricas são baseadas no número de streams de vídeo que podem ser capturados de acordo com os critérios de aprovação e reprovação.
Cargas de trabalho personalizadas
O novo benchmark permite que os usuários personalizem as cargas de trabalho existentes ou criem novas para obter informações sobre problemas de desempenho de armazenamento.
As cargas de trabalho personalizadas podem acomodar uma combinação de geradores de carga Unix e Windows para aplicativos que usam essa combinação em seus fluxos de trabalho. Um exemplo dessa combinação seria um sistema Windows que coleta dados de sensores e os armazena usando SMB enquanto um farm de computação baseado em Unix analisa os dados usando NFS, Lustre, GPFS ou alguma outra tecnologia de sistema de arquivos.
Um sofisticado mecanismo de sincronização dentro do benchmark SPECstorage Solution 2020 mantém todos os processos de geração de carga distribuídos geograficamente em sincronia em uma resolução de submilissegundos.
Dimensionamento maciço com menos restrições
Novos mecanismos IPC internos no SPECstorage Solution 2020 reduzem significativamente o número de portas TCP e pesquisas de DNS, melhorando a escalabilidade, a confiabilidade e o desempenho de inicialização e tempo de execução. O dimensionamento aumentou de 60,000 processos geradores de carga nas versões anteriores para mais de 4 milhões de processos que podem ser distribuídos em todo o mundo.
Um sofisticado mecanismo de sincronização mantém todos os processos de geração de carga distribuídos geograficamente em sincronia em uma resolução inferior a milissegundos.
A nova eficiência de dimensionamento é especialmente significativa para testar soluções de armazenamento baseadas em nuvem. Este é um desenvolvimento importante, já que entre os provedores de nuvem, as portas TCP são um recurso escasso, com a maioria das máquinas virtuais capazes de acomodar apenas alguns milhares, na melhor das hipóteses. O novo benchmark nunca requer mais de 1,000 portas TCP. Isso permite que os usuários escalem até 4 milhões de processos sem se depararem com restrições de nuvem.
O novo mecanismo de visualização estatística no SPECstorage Solution 2020 permite que os usuários extraiam contadores de tempo de execução e os conectem a um banco de dados para visualização.
Visualização para maiores insights
O novo mecanismo de visualização estatística no SPECstorage Solution 2020 permite aos usuários extrair contadores de tempo de execução e conectá-los a um banco de dados como Graphite, Carbon ou Grafana para visualização. Isso fornece maior percepção sobre os detalhes de comportamento e operação do sistema em teste.
Já disponível para download
O benchmark SPECstorage Solution 2020 está disponível para download imediato no site da SPEC por US$ 2,000, com descontos para pesquisas qualificadas e instituições acadêmicas. Os resultados do novo benchmark não são comparáveis aos dos benchmarks de armazenamento SPEC anteriores.
Os membros corporativos SPEC ativos no desenvolvimento do benchmark incluem Dell, IBM, Intel, iX Systems, NetApp, Pure Storage e WekaIO. Colaboradores individuais de apoio incluem Uday an Bapat, Sorin Faibish e Brian Pawlowski.
# # #
Don Capps tem mais de 30 anos de experiência em engenharia de desempenho para sistemas de armazenamento. Ele é engenheiro de desempenho da Netapp; fundador da Iozone.org, uma organização sem fins lucrativos que produz e distribui software gratuito para medir o desempenho de sistemas de armazenamento de computador; e presidente do subcomitê de armazenamento da Standard Performance Evaluation Corp. (SPEC).
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS feed
