Início Laboratório Mergulho profundo: Mergulhe no armazenamento

nós temos agora tem servidores fora do caminho e se você for como eu, escolheu algumas feras famintas por poder que aquecem seu pequeno escritório doméstico. Em algum momento, quero voltar para uma casa que tem porões, pois esses parecem um local incrível para essas coisas, a menos que você tenha um armário de fiação real embutido em sua casa. Vamos agora passar por outra parte importante do seu laboratório doméstico – o armazenamento. Existem várias decisões que precisam ser tomadas em relação ao armazenamento, e cada uma afetará seu laboratório de maneira um pouco diferente. Neste post, abordaremos as diferenças entre tipos de disco, controladores, armazenamento e protocolos de armazenamento para que você esteja totalmente preparado para tomar a melhor decisão.

nós temos agora tem servidores fora do caminho e se você for como eu, escolheu algumas feras famintas por poder que aquecem seu pequeno escritório doméstico. Em algum momento, quero voltar para uma casa que tem porões, pois esses parecem um local incrível para essas coisas, a menos que você tenha um armário de fiação real embutido em sua casa. Vamos agora passar por outra parte importante do seu laboratório doméstico – o armazenamento. Existem várias decisões que precisam ser tomadas em relação ao armazenamento, e cada uma afetará seu laboratório de maneira um pouco diferente. Neste post, abordaremos as diferenças entre tipos de disco, controladores, armazenamento e protocolos de armazenamento para que você esteja totalmente preparado para tomar a melhor decisão.

Drives

As unidades são uma parte do seu armazenamento. Existem vários tipos de drives usados ​​atualmente, e cada um pode ter um impacto diferente em sua infraestrutura de armazenamento. Fizemos muitos avanços em unidades de disco e SSDs nas últimas duas décadas e não vamos desacelerar tão cedo. Embora eu não conhecesse as unidades de disco originais, elas começaram como máquinas impressionantes que continham pequenas quantidades de dados em comparação com as de hoje. Os 4 principais tipos de discos que abordarei são:

1. Unidades SATA
2. Unidades SAS
3. SSDs
4. Unidades M.2

SATA

SATA significa Serial Advanced Technology Attachment. A maioria dos seus computadores domésticos usa drives SATA. Eles são baratos e podem armazenar grandes quantidades de dados. No momento da redação deste artigo, acredito que o maior tenha cerca de 16 Terabytes. Quando o SATA 1.0 foi lançado em 2003, eles representaram um grande salto em relação à tecnologia de disco rígido que substituíram, PATA ou Parallel Advanced Technology Attachment. Eles podiam transferir muito mais rápido (originalmente 1.5 Gbit/s ou 150 MB/s) do que as unidades de saída, que atingiram o máximo de 133 MB/s. Eles também ofereceram recursos como melhor hot plug (conectar um disco rígido enquanto o sistema está ligado) e um conector de cabo muito menor usando apenas 7 pinos em vez de 40 ou 80. Desde sua introdução, o SATA evoluiu várias revisões para onde estamos hoje. SATA 3.0 ou Serial ATA-600 é a iteração atual e melhorou muito o desempenho. Como você deve ter adivinhado, as velocidades de transferência atuais são de até 600 MB/s e as versões provisórias adicionaram mais recursos, como Native Command Queueing, que aumentou o desempenho. Conforme mencionado no início, o principal fator desses discos é a quantidade de dados que eles armazenam e o preço. Eles oferecem bom desempenho e são mais do que suficientes para a maioria dos laboratórios domésticos.

SAS

Os próximos são as unidades SAS. Unidades SAS ou Serial Attached SCSI foram um substituto para os discos Parallel SCSI mais antigos. O SAS entrou no mercado em 2004 com o SAS-1. Os discos SCSI ou Small Computers System Interface funcionam de forma diferente do SATA. O SAS resolveu muitos dos problemas originais de ter que fornecer endereços aos discos e outras dores de cabeça com as quais os administradores de sistema tiveram que lidar. As unidades SAS usam um conjunto de comandos diferente com base no conjunto de comandos SCSI original e são mais inteligentes. As unidades SAS também são mais rápidas que as SATA. Parte disso se deve ao conjunto de comandos, mas também à própria interface e à velocidade do eixo do disco. O SAS também é full duplex, o que significa que pode transmitir e receber ao mesmo tempo. Os pratos de disco rígido que eles usam podem girar até 15,000 RPM. Os discos SATA giram a 7,200 RPM ou mais lento. Eles também usam tensões mais altas que permitem comprimentos de cabo maiores. As velocidades atuais do SAS-4 (versão atual) são 22.5 Gbits/s ou aproximadamente 2500 MB/s. Encontramos discos SAS em servidores corporativos e são mais caros. Eles são ótimos para usar em seu laboratório doméstico, mas custam mais e geralmente são discos menores.

Há um tipo de unidade que pode ser confuso. Unidades NL-SAS. Estas são unidades SATA com uma interface SAS nelas. Eles foram introduzidos como uma maneira barata de obter mais armazenamento em servidores corporativos. Eles são mais confiáveis ​​​​do que as unidades SATA comuns e o preço cai em algum lugar no meio.

SSDs

SSDs são rápidos. Sem dúvida, eu teria tudo em meus SSDs de laboratório doméstico se pudesse pagar. SSD significa Solid State Drives e eles não usam pratos de disco; eles usam chips de memória para armazenar seus dados. Por causa disso, eles são muito mais rápidos do que os drives anteriores discutidos. Como SSD descreve principalmente a tecnologia de armazenamento, você pode encontrar SSDs com SATA, SAS, NVMe e outras interfaces. Os SSDs empregam alguns chips diferentes e suas velocidades variam dependendo de quais chips e controladores são usados. Embora eu não vá entrar nos níveis mais profundos da tecnologia SSD, vou deixar você com o seguinte. Existem chips SLC, MLC, TLC e QLC. A ordem que eu listei é a ordem da velocidade. Quanto mais lento o chip, mais barato será, portanto, se você usá-los, poderá escolher de acordo.

M.2

O último tipo de unidade que discutiremos são os SSDs M.2. Eles também usam SSDs e podem usar conjuntos de comandos SATA ou conjuntos de comandos NVMe. Se você usar o conjunto de comandos SATA regular (também há uma diferença na interface física), terá aproximadamente a mesma velocidade de um SSD SATA comum, atingindo o máximo de cerca de 600 MB/s. Os SSDs NVMe podem atingir velocidades de até 5 GB/s usando as novas placas-mãe da AMD. Mesmo usando tecnologia “antiga”, ainda podemos atingir velocidades de leitura de 3500 MB/s. As unidades NVMe usam caminhos diretos para o processador para atingir sua velocidade impressionante. O preço deles diminuiu muito nos últimos meses, mas eles ainda custam aproximadamente US$ 100 para as unidades NVMe de 1 Terabyte mais baratas. Lembre-se de que chips de velocidade diferentes (QLC etc) também são usados ​​nessas unidades, pois são SSDs.

Com base nas informações acima, você pode tomar decisões sensatas sobre o tipo de unidades que deseja incluir. Lembre-se também de que é muito possível misturar os tipos acima com base na necessidade e na placa-mãe ou no suporte à placa RAID. De fato, a maioria das empresas usará unidades NL-SAS ou SATA para armazenamento de arquivos ou informações mais antigas e usará SAS ou SSDs ou uma mistura deles para seus dados principais. Em vários dispositivos de armazenamento diferentes, você pode criar diferentes “camadas” de serviço. Como armazenamento quente e frio, e o dispositivo moverá dados entre eles, dependendo da frequência com que os dados são acessados. Experimente um pouco com ele.

controladores

Depois de adquirir as unidades, você precisa ser capaz de controlá-las. Assim como as unidades, os controladores têm diferentes níveis de desempenho. Você geralmente escolhe um com base na interface que precisa oferecer suporte e no nível de proteção que deseja usar.

A nomenclatura pode ser um pouco confusa. Felizmente, geralmente há uma boa documentação disponível para ajudá-lo a tomar sua decisão. A Dell tem uma página da Web para ajudá-lo a descobrir qual deles você precisa. Se tu vais aqui há uma grande tabela de comparação que lista todos os recursos de seus controladores atuais. Na maioria dos controladores que você pode comprar em servidores mais antigos, eles terão um pouco menos de recursos. Algumas das colunas podem não fazer sentido, então irei repassá-las.

• Modelo = Nome do cartão
• Interface Support = este é o tipo de disco rígido que a placa suporta.
• PCI Support = Esta é a versão do slot na placa-mãe que a placa requer para operar
• Conectores SAS = Número de discos rígidos suportados e se eles são internos ao servidor ou externos (conectados por uma porta)
• Cache Memory Size = Isso é importante, pois desempenha um papel importante no desempenho. Em um nível alto, é aqui que a placa descarrega os comandos do sistema operacional e os retém até que os execute. Quanto maior o cache, mais rápido você recupera o controle de seu sistema operacional ou aplicativo para ir para a próxima operação. Então, maior geralmente é melhor neste caso.
• Write Back Cache = É assim que os dados em seu cache (mencionado acima) são protegidos em caso de queda de energia. Placas mais antigas, como o H700, usariam baterias caso o servidor perdesse energia para manter quaisquer comandos que ainda não tivessem chegado ao disco. A limitação era que, se a energia não fosse restaurada logo, sua bateria morreria e eles precisariam ser substituídos quando a bateria não estivesse mais boa. O Flash Backed não tem essa limitação e usa capacitores para fornecer energia para gravar no cache e manter as informações até que os comandos possam ser liberados no disco.
• Níveis RAID = Este é o nível de proteção RAID que o controlador suporta
• Max Drive Support = Este é o número de drives que a placa suporta.
• Suporte a RAID = Esta coluna delineia se o processo de RAID é feito por meio de hardware ou software. Se for feito por meio de software, qual software é compatível. Enquanto o RAID de software ficou mais rápido, o RAID de hardware sempre será mais rápido. Existem certas circunstâncias em que você pode optar por usar software (por exemplo, se tiver discos de tamanhos diferentes para combinar), mas eu recomendo fortemente que você fique com base em hardware se seu orçamento permitir.

A matriz mais próxima que encontrei para controladores HP foi a seguinte. Aqui você encontra existe Gen10 (os mais novos atualmente) e aqui são os controladores Gen 8, que é a geração que virá na maioria dos servidores baratos no eBay. Eles têm um pouco mais de informações técnicas sobre os controladores, pois são documentos de marketing, mas os campos importantes acima ainda são usados. Eles abreviam o cache de gravação baseado em Flash no FWBC.

Diferentes abordagens – NAS comercial, NAS doméstico ou armazenamento local

Agora você tem uma melhor compreensão do hardware envolvido no armazenamento do seu laboratório doméstico. O que deixa você com uma nova decisão. Você deseja ter apenas armazenamento local (unidades em seu servidor) ou deseja usar armazenamento compartilhado? Obviamente, precisamos nos aprofundar um pouco mais nessas opções.

• Armazenamento local – Este é o armazenamento diretamente conectado ao seu servidor. Isso também pode ser chamado de Direct Attached Storage ou DAS. Podem ser discos alojados dentro do servidor ou uma unidade de gabinete e conectados com um cabo SAS. As vantagens disso são que você não precisa comprar nenhum hardware ou servidor extra. Outra é a simplicidade de configuração. Você pode configurar o nível e o formato do RAID no sistema operacional e pronto. Então há velocidade. Direct Attached sempre será mais rápido que o armazenamento compartilhado. As desvantagens são que você só pode usar o armazenamento diretamente nesse servidor.
• Armazenamento compartilhado – Este armazenamento são discos rígidos em um gabinete executando algum tipo de sistema operacional de armazenamento. Esse armazenamento é compartilhado pela rede a ser usada. Existem dois tipos de armazenamento compartilhado em uso pelos laboratórios domésticos.
  • Armazenamento em nível de bloco – geralmente usando um protocolo chamado iSCSI. Essencialmente enviando comandos SCSI pela rede. Este protocolo é usado para apresentar armazenamento que, para o sistema operacional, se parece com discos rígidos brutos. Você precisará formatá-los para usá-los. O controle do sistema de arquivos e dos arquivos nos discos é feito pelos servidores remotos com os quais é compartilhado. Há outro armazenamento em nível de bloco, como Fibre Channel, mas não vou abordá-los aqui porque não são comuns em laboratórios domésticos.
  • Armazenamento em nível de arquivo – Isso está usando o protocolo NFS ou SMB. NFS é um acrônimo para Network File System e SMB significa Server Message Block. Cada um desses protocolos foi aprimorado e geralmente referido pela versão que está usando, ou seja, NFSv3 ou SMBv3. Cada nova versão se baseia nos recursos e capacidades da anterior. Em vez de apresentar armazenamento bruto para o sistema operacional, o armazenamento em nível de arquivo apresenta um compartilhamento ou montagem para servidores. O computador que controla os discos também controla o sistema de arquivos e os arquivos nele contidos.

Qual é melhor? Bem, como mencionado acima, depende. Se você tiver apenas um servidor, o armazenamento local é adequado e provavelmente a opção mais rápida para suas necessidades. Se você precisar compartilhar armazenamento entre servidores, deve procurar adquirir algum tipo de solução de armazenamento compartilhado. Dos dois, gosto de tentar monitorar qualquer modelo de empresa que estou tentando aprender. Se minha empresa usa iSCSI, quero aprender isso. Em uma nota pessoal, prefiro iSCSI. O principal motivo é a velocidade. O iSCSI geralmente é um pouco mais rápido e suporta multipathing (mais de um caminho de dados para o armazenamento) melhor que o NFS. O SMB geralmente é usado apenas em ambientes Windows e não é muito usado atualmente para ambientes corporativos. Você é livre para discordar de mim no iSCSI vs NFS. Estou baseando minha pesquisa em algumas coisas, como esta papel. Há muitos apoiadores para ambos os lados. O NFS É mais fácil de configurar para ser justo. Mas isso é para outro post no blog.

Armazenamento compartilhado pré-construído vs faça você mesmo

Se você chegou até aqui, precisa decidir se deseja tentar criar sua própria solução de armazenamento compartilhado ou se deseja comprar uma solução pré-fabricada.

Existem várias boas soluções feitas por empresas como QNAP e Synology, para citar algumas. Existem algumas empresas que fazem essas soluções e cada uma delas carrega muitos dos mesmos recursos. StorageReview.com analisou alguns desses também e aqueles podem ajudá-lo a decidir. Alguns pontos a ter em mente, quais recursos você precisará ou deseja e a capacidade de expansão futura. A maioria das unidades pré-fabricadas oferece suporte a NFS/SMB/e iSCSI. Algumas das unidades menores podem ter problemas em fornecer largura de banda de dados suficiente para acompanhar seu ambiente, portanto, você precisará decidir de acordo. A maioria deles compartilha uma quantia decente em comum. A maioria deles são caixas menores do que servidores e usarão menos energia e consumirão menos energia. Cada empresa tem seu próprio sistema operacional, geralmente algum tipo de Linux criado especificamente internamente. Pode haver um pouco de configuração envolvida, mas geralmente é um pouco mais simples do que uma caixa faça você mesmo. Pessoalmente, gosto de seguir esse caminho, pois é simples e, a menos que você suporte servidores de armazenamento, não há realmente uma “necessidade” de tentar projetar algo sozinho.

No entanto, existem boas razões para ter uma solução de armazenamento DYI. A maioria das unidades pré-construídas cobra um pouco caro por suas soluções e, na maioria dos casos, são difíceis de atualizar. Se for possível, você geralmente precisará usar o hardware deles para atualizar. Se esses motivos o deixam infeliz, esse é o seu caminho. Você pode comprar um gabinete de torre normal ou até mesmo um gabinete de montagem em rack. Você pode usar um PC normal ou construir um a partir do zero. Você precisará decidir qual sistema operacional usar. Windows ou Linux são suas duas opções normalmente. O software que você usa para compartilhar o armazenamento é um pouco mais complicado porque existem várias opções. Muitos lab'ers domésticos usam um sistema operacional chamado FreeNAS. Há um pouco mais para configurar, mas você tem muita ajuda disponível na internet. O FreeNAS é de longe uma das opções mais populares e, como o próprio nome indica, é gratuito. O software é totalmente gratuito menos o tempo gasto para configurá-lo. Você também pode usar o Windows Server também. Mas há um custo associado a isso, é claro. Os 5 principais pacotes de software cortesia de how2shout. com são como segue:

1. FreeNAS
2. NAS4Free/XigmaNAS
3. OpenMediaVault (OMV)
4. OpenfilerGenericName
5. loja de rock

Eu pessoalmente tenho duas unidades atualmente. O primeiro é um Synology e tem 4 “baias” ou pode aceitar 4 discos rígidos. Isso permite uma quantidade decente de velocidade e tem 2 conexões de rede para fornecer caminhos múltiplos ou uma conexão de rede em espera. Discos rígidos de até 14 Terabytes estão disponíveis atualmente, mas eu queria mais alguns recursos, então agora tenho uma unidade QNAP. Este tem 9 baias e pode aceitar 5 unidades do tamanho maior de 3.5” e 4 do tamanho menor de 2.5”. Ele também oferece algo chamado Smart Tiering. Tiering é um conceito originalmente colocado em unidades de armazenamento mais caras. Tiering é pegar duas ou mais velocidades de discos e usá-las de forma inteligente. O software na unidade de armazenamento verifica com que frequência os dados são usados. Se for muito usado, ele irá movê-lo para um disco de velocidade mais rápida para que seja mais rápido para os usuários. O conceito usa as ideias de armazenamento “quente” e “frio”. Quanto mais algo é usado, ele é movido para o armazenamento quente. Por outro lado, quanto menos algo é usado, mais frio fica e é movido para as unidades de armazenamento frio ou para as unidades de desempenho mais lentas. Isso permite que uma empresa compre discos mais baratos, como unidades SATA, para dados que não são muito usados.

Isso abrange a seção de armazenamento. Eu o guiarei pela configuração da minha unidade QNAP do zero quando chegarmos à seção de configuração desta série de blogs. Dessa forma, você pode ter uma ideia melhor por meio desse blog e também de outros aqui no StorageReview.com para decidir sobre a melhor solução de armazenamento para o seu laboratório doméstico.

- Mike Wilson @IT_Muscle

Discuta no Reddit

Esta postagem faz parte de uma série contínua de conteúdo enviado por usuários dedicado a explorar a diversão e os desafios de construir, manter e, às vezes, construir novamente um laboratório doméstico. Esta série é em parceria com nossos amigos da /r/homelab. Se você estiver interessado em compartilhar sua configuração, envie um e-mail para [email protegido]