A VAST Data introduziu uma plataforma de computação de dados projetada para ser a base da descoberta assistida por IA. A VAST Data Platform é a mais recente oferta unificando serviços de armazenamento, banco de dados e mecanismo de computação virtualizado em um sistema escalável construído desde o início para o futuro da IA.
A VAST Data introduziu uma plataforma de computação de dados projetada para ser a base da descoberta assistida por IA. A VAST Data Platform é a mais recente oferta unificando serviços de armazenamento, banco de dados e mecanismo de computação virtualizado em um sistema escalável construído desde o início para o futuro da IA.
A plataforma de dados VAST foi construída para incluir os volumes de dados globais gerados e processados em tempo real, incluindo dados não estruturados e estruturados como vídeo, imagens, texto livre, fluxos de dados e dados de instrumentos. Essa abordagem visa fechar a lacuna entre arquiteturas orientadas a eventos e orientadas a dados com a capacidade de acessar e processar dados em qualquer data center de nuvem privada ou pública importante, incorporar camadas semânticas consultáveis nos dados para entender melhor os dados naturais e calcular dados em tempo real de forma contínua e recursiva a cada interação.
Além de grandes modelos de linguagem para descoberta assistida por IA
IA generativa e modelos de linguagem ampla (LLMs) apresentaram ao mundo as primeiras capacidades da inteligência artificial; no entanto, os LLMs estão limitados a executar tarefas de rotina, como relatórios de negócios ou recitar informações já conhecidas. Somente quando as máquinas puderem recriar o processo de descoberta capturando, sintetizando e aprendendo com os dados, a verdadeira promessa da IA será realizada. Esse nível de especialização agora pode ser alcançado em questão de dias, em vez de décadas.
A descoberta orientada por IA acelerará a busca para resolver nossos maiores desafios, encontrando tratamentos para doenças e cânceres, combatendo as mudanças climáticas, abordagens inovadoras para a agricultura e descobrindo novos campos da ciência e da matemática. As plataformas de dados existentes são populares para empresas globais, reduzindo drasticamente a complexidade de implantação de infraestrutura para aplicativos de relatórios e inteligência de negócios. No entanto, eles ainda precisam atender às necessidades de novos aplicativos de aprendizado profundo.
A próxima geração de infraestrutura de IA deve oferecer acesso paralelo a arquivos, desempenho otimizado para GPU para treinamento de rede neural e inferência em dados não estruturados e um namespace global abrangendo ambientes multinuvem e de borda híbridos; tudo unificado em uma oferta fácil de gerenciar que permite aprendizado profundo federado.
DASE: o coração da plataforma de dados VAST
Desde o início, o VAST colocou dados naturais, metadados avançados, funções e gatilhos no centro da arquitetura de sistemas distribuídos VAST Disaggregated Shared-Everything (DASE). Ao eliminar as compensações de desempenho, capacidade, escala, simplicidade e resiliência, o DASE estabeleceu a base de dados para o aprendizado profundo, tornando possível treinar modelos na totalidade dos dados de uma empresa. Permitindo que os clientes adicionem lógica ao sistema, as máquinas podem enriquecer e compreender dados do mundo natural de forma contínua e recursiva.
Os novos anúncios do roteiro VAST são uma maneira de acelerar os fluxos de trabalho de treinamento. Para grandes empresas, ter um caminho de implementação rápido para IA generativa é fundamental. A VAST apresentou seus planos para ajudar a conseguir isso, sendo capaz de executar funções do tipo transformador em objetos armazenados em sua plataforma. Tomemos, por exemplo, distorções aleatórias aplicadas a um conjunto de imagens de treinamento, as funções que vêm para a plataforma VAST permitiriam transformações nos dados de treinamento conforme necessário, em vez de ter que pré-processá-los ao custo de consumir mais armazenamento.
Os desenvolvimentos do VAST que prometem acelerar os fluxos de trabalho de treinamento abrem um novo horizonte para IA generativa em empresas que exigem alta fidelidade, resposta rápida de retreinamento e modelagem complexa. A indústria altamente regulamentada se beneficiará enormemente. Os analistas podem aproveitar os recursos do VAST para executar funções transformadoras em objetos, gerando modelos detalhados que levariam tempo e espaço para serem criados manualmente. A geração e alteração em tempo real de elementos gráficos também podem aprimorar o fluxo de trabalho criativo, permitindo um processo de design mais dinâmico e interativo.
Armazenamento global unificado de dados, banco de dados e mecanismo de computação de IA
O VAST DataStore é uma arquitetura de armazenamento escalável para dados não estruturados que elimina a classificação por níveis de armazenamento. Projetado para capturar e fornecer dados do mundo natural, o VAST primeiro projetou a base de sua plataforma. O VAST DataStore é uma plataforma de armazenamento conectada à rede corporativa criada para atender às necessidades de arquiteturas robustas de computação de IA, como supercomputadores NVIDIA DGX SuperPOD AI e plataformas de big data e HPC.
A eficiência do DataStore em escala de exabyte traz economia de arquivamento para a infraestrutura flash, tornando-o adequado para aplicativos de arquivamento. Resolver o custo do armazenamento flash é fundamental para estabelecer as bases para o aprendizado profundo para clientes corporativos, à medida que procuram treinar modelos em seus ativos de dados proprietários.
Banco de Dados VAST
O VAST DataBase foi introduzido para aplicar estrutura a dados naturais não estruturados. Ao combinar as características de um banco de dados, um data warehouse e um data lake em um sistema de gerenciamento de banco de dados simples, distribuído e unificado, o VAST resolveu as compensações entre transações (para capturar e catalogar dados naturais em tempo real) e análise (para analisar e correlacionar dados em tempo real). VAST DataBase Projetado para captura rápida de dados e consultas rápidas em qualquer escala, o VAST DataBase quebra as barreiras da análise em tempo real desde o fluxo de eventos até o arquivo.
Com uma base para dados estruturados e não estruturados sintetizados, a plataforma de dados VAST permite refinar e enriquecer dados brutos não estruturados em informações estruturadas e consultáveis com suporte para funções e gatilhos. O VAST DataEngine é um mecanismo de execução de função global que consolida centros de dados e regiões de nuvem em uma estrutura computacional global. O mecanismo oferece suporte a linguagens de programação populares, como SQL e Python. Ele apresenta um sistema de notificação de eventos e treinamento de modelo materializado e reproduzível, facilitando o gerenciamento de pipelines de IA.
Espaço de dados VAST
O elemento final da estratégia VAST Data Platform é o VAST DataSpace. Esse namespace global permite que cada local armazene, recupere e processe dados de qualquer local com alto desempenho, ao mesmo tempo em que reforça a consistência estrita em cada ponto de acesso. Com o DataSpace, a plataforma de dados VAST pode ser implantada em data centers locais e ambientes de borda. Agora também estende o acesso ao DataSpace para as principais plataformas de nuvem pública, incluindo AWS, Microsoft Azure e Google Cloud.
Essa plataforma global de computação definida por dados adota uma nova abordagem para casar dados não estruturados com dados estruturados, armazenando, processando e distribuindo esses dados a partir de um único sistema unificado.
O VAST DataStore, DataBase e DataSpace estão geralmente disponíveis na VAST Data Platform atualmente. O VAST DataEngine será disponibilizado em 2024.
Saiba mais visitando Vast's BuildBeyond.ai.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
