VAST Data는 AI 지원 검색의 기반이 되도록 설계된 데이터 컴퓨팅 플랫폼을 도입했습니다. VAST 데이터 플랫폼은 처음부터 AI의 미래를 위해 구축된 확장 가능한 시스템에서 스토리지, 데이터베이스 및 가상화된 컴퓨팅 엔진 서비스를 통합하는 최신 제품입니다.
VAST Data는 AI 지원 검색의 기반이 되도록 설계된 데이터 컴퓨팅 플랫폼을 도입했습니다. VAST 데이터 플랫폼은 처음부터 AI의 미래를 위해 구축된 확장 가능한 시스템에서 스토리지, 데이터베이스 및 가상화된 컴퓨팅 엔진 서비스를 통합하는 최신 제품입니다.
VAST 데이터 플랫폼은 비디오, 이미지, 자유 텍스트, 데이터 스트림, 기기 데이터와 같은 구조화되지 않은 데이터와 구조화된 데이터를 포함하여 실시간으로 생성되고 처리되는 글로벌 데이터 볼륨을 포함하도록 구축되었습니다. 이 접근 방식은 프라이빗 또는 주요 퍼블릭 클라우드 데이터 센터의 데이터에 액세스하고 데이터를 처리하고 쿼리 가능한 시맨틱 레이어를 데이터에 포함하여 자연 데이터를 더 잘 이해하고 데이터를 계산할 수 있는 기능을 통해 이벤트 기반 아키텍처와 데이터 기반 아키텍처 간의 격차를 줄이는 것을 목표로 합니다. 각 상호 작용과 함께 실시간으로 지속적으로 그리고 재귀적으로.
대규모 언어 모델을 넘어 AI 지원 검색으로
생성 AI 및 LLM(대형 언어 모델)은 인공 지능의 초기 기능을 전 세계에 소개했습니다. 그러나 LLM은 비즈니스 보고 또는 이미 알려진 정보 암송과 같은 일상적인 작업을 수행하는 것으로 제한됩니다. 기계가 데이터를 캡처, 합성 및 학습하여 발견 프로세스를 재현할 수 있을 때만 AI의 진정한 약속이 실현될 것입니다. 이러한 수준의 전문화는 이제 수십 년이 아닌 며칠 만에 달성할 수 있습니다.
AI 기반 발견은 질병과 암에 대한 치료법을 찾고 기후 변화에 대처하고 농업에 대한 혁신적인 접근 방식을 찾고 과학 및 수학의 새로운 분야를 발견하는 가장 큰 문제를 해결하기 위한 검색을 가속화할 것입니다. 기존 데이터 플랫폼은 비즈니스 인텔리전스 및 보고 애플리케이션의 인프라 구축 복잡성을 크게 줄여 글로벌 기업에 널리 사용됩니다. 그러나 여전히 새로운 딥 러닝 애플리케이션의 요구 사항을 충족해야 합니다.
차세대 AI 인프라는 병렬 파일 액세스, 신경망 훈련을 위한 GPU 최적화 성능, 구조화되지 않은 데이터에 대한 추론, 하이브리드 멀티 클라우드 및 에지 환경에 걸친 글로벌 네임스페이스를 제공해야 합니다. 통합 딥 러닝을 가능하게 하는 관리하기 쉬운 하나의 오퍼링 내에서 모두 통합됩니다.
DASE: VAST 데이터 플랫폼의 핵심
처음부터 VAST는 자연 데이터, 풍부한 메타데이터, 기능 및 트리거를 VAST DASE(Disaggregated Shared-Everything) 분산 시스템 아키텍처의 중심에 두었습니다. DASE는 성능, 용량, 확장성, 단순성 및 복원력의 트레이드오프를 제거함으로써 딥 러닝을 위한 데이터 기반을 마련하여 기업 데이터 전체에서 모델을 교육할 수 있도록 합니다. 고객이 시스템에 논리를 추가할 수 있도록 허용하는 기계는 자연 세계의 데이터를 지속적이고 재귀적으로 풍부하게 만들고 이해할 수 있습니다.
VAST 로드맵의 새로운 발표는 교육 워크플로를 가속화하는 방법을 제시합니다. 대기업의 경우 생성 AI를 위한 신속한 구현 경로를 확보하는 것이 무엇보다 중요합니다. VAST는 플랫폼에 저장된 개체에서 변환기 유형 기능을 실행할 수 있도록 함으로써 이를 달성하는 데 도움이 되는 계획을 세웠습니다. 훈련 이미지 세트에 적용된 무작위 왜곡을 예로 들어 VAST 플랫폼에 제공되는 기능은 더 많은 스토리지를 소비하는 비용으로 훈련 데이터를 사전 처리하지 않고 필요에 따라 훈련 데이터를 변환할 수 있습니다.
훈련 워크플로우를 가속화할 것을 약속하는 VAST의 개발은 높은 충실도, 빠른 재훈련 응답 및 복잡한 모델링이 필요한 기업 내에서 생성 AI의 새로운 지평을 엽니다. 고도로 규제된 산업은 막대한 이익을 얻을 수 있습니다. 분석가는 VAST의 기능을 활용하여 개체에서 변환기 기능을 실행하여 수동으로 생성하려면 시간과 공간이 많이 소요되는 상세한 모델을 생성할 수 있습니다. 그래픽 요소의 실시간 생성 및 변경은 창의적인 작업 흐름을 향상시켜 보다 역동적이고 상호 작용하는 디자인 프로세스를 가능하게 합니다.
통합 글로벌 데이터 저장소, 데이터베이스 및 AI 컴퓨팅 엔진
VAST DataStore는 스토리지 계층화를 제거하는 구조화되지 않은 데이터를 위한 확장 가능한 스토리지 아키텍처입니다. 자연계에서 데이터를 캡처하고 제공하도록 설계된 VAST는 먼저 플랫폼의 기반을 설계했습니다. VAST DataStore는 NVIDIA DGX SuperPOD AI 슈퍼컴퓨터, 빅 데이터 및 HPC 플랫폼과 같은 강력한 AI 컴퓨팅 아키텍처의 요구 사항을 충족하도록 구축된 엔터프라이즈 네트워크 연결 스토리지 플랫폼입니다.
엑사바이트 규모의 DataStore의 효율성은 아카이브 애플리케이션에 적합하도록 플래시 인프라에 아카이브 경제성을 제공합니다. 플래시 스토리지 비용을 해결하는 것은 독점 데이터 자산에서 모델을 교육하려는 기업 고객을 위한 딥 러닝의 기반을 마련하는 데 매우 중요합니다.
VAST 데이터베이스
구조화되지 않은 자연 데이터에 구조를 적용하기 위해 VAST 데이터베이스가 도입되었습니다. VAST는 데이터베이스, 데이터 웨어하우스 및 데이터 레이크의 특성을 모두 하나의 단순하고 분산된 통합 데이터베이스 관리 시스템에 결합하여 트랜잭션(자연 데이터를 실시간으로 캡처 및 분류하기 위해)과 분석 간의 장단점을 해결했습니다. (실시간으로 데이터를 분석하고 연관시키기 위해). VAST 데이터베이스 모든 규모에서 신속한 데이터 캡처 및 빠른 쿼리를 위해 설계된 VAST 데이터베이스는 이벤트 스트림에서 아카이브까지 실시간 분석의 장벽을 허물었습니다.
합성된 정형 데이터와 비정형 데이터를 기반으로 하는 VAST 데이터 플랫폼은 구조화되지 않은 원시 데이터를 기능 및 트리거 지원을 통해 구조화되고 쿼리 가능한 정보로 세분화하고 강화할 수 있습니다. VAST DataEngine은 데이터 센터와 클라우드 지역을 하나의 글로벌 컴퓨팅 프레임워크로 통합하는 글로벌 기능 실행 엔진입니다. 이 엔진은 SQL 및 Python과 같은 널리 사용되는 프로그래밍 언어를 지원합니다. 이벤트 알림 시스템과 구체화되고 재현 가능한 모델 교육을 도입하여 AI 파이프라인을 보다 쉽게 관리할 수 있습니다.
VAST 데이터스페이스
VAST 데이터 플랫폼 전략의 마지막 요소는 VAST DataSpace입니다. 이 글로벌 네임스페이스는 모든 액세스 포인트에서 엄격한 일관성을 유지하면서 모든 위치에서 고성능으로 데이터를 저장, 검색 및 처리할 수 있도록 합니다. DataSpace를 사용하면 VAST 데이터 플랫폼을 온프레미스 데이터 센터 및 에지 환경에 배포할 수 있습니다. 이제 DataSpace 액세스를 AWS, Microsoft Azure 및 Google Cloud를 비롯한 주요 퍼블릭 클라우드 플랫폼으로 확장합니다.
이 글로벌 데이터 정의 컴퓨팅 플랫폼은 단일 통합 시스템에서 해당 데이터를 저장, 처리 및 배포함으로써 구조화되지 않은 데이터와 구조화 데이터를 결합하는 새로운 접근 방식을 취합니다.
VAST DataStore, DataBase 및 DataSpace는 현재 VAST Data Platform 내에서 일반적으로 사용할 수 있습니다. VAST DataEngine은 2024년에 제공될 예정입니다.
Vast's를 방문하여 자세히 알아보세요. BuildBeyond.ai.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
