고밀도 저장 솔루션과 첨단 AI는 동물 개체군의 모니터링, 보호 및 이해에 상당한 영향을 미칩니다.
최첨단 기술과 보존 노력의 교차점에서 런던 동물학회(ZSL)와 PEAK:AIO는 야생 동물 연구를 위한 데이터 관리에 대한 혁신적인 접근 방식을 개발했습니다. 고밀도 Solidigm 스토리지와 고급 AI의 배포를 특징으로 하는 이 협업은 동물 개체군의 모니터링, 보호 및 이해에 상당한 영향을 미칩니다. 이 프로젝트의 핵심은 Solidigm의 D5-P5336 61.44TB QLC 드라이브로 구동되는 PEAK:AIO 솔루션으로, 신속한 데이터 저장 및 분석을 위한 인프라를 제공하여 연구자들이 궁극적으로 보존 노력에 도움이 되는 더 빠르고 정확한 결정을 내릴 수 있도록 합니다.
우리는 최근 런던 동물원을 방문하여 PEAK:AIO의 데이터 저장 시스템과 최첨단 AI 기반 플랫폼이 ZSL에서 고슴도치 도시 보존에서 전 세계 종 관찰에 이르기까지 야생 동물 모니터링 프로젝트에서 생성된 방대한 양의 데이터를 처리하는 데 어떻게 사용되는지 알아볼 기회를 가졌습니다. 동물원은 최첨단 스토리지와 AI 기술을 통합하여 현대 보존 노력에 내재된 데이터 관리 과제를 해결할 수 있습니다. 또한 PEAK:AIO의 CEO 겸 설립자인 Mark Klarzynski와 이러한 혁신에 대해 논의할 수 있는 영광을 얻었습니다. 크리스 카본 교수, 동물학 보존학 교수 및 기타 사람들이 이 획기적인 이니셔티브에 참여했습니다.
고슴도치에서 세계 종 모니터링까지
ZSL에서 가장 흥미로운 프로젝트 중 하나는 도시 야생 동물 보호와 관련이 있으며, 특히 런던의 고슴도치 개체군에 초점을 맞춥니다. Chris Carbone은 인간 활동으로 서식지가 점점 더 단편화되고 있는 종인 고슴도치가 직면한 과제를 공유했습니다. Carbone은 "고슴도치는 개체군 간에 분산하는 데 어려움을 겪습니다."라고 말하며, "이로 인해 근친 교배와 같은 문제가 발생합니다." 이 문제는 도시화가 자연 서식지를 침범함에 따라 전 세계적으로 많은 종에서 공통적으로 나타납니다.
보존주의자들은 고슴도치와 같은 동물들이 고립된 서식지 사이를 자유롭게 이동할 수 있도록 통로 또는 "녹색 복도"를 만들어 이를 퇴치하기 위해 노력하고 있습니다. 그러나 인식과 대중의 참여는 이러한 이니셔티브의 성공을 보장하는 데 중요한 구성 요소입니다. ZSL은 또한 사람들에게 지역 야생 동물 개체군에 대해 알리고 이러한 녹색 공간을 유지하도록 격려하여 동물들이 그렇지 않으면 어려운 환경에서도 번성할 수 있도록 작은 단계를 밟습니다.
하지만 대용량 Solidigm SSD와 NVIDIA DGX 슈퍼컴퓨터는 어디에서 활용될까요? Carbone에 따르면, 이들은 중요한 도구가 되었습니다. 현대 야생 동물 모니터링 기술은 지난 20년 동안 빠르게 발전하여 연구자들이 방대한 데이터를 수집할 수 있게 되었습니다. 그러나 이 데이터에는 저장 및 분석이라는 과제가 따릅니다.
데이터 폭발: 카메라 트랩에서 유전체학까지
야생 동물 모니터링의 초창기에는 카메라 트랩이 혁신적이었지만 한계가 있었습니다. 크리스는 필름 기반 카메라가 36장만 촬영할 수 있었고, 종종 기회를 놓치곤 했던 시절을 회상했습니다. "원숭이 무리가 첫날에 필름을 다 써버려서 쓸모없는 게 남을 수도 있습니다." 오늘날로 넘어가면 현대의 디지털 카메라는 수만 장의 이미지를 촬영할 수 있어 연구자들은 야생 동물의 행동에 대한 훨씬 더 완벽한 그림을 얻을 수 있습니다.
생성된 데이터 양은 기하급수적으로 증가했으며, 특히 여러 국가에 걸쳐 카메라 트랩을 사용하는 글로벌 보존 활동으로 인해 증가했습니다. 예를 들어, 인도의 카메라 트랩은 세계에서 가장 큰 규모 중 하나로 10,000개가 넘는 카메라를 배치하고 수백만 개의 이미지를 생성합니다. 런던 HogWatch 프로젝트, 또한 15만 개 이상의 이미지를 축적했습니다. 이 속도로 데이터 수집이 확장되면서 이렇게 큰 데이터 세트를 관리하고 처리하는 것이 상당한 과제가 되었습니다.
유전체학은 데이터 홍수에 기여하는 또 다른 분야입니다. 연구자들은 이전에 동물 유전체의 작은 조각을 분석하여 개체군 구조를 이해했습니다. 그러나 전체 유전체 시퀀싱의 저렴성과 접근성이 증가함에 따라 데이터 세트는 테라바이트로 확장되었습니다. 환경 DNA(eDNA) 프로젝트 이러한 성장에 더욱 기여하여 환경 내의 DNA 흔적을 이용하여 종 개체수를 조사합니다.
Solidigm QLC SSD의 최첨단 밀도 덕분에 이러한 프로젝트를 진행하는 팀은 현재 작업할 공간이 충분하고 가까운 미래에 사용할 수 있는 용량도 있습니다. 이를 통해 데이터 요구 사항을 충족하기 위해 지속적인 업그레이드가 필요하지 않도록 프로젝트를 범위 지정하고 구축할 수 있었습니다.
동물원에 슈퍼컴퓨터를 만들다
동물원에 새로운 엣지 데이터 센터를 설치하는 동안 팀이 직면한 예상치 못한 과제 중 하나는 실외 쿨러 장치와 중국 물사슴 무리와 관련이 있었습니다. 고성능 컴퓨팅 장비에 적절한 온도를 유지하는 데 필수적인 냉각 시스템은 이러한 민감한 동물이 서식하는 지역 근처에 위치했습니다. 쿨러를 더 큰 장치로 업그레이드하는 동안 설치로 인한 소음과 활동으로 사슴이 방해를 받아 팀은 동물의 편안함과 안전을 보장하기 위해 계획을 신중하게 조정해야 했습니다.
해결책은 작업이 완료되는 동안 동물원 내의 더 안전하고 평화로운 지역으로 물사슴을 일시적으로 이전하는 것이었습니다. 이 상황은 대부분 데이터 센터 설비가 겪지 않을 복잡성을 더해 야생 동물과 공유하는 환경에 기술을 배치하는 고유한 과제를 강조했습니다. 쿨러가 설치되고 동물들이 서식지로 돌아간 후, 팀은 동물원의 일상 업무를 최소한으로 방해하면서 프로젝트를 계속했습니다.
런던 동물원의 엣지 컴퓨팅
데이터 양을 감안할 때, ZSL은 이 방대한 데이터 세트를 처리하기 위해 강력하면서도 컴팩트한 데이터 센터가 필요했습니다. PEAK:AIO와 엣지에 배치된 고성능 스토리지 솔루션이 등장했습니다. 이 솔루션은 동물원의 이미징 및 유전체학 워크로드를 지원합니다. ZSL 런던 동물원 사무실의 엣지 데이터 센터 내부에는 NVIDIA의 두 개의 DGX 플랫폼이 PEAK:AIO 시스템과 결합되어 1.2페타바이트의 중복되고 안전한 고속 스토리지 공간을 제공합니다.
PEAK:AIO의 CEO 겸 설립자인 마크 클라진스키는 이러한 스토리지 시스템이 AI 워크로드와 야생 동물 보호 요구 사항에 부응하도록 설계되었다고 설명합니다. DGX 시스템은 빠른 AI 처리를 가능하게 하여 기존 컴퓨팅 설정보다 짧은 시간에 수백만 개의 이미지를 분석할 수 있습니다. 마크는 "우리는 이렇게 작은 공간에서 성능의 경계를 넓히고 있습니다."라고 말했습니다. "데이터를 저장하는 것뿐만 아니라 가능한 한 빠르고 효과적으로 처리하는 것도 중요합니다."
RDMA over NFS 및 NVMe over Fabric을 통해 이러한 스토리지 시스템은 ZSL이 요구하는 규모로 데이터를 처리할 때 필요한 고처리량 데이터 액세스를 제공할 수 있습니다. GPU 가속 AI 워크로드는 특히 이미지에서 종 분류 및 객체 감지와 같은 작업을 처리할 때 이러한 수준의 성능을 요구합니다.
보존에 있어서 AI의 역할
런던 동물원에서 사용하는 뛰어난 AI 도구 중 하나는 Microsoft의 MegaDetector입니다. 이 AI 모델은 인간이나 자동차와 같은 관련 없는 항목을 탐지하고 필터링하고 추가 분석을 위해 동물을 분리하여 이미지 전처리를 자동화하는 데 도움이 됩니다. 이전에는 표준 노트북이 분당 몇 개의 이미지만 처리할 수 있었지만 새로운 인프라를 사용하면 동일한 시간 내에 수천 개의 이미지를 처리할 수 있습니다.
이는 더 복잡한 AI 기반 프로세스의 첫 단계에 불과합니다. 초기 필터링 후 AI 모델은 종 인식에 사용됩니다. 훨씬 더 어려운 작업입니다. Carbone은 "지금쯤은 더 잘할 수 있을 거라고 생각할 수 있겠지만, 정말 어렵습니다."라고 숙고합니다. 식물은 종종 동물을 가려서 AI가 종을 올바르게 분류하기 어렵게 만듭니다. 그러나 경계 상자를 사용하여 AI의 주의를 집중시키는 것과 같은 새로운 기술은 정확도를 개선합니다.
이미지에 태그를 지정하고 분석한 후, 데이터를 보다 복잡한 모델에 입력할 수 있습니다. 이러한 모델은 보존론자에게 개체군 추정치와 종 상호작용 패턴과 같은 중요한 통찰력을 제공합니다. 이러한 분석 결과는 런던과 전 세계의 보존 전략을 형성하는 데 도움이 됩니다.
실시간 백업 및 데이터 보안
귀중한 보존 데이터를 다룰 때 데이터 무결성은 매우 중요합니다. PEAK:AIO에는 이러한 데이터가 손실되지 않도록 중복 백업 시스템이 내장되어 있습니다. Solidigm 스토리지의 1.2PB는 NVMe over RDMA를 사용하여 거의 실시간으로 백업되며, 데이터는 기존 복구 프로세스 없이도 거의 즉시 복구할 수 있습니다. Klarzynski는 "실제로 복구하는 것이 아니라 사용하기만 하면 됩니다."라고 강조합니다.
보안을 강화하기 위해 백업 프로세스는 데이터가 변경 불가능하도록 보장하여 보존 데이터의 민감한 특성을 감안할 때 중요한 기능인 변조가 불가능함을 의미합니다. 문제가 발생하더라도 데이터에 즉시 액세스할 수 있어 수년간의 연구를 보존할 수 있습니다.
보존 기술의 미래
보존 활동이 계속 확대됨에 따라 첨단 기술 솔루션에 대한 수요도 증가할 것입니다. 런던 동물원에서 수행된 작업은 AI, 고성능 컴퓨팅, 엣지 기반 스토리지 시스템을 결합하면 무엇이 가능한지에 대한 모델이 됩니다. PEAK:AIO의 Mark는 이미 놀라운 성과를 이루었지만 아직 피상적인 수준에 불과하다고 지적합니다. 그는 "AI가 할 수 있는 일 중에는 우리가 아직 알지 못하는 것도 있습니다."라고 말합니다.
미래에는 글로벌 협업이 더욱 중요해질 가능성이 큽니다. 연구자들은 기상 관측소가 작동하는 방식과 유사한 글로벌 카메라 트랩 네트워크가 전 세계의 종과 생태계에 대한 실시간 데이터를 제공할 것으로 예상합니다. 세계가 환경적 도전에 직면함에 따라 이러한 기술은 지구의 야생 동물을 보호하기 위한 싸움에서 없어서는 안 될 도구가 될 것입니다.
결론
런던 동물원의 ZSL, PEAK:AIO, Solidigm의 협업은 기술이 보존에 있어 실제 변화를 어떻게 주도할 수 있는지 보여줍니다. 고성능 스토리지와 AI를 활용하여 보존론자들은 기록적인 시간 내에 엄청난 양의 데이터를 처리하여 동물 행동, 개체군 역학 및 생태계 건강에 대한 새로운 통찰력을 제공할 수 있습니다. 야생 동물 보존의 미래는 부인할 수 없이 디지털이며, 이와 같은 프로젝트는 지구에서 가장 취약한 종을 보호하는 방법을 형성하고 있습니다.
이 보고서는 Solidigm이 후원합니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 우리의 공정한 견해를 기반으로 합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
