Tam Sıvı Soğutmalı Soğuk Plaka Sunucusu

 

Sıvı soğutma teknolojisinin gelişimini daha da ilerletmek ve ekosistemi olgunlaştırmak amacıyla Inspur Information, Intel ile iş birliği yaparak genel amaçlı yüksek yoğunluklu sunucular için sıvı soğutma tasarımlarını optimize etmeye odaklandı.

 

CPU ve GPU sıvı soğutmanın endüstride yaygın olarak benimsenmesine ek olarak, yüksek güçlü bellek, katı hal sürücüler (SSD'ler), OCP ağ kartları, PSU'lar, PCIe kartları ve optik modüller için sıvı soğutma konusunda derinlemesine inceleme ve araştırmalar yürütülmektedir.

 

Bu çaba, sektördeki en yüksek sıvı soğutma kapsamına ulaşılmasını, farklı seviyelerdeki sıvı soğutma kapsamı için çeşitli dağıtım gereksinimlerinin karşılanmasını ve internet ve telekomünikasyon gibi sektörlerdeki müşterilere genel altyapı olanakları ve çeşitli teknik destek sağlanmasını sağlamıştır.

 

Tamamen sıvı soğutmalı soğuk plaka sisteminin bu gelişimi, Inspur Information'ın 2U dört düğümlü yüksek yoğunluklu bilgi işlem sunucusu i24'e dayanmaktadır. Her sıvı soğutmalı düğüm, 16 DDR5 bellek modülü, bir PCIe genişletme kartı ve bir OCP 3.0 ağ kartıyla eşleştirilmiş iki Intel 5. Nesil Xeon Ölçeklenebilir İşlemciyi destekler. Tüm sistem, yüksek yoğunluklu bilgi işlem gücü elde ederken müşterilerin depolama ihtiyaçlarını karşılayarak sekiz adede kadar SSD'yi destekleyebilir.Sunucunun ana ısı üreten bileşenleri arasında CPU, bellek, G/Ç kartları, yerel sabit diskler ve şasi güç kaynağı bulunur.

 

Sıvı soğutma çözümü, sistem ısısının yaklaşık %95'inin, soğuk plakanın ısı kaynağıyla teması yoluyla doğrudan sıvı tarafından uzaklaştırılmasını sağlar. Isının kalan %5'i, PSU'nun arkasında bulunan hava-sıvı ısı eşanjöründeki soğutma suyu tarafından taşınır ve sistem düzeyinde neredeyse %100 sıvı ısı yakalama elde edilir.

 

 

I Sistem Kompozisyonu ve Boru Hattı Düzeni

 

1. Tam Sıvı Soğutmalı Sunucu Sistemine Genel Bakış

2U dört düğümlü tamamen sıvı soğutmalı sunucu sistemi düğümlerden, şasiden, orta düzlemden ve SSD modüllerinden oluşur. Düğümler ve şasi bileşenleri arasındaki bağlantı, su, güç ve hızlı konektörler, güç ve sinyal konektörleri aracılığıyla sinyaller için kör bağlantılarla gerçekleştirilir.

 

▲ Şekil 1. 2U Dört Düğümlü Tam Dalga Soğutmalı Sunucu

 

2. Tamamen Sıvı Soğutmalı Sunucu Tek Düğümünün Genel Görünümü

Tamamen sıvı soğutmalı sunucu düğümü, düğüm kabuğu, anakart, CPU yongaları, bellek modülleri, bellek soğuk plakası, CPU soğuk plakası, G/Ç soğuk plakası, güç kaynağı ve güç kaynağı için arka ısı değiştiriciden oluşur.

 

▲ Şekil 2. Tam Sıvı Soğutmalı Sunucu Düğümü

 

 

II Akış Deseninin Seçimi ve Akış Hızı Hesaplaması

 

Akış yolu tasarımının karmaşıklığını basitleştirmek için, bu tamamen sıvı soğutmalı sunucu soğutma sıvısı için seri akış yolu tasarımı kullanır. Soğutma sıvısı ısı dağılımı için düşük güçlü bileşenlerden yüksek güçlü bileşenlere doğru akar. Ayrıntılı akış yönü aşağıdaki diyagramda ve tabloda gösterilmiştir.

 

▲ 2U Dört Düğümlü Tam Sıvı Soğutmalı Sunucunun Seri Akış Yolu

 

▲ Tablo 3. Soğutma Ortamı Akış Sırası

 

Tamamen sıvı soğutmalı bir soğutucunun akış hızıneden olmuşsunucu mSistemin soğutma gereksinimlerini karşılamalıdır:

• İkincil taraf boru malzemesinin uzun vadeli güvenilirliğini sağlamak için, ikincil taraftaki dönüş suyu sıcaklığı 65 dereceyi geçmemelidir.
• Tamamen sıvı soğutmalı sunucunun tüm bileşenlerinin tanımlanmış sınır koşulları içerisinde soğutma gereksinimlerini karşıladığından emin olmak için akış hızı tasarım analizi için bakır soğuk plaka ve PG25 seçilmiştir.

 

Sekonder taraftaki dönüş suyu sıcaklığının 65 dereceyi geçmemesi gerekliliğini karşılamak için, düğüm başına PG25 minimum debisi Qmin, aşağıdaki formül kullanılarak hesaplanır:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Tamamen Sıvı Soğutmalı Sunucu Soğuk Plakasının Temel Bileşen Tasarımı

 

1. CPU Soğuk Plaka Tasarımı

CPU soğuk plaka modülü, Intel'in 5. Nesil Xeon Ölçeklenebilir İşlemci soğuk plaka tasarım gereksinimlerine göre optimize edilmiş bir referans tasarımdır. Soğutma, yapısal performans, verim oranı, maliyet ve farklı malzemelerle uyumluluk gibi faktörleri dikkate alır. CPU soğuk plakası, temel olarak bir CPU soğuk plaka alüminyum braketi, CPU soğuk plakası ve soğuk plaka konektörlerinden oluşur.

 

▲ Şekil 4. CPU Soğuk Plaka Modülü

 

2. Bellek Sıvı Soğutma Tasarımı

Bellek sıvı soğutma tasarımı, adını bir demiryolu rayındaki traversler gibi düzenlenmiş bellek modüllerinden alan yenilikçi bir uyuyan soğutucu sıvı soğutma çözümünü benimser. Bu çözüm, geleneksel hava soğutmayı ve soğuk plaka soğutmayı birleştirir. Dahili ısı borularına (veya saf alüminyum/bakır plakalar, Buhar Odası, vb.) sahip olan soğutucu, ısıyı bellek modüllerinden her iki uca aktarır. Isı daha sonra seçili termal pedler aracılığıyla soğuk plakaya aktarılır ve son olarak, soğuk plakanın içindeki soğutucu ısıyı uzaklaştırarak bellek soğutmasını sağlar.

 

Bellek ve soğutucu, sistemin dışındaki en küçük bakım ünitesine monte edilebilir (bundan sonra bellek modülü olarak anılacaktır). Bellek soğuk plakası, soğutucu ile bellek soğuk plakası arasında iyi bir temas sağlamak için bir bellek modülü sabitleme yapısına sahiptir. Bu sabitleme yapısı vidalarla sabitlenebilir veya gerektiğinde alet kullanmadan bakımı yapılabilir. Bellek soğuk plakasının üst kısmı belleği soğuturken, alt kısmı anakarttaki VR'ler gibi diğer ısı üreten bileşenleri soğutur. Bellek soğuk plakası tasarımını basitleştirmek için, farklı anakartların yükseklik kısıtlamalarını karşılamak üzere bellek ile anakart arasında bir adaptör braketi tasarlanabilir.

 

▲ Şekil 5.Sleeper Isı Emici Sıvı Soğutma Çözümü

 

Piyasadaki mevcut borulu bellek sıvı soğutma çözümleriyle karşılaştırıldığında, uyuyan soğutucu sıvı soğutma çözümü aşağıdaki temel avantajlara sahiptir:

 

Kolay Bakım:Bellek bakımı, soğutucu ve bağlantı elemanlarını çıkarmaya gerek kalmadan hava soğutmalı bir bellek modülünün bakımı kadar basittir. Bu, sıvı soğutmalı belleğin montaj verimliliğini ve güvenilirliğini büyük ölçüde iyileştirerek, sistemde sökme ve yeniden montaj sırasında bellek yongalarına ve termal pedlere gelebilecek olası hasarı azaltır.

 

İyi Uyumluluk:Bu çözümün ısı dağıtma performansı farklı bellek yongası kalınlıkları ve bellek aralıklarından etkilenmez. 7,5 mm ve üzeri minimum bellek aralıklarıyla uyumludur. Isı emici ve soğuk plakanın ayrıştırılmış tasarımı, bellek sıvı soğutmasının yeniden kullanılmasına ve standartlaştırılmasına olanak tanır.

 

Daha Yüksek Maliyet Etkinliği:Bellek soğutucu, farklı işlemler ve soğutma teknolojileriyle bellek güç tüketimine göre seçilebilir ve miktar belleğe göre gerektiği gibi yapılandırılabilir. 7,5 mm bellek aralığı senaryosunda, 30 W'ı aşan bellek modüllerinin soğutma ihtiyaçlarını karşılayabilir.

 

Üretim ve Montaj Kolaylığı:Bellek yuvaları arasında sıvı soğutma tüpleri bulunmadığından karmaşık tüp kaynaklama ve işlem kontrolüne gerek kalmaz. Geleneksel hava soğutmalı soğutucu ve genel CPU soğuk plaka üretim süreçleri kullanılabilir. Soğutucu monte edilirken, ısı dağılımı performansı soğutucu ile anakart arasındaki bellek yongası düzlemine dik yöndeki toleranslara duyarlı değildir, bu da zayıf termal teması önler ve montajı kolaylaştırır.

 

İyi Güvenilirlik:Sleeper sıvı soğutma çözümü, montaj sırasında bellek yongalarına ve termal pedlere gelebilecek olası hasarı önler ve birden fazla takma ve çıkarma işlemine dayanabilir. Ayrıca, bellek ve boru sıvı soğutma çözümlerini taktıktan sonra bellek ve yuvalar arasında eğilme nedeniyle oluşan sinyal teması arızası riskini önleyerek sistem güvenilirliğini önemli ölçüde artırır.

 

3. Sabit Sürücü Sıvı Soğutma Tasarımı

Yenilikçi katı hal sürücü (SSD) sıvı soğutma çözümü, ısıyı doğrudan termal pedlerle temas yoluyla sabit sürücü alanından sabit sürücü alanının dışındaki soğuk plakaya aktarmak için yerleşik ısı borularına sahip bir soğutucu kullanır ve böylece ısı alışverişi sağlar.

 

Bu SSD sıvı soğutma çözümü, esas olarak bir soğutucu, bir SSD soğuk plakası, bir sabit disk modülü kilitleme mekanizması ve bir sabit disk braketi ile donatılmış bir SSD modülünden oluşur. Sabit disk modülü kilitleme mekanizması, uygun ön yükleme kuvveti sağlamak için sabit disk braketine sabitlenmiştir ve SSD modülü ile SSD soğuk plakası arasında uzun vadeli temas güvenilirliğini garanti eder. Sabit disk soğuk plaka halkasının dar bir alana kurulumunu kolaylaştırmak için sabit disk braketi, sunucunun derinlik yönünde çekmece tipi bir kurulum yöntemi ile tasarlanmıştır.

 

▲ Şekil 6. Yenilikçi Katı Hal Sürücü Sıvı Soğutma Çözümü

 

Bu çözümün sektördeki mevcut sabit disk sıvı soğutma girişimleriyle karşılaştırıldığında sahip olduğu gelişmiş özellikler şunlardır:

 

• Sistem kapatılmadan 30'dan fazla sıcak değişimi destekler.
• Sabit disk montajı sırasında termal arayüz malzemelerinde kesme hasarı riski yoktur; kilitleme mekanizması tasarımı uzun vadeli temas güvenilirliğini garanti eder.
• Sıvı soğutma çözümü için düşük işlem gereksinimleri; yalnızca geleneksel hava soğutma ve CPU soğuk plaka işleme tekniklerine ihtiyaç vardır.
• Sabit diskler arasında su tasarımı yok; birden fazla sabit disk aynı soğuk plakayı paylaşabilir, böylece ek yeri sayısı azaltılır ve sızıntı riski düşürülür.
• Farklı kalınlık ve miktardaki solid-state sürücülere (SSD) sahip sistemlere esnek bir şekilde uyum sağlar.

 

4. PCIe/OCP Kart Sıvı Soğutma Tasarımı

 

PCIe Sıvı Soğutma Çözümü

PCIe kart sıvı soğutma çözümü, mevcut hava soğutmalı PCIe kartına dayanmaktadır. Sistem soğuk plakasına temas edebilen bir PCIe kart soğutma modülü geliştirerek optik modül ve PCIe kartındaki ana yongalar için soğutma sağlar. Optik modülden gelen ısı, ısı boruları aracılığıyla PCIe kart yongasındaki ana soğutma modülüne aktarılır ve soğutma modülü daha sonra uygun bir termal arayüz malzemesi aracılığıyla IO soğuk plakasıyla ısı alışverişi yapar.

 

Sıvı soğutmalı PCIe kartı esas olarak bir QSFP ısı emici klipsi, PCIe çip soğutma modülü ve PCIe kartının kendisinden oluşur. QSFP ısı emici klipsi, PCIe soğutma modülündeki QSFP ısı emici ve kafes birleştirildiğinde düzgün bir şekilde yüzdürülmesini sağlamak için uygun elastikiyetle tasarlanmıştır, iyi bir kullanıcı deneyimi sunar, optik modüle zarar gelmesini önler ve etkili soğutma için sabit temas sağlar.

 

▲ Şekil 7. PCle Kart Sıvı Soğutma Modülü

 

OCP3.0 Sıvı Soğutma Çözümü

OCP3.0 kartının sıvı soğutma çözümü, OCP3.0 kartı için özel bir sıvı soğutmalı soğutucunun kullanıldığı PCIe kartına benzer. Karttaki yongalar tarafından üretilen ısı, sıvı soğutmalı soğutucuya aktarılır ve ısı, en sonunda soğutucu ile sistemin IO soğuk plakası arasındaki temas yoluyla dağıtılır.

 

OCP3.0 sıvı soğutma modülü esas olarak ısı emici modül, OCP3.0 kartı ve braketinden oluşur. Alan kısıtlamaları nedeniyle, sıvı soğutmalı OCP3.0 kartı monte edildikten sonra ısı emici modül ile IO soğuk plakası arasında uzun vadeli temas güvenilirliğini sağlamak için kilitleme mekanizması olarak bir yaylı vida kullanılır.

 

▲ Şekil 8. OCp3.0 Sıvı Soğutma Modülü

 

OCP3.0 kartının gelecekteki bakımının kolaylığı ve birden fazla sıcak değiştirme gereksinimi göz önünde bulundurularak, kilitleme mekanizmasının tasarımı ve termal arayüz malzemelerinin seçimi, genel güvenilirliği ve kullanım ve bakım kolaylığını artırmak için optimize edilmiştir.

 

IO Soğuk Plaka Çözümü

IO soğuk plakası, anakartın IO alanındaki ısıtma bileşenlerinden gelen ısıyı dağıtmanın yanı sıra sıvı soğutmalı PCIe kartını ve sıvı soğutmalı OCP3.0 kartını da soğutan çok işlevli bir soğuk plakadır.

 

▲ Şekil 9. lO Soğuk Plaka

 

▲ Şekil 10. Sıvı Soğutmalı PCle Kartı, Sıvı Soğutmalı OCP3.0 ve IO Soğuk Plakanın Konumu

 

IO soğuk plakası temel olarak IO soğuk plakası gövdesi ve bakır boru kanallarından oluşur. IO soğuk plakası gövdesi alüminyum alaşımdan yapılmıştır, bakır borular ise soğutma sıvısı kanallarından sorumludur ve ısı dağılımını artırır. Belirli tasarım, anakart düzeni ve bileşen soğutma gereksinimlerine göre optimize edilmelidir. Sıvı soğutmalı PCIe kartındaki ve sıvı soğutmalı OCP3.0 kartındaki soğutucu modülleri, IO soğuk plakasına ok yönünde temas eder. Soğutma sıvısı kanalları için malzeme seçimi, sistemin boru hattı soğutma sıvısı ve ıslatma malzemeleriyle uyumluluğu dikkate almalıdır.

 

Bu IO soğuk plaka sıvı soğutma çözümü, birden fazla bileşenin çok boyutlu montaj gereksinimlerini karşılar. Bakır ve alüminyum malzemelerin karışık kullanımı, malzeme uyumluluk sorunlarını ele alır, soğutma etkinliğini garanti eder, soğuk plakanın ağırlığını %60 oranında azaltmaya yardımcı olur ve maliyetleri düşürür.

 

5. Güç Kaynağı Soğuk Plaka Tasarımı

Güç kaynağı sıvı soğutma çözümü, mevcut hava soğutmalı güç kaynağına harici bir hava-sıvı ısı değiştiricisi takarak PSU fanının egzoz havasını soğutmayı içerir ve böylece sistemin harici veri merkezi ortamını önceden ısıtması azaltılır.

 

PSU arka ısı değiştiricisi, kanalların ve kanatçıkların üst üste istiflendiği çok katmanlı bir yapıya sahiptir. PSU arka ısı değiştiricisinin boyutu, soğutma gereksinimleri, ağırlık ve maliyet arasında denge sağlamalı, güç kablosu takma/çıkarma işlevine müdahale etmemeli ve sistem kabininin alan kısıtlamalarını karşılamalıdır. PSU arka ısı değiştiricisi, düğüm braketine bağımsız olarak monte edilir.

 

▲ Şekil 11. PSU Arka Isı Eşanjörü

 

Bu yenilikçi güç kaynağı sıvı soğutma çözümü, yeni sıvı soğutmalı güç kaynakları geliştirme ihtiyacını ortadan kaldırarak geliştirme döngüsünü kısaltır ve geliştirme maliyetlerini düşürür. Mükemmel çok yönlülüğü, özelleştirilmiş sıvı soğutmalı güç kaynaklarına kıyasla %60'tan fazla tasarruf sağlayarak, birden fazla tedarikçiden gelen güç kaynağı çözümlerine esnek bir şekilde uyum sağlamasını sağlar.

 

Tüm kabinleri içeren uygulamalar için, güç kaynağı sıvı soğutması merkezi bir hava-sıvı ısı eşanjörü çözümünden de yararlanabilir. Bu, kabinin ön ve arka kapılarını kapatmayı ve kabinin altına merkezi bir hava-sıvı ısı eşanjörü yerleştirmeyi, PSU'nun arkasındaki dağıtılmış hava-sıvı ısı eşanjörü yapısını merkezi bir yapıyla değiştirmeyi içerir.

 

Merkezi hava-sıvı ısı eşanjörü, ısı değişimini artırmak için hidrofilik bir tabaka ile kaplanmış alüminyum oluklu kanatçıklar ve yüksek ısı transfer katsayılı bakır borulardan oluşur. 10 derecelik bir sıcaklık farkıyla en az 8 kW soğutma kapasitesi sağlayabilir. Isı eşanjörünün akış yolu, düşük dirençte daha fazla akışı idare etmek için simülasyon yoluyla optimize edilmiştir. Güvenlik risklerini ortadan kaldırmak için yoğuşma önleyici tasarıma ve kapsamlı sızıntı tespitine sahiptir. Özel bir menteşe tasarımı yüksek yük gereksinimlerini karşılar ve bir kart yuvası bağlantı tasarımı kurulumu ve bakımı kolaylaştırır.

 

Tek bir sıvı soğutmalı sunucudan gelen ısının %95'inden fazlası soğuk plaka tarafından yönetilirken, ısının %5'inden azının hava-sıvı ısı değiştiricisi tarafından işlenmesi gerekir. Her düğüm yalnızca 40-50W hava-sıvı ısı değişimi gerektirir ve tek bir merkezi hava-sıvı ısı değiştiricisi 8kW ısı değişimi kapasitesini destekler ve 150 dağıtılmış hava-sıvı ısı değiştiricisinden çok daha düşük bir maliyetle en az 150 düğüm için soğutma sağlar.

 

Bu çözüm, sunucu güç kaynaklarının değiştirilmeden kalmasını sağlar, üretilen ısı, kabinin arkasındaki merkezi hava-sıvı ısı değiştiricisi tarafından toplanır ve eşit şekilde değiştirilir. Isı, kabin içinde kendi kendine yeten bir sirkülasyon oluşturur, veri merkezi ortamına hiçbir etkisi olmaz ve gerçek anlamda "Bilgisayar olarak Raf" elde edilir.