محققان مغز برای ذخیره سازی سریع HPC NVMe-over-RoCE دریافت می کنند


انستیتوی مغز پاریس (ICM) یک آرایه تمام فلش OpenFlex E3000 را از Western Digital با رسانه NVMe و اتصال NVMe-over-Fabrics RoCE به سرورها مستقر کرده است.

این راه حل مزایای دو برابر سریع بودن را دارد – این یک شبکه ذخیره سازی معمولی نیست (SAN) – و اینکه می تواند ورودی / خروجی (ورودی / خروجی) را از طریق چندین طبقه در محل ICM برای محاسبات با کارایی بالا (HPC) ارائه دهد. ) نیاز دارد.

ICM در سال 2010 برای گردهم آوردن کارهای 700 محقق شکل گرفت. اطلاعات جمع آوری شده در حین تصویربرداری پزشکی و میکروسکوپ در ایستگاه های کاری تحت برخی پردازش ها قرار می گیرد ، اما بین ضبط و تجزیه و تحلیل داده ها ، داده ها نیز در مرکز داده های زیرزمین در ICM متمرکز می شوند.

کارولین ویدال ، مسئول فنی ICM ، می گوید: “چالش با استقرار این است که برای عبور از طبقه هایی که آزمایشگاه ها و مرکز داده را جدا می کنند ، ترافیک باید از طریق کابل های اترنت و سوئیچ هایی که اشتراک پرونده ها را نیز کنترل می کنند ، حرکت کند.”

“از نظر تاریخی ، نصب مانند این از NAS استفاده می كرد [network-attached storage] ذخیره سازی ، که عملکرد واقعاً مطابق با سرعت خواندن و نوشتن سازها را ندارد. با استفاده از جدیدترین میکروسکوپ ها ، ذخیره داده ها بیشتر و بیشتر طول می کشد ، و سپس در دسترس بودن در ایستگاه های کاری به معنای محققان است که گاهی اوقات ساعت ها جلوی صفحه نمایش خود منتظر می مانند.

“در ابتدا ، ما یک NAS از Active Circle را انتخاب کردیم که دارای تعدادی از ویژگی های اساسی ما بود ، مانند امنیت داده ها. اما ما متوجه شدیم که از دست دادن داده ها در واقع مسئله ای برای محققان ما نبوده است – نقطه درد واقعی انتظار برای رسیدن به داده های آنها بود.

ویدال می گوید: “ما تا سال 2016 تصمیم گرفتیم NAS را کنار بگذاریم و همه یافته ها را از طریق ذخیره سازی Luster در ابر رایانه خود به اشتراک بگذاریم ، زیرا برای دسترسی سریع همزمان ساخته شده است.”

مانند سایر مutesسسات تحقیقاتی ، مرکز داده ICM حول ابررایانه آن ساخته شده است. داده های در حال پردازش در یک خوشه سیستم پرونده Luster ذخیره می شوند و سپس در ذخیره سازی شی بایگانی می شوند ، با استفاده از داده های مورد استفاده دانشمندان از NAS.

اما بعد از سه سال ، همین بود. ظرفیت 3PB در سیستم فایل Luster با داده های مشاهده اشباع شده است. دیگر دیگر جایی برای فرصت بیشتر نبود.

NVMe / RoCE: سرعت SAN ، استقرار آسان مانند NAS

ویدال می افزاید: “در سال 2019 ، ما به فکر تمرکززدایی فضای ذخیره سازی از ایستگاه های کاری به معنای توزیع ذخیره سازی کاملاً فلش بین طبقات بودیم. دشواری این بود که ساختمان ما برای استقرار موارد از این طریق سازگار نیست. ما در راهروهای خود به مراکز داده کوچک نیاز داشتیم و این به معنای کار زیاد است. “

بنابراین ، یکی از معماران فنی ویدال به Western Digital مراجعه کرد ، که پیشنهاد ICM اثبات مفهوم راه حل بیش از حد پارچه های NVMe را منتشر نکرد.

ویدال می گوید: “آنچه در مورد محصول OpenFlex جالب بود این بود که با NVMe / RoCE امکان نصب آن در مرکز داده و اتصال آن به ایستگاه های کاری در چند طبقه از طریق زیرساخت های موجود وجود دارد.”

“از نظر فیزیکی ، نصب محصول آسانتر از جعبه NAS است. همچنین سریعتر از آرایه های فلاش است که می توانیم در کنار آزمایشگاه ها مستقر کنیم. “

NVMe-over-fabrics یک پروتکل ذخیره سازی است که به درایوهای حالت جامد NVMe (SSD) اجازه می دهد تا به عنوان پسوند حافظه غیر فرار متصل شده از طریق سرور گذرگاه PCIe رفتار شوند. پروتکل SCSI را به عنوان یک لایه میانی ، که تمایل به ایجاد گلوگاه دارد ، از بین می برد و بنابراین سرعت جریان را چندین برابر سریعتر در مقایسه با آرایه متصل سنتی فراهم می کند.

NVMe با استفاده از RoCE پیاده سازی NVMe-over-Fabrics است که تقریباً از کابلها و سوئیچهای استاندارد اترنت استفاده می کند. در اینجا مزیت این است که این زیرساخت از قبل در بسیاری از ساختمانهای اداری مستقر شده است.

NVMe-over-RoCE از لایه های TCP / IP استفاده نمی کند. این متمایز از NVMe-over-TCP است که عملکرد کمی کمتری دارد و اجازه نمی دهد فضای ذخیره سازی و ترافیک شبکه از همان اتصالات عبور کند.

“در ابتدا ، ما می توانیم OpenFlex را از طریق تجهیزات شبکه ای که 10 گیگابیت بر ثانیه بود ، متصل کنیم. اما قدیمی شده بود ، بنابراین در مدت زمان کوتاهی ما به 100Gbps منتقل شدیم ، که به OpenFlex اجازه داد عضلات خود را خم کند. “

ICM امکان استقرار را با شریک ادغام خود 2CRSi تأیید کرد ، که ایده اجرای OpenFlex را مانند SAN که ظرفیت برای هر ایستگاه کاری به صورت محلی نشان داده می شود ، ارائه داد.

فریدریک موسمن ، مدیر فنی 2CRSi ، می گوید: “سیستم عامل OpenFlex به شما امکان می دهد تا با 1000 دستگاه مشتری ارتباط برقرار کند.” وی افزود: “شما فقط باید فضای ذخیره سازی را به میزان مستقل و با حداكثر 256 واحد تقسیم كنید و هر كدام از آنها به چهار ایستگاه كار تبدیل می شوند. دستگاههای مشتری باید به کارتهای سازگار با اترنت مجهز شوند ، مانند کارتهای Mellanox که با پشتیبانی 10Gbps برای پشتیبانی از RoCE ارتباط برقرار می کنند. “

ویدال می افزاید: “ما آزمایشاتی را انجام دادیم و برجسته ترین نتیجه تاخیر بود – که زیر 40 میکرومتر بود. در عمل ، این امکان را می دهد تا تصویر به صورت کاملا سیال ضبط شود ، بنابراین یک ایستگاه کاری می تواند توالی ها را بدون لکنت مشاهده کند. “

سیستم باز

شاسی E3000 در آغاز سال 2020 مستقر شد و 3U فضای رک را اشغال کرد. پنج مورد از شش شکاف عمودی آن با ماژول های 15 ترابایتی NVMe با مجموع 75 ترابایت ارائه می شود. طبق وسترن دیجیتال ، هر یک از اینها توان عملیاتی 11.5 گیگابایت بر ثانیه را برای خواندن و نوشتن با حدود 2 میلیون IOPS از هر کدام ارائه می دهد.

تمام این عناصر توسط یک کنترل کننده لینوکس قابل دسترسی از طریق خط فرمان یا از یک کنسول Puppet هنگام تقسیم درایوها یا تخصیص پویا ظرفیت به هر کاربر هدایت می شوند.

وی افزود: “یك چیز كه واقعاً ما را به خود جلب كرد ، گشودگی سیستم است. ما علاقه زیادی به فناوری های رایگان در دنیای علمی داریم. “

ویدال اضافه می کند: “واقعیت دانستن اینکه جامعه ای وجود دارد که می تواند به سرعت برنامه های افزودنی برای موارد استفاده مورد نیاز ما ایجاد کند ، اما همچنین هر سازنده ای می تواند ماژول های سازگار با SSD را ارائه دهد ، حتی اگر یک راه حل ابتکاری نسبتاً آزمایش نشده را انتخاب کرده ایم ، به ما اطمینان می دهد.” توضیح اینکه ICM چگونه در بخش آزمایشی OpenFlex بازی می کند.

در ICM ، OpenFlex از ماژول های SSD پشتیبانی می کند که می توانند ظرفیت خام را تا 61.4TB افزایش دهند. در انتهای پشت ، هر ماژول SSD دارای دو پورت 50Gbps اترنت در قالب اتصال نوری QSFP28 است.

ویدال می گوید: “این آرایه کاربردهای زیادی دارد.” “در حالی که منتظر مدرن سازی زیرساخت های اترنت خود هستیم ، OpenFlex را با چندین دستگاه سرویس گیرنده وصل کرده ایم. به مرور ، ما آن را برای تهیه نسخه پشتیبان در آزمایشگاه ها به NAS بدون دیسک متصل خواهیم کرد. اینها از طریق یک شبکه سنتی به ایستگاه های کاری متصل می شوند تا هزینه استقرار کارت های Mellanox RoCE کاهش یابد.

“در همان زمان ، OpenFlex را به بقیه مرکز داده متصل کرده ایم تا تأیید کنیم که می توانیم داده های Luster را در هنگام پردازش سنگین ارائه دهیم.”

ویدال می گوید همه گیری Covid-19 سرعت استقرار را کند کرده است ، اما او قبلاً مزایایی را دیده است.

“دانشمندان ما با سرعت پایین حرکت داده ها در خط تجزیه و تحلیل بالینی خود محدود نیستند. آنها اکنون می توانند روی تصاویر با وضوح 4 برابر تصویر قبلی کار کنند. شک نداریم که این امر به تعمیق درک بیماری های عصبی و کمک به معرفی سریع درمان های جدید کمک خواهد کرد. “


منبع: tadrisriazi-news.ir

Leave a reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>