
Тренування моделі машинного навчання може споживати більше ресурсів процесора, пам'яті та пропускної здатності введення-виведення, аніж будь-яке інше програмне завдання. Одна суперсучасна модель за кілька проходів навчального набору даних може читати та записувати сотні терабайт, вичерпуючи можливості навіть найшвидших масивів пам'яті. З початком гонки штучного інтелекту, коли кожна сфера діяльності та державна установа змагаються за розширення меж його продуктивності, необхідність у надійному та відтворюваному способі тестування конкретних апаратних ресурсів для робочих навантажень машинного навчання стала особливо актуальною. Група MLCommons стала піонером у цій сфері, представивши MLPerf Storage v2.0, що запроваджує інноваційні методи оцінки продуктивності сховищ даних у машинному навчанні та використанні моделей. У цій статті розглядається, як U.2 PCIe Gen5 NVMe SSD-накопичувачі Kingston DC3000ME працюють в рамках тестової програми MLPerf без використання дорогого графічного обладнання. Використовуючи паузи у зверненнях до сховища для емуляції розрахунків у графічному процесорі, MLPerf імітує реальні навантаження штучного інтелекту, що дозволяє організаціям тестувати продуктивність сховищ даних в економічно ефективний та масштабований спосіб.
Чому це важливо? Швидке сховище забезпечує продуктивність графічних процесорів за рахунок швидкої передачі даних, мінімізації часу простою та максимізації обчислювальної ефективності. Накопичувачі DC3000ME від Kingston допомагають організаціям прискорити цикли навчання, зменшити витрати на інфраструктуру та досягти масштабованої продуктивності за меншої кількості накопичувачів, що робить їх розумною інвестицією в сучасні системи штучного інтелекту.
У цій публікації ми:
- Розглядаємо новий метод MLPerf v2 для тестування сховищ з використанням пауз для емуляції періодів обробки даних
- Представляємо різні робочі навантаження з навчання та збереження контрольних точок, що використовуються в MLPerf v2 для сховищ даних.
- Обговорюємо результати тестування Kingston DC3000ME в робочих навантаженнях для навчання та збереження контрольних точок на платформах PCIe Gen5 та Gen4.
Результати показують, що такі рішення PCIe Gen5 NVMe, як DC3000ME, є привабливим варіантом для організацій, які прагнуть максимального завантаження прискорювачів та збільшення часу активності графічних процесорів у робочих процесах машинного навчання. Ми детально розповідаємо про налаштування, методологію тестування та оптимізацію після тестування, а також про їхній вплив на різні робочі навантаження.
U.2 PCIe Gen5 NVMe SSD-накопичувачі Kingston DC3000ME — це високоефективне рішення для робочих навантажень ШІ. Незалежно від того, чи ви тренуєте моделі глибокого навчання, або доналаштовуєте великі мовні моделі — ці накопичувачі забезпечують швидкість, надійність та ефективність, необхідні для того, щоб залишатися лідером у гонці ШІ.
Завантажити статтю