Суперкомпьютер своими руками / Habr
На сегодняшний день возможно построение домашнего суперкомпьютера, о чем и пойдет речь.В статье рассмотрены способы аппаратного построения высокопроизводительных вычислительных комплексов. Одно из интересных применений – криптография. Например, благодаря современным технологиям, любому стал доступен взлом MD5 или WPA. Если постараться (информацию быстро выпиливают), в Интернете можно найти способ взлома алгоритма A5/2, используемого в GSM. Другое применение – инженерные, финансовые, медицинские расчеты, биткойнмайнинг.
Немного истории
Датой первого письменного упоминания о суперкомпьютерах можно считать 1 марта 1920 года. Нью Йоркские газеты писали о машинах мощностью в сто математиков. Это были табуляторы – электромеханические вычислительные машины, производимые компанией IBM (которая тогда называлась еще CTR). В дальнейшем вычислительные машины стали электронными. На рынке суперкомпьютеров образовалось несколько игроков, таких как Cray, HP, IBM, Nec. Эти компьютеры имели векторные процессоры (то есть оперировали не отдельными числами, а векторами). Для коммуникации между вычислительными узлами использовались проприетарные технологии фирм-производителей. Например, одна из таких технологий – соединение процессоров по топологии четырехмерного тора — за этими словами скрывается очень простой смысл: каждый узел связан с шестью другими. Дальнейшее развитие суперкомпьютеров породило направление массово параллельных систем и кластеров. В кластерах как квинтэссенции этого направления используются примерно те же алгоритмы коммуникации между вычислительными узлами, что и в суперкомпьютерах, только на базе сетевых интерфейсов. Они и являются слабым местом таких систем. Помимо нестандартной (по сравнению с классической звездой) топологии сети как Fat Tree, «многомерный тор» или Dragonfly, требуются специальные коммутационные устройства.Касаясь взятой нами темы, нельзя не упомянуть, что сегодня одно из перспективных направлений развития суперкомпьютеров является использование в стандартной компьютерной архитектуре сопроцессоров, по архитектуре напоминающих видеокарты.
Выбор процессора
Сегодня основные производители процессоров – это Intel и AMD. RISC-процессоры, такие как Power 7+, несмотря на привлекательность, достаточно экзотичны и дороги. Вот, например, не самая новая модель такого сервера стоит больше миллиона.
(К слову, говоря, при этом есть возможность собрать недорогой и эффективный кластер из xbox 360 или PS3, процессоры там примерно как Power, и на миллион можно купить не одну приставку.)
Исходя из этого отметим интересные по цене варианты построения высокопроизводительной системы. Разумеется, она должна быть многопроцессорной. У Intel для таких задач используются процессоры Xeon, у AMD – Opteron.
Если много денег
Отдельно отметим крайне дорогую, но производительную линейку процессоров на сокете Intel Xeon LGA1567.Топовый процессор этой серии – E7-8870 с десятью ядрами 2,4 ГГц. Его цена $4616. Для таких CPU фирмы HP и Supermicro выпускают! восьмипроцессорные! серверные шасси. Восемь 10-ядерных процессоров Xeon E7-8870 2.4 ГГц с поддержкой HyperThreading поддерживают 8*10*2=160 потоков, что в диспетчере задач Windows отображается как сто шестьдесят графиков загрузки процессоров, матрицей 10×16.
Однако это очень дорого.
Что подешевле
Зато есть перспектива сборки суперкомпьютера на более доступных процессорах AMD Opteron G34, Intel Xeon LGA2011 и LGA 1366.
| Модель |
Кол-во ядер |
Частота |
Цена, $ |
Цена/ядро, $ |
Цена/Ядро/ГГц |
| AMD |
|
|
|
|
|
| 6386 SE |
16 |
2,8 |
1392 |
87 |
31 |
| 6380 |
16 |
2,5 |
1088 |
68 |
27 |
| 6378 |
16 |
2,4 |
867 |
54 |
23 |
| 6376 |
16 |
2,3 |
703 |
44 |
|
| 6348 |
12 |
2,8 |
575 |
48 |
17 |
| 6344 |
12 |
2,6 |
415 |
35 |
13 |
| 6328 |
8 |
3,2 |
575 |
72 |
22 |
| 6320 |
8 |
2,8 |
293 |
37 |
13 |
| INTEL |
|
|
|
|
|
| E5-2690 |
8 |
2,9 |
2057 |
257 |
89 |
| E5-2680 |
8 |
2,7 |
1723 |
215 |
80 |
| E5-2670 |
8 |
2,6 |
1552 |
194 |
75 |
| E5-2665 |
8 |
2,4 |
1440 |
180 |
75 |
| E5-2660 | 8 |
2,2 |
1329 |
166 |
76 |
| E5-2650 |
8 |
2 |
1107 |
138 |
69 |
| E5-2687W |
8 |
3,1 |
1885 |
236 |
76 |
| E5-4650L |
8 |
2,6 |
3616 |
452 |
174 |
| E5-4650 |
8 |
2,7 |
3616 |
452 |
167 |
| E5-4640 |
8 |
2,4 |
2725 |
341 |
142 |
| E5-4617 |
6 |
2,9 |
1611 |
269 |
93 |
| E5-4610 |
6 |
2,4 |
1219 |
203 |
85 |
| E5-2640 |
6 |
2,5 |
885 |
148 |
59 |
| E5-2630 |
6 |
2,3 | 612 |
102 |
44 |
| E5-2667 |
6 |
2,9 |
1552 |
259 |
89 |
| X5690 |
6 |
3,46 |
1663 |
277 |
80 |
| X5680 |
6 |
3,33 |
1663 |
277 |
83 |
| X5675 |
6 |
3,06 |
1440 |
240 |
78 |
| X5670 |
6 |
2,93 |
1440 |
240 |
82 |
| X5660 |
6 |
2,8 |
1219 |
203 |
73 |
| X5650 |
6 |
2,66 |
996 |
166 |
62 |
| E5-4607 |
6 |
2,2 |
885 |
148 |
67 |
| X5687 |
4 |
3,6 |
1663 |
416 |
115 |
| X5677 |
4 |
3,46 |
1663 |
416 |
120 |
| X5672 |
4 |
3,2 |
1440 |
360 |
113 |
| X5667 |
4 |
3,06 |
1440 |
360 |
118 |
| E5-2643 |
4 |
3,3 |
885 |
221 |
67 |
Жирным курсивом выделена модель с минимальным показателем соотношения, подчеркнутым – самый мощный AMD и на мой взгляд наиболее близкий по производительности Xeon.
Материнские платы
PICMG
На обычные материнские платы невозможно поставить более четырех двухслотовых плат расширения. Есть и другая архитектура – использование кросс-плат, таких как BPG8032 PCI Express Backplane.
В такую плату ставятся платы расширения PCI Express и одна процессорная плата, чем-то похожая на те, которые установлены в восьмипроцессорных серверах на базе Supermicro, о которых речь шла выше. Но только эти процессорные платы подчиняются отраслевым стандартам PICMG. Стандарты развиваются медленно и такие платы зачастую не поддерживают самые современные процессоры. Максимум такие процессорные платы сейчас выпускают на два Xeon E5-2448L — Trenton BXT7059 SBC.
Стоить такая система будет без GPU не меньше $5000.
Готовые платформы TYAN
За ту же примерно сумму можно приобрести готовую платформу для сборки суперкомпьютеров TYAN FT72B7015. В такой можно установить до восьми GPU и два Xeon LGA1366.
«Обычные» серверные материнские платы
Для LGA2011
Supermicro X9QR7-TF — на эту материнскую плату можно установить 4 Платы расширения и 4 процессора.
Supermicro X9DRG-QF — эта плата специально разработана для сборки высокопроизводительных систем.
Для Opteron
Supermicro H8QGL-6F — эта плата позволяет установить четыре процессора и три платы расширения
Усиление платформы платами расширения
Этот рынок почти полностью захвачен NVidia, которые выпускают помимо геймерских видеокарт еще и вычислительные карты. Меньшую долю рынка имеет AMD, и относительно недавно на этот рынок пришла корпорация Intel.
Особенностью таких сопроцессоров является наличие на борту большого объема оперативной памяти, быстрые расчеты с двойной точностью и энергоэффективность.
| FP32, Tflops | FP64, Tflops | Цена | Память, Гб | |
| Nvidia Tesla K20X | 3.95 | 1.31 | 5.5 | 6 |
| AMD FirePro S10000 | 5.91 | 1.48 | 3.6 | 6 |
| Intel Xeon Phi 5110P | 1 | 2.7 | 8 | |
| Nvidia GTX Titan | 4.5 | 1.3 | 1.1 | 6 |
| Nvidia GTX 680 | 3 | 0.13 | 0.5 | 2 |
| AMD HD 7970 GHz Edition | 4 | 1 | 0.5 | 3 |
| AMD HD 7990 Devil 13 | 2×3,7 | 2х0.92 | 1.6 | 2×3 |
Топовое решение от Nvidia называется Tesla K20X на архитектуре Kepler. Именно такие карты стоят в самом мощном в мире суперкомпьютере Titan. Однако недавно Nvidia выпустила видеокарту Geforce Titan. Старые модели были с урезанной производительностью FP64 до 1/24 от FP32 (GTX680). Но в Титане производитель обещает довольно высокую производительность в расчетах с двойной точностью. Решения от AMD тоже неплохи, но они построены на другой архитектуре и это может создать трудности для запуска вычислений, оптимизированных под CUDA (технология Nvidia).
Решение от Intel — Xeon Phi 5110P интересно тем, что все ядра в сопроцессоре выполнены на архитектуре x86 и не требуется особой оптимизации кода для запуска расчетов. Но мой фаворит среди сопроцессоров – относительно недорогая AMD HD 7970 GHz Edition. Теоретически эта видеокарта покажет максимальную производительность в расчете на стоимость.
Можно соединить в кластер
Для повышения производительности системы несколько компьютеров можно объединить в кластер, который будет распределять вычислительную нагрузку между входящими в состав кластера компьютерами.
Использовать в качестве сетевого интерфейса для связи компьютеров обычный гигабитный Ethernet слишком медленно. Для этих целей чаще всего используют Infiniband. Хост адаптер Infiniband относительно сервера стоит недорого. Например, на международном аукционе Ebay такие адаптеры продают по цене от $40. Например, адаптер X4 DDR (20Gb/s) обойдется с доставкой до России примерно в $100.
При этом коммутационное оборудование для Infiniband стоит довольно дорого. Да и как уже было сказано выше, классическая звезда в качестве топологии вычислительной сети – не лучший выбор.
Однако хосты InfiniBand можно подключать друг к другу напрямую, без свича. Тогда довольно интересным становится, например, такой вариант: кластер из двух компьютеров, соединенных по infiniband. Такой суперкомпьютер вполне можно собрать дома.
Сколько нужно видеокарт
В самом мощном суперкомпьютере современности Cray Titan отношение процессоров к «видеокартам» 1:1, то есть в нем 18688 16-ядерных процессоров и 18688 Tesla K20X.
В Тяньхэ-1А – китайском суперкомпьютере на ксеонах отношение следующее. Два шестиядерных процессора к одной «видюшке» Nvidia M2050 (послабее, чем K20X).
Такое отношение мы и примем для наших сборок за оптимальное (ибо дешевле). То есть 12-16 ядер процессоров на один GPU. На таблице ниже жирным обозначены практически возможные варианты, подчеркиванием – наиболее удачные с моей точки зрения.
| GPU | Cores | 6-core CPU | 8-core CPU | 12-core CPU | 16-core CPU | |||||
| 2 | 24 | 32 | 4 |
5 |
3 |
4 |
2 |
3 |
2 |
2 |
| 3 | 36 | 48 | 6 |
8 |
5 |
6 |
3 |
4 |
2 |
3 |
| 4 | 48 | 64 | 8 |
11 |
6 |
8 |
4 |
5 |
3 |
4 |
Если система с уже установленным отношением процессоров/видеокарт сможет принять «на борт» еще дополнительно вычислительных устройств, то мы их добавим, чтобы увеличить мощность сборки.
Итак, сколько стоит
Представленные ниже варианты – шасси суперкомпьютера без оперативной памяти, жестких дисков и ПО. Во всех моделях используется видеоадаптер AMD HD 7970 GHz Edition. Его можно заменить на другой, по требованию задачи (например, на xeon phi). Там, где система позволяет, одна из AMD HD 7970 GHz Edition заменена на трехслотовую AMD HD 7990 Devil 13.
Вариант 1 на материнской плате Supermicro H8QGL-6F
| Материнская плата | Supermicro H8QGL-6F | 1 | 1200 | 1200 |
| Процессор | AMD Opteron 6344 | 4 | 500 | 2000 |
| Кулер Процессора | Thermaltake CLS0017 | 4 | 40 | 160 |
| Корпус 1400Вт | SC748TQ-R1400B | 1 | 1000 | 1000 |
| Графический ускоритель | AMD HD 7970 GHz Edition | 3 | 500 | 1500 |
| 5860 |
Теоретически, производительность составит около 12 Tflops.
Вариант 2 на материнской плате TYAN S8232, кластерный
Эта плата не поддерживает Opteron 63xx, поэтому используется 62xx. В этом варианте два компьютера объединены в кластер по Infiniband x4 DDR двумя кабелями. Теоретически скорость соединения в этом случае упрется в скорость PCIe x8 то есть 32Гб/с. Блоков питания используется два. Как их согласовать между собой, можно найти в интернете.
| Количество | Цена | Сумма | ||
| Материнская плата | TYAN S8232 | 1 | 790 | 790 |
| Процессор | AMD Opteron 6282SE | 2 | 1000 | 2000 |
| Кулер Процессора | Noctua NH-U12DO A3 | 2 | 60 | 120 |
| Корпус | Antec Twelve Hundred Black | 1 | 200 | 200 |
| Блок питания | FSP AURUM PRO 1200W | 2 | 200 | 400 |
| Графический ускоритель | AMD HD 7970 GHz Edition | 2 | 500 | 1000 |
| Графический ускоритель | AX7990 6GBD5-A2DHJ | 1 | 1000 | 1000 |
| Infiniband адаптер | X4 DDR Infiniband | 1 | 140 | 140 |
| Infiniband кабель | X4 DDR Infiniband | 1 | 30 | 30 |
| 5680 (за один блок) |
Для кластера таких конфигураций нужно две и стоимость их составит $11360. Его энергопотребление при полной нагрузке будет около 3000Вт. Теоретически, производительность составит до 31Tflops.
Вариант 3 на платформе Tyan FT72B7015
Отличается этот вариант тем, что при восьми GPU только два CPU. Соответственно, производительность его в реальных задачах будет зависеть от способности программы сильно распараллеливаться.
| Количество | Цена | Сумма | ||
| Шасси (3000Вт) | Tyan FT72B7015 | 1 | 4900 | 4900 |
| Процессор | Xeon X5680 | 2 | 1300 | 2600 |
| Кулер Процессора | SuperMicro SNK-P0040AP4 | 2 | 40 | 80 |
| Графический ускоритель | AMD HD 7970 GHz Edition | 8 | 500 | 4000 |
| 11580 |
Теоретически, производительность составит до 32 Tflops.
Вариант 4 для LGA2011, кластерный
| Количество | Цена | Сумма | ||
| Материнская плата | Supermicro X9DRG-QF | 1 | 600 | 600 |
| Процессор | Intel Xeon E5-2687W | 2 | 2000 | 4000 |
| Кулер Процессора | Supermicro SNK-P0050AP4 | 2 | 50 | 100 |
| Корпус | Antec Twelve Hundred Black | 1 | 200 | 200 |
| Блок питания | FSP AURUM PRO 1200W | 2 | 200 | 400 |
| Графический ускоритель | AMD HD 7970 GHz Edition | 3 | 500 | 1500 |
| Графический ускоритель | AX7990 6GBD5-A2DHJ | 1 | 1000 | 1000 |
| Infiniband адаптер | X4 DDR Infiniband | 1 | 140 | 140 |
| Infiniband кабель | X4 DDR Infiniband | 1 | 30 | 30 |
| 7970 (за один блок) |
Для кластера таких конфигураций нужно две и стоимость их составит $15940. Общее энергопотребление при полной нагрузке будет около 4000 Вт. Теоретически, производительность составит до 39Tflops.
habr.com
как выбрать и не ошибиться? / Сквадра Груп corporate blog / Habr
В каждом сервере установлена материнская плата, а в каждой материнской плате установлен процессор. Центральное процессорное устройство (ЦПУ) определяет, каким количеством данных сервер может управлять одновременно и как он может обработать все эти данные.Эта статья будет полезна всем будущим владельцам серверов, которые не знают, сервер с каким процессором выбрать.
Какие основные моменты необходимо рассмотреть при выборе процессора:
- Цели дальнейшего использования.
- Количество ядер.
- Совместимость с другими компонентами.
- Скорость ЦПУ.
- Цена.
Но сначала давайте разберемся, чем отличаются процессоры для настольных ПК и серверов, и могут ли они заменить друг друга.
Процессоры для настольных компьютеров
Процессоры, применяемые в настольных компьютерах, были специально разработаны для этих задач. Хотя они в основном выполняют те же функции, что и серверные процессоры, отличия кроются в архитектуре. Например, одно из преимуществ таких процессоров – их легче разогнать.
Серверные процессоры
Процессоры для серверов спроектированы в первую очередь для обеспечения высокой надежности. Тестируют такие процессоры в стрессовых условиях при высоких температурах и высоких вычислительных нагрузках. Они могут работать на очень высоких частотах, обеспечивая качественную обработку массивных данных.
Чем отличаются серверные процессоры от десктоптных?
- Высокий контроль качества. Серверные процессоры проходят через все виды тестирований в самых суровых условиях. В качестве аналога можно привести следующий пример: двигатель пассажирского самолета требует более тщательного тестирования, чем двигатель автомобиля. Несомненно, риск неисправности двигателя самолета выше.
- Надежность. Серверные процессоры отличаются отказоустойчивостью. В критической ситуации серверы могут избежать выключения или перезагрузки (при 2-х процессорной конфигурации). Они рассчитаны на работу нон-стоп 24/7. Десктопные варианты больше предназначены для «бытовой» многозадачности.
- Наличие самокорректирующей системы. Серверные ЦПУ имеют алгоритм, позволяющий корректировать ошибки памяти, которые могут влиять на стабильность оборудования. Эта технология называется «проверка и исправление ошибок» (ECC).
Теперь перейдем непосредственно к выбору процессора.
Основные критерии выбора процессора
» Ядра
Менее десяти лет назад все процессоры выпускались с одним ядром. Сейчас одноядерные процессоры стали исключением из-за повсеместной распространенности многоядерных процессоров. В последнее время даже софт разрабатывают таким образом, чтобы приложения могли задействовать многоядерную технологию. Существует большое количество вариантов для выбора – начиная от 2-х и заканчивая 22 ядрами.
Когда процессоры запускались на одном ядре, оно полностью отвечало за обработку данных, которые передавались на процессор. Чем больше ядер встроено в ЦПУ, тем больше они способны распределять его задачи. Это делает процессор быстрее и эффективнее. Очень важно понимать, что процессор отвечает только за исполнение задач, как и софт, работающий на нем. Всю основную работу выполняют ядра. Однако стоит учитывать, что если для корректной работы приложений используются 3 ядра из 8, то 5 ядер остаются незадействованными. Чтобы минимизировать затраты, стоит сопоставить системные требования с количеством ядер.
» Кэш
Кэш процессора можно сравнить с памятью компьютера. По сути, это небольшое количество очень быстрой памяти, которая используется для временного хранения данных. Это позволяет компьютеру очень быстро восстанавливать файлы, находящиеся в кэш-памяти процессора. Чем больше кэш-память, тем оперативнее процессор выполняет возложенные на него задачи.
» Сокет
Совместимость сокетов – это первоочередная задача при выборе процессора. Сокет является средством связи между материнской платой и ЦПУ. Если вы уже купили материнку, проверьте, что установленный процессор совместим с ее сокетом. И наоборот, отдельно покупая процессоры, проверьте совместимость с материнкой. Это может пригодиться для дальнейшего апргрейда.
» Графический процессор (GPU)
Многие современные процессоры имеют встроенные графические процессоры, которые выполняют расчеты, относящиеся к графике. Если у процессора отсутствует встроенный GPU, сервер все равно сможет отображать графику (если установлена отдельная видеокарта или материнка позволяет запускать видео). Однако для работы софта и приложений, интенсивно нагруженных графикой, ЦПУ со встроенным GPU будет работать намного эффективнее.
» Частота
Частота ЦПУ, измеряемая герцами, это скорость, на которой он работает. Раньше было так: высокая частота = лучшая производительность. Эта формула более не действует. В некоторых случаях ЦПУ, работающий на низкой частоте, может в действительности работать лучше, чем процессор, обладающей высокой частотой. На это влияет архитектура процессора. Наравне с частотой очень важно обращать внимание на число команд процессора, выполняемых за цикл. Хотя частота по-прежнему является важным индикатором быстродействия процессора, теперь это не ключевой момент, влияющий на реальную скорость ЦПУ.
» Величина отвода тепловой мощности (TDP)
Процессоры генерируют тепло. Величина отвода тепловой мощности, назначенная для процессора, объясняет, сколько тепла процессор может выделять. Это напрямую будет влиять на тип охлаждения, необходимого для ЦПУ. Если процессор поставляется без системы охлаждения, или эта система не используется, необходимо продумать систему охлаждения для корректной работы сервера. Перегрев – основная опасность для серверных компонентов.
Какая из спецификаций подойдет для вашей компании?
Во время выбора процессора некоторые критерии будут иметь большее значение, чем остальные. Для того, чтобы облегчить задачу по выбору процессора, мы подготовили типовые варианты решений в зависимости от размера вашей компании.
Небольшая компания:
- Ядра. Для большинства задач подойдет сервер с 4-х ядерным процессором. Если перед вами стоят более требовательные задачи – необходимо работать с графическим дизайном, выясните, какое количество ядер необходимо для конкретного софта. Если необходимо 8 ядер, то лучше всего инвестировать деньги сразу в сервер на базе 8-ядерных процессоров.
- Память. Количество памяти, которое поддерживает сервер, тоже может играть свою роль. Материнская плата и тип операционной системы помогут определиться с необходимым объемом.
- Частота. Софт, с которым вы планируете работать, будет влиять на скорость ЦПУ. Например, постоянное использование программы Adobe CS 6 потребует процессор со скорость как минимум 2 Ггц.
Средние компании
- Цена. Большинство средних компаний должны придерживаться установленного бюджета, когда дело касается покупки оборудования. Цена относительно производительности процессора может стать ключевым фактором.
- Многопоточность. При выборе серверного процессора обязательно обратите внимание на технологию гиперпоточной обработки (Hyper-Threading). Эта технология обеспечивает более эффективное использование ресурсов процессора, позволяя выполнять несколько потоков на каждом ядре и повышает пропускную способность процессоров, улучшая общее быстродействие многопоточных приложений.
Корпоративные заказчики
- Ядра. При выборе ЦПУ стоит учитывать количество ядер. Необходимо ориентироваться на технические требования приложений. Например, если установлен 8-и ядерный процессор, но для приложения необходимо только 4 из них, то нет смысла переплачивать. Размер не всегда имеет значение.
- Частота. Здесь тоже стоит ориентироваться на софт – некоторым компаниям хватает 2 Ггц, а другим и 4 Ггц мало.
- TDP. Проверьте этот показатель перед покупкой процессоров. Тогда вы будете уверенным, что система охлаждения справится с выделением тепла.
Есть ли смысл переплачивать за производительность?
Мы составили сравнительный список процессоров, относительно аналогичных по характеристикам, и указали цены за серверы, на борту которых установлены нижеуказанные модели ЦПУ (цены взяты на Яндекс.Маркет и Сквадра Груп от 23.05.2016):
| Процессоры Сквадра Груп |
CPU Benchmark |
Цена за сервер, ₽ |
Новые процессоры |
CPU Benchmark |
Цена за сервер, ₽ |
| Intel Xeon E5530 (4 Core, 8M Cache, 2.40 GHz) |
4621 |
18 000 |
Intel Core i5-2300 (4 Core, 6M Cache, up to 3.10 GHz) |
5283 |
78 000 |
| Intel Xeon E5620 (4 Core, 12M Cache, 2.40 GHz) |
4903 |
21 800 |
Intel Core i7-870 (4 Core, 8M Cache, 2.93 GHz) |
5487 |
85 000 |
| Intel Xeon E5645 (6 Core, 12M Cache, 2.40 GHz) |
6533 |
39 400 |
Intel Xeon E3-1225 v3 (4 Core, 8M Cache, 3.20 GHz) |
7005 |
124 300 |
| Intel Xeon X5650 (6 Core, 12M Cache, 2.66 GHz) |
7601 |
45 400 |
Intel Xeon E5-2620 v2 (6 Core, 15M Cache, 2.10 GHz) |
8689 |
195 000 |
| Intel Xeon E5-2670 v1 (8 Core, 20M Cache, 2.60 GHz) |
12497 |
77 900 |
Intel Xeon E5-2640 v3 (8 Core, 20M Cache, 2.60 GHz) |
14055 |
375 000 |
Так выглядит наглядная диаграмма соотношения производительности процессоров и цен на б/у и новые серверы:
Очевидно, что цены на новые серверы значительно отличаются от б/у, хотя производительность процессоров примерно одинаковая.
Заключение
Итак, при выборе процессора определите для себя следующие вещи:
- Цель использования сервера.
- Технические характеристики приложений, для которых будет предназначен сервер.
- Совместимость с другими компонентами (память, ОС и т. д.).
- Размер компании.
- Цена
habr.com
Возможности четырехпроцессорных серверов на процессорах Xeon E7 v2
Современные двухпроцессорные серверы — стандартная рабочая лошадка в большинстве организаций. Производительность растет, памяти добавляется, PCIe ускоряется. Казалось бы, зачем в таком случае нужны многопроцессорные системы?Как ни тривиально это звучит, но — большие данные и критически важные для бизнеса приложения. Ведь серверы на базе E7-4800 v2 — это не только полтора терабайта оперативной памяти на сокет, но и средства повышения надежности в пределах одной системы.
Мы тоже не забыли поддержать продукт
И подробней расскажем как о полезных возможностях платформы E7 v2 с ядром Ivy Bridge- EX, так и о сервере Hyperion RS530 G4.
Сам Intel позиционирует новые процессоры как альтернативу RISC системам, в первую очередь на основе IBM POWER. Основания для этого у них есть!
Слайд взят у Intel
Разберем каждый пункт подробней.
Производительность
Увеличение оной в 2 раза приведено не просто так — это ускорение сервера по сравнению с предыдущим поколением E7, на основе Westmere-EX.
Производительность процессоров в мире принято измерять с помощью тестов SPEC (Standard Performance Evaluation Corporation) CPU, актуальная версия CPU2006. Тесты делятся на целочисленные CINT и с плавающей точкой CFP, но это однопоточный результат. Для сравнения многоядерных процессоров используется rate версия.
| Процессор | SPECint_rate_base2006 | SPECfp_rate_base2006 |
| 4x E7-4890 v2 | 2340 | 1730 |
| 4x E7-4870 | 1080 | 698 |
| 8x E7-8870 | 1930 | 1280 |
| IBM Power 750 Express (4.0 GHz, 32 core, SLES) |
1230 | 1050 |
Что это значит?
Новый четырехпроцессорный сервер полностью заменяет старый восьмипроцессорный,
например, ETegro Hyperion RS830 G3. Потребляет меньше энергии, производительность выше, стоимость ниже. На его фоне и Power смотрится довольно бледно.
Объем памяти
Необходимо отметить, что контроллер E7 работает с памятью не напрямую, а через SMI (scalable memory interconnect) и специальный буфер. Зачем?
Высокоскоростная последовательная шина радикально облегчает разводку материнской платы, позволяя вынести память на значительное удаление от процессора и при этом сохранить пропускную способность, так как электрическая нагрузка понижена. Также упрощается дизайн райзеров памяти, которые поддерживают горячую замену и добавление памяти «на ходу».
В модели предыдущего поколения Hyperion RS530 G3 было доступно 64 слота для оперативной памяти и поддерживалось 2 терабайта в сервере.
Новый процессор принес переработанный контроллер памяти с поддержкой 24 планок памяти на процессор (96 в сервере) и частоты модуля 1600 МГц (раньше было ограничение в 1066МГц).
Помимо большего объема памяти, поддерживается переключение режимов работы — Performance и
Lockstep.
По умолчанию стоит режим Performance, который устанавливает производительность SMI на 2667MT/s и работу с восемью каналами DDR на процессор. В сумме получается 340 гигабайт в секунду пропускной способности памяти на четыре процессора. Колоссальный результат! В тесте STREAM Triad получилось достичь 244GB/s, что в 2.4 раза больше 101GB/ s у системы с E7 v1.
Режим Lockstep позволяет работать с DDR3 1600, но при этом и производительность SMI канала ограничена 1600MT/s. Поддерживается зеркалирование и memory rank sparing. При работе режима Lockstep необходимо учитывать ряд нюансов:
- Доступно максимальное количество возможностей RAS.
- Модули необходимо устанавливать идентичным парами (два в каждом из двух каналов).
- Для системы доступен полный объем памяти.
Зеркалирование снижает доступный для системы объем памяти в два раза. Memory rank sparing резервирует один rank на канал, памяти доступно больше, но и надежность не так высока, как у зеркала.
Ввод-вывод
Предыдущее поколение E7 v1 полагалось на возможности чипсета 7500, который имел 32 линии PCIe 2.0. В Hyperion RS530 G3 таких чипов стояло два, что позволяло снять 64 линии на сервер.
E7 v2 получили встроенный контроллер PCIe 3.0 с 32 двумя линиями. Несколько меньше, чем у Е5-2600 (40 линий на процессор), но их же четыре. 128 линий, каждая из которых примерно в два раза быстрее PCIe 2.0 — вот четыре раза на слайде и набежало.
Надежность
Проще всего сводной таблицей описать, где Romley — E5-4600; Boxboro EX — E7 v1, Brickland — E7 v2.
Не будем расписывать каждую технологию, но пять девяток в итоге набирается, всего 5 минут простоя в год.
Теперь про нас и актуальный сервер
Красота!
Расписывать долго и упорно спецификации не будем, они есть на сайте. Лучше показать самые приятные фишки на живом изделии 🙂
Горячее добавление памяти
Если заполнены не все райзеры памяти — то можно спокойно добавлять еще без остановки сервера:
Intel грозится доделать код для горячей замены памяти (работать будет только в режиме зеркалирования, в RS530 G3 работало), тогда можно будет менять сбойные планки на ходу.
Горячая замена PCIe
Слетел сетевой контроллер? FC карточка уехала крышей? Хочется добавить еще PCIe флеша? Сервер выключать не надо:
NVMe на практике
В нашей предыдущей статье, посвященной накопителям, мы упомянули о NVMe SSD и поддержке в этой модели, вот как это реализовано:
Как мы уже упоминали, разъем NVMe сделан совместимым с SAS, поэтому бэкплейн имеет контакты для подключения обычного SAS контроллера.
Бэкплейн дисков
Живая тестовая машина с E7-4880 v2 есть у нас в лаборатории и доступна для тестирования.
PS Вместе с анонсом нового поколения мы предлагаем 2 системы Hyperion RS530 G3 с четырьмя процессорами Xeon E7-8837, контроллером LSI 9260-8i и 8 райзерами для памяти со скидкой в скромные 50%.
habr.com