Михеев М. О.

Администрирование
VMware vSphere 4.1

Москва, 2011

УДК 32.973.26-018.2
ББК 004.4
М69

Михеев М. О.

М69 Администрирование VMware vSphere 4.1. – М.: ДМК Пресс, 2011. – 448 с.: ил.

ISBN 978-5-94074-685-0

Новое издание книги посвящена работе с семейством продуктов последней версии VMware vSphere 4.1
В ней рассмотрены установка vSphere, настройка сети виртуальной инфраструктуры, системы хранения данных, виртуальные машины, управление ресурсами сервера, защита данных в виртуальных машинах. Кроме того,
приводятся сведения о принципах работы, способах мониторинга и диагностики неполадок. Наконец, дается информация по дополняющим сторонним продуктам, которые могут помочь в работе или решении возникающих
перед администратором проблем. Материал книги подается в виде пошаговых инструкций с подробной детализацией.
Издание будет полезно как начинающим, так и опытным системным администраторам, которые могут использовать книгу как справочник по параметрам и командам VMware vSphere.

УДК 32.973.26-018.2
ББК 004.4
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность
технических ошибок все равно существует, издательство не может гарантировать абсолютную
точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

ISBN 978-5-94074-685-0

© Михеев М. О., 2011
© Оформление, ДМК Пресс, 2011

Содержание
Введение ................................................................................................ 8
Для кого? ........................................................................................... 8
О какой версии продукта? .................................................................. 8
Как книга организована? .................................................................... 8
Обратная связь ................................................................................ 10

Предисловие ...................................................................................... 11
Глава 1. Установка vSphere ........................................................... 12
1.1. Обзор ............................................................................................. 12
1.2. Установка и начало работы с ESX(i) ................................................ 13
1.2.1. Чем отличаются ESX и ESXi ..................................................... 13
1.2.2. До установки .......................................................................... 15
1.2.3. Установка ESXi ........................................................................ 18
1.2.4. Установка ESX ......................................................................... 21
1.2.5. Автоматическая установка ESX ............................................... 26
1.2.6. Автоматическая установка ESXi............................................... 32
1.3. Начало работы ............................................................................... 33
1.3.1. Начало работы без vCenter...................................................... 33
1.3.2. Установка и начало работы с vCenter Server ............................ 35
1.4. Интерфейс клиента vSphere, vCenter, ESX(i). Веб-интерфейс ......... 41
1.4.1. Элементы интерфейса клиента vSphere при подключении
к vCenter........................................................................................... 41
1.4.2. Первоначальная настройка vCenter и ESX(i) ............................ 48
1.4.3. Работа через веб-интерфейс .................................................. 53
1.5. Обновление ESXi, ESX и vCenter с версий 3.x .................................. 55
1.5.1. Обновление до vCenter Server 4 и Update Manager 4 ............... 56
1.5.2. Обновление ESX(i) с помощью Update Manager ....................... 59
1.5.3. Обновление виртуального оборудования ВМ и VMware tools ... 60
1.5.4. Установка обновлений из командной строки ........................... 62
1.5.5. Отмена обновления ESX 3.x на ESX 4 ...................................... 63
1.6. Основы работы из командной строки ............................................. 64
1.6.1. Локальная командная строка ESX, SSH .................................. 64
1.6.2. Локальная командная строка ESXi, SSH .................................. 66
1.6.3. vSphere CLI, работа с vMA ....................................................... 67
1.6.4. Полезные команды ................................................................. 69

4

Содержание

1.6.5. Полезные сторонние утилиты ................................................. 70
1.7. Сайзинг и планирование ................................................................ 74
1.7.1. Процессор .............................................................................. 75
1.7.2. Память .................................................................................... 79
1.7.3. Дисковая подсистема ............................................................. 79
1.7.4. Сетевая подсистема ............................................................... 83
1.7.5. Масштабируемость: мало мощных серверов или много
небольших?...................................................................................... 85

Глава 2. Настройка сети виртуальной
инфраструктуры ................................................................................ 88
2.1. Основы сети ESX(i), объекты виртуальной сети .............................. 88
2.1.1. Физические сетевые контроллеры, vmnic ............................... 91
2.1.2. Виртуальные контроллеры Service Console и VMkernel ............ 93
2.2. Стандартные виртуальные коммутаторы VMware –
vNetwork Switch..................................................................................... 98
2.3. Распределенные коммутаторы –vNetwork Distributed Switch,
dvSwitch. Настройки ........................................................................... 101
2.3.1. Основа понятия «распределенный виртуальный
коммутатор VMware» ...................................................................... 102
2.3.2. Добавление сервера в dvSwitch, настройки подключения
vmnic .............................................................................................. 105
2.3.3. Группы портов на dvSwitch, добавление интерфейсов
Service Console и VMkernel ............................................................. 109
2.3.4. Уникальные настройки dvSwitch ........................................... 111
2.3.5. Уникальные настройки портов dvSwitch: Miscellaneous
и Advanced ..................................................................................... 112
2.3.6. Миграция со стандартных виртуальных коммутаторов
на распределенные ....................................................................... 113
2.3.7. Технические особенности распределенных виртуальных
коммутаторов VMware .................................................................... 117
2.4. Настройки Security, VLAN, Traffic Shaping и NIC Teaming ................ 118
2.4.1. VLAN, виртуальные локальные сети. Настройка VLAN
для стандартных виртуальных коммутаторов ................................. 118
2.4.2. Настройка VLAN для dvSwitch. Private VLAN ........................... 123
2.4.3. Security ................................................................................. 126
2.4.4. Ограничение пропускной способности (Traffic Shaping) ....... 128
2.4.5. NIC Teaming. Группировка сетевых контроллеров ................. 128
2.4.6. Cisco Discovery Protocol, CDP ................................................ 134
2.5. Разное ......................................................................................... 135
2.5.1. Jumbo Frames ....................................................................... 135
2.5.2. TSO – TCP Segmentation Offload, или TOE – TCP offload
engine ............................................................................................ 137
2.5.3. VMDirectPath ......................................................................... 138

Содержание

5

2.5.4. Отдельные порты .................................................................. 139
2.6. Рекомендации для сети ................................................................ 140

Глава 3. Системы хранения данных и vSphere ..................... 141
3.1. Обзор типов СХД .......................................................................... 142
3.2. DAS .............................................................................................. 144
3.3. NAS (NFS)..................................................................................... 145
3.3.1. Настройка и подключение ресурса NFS к ESX(i) .................... 147
3.4. SAN, Fibre Channel ........................................................................ 149
3.4.1. Адресация и multipathing ....................................................... 152
3.4.2. Про модули multipahing. PSA, NMP, MMP, SATP, PSP............... 155
3.4.3. Про зонирование (Zoning) и маскировку (LUN masking,
LUN presentation) .............................................................................. 160
3.5. SAN, iSCSI .................................................................................... 162
3.5.1. Как настроить программный инициатор или аппаратный
зависимый iSCSI на ESX(i) .............................................................. 164
3.5.2. iSCSI Multipathing .................................................................. 169
3.6. VMFS, Virtual Machine File System .................................................. 172
3.6.1. Увеличение размера хранилища VMFS. Grow и Extent ........... 178
3.6.2. Доступ к клонированному разделу VMFS, или к разделу
VMFS с изменившимся номером LUN ............................................. 181
3.7. RDM, Raw Device Mapping ............................................................. 183
3.8. NPIV ............................................................................................. 186
3.9. Адресация SCSI............................................................................ 188
3.10. vSphere API for Array Integration, VAAI. Интеграция
и делегирование некоторых операций системам хранения данных ..... 191

Глава 4. Расширенные настройки, безопасность,
профили настроек .......................................................................... 194
4.1. Расширенные настройки (Advanced settings) ................................ 194
4.2. Безопасность ............................................................................... 195
4.2.1. Общие соображения безопасности ...................................... 196
4.2.2. Брандмауэр ESX ................................................................... 198
4.2.3. Аутентификация на серверах ESX(i), в том числе через
Active Directory ............................................................................... 200
4.2.4. Контроль доступа, раздача прав при работе через vCenter ... 201
4.3. Настройка сертификатов SSL ....................................................... 208
4.4. Host Profiles .................................................................................. 210
4.5. Использование SNMP .................................................................. 217
4.5.1. Настройка SNMP для vCenter ................................................ 218
4.5.2. Настройка SNMP для серверов ESX(i) ................................... 221

Глава 5. Виртуальные машины .................................................. 222
5.1. Создание ВМ. Начало работы с ней .............................................. 222

6

Содержание

5.2. Клонирование и шаблоны ВМ (Clone и Template) .......................... 227
5.2.1. Клонирование виртуальных машин ....................................... 227
5.2.2. Шаблоны виртуальных машин (template) ............................... 229
5.2.3. Обезличивание гостевых ОС, SysPrep ................................... 231
5.2.4. Рекомендации для эталонных ВМ ......................................... 234
5.3. Виртуальное оборудование ВМ .................................................... 236
5.3.1. Memory ................................................................................. 237
5.3.2. CPUs ..................................................................................... 237
5.3.3. IDE, PS2 controller, PCI controller, SIO controller, Keyboard,
Pointing device ................................................................................ 238
5.3.4. Video card ............................................................................. 238
5.3.5. VMCI device, VM Communication Interface .............................. 239
5.3.6. Floppy drive ........................................................................... 239
5.3.7. CD/DVD Drive ........................................................................ 239
5.3.8. Network Adapter .................................................................... 240
5.3.9. SCSI controller ....................................................................... 247
5.3.10. Hard Disk ............................................................................. 249
5.3.11. Parallel port .......................................................................... 250
5.3.12. Serial port ............................................................................ 250
5.3.13. SCSI device.......................................................................... 251
5.3.14. USB controller и USB device.................................................. 251
5.3.15. VMDirectPath ....................................................................... 252
5.4. Все про диски ВМ......................................................................... 254
5.4.1. Виртуальные диски – файлы vmdk ........................................ 254
5.4.2. Изменение размеров дисков ВМ .......................................... 260
5.4.3. Выравнивание (alligment) ...................................................... 266
5.4.4. Raw Device Mapping, RDM ..................................................... 270
5.5. Настройки ВМ .............................................................................. 272
5.6. Файлы ВМ, перемещение файлов между хранилищами ............... 276
5.7. Снимки состояния (Snapshot) ....................................................... 284
5.8. VMware tools ................................................................................. 292
5.9. vAPP ............................................................................................. 296

Глава 6. Управление ресурсами сервера.
Мониторинг достаточности ресурсов. Живая
миграция ВМ. Кластер DRS......................................................... 299
6.1. Настройки распределения ресурсов для ВМ. Пулы ресурсов ....... 299
6.1.1. Настройки limit, reservation и shares для процессоров
и памяти......................................................................................... 299
6.1.2. Пулы ресурсов ...................................................................... 307
6.1.3. Рекомендации по настройкам Limit, Reservation и Shares ..... 311
6.1.4. Storage IO Control, SIOC, для дисковой подсистемы .............. 314
6.1.5. Network IO Control, NIOC и traffic shaping для сети ................. 317
6.2. Механизмы перераспределения ресурсов в ESX(i) ....................... 319

Содержание

7

6.2.1. CPU ...................................................................................... 320
6.2.2. Memory ................................................................................. 323
6.2.3. Disk ....................................................................................... 340
6.2.4. Net ........................................................................................ 340
6.3. Мониторинг достаточности ресурсов ........................................... 340
6.3.1. Источники информации о нагрузке ....................................... 341
6.3.2. Какие счетчики нас интересуют и пороговые значения ......... 352
6.3.3. Несколько общих рекомендаций ........................................... 358
6.4. Механизм Alarm ........................................................................... 359
6.5. Миграция выключенной (или suspend) виртуальной машины ....... 363
6.6. Storage vMotion – живая миграция файлов ВМ между
хранилищами ..................................................................................... 365
6.7. vMotion – живая миграция ВМ между серверами .......................... 366
6.8. Кластер DRS. DPM........................................................................ 372

Глава 7. Защита данных и повышение доступности
виртуальных машин ....................................................................... 388
7.1. Высокая доступность виртуальных машин .................................... 388
7.1.1. VMware High Availability, HA .................................................... 389
7.1.2. VMware Fault Tolerance, FT ..................................................... 406
7.2. Управление обновлениями виртуальной инфраструктуры,
VMware Update Manager ...................................................................... 417
7.2.1. esxupdate и vSphere CLI vihostupdate ..................................... 417
7.2.2. vSphere Host Update Utility ..................................................... 417
7.2.4. VMware Update Manager ........................................................ 419
7.3. Резервное копирование и восстановление................................... 431
7.3.1. Резервное копирование ESX(i) и vCenter ............................... 431
7.3.2. Резервное копирование виртуальных машин ........................ 432
7.3.3. VMware Data Recovery ........................................................... 438
7.3.4. Использование VMware Consolidated Backup
и vStorage API for Data Protection..................................................... 445

Введение
Последние несколько лет тема серверной виртуализации привлекает внимание
все большего количества компаний и технических специалистов. Виртуализация
позволяет добиться финансовых выгод для компании, значительного упрощения
работы для системных администраторов. Сегодня самым интересным решением
для виртуализации серверов является флагманское семейство продуктов компании VMware – VMware vSphere 4.
Гипервизор ESX или ESXi, часть vSphere, обладает очень интересными возможностями по виртуализации, балансировке нагрузки на подсистемы одного сервера и балансировке нагрузки между серверами, а также повышению доступности
приложений, выполняемых в виртуальной среде. Однако чтобы начать в полной
мере пользоваться всеми функциями vSphere, понадобятся определенные знания.
Еще до того, как даже начать установку ESX на сервер, стоит задуматься о многих
вещах, например об ограничениях по выбору оборудования и от чего зависят требования к производительности.
Кроме того, не лишними будут знания из некоторых смежных областей, таких
как системы хранения данных, сети, особенности серверного оборудования. Все
эти темы в достаточной мере раскрываются в данной книге простым и понятным
языком.

Для кого?
Данная книга касается большинства аспектов серверной виртуализации, подача материала рассчитана на неподготовленных системных администраторов.
В силу полноты описываемых тем интересна она будет и администраторам с опытом работы в области виртуализации, в частности как справочное пособие.

О какой версии продукта?
На момент написания данной книги актуальной версией являлась vSphere 4.1.
Тем не менее большая доля и, скорее всего, вся информация книги будет актуальна для всех обновлений четвертой версии виртуальной инфраструктуры VMware.

Как книга организована?
Глава 1. Установка vSphere. Первая глава посвящена самому началу – что
такое VMware vSphere 4? Какие продукты входят в это семейство? Какие вспомогательные продукты предлагает нам VMware? Какие существуют сторонние

В данной главе приводится вся информация о виртуальных машинах. После установки – этап первоначальной настройки. Для большинства инфраструктур VMware vSphere используется внешнее хранилище данных. Системы хранения данных и vSphere. Автоматизация установки для упрощения массового развертывания. задачами которого являются тиражирование настроек и отслеживание соответствия назначенному профилю настроек для серверов ESX(i). В этой главе приводится полная информация об организации сети для виртуальной инфраструктуры. возможностям и ограничениям этой файловой системы. vCenter Server и Update Manager. его возможностях и ограничениях. в частности thin provisioning. Достаточно важной темой является безопасность. SAN или NAS. в первую очередь механизмы vCenter для работы с шаблонами и клонирования. Отдельным подразделом описывается механизм Host Profiles. Виртуальные машины. нюансы адресации SCSI. Также приводится основная информация касательно сертификатов и их установки для ESX(i). в этой главе есть отдельный раздел. профили настроек и безопасность. Это возможности и настройки multipathing. Подробная информация о виртуальном оборудовании. Настройка сети виртуальной инфраструктуры. Разбирается установка с нуля или обновление до vSphere 4 предыдущей версии виртуальной инфраструктуры VMware. способные облегчить жизнь администратору? Объясняется. какими возможностями обладают системы хранения Fibre Channel. программный инициатор iSCSI. из каких файлов состоит виртуальная машина. Что собой представляют для гипервизора физические сетевые контроллеры? Виртуальные коммутаторы. Приводится процедура настройки брандмауэра. каким нюансам следует уделить внимание при выборе оборудования для vSphere. посвященный описанию того. стандартные и распределенные – что необходимо знать для уверенного использования этих объектов? Какие настройки для них возможны? Рассказывается про виртуальные сетевые контроллеры. Даются основные ответы на один из наипопулярнейших вопросов – «Сервер какой производительности (или сколько серверов) необходимо для запуска на нем ESX?». ESX(i) размещает виртуальные машины на своей собственной файловой системе VMFS. iSCSI и NFS относительно ESX(i). Глава 2. описывается модель контроля доступа и раздачи прав. В этой главе приводится подробная информация по нюансам. Глава 4. Разумеется. . Виртуальная машина – это набор файлов. Способы их создания. Глава 3. принадлежащие самому гипервизору. Расширенные настройки. Особенно подробно разбираются возможности виртуальных дисков. Администратору vSphere следует понимать. Есть нюансы. Дается основная информация по элементам графического интерфейса и выполнению манипуляций с vSphere из командной строки. которые необходимо знать для планирования и начала работы с системой хранения того или иного типа. Дается необходимая информация для планирования схемы сети виртуальной инфраструктуры. Глава 5. В данной главе описываются основные аспекты обеспечения безопасности виртуальной инфраструктуры.Введение 9 продукты.

без обсуждения которых обойтись невозможно. Защита данных и повышение доступности – это те темы. Мониторинг достаточности ресурсов.10 Введение Приводятся список доступных для виртуальной машины настроек и их описание. Смело пишите. Обратная связь Адрес моей электронной почты – Mikhail. который будет балансировать нагрузку между серверами ESX(i) при помощи живой миграции виртуальных машин между ними. как ESX(i) должен перераспределять ресурсы сервера или серверов. и для другого администраторы виртуальной инфраструктуры могут применять разнообразные средства. Живая миграция ВМ. Дается подробная информация о том. Глава 6. что предлагает компания VMware. vSphere предоставляет весьма гибкие возможности по анализу текущей ситуации потребления ресурсов и нахождению узких мест. . так и возможность создать кластер DRS.Кроме того. использованию и нюансам работы с теми средствами повышения доступности. Все эти темы последовательно и подробно разбираются в данной главе. притом со всевозможных сторон.Mikheev@vm4. что такое снимки состояния виртуальной машины и в каких ситуациях ими стоит пользоваться. Сильной стороной продуктов vSphere являются очень гибкие возможности по работе с ресурсами. Управление ресурсами сервера. Защита данных и повышение доступности виртуальных машин. разбираются разнообразные решения и подходы к резервному копированию. В данной главе приводится подробная информация по настройке. а в каких – избегать. Глава 7. Кластер DRS. Притом существуют как механизмы эффективной утилизации и перераспределения ресурсов одного сервера. У администраторов существуют весьма гибкие настройки того. И для того. Наконец. В этой главе подробно рассматривается потребление ресурсов инфраструктуры.ru.

Отдельное спасибо хочу выразить моей супруге Анюте. с помощью которого делился новой информацией. Собственно. Роману Хмелевскому. Дмитрию Прокудину. Родиону Тульскому. росли и посещаемость блога. В сентябре 2007 года я начал вести свой блог (http://vm4. как онлайн. с которыми устанавливался контакт. Андрею Цыганку. Антону Жбанкову. несмотря на хорошую посещаемость блога и постоянную переписку с читателями блога и слушателями курсов. особенностями и нюансами работы с виртуальной инфраструктурой VMware.Предисловие С момента первого чтения курса по VMware ESX Server (еще второй тогда версии) в 2005 году я наблюдаю все более широкий интерес к теме виртуализации. Я хочу выразить благодарность людям. Дмитрию Тиховичу. которая смогла бы стать как средством знакомства с виртуализацией для новичков. Однако.ru). Так родилась идея написать книгу. и это уже второе издание. так и оффлайн. . ее вы и держите в руках. которая была вынуждена делить меня с работой над книгой в течение года. так и настольным справочником для профессионалов. чьи отзывы помогли мне сделать эту книгу лучше: Артему Проничкину. что существует нехватка доступного и полного источника информации по данной теме. я видел. исправленное и дополненное. и число специалистов. Этот опыт получился достаточно удачным. Виталию Савченко. Владиславу Кирилину.

Так называется программное обеспечение. созданными на них сетями. Предоставляет централизованный интерфейс командной строки к ESXi и ESX. то есть всеми ESX(i). Свои рекомендации я дам. VMware Consolidated Backup (VCB) – решение для резервного копирования. Обзор Под vSphere понимаются следующие продукты: VMware ESX(i) и VMware vCenter Server.. то есть готовая к работе виртуальная машина с Linux.». призванные упростить некоторые задачи администрирования виртуальной инфраструктуры. пока VMware Data Protection API не будут в полной мере интегрированы в решения резервного копирования сторонних поставщиков. в формате другого продукта VMware. не ESX(i). vSphere Management Assistant (vMA) – что-то вроде централизованной Service Console. где разница есть. Командная строка может понадобиться для решения проблем. 1. «ESX(i)» означает «ESX или ESXi». некоторых сопутствующих программ и связанным с установкой вопросам. то понимать это надо как «что-то там ESXi (или ESX)». Под сопутствующими программами в первую очередь понимается разного рода официальное ПО VMware под vSphere: vSphere CLI (Command Line Interface) – удаленная командная строка. что она короче. создающее виртуализацию. Будет актуально до тех пор. VMware Data Recovery – решение VMware для резервного копирования. доставшееся в наследство от VMware Infrastructure 3 (предыдущей версии vSphere). являющееся средством централизованного управления виртуальной инфраструктурой. В подавляющем большинстве аспектов разницы просто нет. vCenter Server – это приложение под Windows. поэтому если вы видите «что-то там ESX(i). я буду это явно указывать.Глава 1. vMA – это Virtual Appliance. vSphere CLI доступен в вариантах под Linux и под Windows. VMware Converter – эта программа поможет нам получить ВМ из: • другой ВМ. которая в себе содержит разного рода компоненты. Какой из этих дистрибутивов использовать. виртуальными машинами и прочим. Я использую первую фразу просто потому. ESX и ESXi – это гипервизор. остается на ваш выбор. в ее состав входит vSphere CLI. Установка vSphere Эта часть книги посвящена установке VMware vSphere 4. Там же. . Например.. Разница между ESXi и ESX подробно раскрывается чуть далее.1. для автоматизации каких-то действий через сценарии.

Поддерживаются образы. Средств последнего рода VMware не предоставляет).ru/2010/11/vsphere. так что делайте поправку на ограничения используемой вами лицензии. ESX(i) – это операционная система. в формате продукта виртуализации другого производителя. То есть осуществить его миграцию в ВМ. 1. поговорим о различиях вообще. Тем не менее на некоторые моменты обратить внимание стоит.Установка и начало работы с ESX(i) 13 • другой ВМ. Далее разберем важные шаги установки ESX(i). Acronis True Image. StorageCraft ShadowProtect. • резервной копии ВМ. Чем отличаются ESX и ESXi Перед тем как говорить про различия в установке.1. еще коснемся СХД). Symantec Backup Exec System Recovery. У vSphere существуют несколько вариантов лицензирования. Это может потребоваться для удобного изменения некоторых свойств этой ВМ. • наконец. Такой процесс часто называют p2v – physical to virtual. гостевых ОС и приложений в гостевых ОС. Их немного.2. Например. Установка ее мало чем отличается от установки других ОС.vm4. для уменьшения размера ее диска.2. из физического сервера. Наконец приведу соображения по сайзингу – подбору конфигурации сервера (и не только. . Установка и начало работы с ESX(i) Здесь мы поговорим про требования к оборудованию и дистрибутивы – этими вопросами следует озаботиться до установки как таковой. снятого с физического сервера. полученной с помощью VCB. В книге я рассказываю про все существующие функции. • образа диска. или конкретные документы. (По аналогии существуют процессы v2v – первые три пункта этого списка – и v2p – для миграции с виртуальных машин на физические. • другой ВМ. в формате ESX. ESX состоит из двух основных компонентов – гипервизора и Linux. Иногда я буду упоминать как первоисточник информации документацию в общем. начало работы. которые кажутся интересными лично мне.html. 1. разве что своей простотой – вследствие узкой специализации этой ОС. Symantec LiveState. Также упомяну про некоторые сторонние продукты и утилиты. Подборка пяти основных источников информации доступна по ссылке http://www. в том числе бесплатная лицензия для ESXi. vCenter Update Manager – утилита для удобного обновления ESX(i). созданные при помощи Norton Ghost. Затем – более сложные варианты установки: обновление с предыдущих версий и автоматическую установку ESX.

что VMware настоятельно рекомендует использовать средства удаленной командной строки (в первую очередь это vSphere CLI. в качестве диска под сам ESXi можно использовать флэш-накопитель USB. включая vMotion. программы настройки оборудования. Тем не менее получить интерфейс командной строки возможно и для ESXi. как на ESX. как ESX. потому что это удобно. в нем работают службы типа веб-сервера для веб-интерфейса ESX. и есть возможность запустить в нем какие-то сторонние приложения. то становится очевидно – разницы между ESX и ESXi нет и с точки зрения управления из командной строки. За счет этого удобно распределять данные операционной системы сервера (ESXi) и данные виртуальных машин по разным хранилищам. как и с помощью vSphere CLI) можно управлять и ESX. Linux – это сокращенный Red Hat Enterprise Linux. который и «делает» виртуализацию. а не в 1. работающим на ESXi. А если учесть. нет. Зато с «i»-версией. Зато без большого Linux весь ESXi помещается буквально в несколько десятков мегабайт. С ее помощью (так же. кстати. это несомненный плюс. называют Service Console.14 Установка vSphere Гипервизор – это написанный программистами VMware компонент. агенты резервного копирования. SC) – так это агенты мониторинга оборудования. Плюс к тому. У ESX есть еще и Linux – туда можем что-нибудь установить. чем меньше программ и функций содержит ОС (а ESXi это ОС. интегрирующиеся с vSphere. ESX – от 10 Гб). и даже vCenter. для кого-то из вас вероятно желание использовать в качестве языка сценариев PowerShell. получить привычную (для тех из вас. Если вы планируете использовать какое-то подобное решение. разницы. Часто устанавливать что-то на ESXi необходимости нет – а с точки зрения безопасности и надежности работы. . сами по себе или в составе vMA). и ESXi. то к виртуальным машинам на ESXi можно обращаться через веб-интерфейс сервера vCenter). невозможно использовать вебинтерфейс (если у вас нет vCenter. при прочих равных: локально нельзя установить ничего. Если vCenter есть. DRS. Этот Linux используется для получения локального интерфейса командной строки. Но Linux чертовски маленький (дистрибутив называется Busybox). модули стороннего ПО.5 гигабайта. VMware выпустила VMware PowerCLI – набор командлетов (cmd-let) для управления виртуальной инфраструктурой через PowerShell. функций локально практически никаких не позволяющий. «Сокращенность» заключается в удалении всех не нужных для ESX компонентов. Такая возможность есть. Вытекающие отсюда различия в следующем: с точки зрения функционала виртуализации. Поэтому для доступа к виртуальным машинам. Fault Tolerance. как и ESX). ESXi состоит из тех же двух компонентов – тот же самый гипервизор и Linux. то изучите его совместимость с «i» версией ESX. (Для установки на диск ESXi требует от 1 Гб свободного места. работать будут. кто имеет опыт работы с Linux) командную строку. Его еще называют «VMkernel». нет сервера FTP. использовать ESX или ESXi. точно так же. Чем проще. тем надежнее. Что имеет смысл устанавливать в этот Linux (его. Например. Все функции. В ESXi нет среды для запуска веб-сервера.

подключенные к дешевому и/или встроенному контроллеру. не означает. .2. когда у вас сам ESX установлен на локальные диски сервера. Здесь надо иметь в виду: сам ESX(i) 4 можно установить на разнообразные контроллеры ATA. чем ESXi. В большинстве случаев при использовании встроенных контроллеров ESX(i) заработает с ними как с дисковыми контроллерами. списки совместимости (http://vmware. таким образом. 2. 1.и не «i»-версий продукта. И это означает. в который флэшка с ESXi уже встроена. этап установки. что ими можно ограничиться. Однако использовать дисковые ресурсы для работы ВМ можно на более ограниченном количестве моделей контроллеров. Список поддерживаемых легко найти в документе «Getting Started with ESX 4». не «на любые». а на «разнообразные». I/O CG – список поддерживаемых контроллеров. Возвращаясь к установке: ESX почти на целый Linux больше. SAN CG – список поддерживаемых систем хранения. Таких списков несколько: 1. То есть возможна ситуация. SATA. упоминая о различиях в этом процессе для «i». можно приобрести сервер. Отсюда растут ноги у различий в процессе установки. если образец комплектующих есть под рукой. а также HBA FC и iSCSI. Основная проблема – в поддержке дискового контроллера. что этот Linux тоже надо установить.2. на котором он будет работать. 3. Первое – неплохо. если ESX(i) будет поддерживать это оборудование. в Интернете можно отыскать неофициальные списки совместимости.Установка и начало работы с ESX(i) 15 возможна организация загрузки ESXi по PXE. Далее я опишу процесс установки. Разве что на момент написания эта функция и реализующий ее бесплатный продукт VMware Auto Deploy находятся в экспериментальном статусе. Но оставшееся свободным место на этих дисках задействовать под ВМ не получится. Так что поддержка контроллеров ATA и SATA. Вывод: читайте внимательно списки совместимости и руководства для начинающих. Они не могут повлиять на поддержку производителя. Заметьте. но помогут не выбрать заведомо несовместимые компоненты. На сайте VMware легко находятся HCG – Hardware Compatibility Guides. Кроме того. До установки Перед разговором об установке ESX(i) имеет смысл поговорить об оборудовании.com/go/hcl). System CG – перечисление поддерживаемых моделей серверов. появившаяся и расширившаяся в ESX(i) 4. Или заранее пробуйте. но не как с контроллерами RAID. и пропустить. Большая часть «брендового» оборудования в этих списках присутствует. Это гарантирует наличие драйверов и возможность обращаться за поддержкой в случае возникновения проблем. проблемы обычно возникают при желании сэкономить. SAS и SCSI.

com/go/hcl. перестановкой джамперов. с сайта VMware можно загрузить небольшую утилиту под названием CPU Identification Utility. когда на вроде бы совместимом сервере ESX(i) работал не так. Еще один небольшой совет: в моей практике были ситуации. Локальных дисков вообще может не быть – достаточно флэш-накопителя. Еще такой вариант иногда интересен для обслуживания удаленных площадок. Эта утилита сообщит вам о возможности работы процессора в 64-битном режиме. наконец. когда процессор ее поддерживает. то процессоры этого сервера должны быть 64-битными (x86-64). все или почти все процессоры Intel и AMD поддерживают работу в 64-битном режиме). Обычно «Hardware Virtualization». Если мы хотим использовать на сервере ESX(i) 4. В идеале. как ожидалось (на этапе установки в том числе). что эта функция выключена. «AMD-V». так что возможна ситуация. что все место на дисках мы отводим под виртуальные машины. Особняком стоит возможность установить ESXi на флэш-накопитель. Еще несколько слов следует сказать про процессор. Перед тем как устанавливать ESX(i) на сервер. а затем отправить на удаленную площадку лишь флэшку с установленным и настроенным ESXi. что такие списки имеют обыкновение меняться с выходом обновлений ESX(i). Это действительно может помочь решить (или избежать) проблем.16 Установка vSphere Я не привожу конкретных списков лишь потому. процессоры могут обладать аппаратной поддержкой виртуализации – Intel-VT или AMD-V. что искать следует по адресу http://vmware. «Intel-VT». Несколько раз в таких ситуациях помогал сброс настроек BIOS на значения по умолчанию. Она является необходимой для запуска 64-битных гостевых ОС. попробовать запустить на этом сервере установку – если процессор не подходит. имеет смысл обратиться на сайт производителя сервера и посмотреть – вдруг есть рекомендации использовать (или ни в коем случае не использовать) какую-то конкретную версию прошивки под вашу версию ESX(i). Проверить 64-битность процессора можно несколькими путями: узнать его модель и посмотреть описание на сайте производителя. Найти ее можно в разделе Download ⇒ Drivers and tools. Такой вариант интересен тем. Небольшой нюанс здесь в следующем: поддержка этой функции включается и выключается в BIOS сервера. о поддержке EVC (Enhanced vMotion Compatibility). сама ОС (ESXi) установлена отдельно. но если вы планируете задействовать какой-то сервер в возрасте – этот момент необходимо учесть. . Иногда помогал только аппаратный сброс настроек. Разные производители в разных BIOS называют ее по-разному. совместимы ли процессоры нескольких серверов для vMotion. Напомню. Кроме 64-битного режима. но запустить 64-битную ВМ вы не можете из-за того. Это неактуально для новых серверов (последние года три. если не больше. конечно. При необходимости установить там серверы ESXi можно: вначале установить ESXi локально на накопитель USB (в ВМ под управлением VMware Workstation или Player). установщик сообщит нам об этом. имеет смысл обновить всевозможные BIOS и firmware сервера и всех контроллеров. поможет узнать.

то есть никаких ограничений по сроку действия в дистрибутив как таковой не встроено. Доступ к ним можно получить после бесплатной регистрации. которая предназначена для установки на HDD\LUN\ Flash.vm4.vmware. Но еще один вариант – приобрести сервер со встроенной флэшкой или отдельно флэш-накопитель.html). И 60 дней абсолютно все функции будут работать (как если бы к этим продуктам была применена максимальная лицензия Enterprise Plus). Самая базовая из них – включение ВМ. Более подробно эти вопросы будут разобраны в разделе. Ссылки на загрузку придут на указанный адрес электронной почты. VMware выделяет несколько функций. типа DRS). По истечении этих 60 дней необходимо указать купленную лицензию или переустановить ESX(i) или vCenter (они лицензируются независимо друг от друга). посвященном сайзингу. выполнив в локальной командной строке ESX команду esxcfg-info | grep HV Выводы интерпретируются следующим образом: 0 – поддержка Intel VT / AMD-V недоступна на данном сервере. которые требуют наличия лицензий. где ESXi уже установлен. 3 – поддержка Intel VT / AMD-V включена в BIOS и доступна для использования. между которыми мы хотим использовать эти функции. 1 – технология Intel VT / AMD-V доступна. так и vCenter. Такой вариант называется «ESXi Embedded».Установка и начало работы с ESX(i) 17 Проверить состояние аппаратной поддержки виртуализации можно. Варианты дистрибутивов Правильное место для обзаведения дистрибутивами продуктов – сайт VMware.ru/2010/10/vsphere-licensing. Остальные – это разного рода функции. чтобы набор поддерживаемых процессорами инструкций был одинаков для серверов. что без лицензии для ESX(i) у вас все установится и почти все настроится (кроме функций. . Общее представление можно получить на официальном сайте (или подборка ссылок вот тут: http://www.com/kb/1008027. касающаяся ESXi. требующих отдельных лицензий. Для ознакомительных и демонстрационных целей можно воспользоваться временной лицензией. нам потребуется лицензия. Это означает. но не поддерживается на данном сервере. чтобы хоть что-то заработало. но не включена в BIOS. C сайта вы можете загрузить «Installable» версию ESXi. Далее для Fault Tolerance и vMotion необходимо. что для ESX(i) или vCenter можно указать тип лицензии «Evaluation». Еще одна небольшая тонкость. Эти дистрибутивы полнофункциональны. Однако для того. Вы сможете создать и настроить ВМ на ESX(i) без действующей лицензии – но не сможете эти ВМ включить. Это означает. Она «встроена» в дистрибутив как ESX(i). 2 – поддержка Intel VT / AMD-V доступна для использования. Еще нюанс: для функции VMware Fault Tolerance необходимы процессоры из списка http://kb.

можно найти что-то вроде «ESXi HP (IBM. Тем не менее на некоторые моменты обратить внимание стоит.1. 1.18 Установка vSphere При выборе между вариантами Installable и Embedded (то есть между установкой ESXi на HDD\LUN\флэш-накопитель или готовый флэш-накопитель) ориентируйтесь на свои вкусы и привычки. разве что своей простотой – вследствие узкоспециализированности ESX.3. рис. Проблема здесь может возникнуть в том случае. который затем залить на флэшку и загружать ESXi с нее. СХД. Кратко это означает сборку ESXi. Установка ее мало чем отличается от установки других ОС. Загружаем сервер с этого диска.2. если инсталлятору видно больше одного диска/LUN. Первый из них – это выбор диска. чем если на сервере будет установлена обычная версия ESXi от VMware.vm4. на который мы устанавливаем ESX(i). с которым работает физический Windows-сервер. Так как возможность официально не поддерживается. Последний нюанс – в списке дистрибутивов на сайте VMware или на сайтах таких производителей оборудования. при установке ESX(i) на один из этих серверов . если используется отказоустойчивый кластер Майкрософт в конфигурации physical-2-virtual. как Dell.html). на который будем инсталлировать ESXi. Вопросов он задаст всего ничего. когда сервер. Также из версии Installable можно самостоятельно извлечь образ. в которую входят нестандартные CIM Provider – компоненты.ru/2010/08/auto-deploy. Установка ESXi ESX – это операционная система. Такое обычно происходит в инфраструктурах покрупнее. 1. Благодаря этому данных мониторинга будет больше. такая конфигурация потребуется. Притом в некоторых ситуациях мы вынуждены будем сделать так. Еще одной не поддерживаемой на данный момент конфигурацией является загрузка ESXi по PXE. предоставляющие интерфейс для мониторинга оборудования серверов конкретного производителя. Последний вариант является официально не поддерживаемой конфигурацией. В силу условий работы vMotion и других функций vSphere часть LUN системы хранения должна быть доступна всем серверам – см. Таким образом. подключен к системе хранения данных. что серверам ESX(i) будут доступны все четыре LUN с этой СХД – даже тот.vm4. Для установки ESXi вам потребуются диск с дистрибутивом и доступ к локальной консоли сервера. даже если целевой сервер недоступен (подробности можно найти по ссылке http://www. укажу лишь ссылку на информацию: http://www. Но с его помощью можно подготовить загрузочную флэшку. но и на флэш-накопитель или USB-HDD. DELL и прочее) Edition».html. Хочу акцентировать ваше внимание на то. IBM и HP. что версия Installable устанавливается не только на локальные диски. запускается мастер установки. СХД используется несколькими серверами ESX(i) и сервером Windows.ru/2010/01/all-about-esxi. Например. и эти данные могут быть собраны центральным сервером управления и мониторинга оборудования (если таковой используется в вашей инфраструктуре).

и эти данные затереть. в котором стоят контроллеры в сервере. потому что это разрушит данные на них. нельзя – далеко не факт. Порядок именования контроллеров (vmhba#) зависит от порядка. Обратите внимание: ESXi на этом этапе покажет нам физический адрес устройства – вида «vmhba0:C0:T0:L0».1. на котором уже лежат данные.Установка и начало работы с ESX(i) 19 Рис. то не всегда бывает тривиально на этапе установки определить. если они есть) – и минимум один (тот. Отсюда вывод: . Схема использования СХД несколькими серверами он увидит все четыре LUN (а еще и локальные диски сервера. если мы используем внешнюю СХД. Последняя цифра здесь – номер LUN. 1. как правило. В итоге проблема в том. который используется Windows-сервером) инсталлятору покажется пустым. Поэтому полагаться на порядок. что по ошибке мы можем выбрать диск. от настроек BIOS. а на какой/какие ставить нельзя. на какой же из них нам необходимо проинсталлировать ESXi. и можно сориентироваться. Эта проблема актуальна в подавляющем большинстве случаев. в котором поименованы контроллеры. по которому. если инсталлятору ESXi доступны несколько дисков. что локальные контроллеры будут в списке раньше контроллеров для доступа на СХД. а нам оторвут за это голову. Так вот.

DNS-имя и домен. Но самое главное – нам нужен пункт Network Adapters. в котором можно будет указать необходимый размер блока для VMFS (подробности см. Если вам необходимо размещать ВМ с диском большего размера на создаваемом по умолчанию разделе VMFS. установщик создает VMFS по умолчанию с размером блока в 1 Мб. Есть пара нюансов. на который будем устанавливать ESX(i). Делается это очень просто: нажимаем F2.20 Установка vSphere Если доступных для ESXi дисков/LUN мало и мы гарантированно отличим предназначенный для установки – просто устанавливаем на него ESXi. Рис. Если маскировку мы используем. связанных с дисковой подсистемой: для файловой системы VMFS нельзя использовать диски/LUN размером более 2 Тб минус 512 байт. 1. Иначе лучше подстраховаться. то воспользуйтесь установкой ESX с файлом ответов.8–1.ru/2010/06/default-vmfs-block-size. то можно с ее помощью спрятать все LUN. Выбор контроллера для сети управления ESXi . однако надежнее ограничиваться размером одного LUN порядка 1.: http://www.html). Это означает.2.vm4. Сразу после установки ESXi необходимо настроить сеть. то надежнее физически отключить сервер от всех LUN.2). через который будет выходить наружу управляющий интерфейс ESXi (рис. 1. LUN masking/presentation) нам ни о чем не говорят. кроме нужного. Там выставляем правильные настройки IP. на время установки. что на созданном по умолчанию разделе VMFS не получится создать виртуальную машину с файлом-диском больше 256 Гб. попадаем в меню а-ля BIOS. Нам нужен пункт Configure Management Network.9 Тб. кроме того одного. Если у нас внешняя СХД и слова «зонирование» и «маскировка» (zoning. в котором мы выберем один сетевой контроллер.

зачем нужен этот механизм. о чем нас спросят. Схема подключения физических сетевых контроллеров ESX(i) к разным сетям Нам необходимо выбрать тот физический сетевой контроллер (они именуются vmnic#).Установка и начало работы с ESX(i) 21 Ошибиться мы можем. Варианты «Scripted Install что-то там дальше» мы рассмотрим чуть далее. Указать новый пароль. На рис.3. Если VLAN вам не нужны. VLAN – если вы не знаете. предполагается. Лучше бы его задать: 1.2. 1. Сейчас коснемся первых двух вариантов: «Install ESX . который ведет в сеть управления. в разделе про автоматическую установку.3 я изобразил. то проконсультируйтесь со специалистами. 1. – какой тип установки выбрать. нежели ESXi. рис.3. Установка ESX ESX устанавливается с чуть большим количеством вопросов. На свежеустановленном ESXi пароль root пустой. – см.4. Или в этой сети находится vCenter. 2. Рис. что в этой сети находится ноутбук – с которого. которые обслуживают вашу сеть. 1. Немного теории про VLAN будет дано в посвященном сетям разделе. в случае если в сервере несколько сетевых карт и они смотрят в разные сети. вы будете управлять ESX(i). через который вы будете управлять ESX(i). Выбрать Configure root password. то ничего не вводите в соответствующее поле. 1. Самое первое. Далее переходите к разделу Начало работы.

Язык оставляем по умолчанию – английский. рис. например. IBM RSA.3 я изобразил. В случае текстовой установки по сети будет передаваться намного меньше информации – это весомый плюс для тонких каналов. пользуясь средствами типа HP iLO. VLAN – если вы не знаете. по названию драйвера (если сетевые карты в сервере используют разные драйверы) и по MAC-адресу. но работать будет лишь 60 дней с момента установки – после чего потребуется или все-таки ввод ключа продукта. то проконсультируйтесь со специалистами. Если ошиблись. Нам необходимо выбрать тот физический сетевой контроллер (они именуются vmnic#). Немного теории про VLAN будет дано в посвященном сетям разделе. Next. А нам нужно будет выбирать нужные пункты нажатием цифр 1. 1. Может быть. Ориентироваться можно по его статусу (подключен или не подключен). то ничего не вводите в соответствующее поле.4) и выберем нужный нам контроллер. отображаемые текстом. то есть ознакомительном. и он сам запустится через 30 секунд. – см. Я буду описывать установку графическую – но вся разница с текстовой будет состоять. В этом режиме ESX абсолютно полнофункционален. Вызовем выпадающее меню в графическом режиме (рис. или переустановка. Или в этой сети находится vCenter. а «нажмите 2 – Change и выберите нужный контроллер». Для этого обратитесь к разделу. Дальше будет вопрос по ключ продукта. то следующим шагом будет подтверждение загрузки стандартного набора драйверов. Fujitsu iRMC. а меню. 3. на которых привычно надо жать Next. затем можно поправить через локальную командную строку.22 Установка vSphere in graphical mode» и «Install ESX in text mode». Если мы не будем указывать дополнительные драйверы на этом этапе. 1. предполагается. Первый – вариант по умолчанию. В этом случае найти драйверы можно будет на сайте VMware или на сайте производителя контроллера (это справедливо для устройств. которые обслуживают вашу сеть. зачем нужен этот механизм. в том. через который будет выходить в сеть управляющий интерфейс ESX. Dell DRAC или коммутатора IP KVM. Русский нам не понадобится. поддерживаемых официально). Мы выбираем тот контроллер. что в этой сети находится ноутбук. Сейчас его можно не вводить – тогда ESX будет установлен в режиме «Evaluation». Следующий шаг потенциально проблемный – выбор сетевого контроллера для управления. 2. . через который вы будете управлять ESX(i). что надо читать не «вызовите выпадающее меню и выберите нужный контроллер». что установщик будет вам показывать не красивые картинки. Но сами пункты будут теми же самыми. вы будете управлять ESX(i). Важный вопрос – будем ли мы использовать дополнительные драйверы.3. в случае если в сервере несколько сетевых карт и они смотрят в разные сети. Если VLAN вам не нужны. если вы устанавливаете сервер удаленно. Принимаем лицензионное соглашение. посвященному командной строке. Нужен режим текстовой установки в случае. который ведет в сеть управления. Ошибиться мы можем. драйверов для вашего оборудования не окажется в дистрибутиве. На рис. с которого. 1. Второй отличается от него лишь тем.

В любом случае нам нужно будет выбрать диск. В силу условий работы vMotion и других функций vSphere часть LUN системы хранения должна быть доступна всем серверам. Важный. Таким образом. 1. 1. когда сервер. с которым работает физический Windows-сервер (например. если они есть) – и минимум один (тот. на который будем устанавливать ESX. важный шаг. хотим ли мы по-простому установить ESX на один какой-то диск или вручную указать. Выбор сетевого контроллера для управления ESX Дальше – самый. потому что потенциально опасный. К счастью. Например. в отличие от установщика ESX 3.1 – СХД используется несколькими серверами ESX и сервером Windows. См. . нам необходимо выбрать диск. подключен к системе хранения данных. Соображения здесь следующие. Итак. СХД. такой: «vmhba0:C0:T0:L0». на который мы устанавливаем ESX(i). Установщик может увидеть несколько дисков. который используется Windows-сервером) инсталлятору покажется пустым. через который сервер работает с этим LUN. А первая – номер контроллера. Притом в некоторых ситуациях серверам ESX будут видны все четыре LUN. Такое обычно происходит в инфраструктурах покрупнее. если используется отказоустойчивый кластер Майкрософт в конфигурации physical-2-virtual). – даже тот. каким разделам где лежать.Установка и начало работы с ESX(i) 23 Рис. Для начала нас спросят. рис.4. на который хотим устанавливать. Последняя цифра здесь – номер LUN. доступных на этой СХД. наверное. при установке ESX(i) на один из этих серверов он увидит все четыре LUN (и локальные диски сервера. установщик ESX 4 показывает нам физический адрес LUN.

Уведомление о существующем разделе VMFS на диске для установки Еще один связанный с дисками нюанс: диск. может находиться на контроллере локальных дисков.5. необходима его активация на этапе загрузки сервера. В некоторых серверах такая возможность называется «Option Rom Scan». в котором стоит этот контроллер. С точки зрения BIOS сервера. Для того чтобы контроллер мог выступать загрузочным. Рис. куда устанавливаем ESX (рис. 2. С точки зрения BIOS.5). Единственное исключение – если переустанавливать ESX поверх ESX. для того чтобы загрузить сервер с диска/LUN на внешней СХД. она должна быть включена. контроллер HBA (FC или iSCSI) должен стоять в списке дисковых контроллеров первым.1) вся информация на нем будет уничтожена. 1. связанные с процедурой загрузки (Boot): 1. диска. должен быть просканирован на наличие загрузочного микрокода – BIOS контроллера. Host Bus Adapter). 1. Так вот.24 Установка vSphere Так вот. на который мы будем устанавливать ESX(i). в котором стоит контроллер. Для разъема. на контроллере Fibre Channel или iSCSI (FC или iSCSI HBA. с которым работает сервер Windows на рис. ваша задача – выбрать именно тот диск. В случае ошибки и выбора для установки уже используемого диска (например. это означает примерно следующее: разъем PCI. то мастер установки предложит оставить нетронутым раздел VMFS. 1. на который планируется установить ESX. может потребоваться изменить настройки BIOS сервера. . то есть выставлена в положение «Yes». то есть все виртуальные машины на том диске.

в отличие от ESX 3. А если вы выберете вариант «Advanced Setup».vmdk. Либо можно будет выбрать уже существующее хранилище VMFS. добавить нам стоит все или часть из следующих разделов: «/». наличие отдельного раздела «/home» – это правильно. когда сам ESX мы хотим установить на один диск/LUN. содержащий Service Console. «/swap» и прочие разделы SC находятся внутри этого виртуального диска. какие разделы создаем для Service Console. Однако на случай если вы будете их создавать. будет целесообразно создать отдельные разделы под те каталоги. ориентировочный размер от 512 Мб. о которых ниже). читается как «root» – корневой раздел. Может потребоваться настройка в BIOS самого контроллера. в сумме примерно 1250 Мб. что SC не хватит памяти. «/swap» – под виртуальную память Service Console. ESX может остановиться или начать работать нестабильно (например. . где создать хранилище VMFS под файл виртуального диска Service Console.vmdk» – виртуальный диск. По этому пути хранятся профили и данные пользователей Service Console. «/» (root). когда недостаточно качественно написанный агент мониторинга оборудования генерировал несколько гигабайт файлов журналов). описаны случаи. размер его – от 5 Гб до 10 Гб (5 Гб нормально. По умолчанию это раздел под виртуальную память «/swap». раздел «/» и «/var/log». мы сводим к минимуму. Для того чтобы свести эту вероятность к минимуму. который с него загружается. Без него не обойтись. Делаем размером в 1600 Мб – лишних нескольких сотен мегабайт нам не жалко. зато вероятность того. Загрузочный LUN должен быть доступен только тому одному серверу. необходимые для гипервизора: «/boot» и «/vmcore». то вам предложат выбрать. Далее можно будет выбрать. предлагаемую по умолчанию? Потому что по умолчанию все данные SC будут попадать на раздел «/». В случае выбора «Standard Setup» указываем диск для установки – и все. и на нем будет создан файл «esxconsole. а esxconsole. которые могут занимать много места. отформатированный в файловую систему VMFS. Почему нам может захотеться менять схему разделов. «/home». Service Console в ESX 4 не имеет своих разделов на диске. И если на нем закончится место. что располагаются эти разделы внутри vmdk-файла из предыдущего пункта. В таком случае на загрузочном диске будут только разделы «/boot» и «/vmcore». На нем будут созданы разделы. Правда. На оставшемся месте будет создан раздел. Диск должен быть размером как минимум 8. виртуальный диск SC – разместить на другом диске/LUN. 2048 Мб – для хранения временных файлов. Напомню.5 Гб. вряд ли вам потребуется заводить пользователей для мало-мальски регулярной работы в SC. Этот вариант нужен тогда. когда созданы дополнительные разделы. То есть. Обратите внимание. «/tmp». Таким образом.Установка и начало работы с ESX(i) 25 3.

«/var/log». с размером блока в 1 Мб. 2048 Мб – предлагается по умолчанию в режиме графической и текстовой установки. соответствующую главу. так и . Автоматическая установка ESX ESX всегда можно было установить автоматически. Для хранения этих образов обычно используются другие места для хранения iso (NAS или SAN) – так как образы с них можно использовать на любом из подключенных серверов ESX(i). Но размеры можно указать произвольные при установке с файлом ответов – см. чтобы авторизоваться под непривилегированным пользователем и лишь потом. и на ESX по умолчанию запрещено подключаться по SSH пользователем root. Установщик создает VMFS по умолчанию. В файле ответов для ESX есть как секции от Red Hat. Однако если вы планируете размещать образы iso локально на ESX или опасаетесь. а «/var» целиком. Если планируем устанавливать какие-то приложения в SC.5. при необходимости. Файл ответов для ESX очень напоминает оный для Red Hat – но между собой они не совместимы. Он нам понадобится в случае обращения к ESX по SSH. Обратите внимание: изменять размер разделов ESX («/boot» и «/vmcore»).26 Установка vSphere «/opt» – аналог «Program Files» в Windows. Это правильно с точки зрения безопасности. и они станут доступны для подключения к ВМ.2. поднять свои привилегии до root. что это может быть сделано по ошибке. Если вам необходимо размещать ВМ с диском большего размера на создаваемом по умолчанию разделе VMFS. опять же чтобы минимизировать риск нехватки места на корневом разделе. в общем случае. что на созданном по умолчанию разделе VMFS не получится создать виртуальную машину с файлом-диском больше 256 Гб. Идея в том. Затем укажем пароль для root и создадим еще одного пользователя. Это означает. то лучше будет создать отдельный раздел под «/opt». По-английски это называется «Scripted install with kickstart file». Далее переходите к разделу «Начало работы». На следующем шаге мастера установки ESX укажем часовой пояс и настройки времени – вручную или через сервер NTP. нет. Рекомендуется точкой монтирования указать даже не «/var/log». Однако причин изменять размеры этих разделов. «/vmimages» – в этот каталог можно класть образы iso. то ознакомьтесь со статьей базы знаний VMware № 1012683 (http://kb. Есть нюанс. связанный с создаваемым по умолчанию разделом VMFS.vmware. создайте под «/vmimages» отдельный раздел. Поэтому авторизоваться по SSH пользователем root без дополнительных телодвижений не удастся. используя файл ответов. а также раздела VMFS вы не можете из графического или текстового режима установки. Еще рекомендуется увеличить размер этого раздела на 512 Мб в случае использования автоматической установки.com/ kb/1012683). 1.

нужна она вам или нет.6. то установка без лишних вопросов будет произведена на первый из дисков сервера. в дистрибутив ESX входят два готовых файла ответов с настройками по умолчанию. . с сохранением на нем раздела VMFS и виртуальных машин.cfg. Файл ответов для автоматизации установки ESX можно взять из нескольких источников: после установки ESX в интерактивном режиме на нем автоматически создается файл /root/ks. Данный файл хорошо подходит для такой же переустановки ESX на этот сервер – в каком-то роде резервная копия. 1. чтобы вы могли понять.cfg. Здесь я укажу лишь самые интересные. перечислены и описаны в документе «ESX and vCenter Server Installation Guide». Рис. Для автоматической установки на первый диск без сохранения раздела VMFS выберите ESX Scripted Install to first disk (overwrite VMFS). Еще – как основа для создания универсального файла ответов.cfg. Выбор типа установки ESX Если выбрать ESX Scripted Install to first disk. которые вы давали по ходу установки данного сервера ESX.Установка и начало работы с ESX(i) 27 секции от VMware. возможности автоматической установки. Все параметры. Чтобы задействовать существующие по умолчанию файлы ответов. которые мы можем указать в файле ответов. Имя этого файла ответов – ks-first-safe. в котором содержатся те ответы на вопросы установщика. выберите соответствующий пункт в первом меню установщика ESX (рис. на мой взгляд.6). 1. создать файл ответов самостоятельно с самого начала или взяв за основу вариант из Интернета. Имя этого файла ответов – ks-first.

даже различной конфигурации. При создании произвольного файла ответов один файл может использоваться для установки ESX на разные серверы. В отличие от интерактивной установки. Мы можем указать правила выбора дисков для установки. если еще не существует. Для этого нам пригодится секция «%post» файла ответов. здесь мы можем указать размеры разделов. при работе в командной строке ESX это можно сделать командой nano script_name Этой командой вы откроете в текстовом редакторе nano файл с именем «script_ name». где вы сейчас находитесь. – по умолчанию это домашний каталог вашего пользователя. накопитель USB с дистрибутивом или образом ISO. Можем указать источник дистрибутива. но и используя содержимое файла «hosts». – и вот здесь опять же можно задать необходимое содержание этого файла. Создан в том каталоге. HTTPS. NFS. а самого гипервизора). В секции «%post» мы можем указать произвольные команды для исполнения после завершения установки ESX – это открывает интересные возможности по автоматизации еще и любых настроек серверов ESX. Можем указать модели дисков и их приоритет при выборе для установки на них ESX. Что нужно знать для автоматизации настроек ESX? Можно создать текстовый файл с какими-то командами. и они будут последовательно выполнены при выполнении этого сценария. В сетевых настройках необходимо будет указать использование DHCP. Например. То же самое касается создания виртуальных коммутаторов. Кроме того. который будет создан. мы можем указать конструкции следующего вида: .28 Установка vSphere Пароль пользователя root будет «mypassword». то можно указать это изменение в данной секции. Дальнейшая настройка ESX должна проводиться с помощью клиента vSphere. создаваемых для установки ESX (не разделов Service Console. Например: устанавливать ESX на первый из локальных дисков. Сразу первой строкой пропишем обработчик команд: #!/bin/bash Теперь в этом файле мы в строчку можем перечислить команды. Им может быть локальный DVDROM. по моему мнению. если вы хотите прописать на всех серверах какую-нибудь из Advanced Settings. можно указать произвольный размер блока для создаваемого установщиком раздела VMFS. самое важное в автоматической установке ESX – это автоматизировать еще и настройки. и оно будет выполнено сразу после установки ESX. Например. На самом деле. FTP). Кроме того. Банальный пример: вам может потребоваться разрешать имена других серверов ESX не только через DNS. а если локальных установщик не найдет – на первый из удаленных. или ресурс в сети (протоколы доступа – HTTP. внесения изменения в любой конфигурационный файл.

пока не встретится строка «delimiter». esxcfg-vswitch –a vSwitch2:32 . Создаем вКоммутатор с именем vSwitch2 и 32 портами.255. esxcfg-firewall –e ntpClient . примеры. Таким образом.conf. Command < filename – команде подается на вход содержимое файла «filename». Пример: #!/bin/bash cat > /etc/resolv.255. Command >> filename – вывод команды будет добавлен к файлу «filename». И эти настройки запишутся в нужный конфигурационный файл сервера ESX.com nameserver <primary_DNS_server> nameserver <secondary_DNS_server> DNS Выход команды cat записывается в файл /etc/resolv. Обратите внимание на то. Но так можно править не все конфигурационные файлы. esxcfg-auth --passmaxdays=90 --passmindays=30 --passwarnage=15 : .156 –n 255.72. Настраиваем файрвол Service Console для открытия портов службы ntpClient. необходимо пользоваться специальными командами. которая является разделителем (delimiter). Например. Самый важный конфигурационный файл ESX – /etc/vmware/esx. Изменяем настройки модуля авторизации. В группе портов vMotion создаем интерфейс VMkernel и указываем для него сетевые настройки.conf – напрямую править нельзя. esxcfg-vswitch –L vmnic2 vSwitch2 . эту конструкцию мы применяем всегда. В качестве такого разделителя частенько удобно использовать «EOF» – End of file.0 vMotion . когда в обычный текстовый конфигурационный файл нужно записать или добавить какие-то строки. Сама строка может быть любой – см. Command < filename > newfile – «filename» подается на вход. так: Пример 2: #!/bin/bash . что мы даем ей на вход. На вход мы ей даем настройки DNS – имя домена и адреса двух серверов DNS. Вывод команды cat в данном случае – это те строки.1. esxcfg-vswitch –A vMotion vSwitch2 . esxcfg-vmknic –a –i 10. следующие до строки «DNS». то есть до конца файла.Установка и начало работы с ESX(i) 29 Command > filename – вывод команды будет записан в файл «filename». Добавляем на него группу портов с названием vMotion.conf << DNS search mydomain. В качестве аплинка для него используем NIC vmnic2. Command << delimiterапрап – на вход подавать следующие за командой строки. вывод команды пишется в «newfile». что команды и их параметры регистрозависимы. На вход ей подаются строки.

Таким образом. прописанные в «%post». тогда настройки будут выполнены сразу при установке ESX. но до перезагрузки ESX.1.d/S99myconfig << CFG esxcfg-vswitch –a vSwitch2:32 esxcfg-vswitch –A vMotion vSwitch2 esxcfg-vswitch –L vmnic2 vSwitch2 esxcfg-vmknic –a –i 10. то.156 –n 255. на DVD или сделав доступным по сети. выполнив его. И команды esxcfg-* выполнятся уже при штатном старте ESX. когда гипервизор будет загружен. сценарий. конечно) мы помещаем в секцию «%post» файла ответов. нам команды. . Таким образом. группу портов vMotion и прочее из второго примера. выполняющий нужные настройки) и простым его выполнением делаем нужные настройки на свежеустановленных серверах.0 vMotion esxcfg-route 10.253 esxcfg-firewall –e ntpClient esxcfg-auth --passmaxdays=90 --passmindays=30 --passwarnage=15 CFG Эти строки. Такой вариант тесно перекликается с функционалом «Host profiles» – мы создаем один раз нужные настройки (вернее. В этот момент гипервизор еще не работает – а команды esxcfg-* работают только при запущенном гипервизоре. Теперь последнее: как же нам передать этот файл ответов установщику ESX? Очень просто – положив его на накопитель USB. Сделать это несложно: cat > /etc/rc. Делаем его исполняемым: chmod +x scriptname Теперь запуск этого файла командой . Теперь у вас есть два варианта использования подобного сценария.d/rc3. Единственный нюанс – эти сценарии будут выполнены после установки. а прописать их выполнение при загрузке ESX. Только что вы создали сценарий автоматической настройки ESX.255. указанное нами в этом файле.30 Установка vSphere Далее выходим из текстового редактора (в случае nano – комбинацией Ctrl+X).137.1. создадут сценарий с именем S99myconfig. вы настроите DNS на ESX и создадите виртуальный коммутатор.255. сохраняем файл. нужно не выполнять в секции «%post». Один вариант описан только что – простое выполнение на проинсталлированном ESXсервере. Вариант 2 – содержимое этого файла (заранее отлаженное. подобные описанным во втором примере. который выполняется при старте ESX./script_name выполнит все.72. если в файл script_name вы прописали оба моих примера.

Скопировать на него файл ответов с именем ks.cfg – если файл ответов расположен на nfs-сервере. • ks=http://<server>/<path>/ ks. А значение переменной (идентификатор конкретного ESX сервера) мы передаем на этапе запуска установки. EXT3 или FAT32. Отформатировать накопитель в файловую систему EXT2. который надо выполнить после перезагрузки ESX. К ней нужно дописать какую-то из следующих опций: • ks=cdrom:/ks.cfg – если файл ответов расположен на сервере HTTP. 2. нажать F2 и дописать в конец командной строки что-то вроде «ESXID=<номер устанавливаемого ESX>». Описанное здесь – лишь малая часть возможностей. Автоматизировать можно практически все. С другой стороны.cfg и файл со сценарием. Пример этой пары файлов вы можете найти на http://www. нам следует решить проблему уникальности имен и IP-адресов. что расположение дистрибутива ESX указано в файле ответов.cfg – если файл ответов расположен на разделе VMFS с известным вам uuid. Отформатировать накопитель в файловую систему EXT2. Скопировать на него файл ответов с именем ks.Установка и начало работы с ESX(i) 31 Для обращения к файлу ответов на USB-накопителе вам необходимо: 1. Это можно сделать с локального DVD или по PXE. Выглядит последовательность действий так (на примере файла ответов с USB): 1. • ks=ftp://<path>/ks. Обратите внимание на то. Загрузить сервер с дистрибутива ESX. 2.ru/2010/10/ esx-esxi-kickstart. • ks=UUID:<disk-uuid>:/<path>/ks. подключенном к серверу. EXT3 или FAT32. 3.cfg». 3.cfg».html. Вариант решения проблемы: в файле ответов мы указываем запуск сценария настройки. .cfg – если файл ответов расположен на CD/DVD. что переменная ESXID используется в сценарии.vm4. Курсором (не нажимая Enter) выбрать пункт «Install ESX in graphical mode» или «Install ESX in text mode». В нижней части экрана появится команда запуска установщика. Для того чтобы файл ответов был поистине универсальным. Выбрать (не нажимая Enter) «ESX scripted install using USB ks. если они назначаются статически. даже описанного здесь достаточно для автоматизации всех стандартных настроек.cfg. Загрузить сервер с дистрибутива ESX. Предполагается. и в зависимости от значения переменной устанавливаемому ESX даются уникальное имя и IP-адрес.cfg – если файл ответов расположен на ftp-сервере. Нажать F2. Выбрать «ESX scripted install using USB ks. Для обращения к файлу ответов НЕ на USB-накопителе необходимо: 1. 3. в котором для указания имени и IP-адресов используется переменная. Дистрибутив может располагаться на DVD или сетевом ресурсе. • ks=nfs://<server>/<path>/ks. 2.

который также может располагаться на сетевом ресурсе.1 возможность установки с файлом ответов появилась и для ESXi. следует после загрузки установщика нажать Tab и к параметрам дописать строку ks=file://etc/vmware/weasel/ks.7. Чтобы задействовать его.1 Installable and vCenter Server 4. http://www.6. Затем. В документе VMware ESXi 4. протоколу ftp и в файле ответов указать путь к дистрибутиву. Рис. Разумеется. сделать доступным по.32 Установка vSphere 1.2. в состав дистрибутива ESXi входит готовый файл ответов. 1. как-то загрузив установщик ESXi.ru/2010/07/esxi-kickstart-file. параметром (примерно вот таким: ks=ftp://192.7). без каких-либо дисков или образов вообще. Есть способы даже в меню установщика вывести пункты для начала установки с тем или иным файлом ответов (см.168. vm4. . Меню установщика ESXi с добавленными пунктами Другой вариант – это расположить дистрибутив в сети. доступны и промежуточные между этими двумя варианты.10. Некоторые примеры и полезные ссылки удобно посмотреть здесь: http://www.10/ks) указать ему расположение файла ответов. При организации автоматической установки ESXi самое важное – определиться с некоторыми организационными вопросами: это месторасположение файла ответов и дистрибутива ESXi. самый простой. – это дистрибутив на CD-ROM или в образе iso и в нем же расположенный файл ответов. например.html и рис. Притом. Если еще и осуществить загрузку сервера по PXE.html. 1. Один из граничных вариантов. Автоматическая установка ESXi Начиная с версии 4.1 Setup Guide приводится информация о возможных параметрах файла ответов. то получится самый гибкий вариант установки. как и для ESX.cfg.ru/2010/09/esxi-kickstart.vm4.

3. Networking – сеть. указываем имя или IP-адрес сервера ESX(i) и подключаемся.и 64-битных версиях. Взять дистрибутив следует с веб-интерфейса ESX(i). Если вы не понимаете. Нужен этот сертификат для подтверждения легитимности сервера. На локальном мониторе отображается лишь немного информации. На него устанавливаем vSphere Client (клиент vSphere). а в составе ESX(i) дистрибутива клиента больше не поставляется. Подробности по настройке сети см. Если вы будете использовать vCenter Server. проконсультируйтесь со специалистом по безопасности вашей компании.Начало работы 33 1. 7. на страничке щелкаем по ссылке «Download vSphere Client». Этот клиент может быть найден на сайте VMware не только по прямой ссылке с описываемой странички. но и в доступном после регистрации разделе download. Для работы нам понадобится другая машина с Windows. После подключения вы попадете на страничку Home. Увидим предупреждающее сообщение о неподписанном сертификате. 2. Настроек минимум – включить клиент NTP и указать адрес сервера NTP. Затем пройдите на закладку Configuration для сервера (рис. будет ваш компьютер. На ней выберите иконку Inventory и выделите свой сервер. Загружаем.3. Если есть – сразу переходите к разделу «Установка и начало работы с vCenter Server». 4. . Вариантов два: у нас есть управляющий vCenter Server или его нет. допустим. Этой внешней машиной. следует выполнить минимальную настройку. DNS and Routing – настройки DNS и шлюзов по умолчанию. что без него на сервере будут доступны все функции в течение 60 дней ознакомительного периода. Запускаем установленный клиент vSphere. 1. Подключившись первый раз. Далее я его буду называть клиентским компьютером. и для ESX. 1. что это такое. Из начальных настроек представляют наибольший интерес: 1. что начиная с версии 4. Поддерживаются следующие версии Windows: XP. устанавливаем. 3.1 ссылка на загрузку клиента ведет на сайт VMware. Напомню. Начало работы без vCenter C локальной консоли ESX(i) мы его функциями воспользоваться не сможем. Vista. Обратите внимание на то. Server 2003. Licensing Features – здесь необходимо указать ключ продукта. Time Configuration – настройки NTP. в 32. то дистрибутив клиента vSphere проще всего найти в дистрибутиве или на веб-странице сервера vCenter. Начало работы Дальнейшая работа одинакова для и ESXi. куда необходимо установить клиента vSphere. в соответствующем большом разделе.1. Server 2008.8). в частности IP-адрес сервера ESX(i). Браузером обращаемся на IP-адрес сервера.

В частности. Если есть vCenter. Подробности по настройке дисковой подсистемы см. И только если совсем не получается. Подключение клиентом vSphere напрямую к серверу ESX(i) 5. стараемся все действия производить через него. Есть маленький список действий. которые доступны вам только при работе с сервером ESX(i) напрямую. лишь в этом случае подключаемся к ESX(i) напрямую. в соответствующем большом разделе. Большинству из вас дополнительные локальные пользователи на ESX(i) не нужны. После этого можно создавать и включать виртуальные машины. а не через vCenter Server. Обзор элементов интерфейса клиента vSphere при работе напрямую с ESX(i) и через vCenter – чуть далее. Установке и работе с vCenter посвящен один из следующих разделов. Если мы планируем использовать vCenter Server.34 Установка vSphere Рис. Под «так» имеется в виду «подключаясь напрямую к серверу». то так никогда не делаем ☺. Storage – система хранения. «Не получается» означает какого-то рода проблемы. это создание и управление локальными пользователями ESX. .8. 1.

за точным списком для текущей версии имеет смысл обращаться все-таки в документацию. FT (Fault Tolerance). vmware. Если она будет работать на том же сервере или ВМ.Начало работы 35 1. про интерфейс работы с ESX(i) через vCenter. Очевидно. ВМ с vCenter можно мигрировать на другой сервер.1 – только 64-битные) и 64-битную Windows XP Pro. . в случае необходимости обслуживания сервера ESX(i). то для нее потребуются дополнительные ресурсы. Также последовательно поговорим про все шаги установки этого продукта.com. который будет дополнительно потреблять от 128 до 1500 Мб ОЗУ (в зависимости от интенсивности использования). vCenter Server требует физического сервера или ВМ. что и vCenter. а также про шаги первоначальной настройки. дающие очень простую возможность обеспечить точку возврата перед потенциально опасными действиями. Есть некоторые соображения по использованию для установки vCenter Server физической или виртуальной машины. который будет управляться этим vCenter Server. Впрочем. в которую мы будем его устанавливать. Системные требования VC Системные требования текущей версии vCenter Server 4 имеет смысл смотреть в документации (здесь и далее документацию ищите по адресу http://pubs. – это финансовые затраты.2. где эта ВМ работает. что в первом случае потребуется сервер. Информацию именно о совместимости следует искать в документе VMware vSphere Compatibility Matrixes). но кроме нее будет установлен веб-сервер для веб-интерфейса vCenter. на что имеет смысл обратить внимание. включая место на диске. Этот веб-интерфейс дает нам возможность взаимодействовать с ВМ при помощи только браузера. Установка и начало работы с vCenter Server Здесь поговорим про вторую часть vSphere – VMware vCenter Server. В качестве ОС vCenter может использовать Windows Server 2003 SP2 – 2008 R2 (начиная с версии 4. В списке совместимых браузеров – IE6 и 7. Mozilla Firefox 2. к ВМ с vCenter применимы снимки состояния (snapshot). vCenter – это приложение под Windows. У сервера vCenter должно быть достаточно ресурсов: процессор 2 ГГц. 1–2 Гб места на диске.x и 3. Какие соображения есть кроме этого? Плюсы использования для vCenter виртуальной машины на одном из ESX(i): нет необходимости в выделенном сервере под vCenter. ВМ может работать на одном из ESX(i) серверов.x. 2 Гб ОЗУ.3. Обратите внимание: это только для службы vCenter Server. Также для работы vCenter необходима база данных. Я же скажу. ВМ с vCenter может быть защищена механизмами HA (High Availability).

то каких-то особых нюансов такой установки нет. а также можно применять и в производственной среде. Все. Из стандартных соображений надежности и производительности рекомендуется второй вариант.#. C помощью vSphere Client вы можете напрямую управлять ESX серверами версий. начиная с 2. Все версии БД. так и на выделенном сервере. Совместимость vCenter Server 4 и vSphere Client с предыдущими версиями ESX и vCenter C помощью vCenter Server 4 вы можете управлять ESX серверами любых версий. если размер вашей инфраструктуры превышает 5 серверов и 50 ВМ. Устанавливаем в нее ОС. . сама VMware не рекомендует использовать SQL Server 2005 Express в случае. Если сервер БД не выделен под хранение базы vCenter. 2. 4.5. Oracle 10g. на свою машину устанавливаем клиент vSphere.36 Установка vSphere Минусы использования для vCenter виртуальной машины на одном из ESX(i): в некоторых ситуациях проблемы с виртуальной инфраструктурой могут вызвать недоступность vCenter. БД может располагаться как на одном сервере с vCenter. Впрочем.5 включительно. Правда. Microsoft SQL Server 2008. ESX 2. а без него не будет централизованного доступа к виртуальной инфраструктуре. БД для vCenter Server В состав дистрибутива vCenter входит дистрибутив SQL Server 2005 Express. 3. документ «ESX and vCenter Server Installation Guide». ESX(i) 3. ESX 3. ESX 2.0 и 2. то рекомендуется перед установкой vCenter сделать резервную копию остальных БД. начиная с версии 2. Точный список для вашей версии ищите в документации. затем vCenter Server. кроме SQL Server 2005 Express. Если вы приняли решение использовать под vCenter виртуальную машину. Microsoft SQL Server 2005.0. что может усложнить решение исходной проблемы. требуют дополнительной настройки – см. такая рекомендация начинает иметь смысл лишь если размер инфраструктуры достигает хотя бы десятка-другого физических серверов. что соответствие версий ESX и Virtual Center следующее: 1. подключаемся с его помощью к ESX(i) и создаем там ВМ. кроме ESX 2.5 – Virtual Center 2. 5.0 – Virtual Center 1.5 включительно. бесплатной версии СУБД от Microsoft.1. и Virtual Center. Из коммерческих СУБД поддерживаются разные версии следующих продуктов: IBM DB2. Напомню.5 – Virtual Center 1.5.0 – Virtual Center 2. Ее идеально использовать для тестовых и демонстрационных стендов. Oracle 11g. Устанавливаем ESX(i) сервер. ESX(i) 4.# – vCenter Server 4.

Microsoft. Между серверами ESX(i) и vCenter не должен использоваться NAT. Может быть установлен как на машину с vCenter. так и встроенную учетную запись Local System.com/pdf/vsphere4/r40/vsp_compatibility_matrix. Если указать ее использование в мастере установки – будет установлена автоматически.Начало работы 37 При подключении к ESX(i) версий 3. В последнем случае компонент vCenter Guided Consolidation Service не сможет автоматически обнаруживать серверы для анализа и миграции их в ВМ и не будет поддерживаться vCenter Linked Mode.pdf. Если адрес сервера vCenter изменится. входящие в состав дистрибутива vCenter Server: VMware vCenter Server – сама служба vCenter. vSphere Client – клиент для подключения к vCenter и доступа ко всем настройкам и функциям. и придется для каждого выполнить операцию удаления из vCenter с последующим добавлением обратно. Будет установлен автоматически. позволяющий вам конвертировать физические серверы в виртуальные машины и многое другое – см. Если вы планируете использовать существующую БД. что используется для управления ESX(i) напрямую. VMware vCenter Converter Enterprise for vCenter Server – опциональный компонент vCenter. Для получения полной и актуальной информации о совместимости компонентов vSphere разных версий рекомендую обратиться к документу vSphere Compatibility Matrixes. что агенты vCenter сохраняют IP-адрес сервера vCenter в своем конфигурационном файле (vpxa.cfg). Далее я перечислю. Его следует установить на те машины. Установка vCenter Server Сервер для установки vCenter может быть членом как домена.vmware.NET Framework – необходимый компонент для работы vCenter и vSphere Client. то выбирать использование SQL Server 2005 Express не надо. с которых мы будем непосредственно администрировать виртуальную среду (это то же приложение. именно ее мы устанавливаем. Для сервера vCenter рекомендуется настроить статический IP-адрес. так и рабочей группы. Компоненты. .x вам предложат загрузить с него VI Client и управлять этим ESX(i) через клиент родной для него версии. что вам следует знать для прохождения мастера установки vCenter. без vCenter). так и на выделенный сервер или ВМ. Для запуска службы vCenter можно использовать как пользовательскую учетную запись. Использование пользовательской учетной записи нужно в основном при использовании Windows authentication на SQL Server. Клиент предыдущей версии установится в вашей системе параллельно с vSphere Client. после чего агенты vCenter узнают и запомнят уже новый адрес. Microsoft SQL Server 2005 Express – бесплатная версия СУБД от Microsoft. серверы ESX(i) будут отображаться как недоступные. Актуальная на момент написания версия располагается по адресу www. может использоваться в качестве БД для vCenter. посвященный ему раздел. Статичность адреса для сервера vCenter обусловлена тем. если отсутствует в системе.

Данный режим может быть интересен. если в вашей компании эксплуатируются несколько серверов vCenter – для разных групп серверов ESX(i). базовую информацию можно подчерпнуть по ссылке http://www. VMware vCenter Orchestrator – дополнительный продукт. в независимом (Standalone) варианте. Устанавливается автоматически. Linked Mode vCenter версии 4 позволяет объединять несколько серверов vCenter в группу. мы можем видеть и . или в составе группы серверов vCenter – последний режим называется «Linked Mode». Обусловлено это техническими ограничениями для данной версии БД: один процессор – 1 Гб памяти. Укажите учетную запись – System или пользовательскую.html. что использовался в VI 3). Варианту Linked Mode посвящен следующий раздел. то необходимо сохранить (или установить) сервер лицензий (тот. Из важных вопросов установщика – выбор БД. vCenter Orchestrator предлагает новые предустановленные процессы для автоматизации задач администрирования. Выберите.x. Если этот сервер vCenter должен управлять ESX(i) серверами версий 3. предназначенный для автоматизации задач администрирования виртуальной инфраструктуры. vCenter Update Manager – дополнительный компонент vCenter.1. сейчас мы говорим про установку в варианте Standalone. Второй вариант разбирается в следующем разделе. SQL Express не рекомендуется использовать для инфраструктуры размером более 5 серверов/50 виртуальных машин. будет ли это отдельный vCenter Server. забытыми VMDK-файлами. такие как управление снимками состояния.vm4. Об этом продукте в книге я писать не буду. посвященный ему раздел. в случае если ОС использует IPv4. так и на выделенный сервер или ВМ. vCenter может использоваться сам по себе. Или используйте SQL Server 2005 Express (тогда она будет установлена автоматически) либо какую-то существующую БД. См. до 4 Гб – размер базы.ru/2010/03/vmware-orchestrator. или он будет входить в состав группы – Linked Mode. Подключившись к одному серверу vCenter из такой группы. Может быть установлен как на машину с vCenter. Начиная с версии 4. В случае использования Linked Mode вы сможете управлять всей инфраструктурой из одного окна.38 Установка vSphere vCenter Guided Consolidation Service – дополнительный компонент vCenter. После установки vCenter для работы с ним необходим клиент vSphere. если вы используете Windows Authentication для SQL Server. предназначенный для обновления серверов ESX(i) и ВМ (некоторых гостевых ОС и приложений). В последнем случае необходимо отдельно настроить подключение к ней – см. множественные операции конвертирования thick-дисков в thin и отключение съемных устройств через vCenter. подробности для вашей версии БД в «ESX and vCenter Server Installation Guide». позволяющий обнаружить и обследовать физические серверы в вашей сети с целью анализа целесообразности переноса их в ВМ. Дистрибутив клиента можно взять из дистрибутива vCenter Server или с веб-интерфейса vCenter и ESX(i). и недоступен в случае использования IPv6.

Обратите внимание: эту возможность включает только vCenter Server с лицензией «Standard». Например. То есть vCenter Server Foundation не получится добавить в группу Linked Mode. В объединенной таким образом инфраструктуре вам доступны: 1) назначение глобальных ролей – то есть раздача прав по всей инфраструктуре. то до десяти vCenter в одной группе Linked Mode позволят вам мониторить и управлять до 3000 серверами ESX(i) и 30 000 ВМ. Если один сервер vCenter может обслуживать до 1000 серверов ESX(i) и 10 000 включенных ВМ (рекомендательное ограничение). Выглядит это так (рис. Это очень удобно. если у вас есть несколько серверов vCenter. используют децентрализованную систему совместной работы (Peer-to-Peer). Работа с несколькими vCenter в одном окне . так и в произвольный момент позже. 1. 3) управление всеми лицензиями. Подключить сервер vCenter к группе можно как на этапе установки. Серверы vCenter.9.9): Рис. отдельные серверы для производственной и тестовой инфраструктур или разные vCenter в разных ЦОД компании.39 Начало работы управлять объектами каждого сервера vCenter из группы. объединенные в группу. 2) глобальный поиск объектов. 1.

никакой группы для него не указываем. в группу с которым вы хотите добавить текущий. Само собой. Установить первый из них. а обновляем с Virtual Center 2. которая хранится в БД сервера vCenter. Сегодня ADAM известен как Microsoft Active Directory Lightweight Directory Services (AD LDS). который запускает процесс присоединения сервера vCenter к группе. роли пользователей. Наши действия – сначала обновить. сертификаты и их отпечатки (Thumbprints). Для удаления сервера vCenter из группы следует воспользоваться приложением «Programs and Features» (Программы и компоненты) или «Add or Remove program» (Установка и удаление программ) для Windows Server 2008 или бо- . Установить второй. Третий vCenter. и на системе (системах). мы не устанавливаем с нуля. Но vCenter Server не должен быть установлен на контроллере домена – это воспрепятствует его добавлению в группу. где установлены прочие серверы vCenter этой группы. предположим.5 до vCenter 4. Также не получится добавить vCenter в группу. Один раз в день данные из ADAM выгружаются в резервную копию. лицензионную информацию. то ваши действия следующие. Все серверы vCenter должны находиться в одном домене AD или в разных доменах с двухсторонними доверительными отношениями. то это также весьма не сложно: Start ⇒ All Programs ⇒ VMware ⇒ vCenter Server Linked Mode Configuration. Подключить vCenter к группе Linked Mode можно как на этапе установки. Каждый экземпляр ADAM хранит данные всех серверов vCenter одной группы. 1. затем добавить к группе. Эти данные содержат: информацию для соединения – IP-адреса и номера портов. когда установщик задаст вопрос про Linked Mode – указать FQDN сервера с первым vCenter. Теперь первые два vCenter в группе. важна правильная настройка синхронизации времени и DNS. три) серверов vCenter на этапе их установки. должен обладать правами локального администратора и на локальной системе. ADAM устанавливается автоматически при установке vCenter Server. Требования к инфраструктуре следующие. Теперь все три сервера vCenter принадлежат одной группе. Так как на этом этапе он является единственным. Если вы хотите объединить в группу несколько (например. Выберите пункт Modify Linked-Mode configuration и укажите FQDN любого сервера vCenter. 3. В случае повреждения ADAM vCenter будет использовать данные из последней резервной копии для его восстановления.40 Установка vSphere Для хранения и синхронизации данных между экземплярами vCenter Server в группе Linked Mode использует Microsoft Active Directory Application Mode (ADAM). Пользователь. 2. Если вы хотите добавить к группе уже установленный vCenter. так и в любой другой момент. если он установлен на терминальном сервере. указав FQDN первого или второго сервера vCenter.

Интерфейс клиента vSphere. так и доменная учетная запись. и только с ними. главное. Также клиент vSphere доступен для загрузки на веб-интерфейсе vCenter и ESX(i). особенно если требуется их как-то сгруппировать по организационному признаку. когда необходимо работать с виртуальными машинами. Как видите. получив дистрибутив из удобного источника. Интерфейс клиента vSphere. В самом начале вам потребуется учетная запись. где установлен vCenter Server. и. Впрочем. здесь и только здесь можно создавать и настраивать распределенные виртуальные коммутаторы VMware. вы увидите примерно такую картину. подключенные хотя бы к одному ESX(i) нашей инфраструктуры. Устанавливаем клиент на свой компьютер. самый главный пункт.4. Впоследствии вы можете назначать различные роли и давать права в vCenter любым учетным записям (не обязательно имеющим административные права в ОС). 4. имеющая права локального администратора на системе. ESX(i). просто недоступна часть объектов (например. Inventory – здесь сгруппированы основные элементы интерфейса по работе со всеми объектами виртуальной инфраструктуры: 1. Веб-интерфейс 41 лее ранних версий соответственно. Это может быть как локальная. Выбрать там VMware vCenter Server. Удобно. виртуальные машины. 3. VMs and Templates – в этом представлении интерфейса отображаются виртуальные машины и шаблоны. элементы интерфейса поделены на четыре большие категории. при работе с ESX(i) напрямую все очень похоже. которая изображена на рис. vCenter. 1. Datastores – здесь отображаются все хранилища. ESX(i). 1. Упор будет сделан на работу через vCenter. кластер HA/DRS) или функций (vMotion). вы подключились к vCenter с помощью клиента vSphere. Подключив к vCenter сервер. нажать Change и в мастере отказаться от членства в группе Linked Mode. 1.10. а также папки для них – иерархия виртуальных машин здесь не зависит от их физического размещения на тех или иных серверах и кластерах. Дистрибутив клиента входит в дистрибутив vCenter. Элементы интерфейса клиента vSphere при подключении к vCenter Итак. Networking – здесь отображаются группы портов для виртуальных машин на стандартных виртуальных коммутаторах. в актуальной версии «ESX and vCenter Server Installation Guide». 2. Веб-интерфейс Здесь я опишу основные элементы интерфейса.1. Hosts and Clusters – без преувеличения. В нем мы настраиваем наши серверы. кластеры. . рекомендации и инструкции см.4. Прочие подробности. vCenter.

почтовый сервер для рассылки оповещений или настройки оповещения по SNMP. Licensing – настройка лицензирования vCenter и ESX(i). 2. чем искать файлы журналов самостоятельно. рассылка сообщений подключенным пользователям и отключение сессий. . такие как включение и выключение ВМ. Интерфейс vCenter Administration – задачи администрирования: 1. Пригодятся при решении проблем.10. снимки состояния ВМ и др. 1. Именно здесь указываем ключи продукта и назначаем их разным серверам. Это намного удобнее. Sessions – просмотр текущих сеансов работы с vCenter. например. развертывание ВМ из шаблона. Именно здесь можно указать. vCenter Server Settings – настройки самого vCenter Server. миграция ВМ. но основные журналы. 4. Roles – отсюда настраиваем и получаем информацию о раздаче прав в виртуальной инфраструктуре. Scheduled Tasks – планировщик задач vCenter Server. Так доступны не все. Management – вспомогательные возможности vCenter: 1.42 Установка vSphere Рис. System Logs – журналы событий vCenter (когда клиент vSphere подключен к vCenter) и ESX(i) (когда клиент подключен к ESX(i) напрямую). Обратите на него внимание – с его помощью можно запланировать на удобное время многие операции. 5. 3.

VMware Guided Consolidation и плагин. Events – все события. какие ВМ лежат на тех или иных хранилищах или на каких серверах существуют те или иные сети. Если стоит задача посмотреть. Customization Specification Manager – vCenter позволяет обезличивать некоторые гостевые ОС при клонировании или развертывании из шаблона. 5. добавляющий пункт «Подключение по RDP» в контекстное меню виртуальных машин. Также через нее можно получать быстрый доступ к другим частям интерфейса (рис. создавать и редактировать. Maps – этот механизм позволяет строить графические схемы связей между объектами инфраструктуры. Меню адресной строки . Solution and Application – сюда попадают функции. vCenter. 1. то адресная строка меняется соответствующим образом. ESX(i). Веб-интерфейс 43 2. которые vCenter получает с серверов и генерирует сам. Когда вы переходите к какому-то элементу интерфейса со страницы Home. Host Profiles – однажды созданный профиль настроек доступен для редактирования в этом разделе интерфейса. 1.Интерфейс клиента vSphere.11.11).8 вы видите иконки для управления VMware Update Manager. Здесь же можно их импортировать или экспортировать. Рис. 3. 4. то вам сюда. На рис. 1. Сохраненные файлы ответов мастера развертывания попадают сюда. VMware Data Protection. которые появляются в vSphere через установку дополнительных приложений-плагинов.

все пункты отсюда (и другие) доступны через контекстное меню объекта. Закладка доступна для большинства . Пройдите в раздел Hosts and Clusters. Рис. Virtual Machines – отображает виртуальные машины и шаблоны. 1. Еще немного подробностей про интерфейс на примере отдельного сервера. Содержит секцию Commands. в которой доступны основные манипуляции с объектом. Перечислю закладки и их функции: 1.12). Впрочем. выделите сервер и обратите внимание на закладки (рис. Например.12. 2. доступные по строке Edit Settings. Summary – сводная информации об объекте. потому что без нее вам сразу будет показываться несравнимо более информативная закладка Summary. для виртуальных машин отсюда удобно попадать в настройки.44 Установка vSphere По умолчанию для каждого объекта клиент vSphere показывает закладку Getting Started. Я рекомендую отключить эту закладку. являющиеся дочерними к данному объекту. Элементы интерфейса для сервера Большинство закладок доступны для объекта vCenter любого типа. Отключить показ закладок Getting Started для объектов всех типов зараз можно в меню Edit ⇒ Client Settings ⇒ снять флажок Show Getting Started Tab. 1.

Для объектов разных типов доступны разные наборы счетчиков. . 7. Alarms – на этой закладке настраиваются и отображаются сработавшие предупреждения (alarm) vCenter. Configuration – здесь мы настраиваем серверы. 5. У меня частенько будут попадаться конструкции вида «Пройдите Configuration ⇒ куда-то далее и сделайте то-то и то-то». Особенно полезно окно Tasks – здесь видно. Для распределенной группы портов – подключенные к ней ВМ. Permissions – на этой закладке отображаются пользователи и группы. 1. Это означает. занятых ее файлами. Также обратите внимание на кнопки Tasks и Alarms в нижней левой части экрана. Для сервера – всех его хранилищ. Maps – отображается схема связей данного объекта с другими объектами vCenter. Для виртуальных машин на этой закладке отображается так называемая vMotion map (карта vMotion). Для сервера на этой закладке отображаются виртуальные машины. То есть на этой закладке для виртуальной машины отображается информация о хранилищах. размещенные непосредственно на нем. Для кластера – всех хранилищ всех его узлов. 6. 8.14). Откроется консоль к этой виртуальной машине (рис. Storage Views – здесь отображается разнообразная информация про подсистему хранения в контексте выделенного сейчас объекта.13. Веб-интерфейс 45 типов объектов vCenter.Интерфейс клиента vSphere. В контекстном меню ВМ выберите пункт Open Console. Эта закладка существует только для них. Панель Tasks Для виртуальных машин есть несколько специфических элементов интерфейса. Рис. которая показывает возможность или невозможность живой миграции этой ВМ на другие серверы. 4. Существует она только для серверов. Tasks & Events – события и задачи выбранного объекта или его дочерних объектов. 9. 1. ESX(i). что для описываемых манипуляций вам нужна закладка Configuration. 3. пройдите Home ⇒ Hosts and Clusters ⇒ Configuration. чтобы ее найти. 1. Для хранилища – чьи файлы располагаются на данном хранилище. и некоторые действия можно отменить (рис. Performance – на этой закладке мы смотрим графики нагрузки на объект по разнообразным счетчикам производительности.13). имеющие права на данный объект. vCenter. Они отображают или скрывают панель текущих задач и активных предупреждений. успешно закончилось или нет. закончилось или нет то или иное действие.

Если вызвать меню VM. то для выполнения «жестких» операций с питанием пользуйтесь пунктами меню VM ⇒ Power.14. Чтобы отправить внутрь ВМ такую комбинацию с клавиатуры. пиктограммы работы со снимками состояния (snapshot) – создание. . возврат к ранее созданному снимку и запуск диспетчера снимков состояния (Snapshot Manager). 1. Guest – из этого меню инициируется установка VMware Tools и посылается комбинация Ctrl+Alt+Del.46 Установка vSphere Рис. пиктограммы подключения FDD и DVD. Консоль ВМ Здесь вы видите: пиктограммы управления питанием ВМ. то в нем интерес представляют пункты: Power – управление питанием ВМ. Обратите внимание: пиктограммы выключения и перезагрузки настроены на корректное выключение и корректную перезагрузку. следует нажать Ctrl+Alt+Ins. Эти операции требуют VMware tools. Если их нет или они еще не загрузились.

чтобы это имя разрешалось с машины клиента). 1. что поиск возможен и по так называемым Custom Attributes (произвольным атрибутам). чтобы открыть консоль к виртуальной машине.15). что со списком объектов в правой части окна клиента vSphere (например. xml. Таким образом. . Это намного удобнее. но основные журналы. Чтобы «извлечь» курсор из консоли. что ее трафик идет по управляющей сети ESX(i). Нажав в любом окне интерфейса Ctrl+Shift+F. нажмите Ctrl+Alt. Отсюда возможен поиск объектов любого типа. Например: все выключенные виртуальные машины. кликом по его заголовку. xls. vCenter. изменять набор отображаемых столбцов. ESX(i). Веб-интерфейс 47 Когда в ВМ не установлены VMware Tools. то после щелчка мышью внутри консоли фокус ввода принадлежит уже ей. присутствующее на соответствующих закладках. Сначала в настройках vCenter: меню Administration ⇒ Custom Attributes ⇒ Add. упорядоченный и с нужным набором столбцов). все виртуальные машины с устаревшей версией VMware tools. экспортировать список объектов (предварительно отфильтрованный. все серверы ESX(i) во включенном или выключенном состоянии. то необходимо еще. Задать такие атрибуты можно для хостов и виртуальных машин. все виртуальные машины. по любым критериям и с учетом условий. состояние. список виртуальных машин на закладке Virtual Machines) можно осуществлять разные операции: сортировать по любому столбцу. А затем на закладке Summary ⇒ ссылка Edit в поле Annotations (рис. все виртуальные машины со строкой «x» в поле Description (описание). то есть ее работоспособность не зависит от ПО внутри ВМ. Обратите внимание на Home ⇒ Administration ⇒ System Logs. имя. Обратите внимание. фильтровать по подстроке в некоторых столбцах (например. Так доступны не все. csv. что она «аппаратная». вы попадете в окно расширенного поиска. C помощью этого элемента интерфейса вы можете получить доступ к журналам vCenter (когда клиент vSphere подключен к vCenter) и ESX(i) (когда клиент подключен к ESX(i)). Наконец. Отличительными чертами этой консоли являются то. тип гостевой ОС). В списке поддерживаемых форматов присутствуют html. Для экспорта обратитесь к пункту меню File ⇒ Export ⇒ Export List.Интерфейс клиента vSphere. свободного места на которых меньше указанного значения. а не вашей «внешней» ОС. все хранилища. и то. В этом поможет поле в правой верхней части окна клиента vSphere. вам нет необходимости находиться в одной с ней сети (однако если сервер ESX(i) добавлен в vCenter по имени. обращаю ваше внимание на то. Для этого в контекстном меню пустого места выберите пункт View Column. чем искать эти файлы журналов самостоятельно. для которых в качестве гостевой ОС указан Linux.

что необходимо проверить. . Иногда при использовании локальной СУБД (особенно при использовании SQL Server Express) после перезагрузки сервера эта служба не запускается из-за того. Решением проблемы является выставление зависимости службы vCenter от службы СУБД.4. Одно из решений для тестовой или демонстрационной инфраструктуры – настройка отложенного старта для служб vCenter и vCenter Management WebServices. Добавление серверов ESX(i) в консоль vCenter. Дополнительные поля для виртуальной машины Базовые шаги для решения проблем с клиентом vSphere В случае возникновения ошибки при подключении клиентом vSphere к серверу vCenter первое. даже выставление зависимости не всегда помогает. 2. – запущена ли служба VMware Virtual Center Server.48 Установка vSphere Рис. 1. что она пытается стартовать до того.2. Первоначальная настройка vCenter и ESX(i) Итак.15. Типовой список действий для подготовки виртуальной инфраструктуры к полноценной работе выглядит примерно так: 1. 1. Вы установили на свою рабочую станцию клиент vSphere и подключились к vCenter. у вас есть свежеустановленный сервер или серверы ESX(i) и vCenter. Настройка лицензирования серверов ESX(i) и vCenter. как заработает БД. К сожалению.

кластеров HA и DRS. . 6. или подобных вариантов – то несколько Datacenter вам не нужно. если у вас в компании нет отдельного отдела безопасности. 5. причем по полному доменному имени (FQDN). Но после установки даже для бесплатной версии ключ ввести необходимо. хранилищ. Такой объект суть папка для объектов всех прочих типов – серверов. из-под которого в дальнейшем vCenter и будет подключаться к этому ESX(i). syslog. проверка корректного обнаружения уже существующих VMFS. Это пригодится в тех случаях. кластеров. Добавление серверов в консоль vCenter Для добавления серверов в консоль vCenter необходимо. Таким образом. Настройка лицензирования При установке ESX и vCenter вы можете указать ключ продукта. Все эти инфраструктуры управляются одним vCenter. При необходимости настройки некоторых служб Service Console. сетей и прочего. то через 60 дней ознакомительная лицензия закончится и они работать перестанут. создание разделов VMFS. Теперь в контекстном меню уже созданного Datacenter выберите пункт Add Host. А можете не указывать – тогда эти продукты начнут работать в «Evaluation» (оценочном) режиме. если в вашей инфраструктуре есть объекты. Но хотя бы один создать придется – это требование vCenter. и создание распределенных виртуальных коммутаторов. А также настройки DNS и маршрутизации (шлюзов по умолчанию). и настройка групп портов для виртуальных машин. пользователя root и его пароль. Это и настройка интерфейсов VMkernel. 4. последующая смена пароля root на ESX(i) сервере не оказывает на vCenter никакого влияния. Создание и настройка пулов ресурсов. SSH. Пароль пользователя root необходим vCenter. Таким образом. Настройка хранилищ.Интерфейс клиента vSphere. Предпочтительнее добавлять серверы по имени. который сам управляет своими ESX. Подключение систем хранения данных. таких как firewall. Для создания вызовите контекстное меню для корневого объекта иерархии vCenter – его самого и выберите в нем пункт New Datacenter. vCenter. из одной консоли. Имя объекта выберите по своему усмотрению. Настройка сети. Если у вас нет филиалов со своей инфраструктурой и администраторами. Таким образом. когда в вашей компании существуют несколько административных групп. В запустившемся мастере укажите имя или IP-адрес сервера ESX(i). чтобы в ней существовал объект типа «Datacenter». виртуальных машин. Веб-интерфейс 49 3. для которых лицензия не была указана. Для ESXi это вообще является единственно возможным вариантом – на этапе его установки ключ ввести нельзя. ntp. ESX(i). но на уровне прав можно ограничивать области видимости для разных пользователей. с помощью папок Datacenter вы можете сгруппировать части инфраструктуры. чтобы создать на этом ESX(i) своего собственного пользователя vpxuser. управляющих независимыми виртуальными инфраструктурами.

см. В этом окне вам необходимо добавить один или несколько ключей продукта. чуть ниже. ESX(i) лицензируется по процессорам. так что ключ для него должен содержать столько лицензий. В каждом 25-символьном ключе зашифровано. то часть функций перестанет работать без предупреждения. Запустите мастер Manage vSphere Licenses и пройдите по шагам: 1. В списке вас интересуют: 1. например из-за окончания срока действия лицензии. Если вы перевели сервер с лицензии ознакомительной на какую-то из коммерческих с меньшим функционалом. если он стал не нужен. по одному в строку. указать его использование для серверов и удалить старый. лицензированные различными типами лицензий. возможно. у вас будет минимум два ключа – для vCenter и для ESX(i). Обратите внимание: для настройки из командной строки вам пригодится команда esxcfg-firewall. клиент NTP и. Обычно один. В типовом случае у вас есть сервер vCenter и несколько серверов ESX(i) с лицензией какого-то одного типа. то вам необходимо добавить новый ключ. какие лицензии он содержит и на какое количество объектов. 3. Security Profile – для ESX это настройки firewall. Этот. о них см. Рекомендуемые начальные настройки ESX(i) Основные кандидаты на настройку из служб ESX(i) – это Firewall (только в ESX). В версии 4. для упрощения управления лицензиями. Для централизованной настройки firewall вам пригодится механизм Host Profiles. посвященный ему раздел. основанный на iptables межсетевой экран работает в Service Console сервера ESX и защищает лишь ее. например со Standard на Enterprise Plus. сколько серверов vCenter вы планируете использовать. Для указания лицензии пройдите Home ⇒ Licensing. Если сервер перестал быть лицензирован. 2. Для каждого ключа можно ввести произвольную метку (Label). Remove License Keys – здесь вы можете удалить какие-то ключи. и вы сможете указать. Можно добавлять сразу несколько ключей. Assign Licenses – здесь вам покажут серверы vCenter и ESX(i) вашей инфраструктуры. Значит. .1 все это настраивается из графического интерфейса. Пройдите Home ⇒ Hosts and Clusters ⇒ Configuration для настраиваемого сервера. то на таком сервере перестанут включаться виртуальные машины (хотя запущенные работать продолжат). и в ключе должно содержаться лицензий на столько процессоров (сокетов). Add License Keys – введите свои ключи здесь. сервер SSH.50 Установка vSphere vCenter лицензируется поштучно. Если вы обновляли какие-то лицензии. Однако для ESXi пункт Security Profile позволяет совсем другие настройки. Одновременно под управлением одного сервера vCenter могут находиться серверы ESX(i). Разные серверы ESX(i) одной инфраструктуры могут лицензироваться разными ключами. какой из них каким ключом необходимо отлицензировать. сколько их совокупно во всех ваших ESX(i).

приостановка (Suspend). 1. как: Local Tech Support – доступность локальной командной строки в консоли ESXi.16).Интерфейс клиента vSphere. vCenter. Подробности см. 6. DNS and Routing – здесь можно указать имя сервера. заданная на уровне сервера. Также здесь можно настраивать лицензирование сервера. принудительное выключение. порядок их включения и паузы между включениями разных ВМ. 4. Настройки Security Profile для ESXi 4.1 довольно многофункциональный (см. Пункт Security Profile для ESXi 4. когда сам сервер выключается. Веб-интерфейс 51 2. Licensed features – здесь вы можете просмотреть информацию о действующих для этого сервера лицензиях. будет отменена. Рис. Варианты – корректное выключение. адреса серверов DNS и шлюзы по умолчанию для Service Console и VMkernel. Time Configuration – в этом пункте вы можете включить клиент NTP на ESX(i) и указать ему настойки синхронизации времени. рис. ESX(i).1 . суффикс домена DNS. 1.16. 5. Также здесь можно указать. однако если сервер управляется через vCenter и лицензирование для этого сервера уже настроено через vCenter. то настройка. в посвященной безопасности главе. что делать с виртуальными машинами. Здесь вы сможете включить или выключить такие функции. Virtual Machine Startup and Shutdown – здесь настраиваются автозапуск виртуальных машин при включении сервера. Authentication Services – настройка аутентификации на ESX(i) при помощи учетных записей из Active Directory. 3.

По умолчанию этот запрет действует. Однако использовать учетные записи пользователя root непосредственно при установке сессии SSH может все-таки оказаться совершенно необходимо. Например. 2. Возвращаясь к базовым настройкам серверов ESX(i): пройдите Configuration ⇒ Storage. Либо же выполнять все команды. что потребует прописывания полного пути для запуска любой команды. При необходимости повысить свои привилегии до root командой su – обратите внимание на минус через пробел. Из настроек SSH для сервера ESX вам может потребоваться отменить запрет на вход под пользователем root. Direct Console UI – включение и отключение БИОС-подобного меню в локальной консоли ESXi. но потребует дополнительной настройки. Скорее всего. рекомендуется поступать следующим образом: 1. Последний вариант считается наиболее безопасным. которым требуется удаленный доступ к серверу с полными правами и разработчики которых несильно задавались проблемами соответствия требованиям безопасности. обладающая схожим предназначением. Перезагрузите службу SSH: service sshd restart Теперь вы можете подключаться к ESX по SSH пользователем root.52 Установка vSphere Remote Tech Support – включение и отключение сервера SSH на ESXi. но для ESXi существует настройка Lockdown Mode. Без него не будет загружена переменная PATH. дописывая перед ними «sudo». требующие повышенных привилегий. Для ESXi такой настройки нет. В этом окне отображаются разделы. отформатированные в VMFS. Для разрешения аутентификации сразу под пользователем root на ESX откройте в текстовом редакторе файл настроек SSH следующей командой: nano –w /etc/ssh/sshd_config В строке Permit root login no поменяйте «no» на «yes». Авторизоваться под непривилегированной учетной записью (ее можно создать на этапе установки или впоследствии – из локальной командной строки или клиента vSphere при подключении напрямую). для использования некоторых сторонних инструментов. здесь вы увидите раздел под названием Local1 или Storage1 – он был создан установщиком. Рекомендую переименовать этот раздел. так: «lo- . например.

Для ESXi вы можете включить так называемый Lockdown-режим. vMA. PowerCLI. Работа через веб-интерфейс Обратите внимание: на ESX и vCenter работает веб-интерфейс для работы с виртуальными машинами. Есть три варианта решения такой потенциальной проблемы: до включения режима Lockdown подключиться клиентом vSphere напрямую на ESXi. В небольших внедрениях я предпочитаю в файл /etc/hosts на каждом сервере прописывать адреса всех остальных серверов ESX(i) и vCenter. Обратите внимание на то. Включение этого режима будет препятствовать любому обращению на ESXi по сети с учетной записью root. пройти на закладку Users and Groups и создать произвольного пользователя.3. Однако если у вас будут использоваться кластеры HA и/или DRS. Когда на ваших серверах уже созданы виртуальные машины. чтобы включить виртуальную машину с vCenter. настройка автостарта лишается смысла. режим локальной блокировки (Configuration ⇒ Security Profile). лучше обеспечить бесперебойную работу DNS. так как она выполняется для ВМ конкретного сервера – а в кластерах ВМ не привязаны к конкретному серверу. vCenter. В дальнейшем подключаться на ESXi по сети из-под учетной записи уже этого пользователя. 1. Это служит для локального разрешения имен на случай возникновения проблем с DNS – впрочем. каждый сможет решить сам – конечно. Или ввести ESXi в Active Directory. VMware рекомендует сделать это для тех ESXi. что в названиях лучше не использовать пробелы и спецсимволы. Например. когда все-таки возникнет необходимость подключиться к ESXi напрямую. имеет смысл продуманно настроить порядок их автозапуска для служб и приложений. Например. Напоминаю. То есть если включить этот режим. . 1. Это хорошо. то. потому что даже по ошибке вы и ваши коллеги доступа на ESXi из-под привилегированной учетной записи не получите. Назначить ему необходимые права. имена вида «local@esx1» – это плохая идея. и получить возможность авторизоваться локально пользователем AD. вот так: сначала ВМ с AD и DNS. используя учетную запись root. В дальнейшем это сильно поможет вам ориентироваться в сводных списках разделов VMFS в интерфейсе vCenter. потом уже vCenter (если он установлен в ВМ). поступать ли таким образом.17). vSphere API. Веб-интерфейс 53 cal_esx1».4. вы не сможете обратиться на ESXi даже клиентом vSphere. не включать Lockdown-режим. что включение режима Lockdown оказывает влияние на подключение из-под учетной записи root с помощью клиента vSphere. выключить Lockdown-режим с его локальной консоли. Сделать это следует для каждого ESXi. Прочие упомянутые мной в начале раздела настройки – сети. затем СУБД. которые зависят друг от друга. ESX(i).Интерфейс клиента vSphere. системы хранения – подробно разбираются в соответствующих разделах позже. Для доступа к нему обратитесь браузером на адрес vCenter или ESX и выберите ссылку Log in to Web Access (рис. Это может быть плохо в случае недоступности vCenter. vSphere CLI. которые управляются через vCenter.

но дает практически полный доступ к работе с виртуальными машинами. 1. отслеживать события и выполняемые действия. . создавать новые ВМ. С помощью веб-интерфейса вы можете: получать доступ к операциям с виртуальными машинами без установки клиента vSphere.17. удалять ВМ из консоли ESX или vCenter. генерировать уникальную ссылку для получения прямого доступа к консоли ВМ. Веб-интерфейс vSphere 4 можно назвать инструментом оператора. выключать.54 Установка vSphere Рис. а также останавливать (suspend) и возобновлять их работу. Он не дает доступа ни к каким задачам администрирования vSphere. перезагружать виртуальные машины. минуя прочие элементы веб-интерфейса. получать доступ к консоли виртуальных машин. включать. Вход в веб-интерфейс vCenter Авторизуйтесь соответствующей учетной записью (учетная запись Windows для vCenter и учетная запись Service Console для ESX). добавлять ВМ в консоль ESX или vCenter (add to inventory). изменять настройки существующих ВМ.

x. созданные на ESX(i) 3. на них запущены ВМ. то сервер лицензий вам больше не нужен. Обратите внимание: при обновлении ESX вам будет доступна загрузка сервера как в ESX 4. Для обновления версии раздела VMFS нужно будет его пересоздать – то есть ВМ придется временно перенести на другие хранилища. Для этого отлично подойдет процесс Storage vMotion (см. и 60 дней вам доступны абсолютно все функции vSphere. так и в ESX 3. можно этим заняться в удобное время. ESX и vCenter с версий 3. Мы хотим их обновить до vCenter Server 4 и ESX(i) 4 соответственно. 2. Обновить Virtual Center 2 до vCenter 4. включая и Storage vMotion. вам потребуется обновление СУБД и/или увеличение ресурсов для сервера vCenter в связи с изменившимися системными требованиями. соответствующий раздел). перенеся с него ВМ на другие серверы.Обновление ESXi. ESX и vCenter с версий 3. что сразу после обновления и vCenter. поэтому необходимости обновлять VMFS сразу нет. Выполните следующие шаги: в клиенте vSphere перейдите в раздел Home ⇒ Administration ⇒ Licensing. Логично поступать следующим образом: 1. работают на ESX(i) 4 без проблем.x. затем обновить Update Manager 1 до Update Manager 4. Обратите внимание: возможно. Затем удалите это приложение с сервера vCenter через «Add-or-Remove Program» (Установка и удаление программ). Ну а ввести свой ключ продукта вы сможете и после завершения всех процессов обновления. У вас есть несколько серверов.x. можно воспользоваться тем. 1.x и какогото количества серверов ESX(i) 3.x у вас не остается.х 55 создавать и выполнять все прочие действия. подключать к ВМ устройства CD/DVD клиентских компьютеров. 3. 5. притом обновленные ранее серверы уже можно задействовать вновь. Освободить следующий сервер. Это что-то вроде подстраховки на случай возникновения проблем. Освободить один сервер. Версия VMFS для ESX(i) 4 очень мало отличается от версии VMFS для ESX(i) 3. Все эти манипуляции могут быть осуществлены из систем с Windows и с Linux. 4. процесс обновления серверов не затрагивает разделов VMFS.5. и ESX(i) начинают работать в режиме Evaluation.x Виртуальная инфраструктура VMware предыдущей версии (VMware Infrastructure 3) состоит из двух основных компонентов – Virtual Center 2. Если какие-то ВМ расположены на его локальных дисках – их можно просто выключить на время. Обновление ESXi. Если серверов ESX(i) версии 3. с использованием поддерживаемых версий браузеров. Обновить освободившийся сервер. Там удалите упоминание о сервере лицензий. ВМ. . со снимками состояния виртуальных машин. Даже если ваша лицензия на vSphere не позволяет использовать эту функцию.

vCenter начиная с версии 4. рекомендуется создать резервную копию БД Virtual Center. Если текущая версия vCenter использует 32-битную ОС. . Ваш первый шаг – остановить службу «VMware VirtualCenter Server».x до vCenter 4. Обновляем Update Manager 1 до Update Manager 4 (или устанавливаем VUM 4 с нуля. – уточните это в документации).1 может быть установлен лишь на 64-битную ОС. Welcome Screen – нажмите Next . Если обновление vCenter сопряжено с миграцией на другую ОС. Обновления потребуют версия виртуального оборудования и VMware Tools. или установку новой версии поверх. Обновление до vCenter Server 4 и Update Manager 4 Итак.com/kb/1022104. у нас есть сервер (ВМ) с Virtual Center 2. если для этой версии в принципе поддерживается обновление до vCenter 4. если раньше он не использовался).vm4. в статье базы знаний http://kb. большинство вопросов которого будут весьма стандартны: 1. 2. 3. Далее. Устанавливаем надстройку (plug-in) Update Manager 4 в клиент vSphere. Про все эти шаги теперь поговорим более подробно. для обновления которого не получится использовать Update Manager. Обратите внимание. Подробности см. Обновление Virtual Center 2. Выберите vCenter Server.ru/tmqjw). Затем запускайте мастер установки vCenter Server 4 – файл autorun.5. то придется использовать или командную строку. Последовательность наших действий следующая: 1.1.com/vsphere-esx-4-1/wwhelp/ wwhimpl/js/html/wwhelp.vmware. EULA – отметьте I agree to the terms in the license agreement. Они могут быть установлены на одной машине или разных – это не принципиально.html или http:// link.exe в корне дистрибутива. то конфигурацию. то процедура обновления будет немного сложнее описанной ниже – так как придется устанавливать новую версию vCenter в 64-битную ОС и затем обеспечить доступность для этого vCenter старой базы данных.vmware. Обновление версии виртуального оборудования и VMware Tools для каждой ВМ в таком случае нужно будет провести вручную.56 Установка vSphere 6.x и Update Manager 1. Он пришел на смену клиенту для ESX3 и VC2 – Virtual Infrustructure Client. Если есть отдельно стоящий ESXi. 4. Теперь целесообразно будет обновить ВМ. сертификаты и содержимое базы данных (если она расположена локально на сервере vCenter) можно легко переместить при помощи VMware Data Migration Tool (http://pubs.x до vCenter 4 Допустим. Запустится мастер. VIC.5 (в случае другой версии все примерно так же. 2. Обновляем Virtual Center 2. в производственной среде. 1. Устанавливаем клиент vSphere – ПО для управления ESX(i) 4 и vCenter 4. у вас есть сервер (ВМ) с установленным Virtual Center 2.htm#href=upgrade/t_back_up_data_migration.

ESX и vCenter с версий 3. когда Virtual Center 2.х 57 3. 10. с веб-интерфейса установленного ESX(i) 4 (начиная с версии 4. Ready to Complete – жмите Install. Обратите внимание: возможна ситуация. Поле License key – здесь мы или указываем ключ продукта (его следует приобрести).x работает с СУБД такой версии.x до начала обновления его до vCenter 4. При числе серверов до 50 рекомендуется чтобы у сервера vCenter было два ядра и 4 Гб ОЗУ. Тогда потребуется предварительно обновить еще и СУБД. с веб-интерфейса установленного vCenter 4. vCenter 4 требует больше ресурсов. которая не поддерживается vCenter 4.x. в «ESX and vCenter Server Installation Guide» подробности про требования и настройки БД для vCenter. В последнем случае мы получим абсолютно полнофункциональный vCenter на 60 дней. 5. то нам покажут сообщение о несовместимости Update Manager 1 и vCenter 4. Database upgrade warning – выберите Yes. vCenter Service – выберите в зависимости от требования БД. а не на сам сервер ESX(i)). До 1000 серверов – восемь процессоров и 16 Гб ОЗУ. на кого (User Name) и какую организацию (Organization) зарегистрирован этот экземляр vCenter. Напомню. 7. См.Обновление ESXi.x. 4.1 ссылка на этой странице ведет на сайт VMware. 9. здесь останавливаться на ней не буду. Нажмем OK. то поля Database Username и Database password оставляем пустыми. Если в качестве БД используется локальная СУБД. Установка клиента vSphere Далее вам нужно установить vSphere Client на свой рабочий компьютер. чем Virtual Center 2. Например.exe и выберите пункт vSphere Client. Если Update Manager стоит на этом же сервере. Configure Ports – какие сетевые порты использовать. тем самым устанавливая vCenter в ознакомительном (Evaluation) режиме. 8. Customer Information – укажите. что рекомендуется выполнить резервное копирование БД Virtual Center 2. пароль. 6. Database Options – здесь необходимо указать настройки доступа к БД – пользователя. До 300 серверов – четыре ядра и 8 Гб ОЗУ. . 11. Сама по себе его установка проста. По истечении этих 60 дней vCenter потребует ключ продукта и без него работать откажется. если вы хотите использовать Windows authentication для SQL Server – то вам не подойдет значение этой настройки по умолчанию – учетная запись «System». Так что проверьте совместимость вашей СУБД и vCenter 4. I want to upgrade my vCenter database и I have taken a backup of the existing vCenter database. или оставляем поле пустым. Дистрибутив клиента берется с любого из следующих мест: из дистрибутива vCenter – запустите autorun. например SQL Server 2005 Express.

Database Information – настройки подключения к БД. но он всегда поставляется в комплекте с vCenter. Database Upgrade – выберите Yes.0. если они необходимы. Дополнительный в том смысле. В открывшемся окне нажмите Download and install for the Update Manager plug-in.58 Установка vSphere Обновление VMware Update Manager 1. vCenter Update Manager Port Settings – выберите IP-адрес. 4. Username/Password – имя и пароль пользователя. Для установки надстройки запустите клиент. которые должен использовать Update Manager. Update Manager – это дополнительный компонент vCenter. В списке компонентов выберите «vCenter Update Manager». 5. I want to upgrade my Update Manager database и I have taken a backup of the existing Update Manager database.exe из корня дистрибутива vCenter. I have Internet connection and I want to configure proxy settings now. 7. что при установке VUM 4 с нуля): 1.0 до Update Manager 4. Этот адрес должен быть доступен с сервера vCenter и серверов ESX(i). . Если Update Manager будет обращаться в Интернет за обновлениями прямо с этой машины. Пройдите по шагам мастера (эти шаги одинаковы что при обновлении с VUM 1 до VUM4. 3. Установка надстройки (plug-in) Update Manager в клиент vSphere На предыдущем этапе мы установили Update Manager 4. имеющего права администратора на сервере vCenter. выберите меню Plug-ins ⇒ Manage Plug-ins. и дистрибутив Update Manager входит в дистрибутив vCenter. поставьте флажок Yes. EULA – согласитесь с лицензионным соглашением. закладки и пункты контекстного меню от Update Manager.0 до VMware vCenter Update Manager 4 Следующий шаг – обновление Update Manager 1. После установки надстройки Update Manager в интерфейсе клиента vSphere появятся кнопки. На сервере. Proxy Settings – укажите настройки прокси-сервера для доступа Update Manager в Интернет. Welcome Screen – нажмите Next. запустите autorun. где установлен Update Manager 1. подключитесь к vCenter. 6. 2. Имя пользователя и пароль. Завершите мастер установки надстройки. vCenter Server Information – укажите данные для подключения к серверу vCenter: IP – IP-адрес сервера vCenter. В случае использования SQL 2005 Express эти поля оставляйте пустыми. Для работы же с ней потребуется часть клиентская. 8. что вы можете его не устанавливать. а точнее сказать – его серверную часть. В данном случае ей является plugin. надстройка – модуль расширения для клиента vSphere. При необходимости измените сетевые порты. который будет использоваться Update Manager (если их несколько на этом сервере). Ready to Install the Program – нажмите Install.

Можно назначать как на сервер. так что тип указываем Host Upgrade. Запустите клиент vSphere. В клиенте vSphere выберите Hosts and Clusters. Baseline Type – укажите тип baseline.х 59 1. 3. В появившемся окне установите флажок Upgrades и нажмите Scan. и перейдите на закладку Update Manager. Откроется мастер создания нового baseline: 1. ESX Upgrade – COS VMDK Location – выберите. Также если мы используем сценарии для автоматизации настройки ESX. надо ли пробовать откатить обновление в случае его неудачи. на который будете назначать baseline (например. Мы планируем перейти на новую версию ESX(i). по умолчанию флажок установлен. . Теперь надо просканировать серверы на возможность и необходимость их обновления.Обновление ESXi. 2.5. Выберите созданный ранее baseline и нажмите кнопку Attach. Создайте «Baseline» (объект Update Manager. На сервере. будет для вас удобнее. Не волнуйтесь за кластер – саму установку обновления мы можем делать на каждом сервере последовательно. 4. 2. Нажмите Attach… в правом верхнем углу. Baseline Name and Type Name – укажите имя создаваемого baseline.2. В поле Recent Tasks появится новая задача Scan Entity. например ESX4. ESX Upgrade – Post upgrade options – здесь мы можем указать. кластер). Select Upgrade Files ESX upgrade iso – через Browse укажите путь к заранее загруженному образу ISO дистрибутива ESX4 и/или к zip-архиву дистрибутива ESXi. Пройдите Home ⇒ Solutions and Applications ⇒ Update Manager. После ее завершения можно переходить далее. Теперь созданный Baseline необходимо назначить на серверы ESX(i). Для назначения Baseline выполните следующее: 1. 3. 5. 4. так и на папку (folder) или кластер серверов – последнее. Для этого на закладке Baselines and Groups выберите Upgrade Baselines и нажмите ссылку Create в правом верхнем углу. Подробности про такие сценарии ищите в разделе про автоматизацию установки ESX. то можем здесь указать их выполнение. папке с серверами или кластере вызовите контекстное меню и выберите пункт Scan for Updates. где будет расположен файл vmdk с файловой системой Service Console. ESX и vCenter с версий 3. выберите объект. являющийся списком обновлений) для обновления ESX(i) до версии 4. скорее всего. Обновление ESX(i) с помощью Update Manager Для обновления ESX(i) с помощью Update Manager выполните следующее. необязательно сразу на всех.

можно переходить к следующему этапу. Затем: 1. чтобы на нем не осталось ни одной работающей ВМ – возможно. Теперь обновим эти серверы. Примите лицензионное соглашение. В окне пониже увидите список просканированных серверов и применимость к ним этого обновления. что при таком обновлении ESX 3 на ESX 4 возможен возврат обратно к третьей версии (соответствующее меню доступно при загрузке ESX). Вызовите контекстное меню для сервера или группы серверов в иерархии vCenter и выберите пункт Remediate. Обновить эту версию можно и вручную – в контекстном меню выключенной ВМ выбрать пункт Upgrade Virtual Hardware. В правой части открывшегося окна выберите наш baseline. а также количество и интервал между попытками ввести сервер в режим обслуживания (maintenance). На шаге Host Remediation Options можно указать время запуска обновления – прямо сейчас или позже. версия виртуального оборудования – 4. созданных на ESX(i) версии 3. Обновление виртуального оборудования ВМ и VMware tools VMware рекомендует обновить версию виртуального оборудования ВМ и обновить VMware tools. Для ВМ ESX(i) 4 версия оборудования – 7. если вы предполагаете вероятность отката на 3-ю версию ESX. Это именно рекомендация – если перезагружать какие-то ВМ для вас проблематично. Перейдите на закладку Update manager. это означает. например горячее добавление памяти и других устройств.60 Установка vSphere Выделите объект. Но перед этим необходимо для включенной ВМ выбрать в контекст- . 5. 3. необходимо. что разделы ESX 3 продолжают существовать и занимать место. они будут продолжать работать и необновленными. – ВМ с последней версией оборудования будут работать только на ESX версии 4. 2.5. Также не торопитесь обновлять версию оборудования. 4. На время обновления обновляемый сервер приобретет статус disconnected – это нормально. Для начала необходимо будет освободить выбранный сервер (или несколько) от запущенных виртуальных машин. Само собой. без статуса disconnected. для них не будут доступны новые возможности ESX 4. Обновить получится те из них. на который вы назначали Baseline. Нажимаем Finish и ждем окончания задачи Remediate Entity. Выберите Baseline. созданный ранее. Чтобы сервер вошел в этот режим. Обратите внимание на то.3. Когда это произошло. зависящие от виртуального оборудования. После окончания процесса обновления сервер должен появиться в иерархии vCenter в обычном режиме. Выключите их или мигрируйте. вам придется вручную выключить или мигрировать часть виртуальных машин с этого сервера. 1. что имеют статус Non-Compliant (не соответствуют). В частности. Для ВМ.

Однако если ВМ много. как и в случае с обновлением серверов. Remediation Selection – выберем Baseline Group Hardware&tools Upgrade. лучше эту задачу автоматизировать. Теперь ВМ со статусом Not-Compliant можно обновить.х 61 ном меню пункт Guest ⇒ Install/Upgrade VMware tools и пройти в гостевой ОС мастер установки/обновления VMware tools (мастер доступен для гостевых ОС Windows. то в нижней части окна будет показан их список. и только для них. 3. На закладке Update Manager нажмите Attach… и выберите созданную ранее Baseline Group (Hardware&tools Upgrade). Rollback Options – здесь мы указываем. только когда ВМ выключена. 4. которые будем обновлять. Schedule – здесь мы указываем имя и описание задачи. Ready to Complete – нажмите Finish. Если делать. Patches – не выбирайте ничего. что данное обновление применяется. папку) и перейти на закладку Virtual Machines. обновить все ВМ – то удобнее всего выбрать Datacenter. что для ESX 4 штатной является версия 7. Там можно рамкой выделить сразу группу ВМ и выбрать вышеуказанные пункты в контекстном меню сразу для всей группы. В столбце Version указывается версия виртуального оборудования – по нему можно ориентироваться. а также расписание ее запуска для работающих ВМ. то через какое время этот . Перейдем в клиенте vSphere в Home ⇒ Solutions and Applications ⇒ Update Manager. 2. Напомню. 3. Перейдите в иерархию VMs and Templates. эту Baselline Group необходимо назначить на те ВМ. делать ли снимок состояния ВМ перед применением этих обновлений. Затем просканировать ВМ на соответствие этой Baseline Group. Если мастер запущен для нескольких ВМ. выключенных ВМ и ВМ в состоянии паузы (suspend). 2. для Linux см. Также можно выделить родительский объект для группы виртуальных машин (например. созданную ранее. Процесс обновления будет запущен для выбранных. Теперь. Для этого: 1. Запустится мастер: 1. пусть не сразу. В левой нижней части окна выберите Create… для создания Baseline Group. Если вы планируете. в контекстном меню нажмите Remediate. • VM Tools Upgrades – выберите VMware tools Upgrade to Match Host. В контекстном меню этого объекта выберите Scan for Updates. выделите ВМ или группу ВМ. Upgrades: • VM Hardware Upgrades – выберите VM Hardware Upgrade to Match Host. В открывшемся окне оставьте только флажки VM Hardware upgrades и VMware Tools upgrades. и флажками можно будет выбрать лишь некоторые из них. ESX и vCenter с версий 3. Для этого опять воспользуемся Update Manager. документацию). какие машины уже обновлены. 2. Hardware&tools Upgrade) и тип – Virtual Machines and Virtual Appliance Baseline Group. Для этого выберите ВМ или их группу. Запустится мастер: 1. Name and Type – укажите имя (например.Обновление ESXi. 3. Обратите внимание.

. если нужда в нем уже отпала. все ли обновленные ВМ работают корректно. не надо ли какие-то возвращать на состояние до снимка. Для каких-то виртуальных машин статус VMware tools может быть указан как Unmanaged. что его надо удалить вручную. с ее помощью могут быть установлены или обновлены компоненты ESXi. Подробности ищите в разделе. Сначала следует обновить VMware tools. и если вы задание Remediate назначили на выключенную или приостановленную ВМ. Установка обновлений из командной строки В составе vSphere CLI есть утилита vihostupdate. VMware Data Recovery. Кроме того. Рекомендации конкретно для данной задачи следующие: если у вас нет иных способов резервного копирования обновляемых ВМ – снимок состояния лучше сделать. чтобы вам хватило времени проверить. Почему предлагают задать время его существования – чтобы вам не пришлось помнить. Например. И успеть с этой проверкой до того. Это может быть проблемой в случаях типа резервирования IP на DHCP по MAC-адресу – так что учтите это заранее. Этот статус специально предусмотрен для тех ВМ. Обратите внимание. Снимки состояния для ВМ в производственной среде нужно применять аккуратно. Но если гостевая ОС в шаблоне у вас запечатана с помощью Sysprep (или какая-то аналогичная ситуация) – такое самоуправство со стороны Update Manager не пригодно. обновит VMware Tools и конвертирует обратно. Обратите внимание на шаблоны – если задача Remediate назначена на шаблон ВМ. Ready to Complete – нажмите Finish.62 Установка vSphere снимок будет автоматически удален. и не рекомендуется оставлять снимок. посвященном снимкам состояния (Snapshot). 1. Если потребуется обновление. Для обновления версии оборудования ВМ должна быть выключена – и Update Manager сам ее выключать НЕ будет. например HP CIM Providers.4. как созданные перед обновлением снимки состояния начнут удаляться. 4. обновит VMware Tools и вернет в исходное состояние. то Update Manager конвертирует его в ВМ. Важно: после обновления виртуального оборудования у сетевых контроллеров ВМ поменяются MAC-адреса.5. чтобы можно было просто вернуться в исходное состояние в случае проблем. то будет выпущена новая версия этого Virtual Appliance. А для обновления VMware Tools ВМ должна быть включена. затем виртуальное оборудование. – для Virtual Appliance. то Update Manager сам включит их. Время существования их лучше задать такое. и Remediate для таких шаблонов делать не следует. поэтому их настройки не сохранятся (включая статически заданные IP-адреса). если обновление вызовет неработоспособность ВМ. самостоятельное обновление VMware Tools для которых не рекомендуется. С ее помощью можно устанавливать обновления на ESX(i). Также гостевая ОС будет воспринимать обновленные сетевые карты как новые. Снимок состояния здесь является точкой возврата на случай.

bulletin2 Если не использовать аргумент –bulletin. Для этого в локальной консоли ESX (не ESXi.x на ESX 4 В случае если обновление сервера прошло неудачно и вы делали именно обновление. загрузится старый ESX 3.5. Все упоминания о ESX 4 должны быть удалены.pl --server <server> --install --bundle <local_path>/rollup. могут использоваться HTTPS и FTP.zip Если пакет размещен локально: vihostupdate.х 63 В локальной командной строке ESX работает утилита esxupdate с очень похожим синтаксисом. ESX и vCenter с версий 3. Загрузите пакет обновлений. то команда установит все содержимое из пакета.pl --server <server> --scan --bundle <local_path>/rollup. Проверьте.5. какие из обновлений применимы: Если пакет расположен на сервере HTTP: vihostupdate. Затем выполните следующие команды.zip –bulletin bulletin1.zip --bulletin bulletin1. Кроме протокола HTTP. . что обновления установились: vihostupdate. а не установку поверх.bulletin2 или vihostupdate. Отмена обновления ESX 3.zip После аргумента --server следует имя или IP-адрес ESX(i). то есть возможность вернуться к работающей системе. Файл виртуального диска (VMDK) Service Console – esxconsole-<UUID> – необходимо будет удалить вручную. Определите.pl --server <server> --query Подробности доступны в документе «vSphere Upgrade Guide». Установите обновления на сервер: vihostupdate.pl --server <server> --install --bundle http://<webserver>/rollup.pl --server <server> --scan --bundle http://<webserver>/rollup. Перед обновлением выключите или переместите ВМ с обновляемого сервера и переведите его в режим обслуживания (Maintenance mode). в нем такой возможности нет) выполните команду rollback-to-esx3 После этого перезагрузите сервер. 1.Обновление ESXi.

Если вам потребуется понизить версию виртуального оборудования с 7 на 4 (Downgrade). сессия SSH к ESX(i). Те из них. vSphere CLI. для которых вы успели обновить версию виртуального оборудования до 7. .1. Однако и командная строка может нам пригодиться: для некоторых операций. 1. Если на локальной консоли сервера ESX нажать Alt+F1.6. то для этой цели вам поможет VMware Converter. например PuTTY. Это командная строка Service Console. 1. что команды и ключи регистрозависимы. Локальная командная строка ESX. у кого не было опыта работы с системами *nix. SSH Этот небольшой раздел призван помочь тем из вас. Первый вариант более правилен с точки зрения безопасности. разумеется.6. для автоматизации действий с помощью сценариев. но пользователем root сделать это по SSH нельзя – так по умолчанию настроен сервер SSH на ESX. то вы попадете в командную строку. я перечислил в табл. На хоть какую-то полноту я. Небольшая иллюстрация действий из командной строки на примере настройки доступа по SSH. доступная с локальной консоли или через iLO/IP KVM. второй часто более удобен. Вариантов два: создать непривилегированного пользователя и входить в систему с его учетными данными. 1. Основы работы из командной строки Большинство операций с виртуальной инфраструктурой производятся из графического интерфейса клиента vSphere. для диагностики и решения проблем. Вам будет необходимо войти в систему. не претендую. Подключитесь к серверу ESX. которые не возможны из графического интерфейса. модифицированного Red Hat Enterprise Linux 5. Обратите внимание на то. На своем компьютере запустите клиент SSH. что периодически мне пригождаются. разрешить вход с учетными данными пользователя root. У нас есть несколько способов для получения интерфейса командной строки к серверу ESX(i): локальная командная строка.1.64 Установка vSphere Обратите внимание на ВМ. ввести имя пользователя root и пароль. – они не заработают на ESX предыдущей версии. что в этой командной строке работают все или большинство стандартных команд Linux. Это означает.

Переименование файла. ps -ef Удаление файлов Выключение или перезагрузка сервера shutdown now shutdown –r now Текстовый редактор Дружелюбный к новичкам текстовый редактор. useradd <имя пользователя> Задание пароля пользователю passwd <имя пользователя> Дополнительного пользователя вы можете создать: на этапе установки ESX. подключенного напрямую к ESX. отсутствует на ESXi nano /etc/hosts Вывод содержимого файла на экран. cat /etc/hosts Вывод содержимого файла на экран. ввести сервер в домен Active Directory и авторизовываться учетными записями AD (см. вы можете входить под ним в систему при подключении по SSH. Home ⇒ Inventory ⇒ выделите сервер ⇒ закладка Users and Groups в контекстном меню выберите Add. из клиента vSphere.Основы работы из командной строки 65 Таблица 1. по которой есть вопрос> для некоторых команд помощь выводится при запуске самой команды без параметров Создание пользователя. Когда у вас есть дополнительный пользователь. more /etc/hosts Справка по командам man <команда. Чтобы пользователь мог заходить по SSH. главу 4). из командной строки.1. cp [файл 1] [файл2] Поиск файлов по критериям Список файлов и директорий в текущей или явно указанной директории. mv [путь и имя файла] [путь. ls /vmfs/volumes/ ключи: -l подробная информация -a отображение скрытых файлов Создание директории Перемещение файла. установите флажок Grant shell access. куда перемещать] Информация о запущенных процессах. по странице за раз. командами useradd и passwd. Список основных команд Linux Команда cd cp find ls mkdir mv ps rm shutdown vi nano cat more man useradd passwd Описание Смена текущей директории Копирование файла. После этого выполните команду .

2. в разделе 1. Локальная командная строка ESXi. а этим пунктом ее можно отключить обратно. SSH VMware не рекомендует открывать доступ к командной строке и SSH для ESXi – из общих соображений безопасности. нажмите Alt+F1 и авторизуйтесь. Однако если вы приняли решение пренебречь этой рекомендацией. пройдите Troubleshooting Options ⇒ Enable Local Tech Support. После нажатия Enter название пункта меню должно поменяться на Disable Local Tech Support – это значит. 1.66 Установка vSphere su – и введите пароль пользователя root. Появится приглашение к вводу команд ~# .4. После этого перезапустите службу SSH командой service sshd restart В состав Service Console входят некоторые специфичные для ESX команды. В результате вы получаете привилегии root. Если же вы приняли решение просто разрешить пользователю root авторизацию по SSH. Через локальное БИОС-подобное меню также можно открыть доступ к локальной командной строке. Список большинства из них вы можете получить. Так или иначе разрешив доступ к локальной командной строке. сделать это несложно.6. пройдя Configuration ⇒ Security Profile ⇒ Properties ⇒ Local Tech Support. Информацию об этих командах и их соотношение с командами удаленной командной строки см. то потребуется отредактировать конфигурационный файл сервера SSH nano /etc/ssh/sshd_config Найдите строку PermitRootLogin no и поменяйте ее на PermitRootLogin yes.6. Для доступа в командную строку в локальной консоли ESXi эта возможность должна быть разрешена. В интерфейсе клиента vSphere сделать это можно. набрав в командной строке esxcfg- и два раза нажав Tab. что локальная командная строка включена.

Однако информацию об этих командах и их соотношение с командами удаленной командной строки см. в составе ESXi существуют некоторые специфические инструменты.6. vSphere CLI. выполнив /usr/bin/busybox В состав ESXi входят некоторые из команд. командой vim-cmd vmsvc/power. Однако на ESXi с бесплатной лицензией vSphere CLI работают в режиме . вы увидите все возможные варианты ее использования. Список специфичных команд на ESXi меньше. vSphere CLI являются удобным интерфейсом командной строки для ESXi и ESX. Включение SSH выполняется точно так же (в БИОС-подобном меню или в пункте настроек Security Profile).Основы работы из командной строки 67 Вы вошли в локальную консоль. vSphere CLI представляют собой набор сценариев. Например. которые выполняются на том компьютере. Один из полезных – команда vim-cmd vmsvc Набрав эту команду. Теперь вы можете подключаться по SSH. Список большинства из них вы можете получить. 1. В состав ESXi входит маленький дистрибутив Linux под названием Busybox. Увидеть список ВМ и их ID вы можете при помощи команды vim-cmd vmsvc/getallvms 1. работа с vMA vSphere CLI – это инструмент.4. где vSphere CLI установлен. некоторые команды можно и удобно направлять на vCenter Server.6.3. набрав в командной строке esxcfg- и два раза нажав Tab. только теперь вас интересует пункт Remote Tech Support. Более того. При выполнении сценарий обращается к API на указанном сервере ESX(i) или сервере vCenter и выполняет свою работу на этом сервере. Для ESXi следует пользоваться vSphere CLI. Основные команды Linux (табл. чем на ESX.getstate <ID виртуальной машины> вы узнаете статус питания виртуальной машины с указанным ID. который позволяет централизованно управлять из командной строки серверами ESX и ESXi. специфичных для ESX(i). Подсмотреть прочие доступные для Busybox команды можно. Впрочем. в разделе 1. в состав которых входит большее количество команд.1) в нем работают.

Она очень похожа на централизованную Service Console. В ней установлены vSphere CLI. имеющую административные права для vCenter). Проверьте работоспособность сделанных настроек: vicfg-nics --list Эта команда должна отобразить список физических сетевых контроллеров сервера ESX(i). Авторизуйтесь пользователем vi-admin. vMA.com/ community/vmtn/vsphere/automationtools/vima). дистрибутив под Linux. Загружаем сам продукт с сайта VMware (http://communities. на мой взгляд. Запускаем клиент vSphere и импортируем виртуальную машину vMA в нашу виртуальную инфраструктуру. При первом включении от нас спросят настройки IP и пароль пользователя vi-admin.68 Установка vSphere только чтения (read-only). Открываем консоль к ней. будет следующее: укажите целевой сервер командой vifptarget -s <servername> Теперь любая команда vSphere CLI будет выполнена в отношении указанного сервера. С помощью команды vifp addserver <servername> добавьте свои серверы ESX(i) и vCenter. Здесь я подробнее остановлюсь на последнем варианте. Начать пользоваться vMA очень просто: 1. Это означает. в составе vSphere Management Appliance. 2. Проверить список зарегистрированных серверов можно командой vifp listservers Затем самым удобным. Включаем импортированную ВМ. что вы можете использовать ее для просмотра каких-то свойств и значений.vmware. vMA – это виртуальная машина с предустановленной ОС и набором продуктов. . В дальнейшем вводить учетные данные при запуске сценариев не придется. но не сможете их изменять. Это делается из меню File ⇒ Deploy OVF Template. которые позволяют централизованно выполнять команды командной строки на нескольких серверах ESX(i). Распаковываем из архива файл ovf (Open Virtualization Format). От вас попросят указать пароль пользователя (root для ESX(i) или учетную запись Windows. Теперь выполним начальную настройку в локальной консоли vMA или подключившись к ней по SSH. 3. vSphere CLI поставляются в трех вариантах: дистрибутив под Windows.

так и через vSphere CLI. Имя сервера указывается после ключа --server (если выполнено указание целевого сервера на сеанс командой vifptarget -s <servername> то явно указывать сервер в самой команде необходимости нет). Так что для ее просмотра вам пригодится команда «more» из табл.2 я перечислил многие из полезных команд. Для получения справки большинство команд достаточно запустить без параметров. Большинство этих команд можно запустить как в локальной командной строке (или через SSH). аналогичные им команды vSphere CLI – на vicfg-.com/go/vma4. Полезные команды В тексте книги я иногда буду приводить какие-то команды для выполнения тех или иных действий. в первую очередь обратите внимание на возможность ввести vMA в домен Active Directory и использовать его возможности для аутентификации в vSphere. выполните команду bash Это не единственный вариант настройки аутентификации на серверах ESX(i) при выполнении команд vSphere CLI. В столбцах «Локально в ESXi» и «Локально в ESX» я указал доступность той или иной команды в локальной командной строке. как правило. объем справочной информации значительно превышает один экран. выполнив в локальной консоли vMA команду sudo/ opt/vmware/vima/bin/vmware-vima-netconf.Основы работы из командной строки 69 Выполняя команду vifptarget -s <servername> вы можете менять целевые серверы. Обратите внимание. Синтаксис команд в локальной командной строке и в vSphere CLI практически идентичен. Правда. В случае же если вы предпочитаете читать красиво форматированный текст – найдите подробную справку по синтаксису команд в документации VMware. .pl. в столбце «Аналог в CLI ESX» – какое имя имеет команда в локальной командной строке. что при запуске их из vSphere CLI необходимо указать целевой сервер (ESX(i) или сервер vCenter).4. то проще всего это осуществить. что большинство локальных команд начинаются на esxcfg-. Однако команды esxcfgв vSphere CLI также доступны. 1. За дополнительной информацией обращайтесь в документ «vSphere Management Assistant Guide». Но остальные кажутся мне более специфичными и/или менее удобными в повседневной работе. Многие команды отличаются только тем. Так сделано для упрощения совместимости ранее созданных сценариев. доступный на http://vmware.6. Чтобы обнулить указание целевого сервера и опять работать только в командной строке vMa.1. Если вам потребуется изменить сетевые настройки для vMA. 1. 1. Несложно заметить. так что приводить здесь их не буду. и запускают они соответствующую команду vicfg-. В табл.

70 Установка vSphere Таблица 1. невозможные при помощи клиента vSphere.6. как: командная строка. VMFS Управление файлами vmdk Управление состоянием ВМ. Включение.5. Список полезных команд vSphere CLI и локальной командной строки Команда vSphere CLI esxcli resxtop svmotion vicfg-advcfg Локально в ESXi + + – + Локально Аналог в ESX в CLI ESX + esxcli + esxtop – + esxcfg-advcfg vicfg-cfgbackup + – vicfg-dns vicfg-dumppart – + – + vicfg-iscsi + + vicfg-module vicfg-mpath + + + + esxcfgcfgbackup esxcfg-dns esxcfgdumppart esxcfg-hwiscsi и esxcfg-swiscsi esxcfg-module esxcfg-mpath vicfg-nas vicfg-nics vicfg-ntp vicfg-rescan + + + + + + + + esxcfg-nas esxcfg-nas esxcfg-ntp esxcfg-rescan vicfg-route vicfg-scsidevs + + + + esxcfg-route esxcfg-scsidevs vicfg-snmp vicfg-vmknic + + + + esxcfg-snmp esxcfg-vmknic vicfg-volume + + esxcfg-volume vicfg-vswitch + + esxcfg-vswitch vihostupdate vmkfstools + + + + esxupdate vmkfstools vmware-cmd + + vmware-cmd Описание Управление PSA и Multipathing Мониторинг системных ресуров Запуск Storage VMotion Изменение расширенных настроек Резервная копия настроек ESXi Настройка DNS Доступ к диагностическим данным Настройка iSCSI (программного и аппаратного) Управление модулями VMkernel Вывод информации о путях к LUN Настройка доступа к NAS Настройка физических NIC Настройки сервера NTP Сканирование СХД. выключение. Полезные сторонние утилиты При работе с ESX(i) нам могут потребоваться некоторые действия. . обнаружение новых LUN и разделов VMFS Настройка маршрутизации Информация об устройствах хранения Управление агентом SNMP Управление интерфейсами VMkernel Перемонтирование разделов VMFS Управление виртуальными коммутаторами Установка обновлений Управление разделами. Это такие действия. снапшоты и прочее 1. в том числе для изменения конфигурационных файлов и просмотра журналов.2.

Файловый менеджер На случай. 1. Сайт этой утилиты – http://puttycm. самым удобным средством я считаю Veeam FastSCP (http://www. Копирование.free.19). укажите адрес вашего сервера ESX. выгрузка с ESX(i).org/. 1. перемещение. Перечислю основные бесплатные утилиты. изменение.18). графический файловый менеджер для работы с файлами виртуальных машин. Командная строка Для работы в командной строке могу посоветовать две утилиты – клиент SSH под названием PuTTY и небольшую оболочку к нему PuTTY Connection Manager. добавляющую интерфейс закладок. когда вам необходимы манипуляции с файлами виртуальных машин. загрузка на ESX(i).veeam. ESXi (если вы включили сервер SSH на нем) или vMA (рис. PuTTY можно загрузить с веб-сайта по адресу http://www.Основы работы из командной строки 71 графический файловый менеджер для работы с файлами ESX(i).18. C его помощью вы легко и удобно получите доступ к файлам виртуаль- .putty. в первую очередь изменения конфигурационных файлов и просмотра журналов. 1. Рис. Запустите программу.html). Подключение с помощью PuTTY Добавить удобства в работе с несколькими серверами вам поможет утилита PuTTY Connection Manager (рис.fr. которые могут вам помочь в этих операциях. com/ru/product. Это специализированный файловый менеджер именно для vSphere.

72

Установка vSphere

Рис. 1.19. Окно PuTTY Connection Manager

ных машин. Вернее, к любым файлам на хранилищах VMFS и NFS-хранилищах
ваших серверов (рис. 1.20).
С помощью этой утилиты легко организовать копирование файлов между хранилищами разных серверов или между серверами ESX(i) и Windows (в первую
очередь имеется в виду резервное копирование).
Еще одна утилита, о которой хочу здесь упомянуть, – файловый менеджер
WinSCP (http://winscp.net). C его помощью можно подключиться к серверу ESX,
а к ESXi – лишь при условии включения сервера SSH (рис. 1.21).
После подключения этой утилитой вы увидите двухпанельный файловый менеджер. В левом окне всегда система Windows, с которой вы подключились, а в правом – ESX(i), к которому вы подключились. Примечательно, что с помощью этой
утилиты вы получаете доступ к файловой системе Linux из состава ESX(i). Это
означает, что, зайдя в каталог /etc, вы найдете большинство конфигурационных
файлов. В каталоге /var/logs вам доступны файлы журналов. В каталог /vmfs/
volumes подмонтируются хранилища.

Вспомогательные утилиты
Последняя утилита, о которой хотелось бы тут упомянуть, – утилита RVtools.
Подключившись с ее помощью к серверу vCenter, вы сможете в удобном виде по-

Основы работы из командной строки

73

Рис. 1.20. Окно FastSCP

Рис. 1.21. Настройки подключения WinSCP

лучить полезные данные об инфраструктуре. Особо интересной может оказаться
вкладка vHealth с информацией о потенциальных проблемах (рис. 1.22).
Утилита доступна по адресу http://www.robware.net.

74

Установка vSphere

Рис. 1.22. Утилита RVTools

1.7. Сайзинг и планирование
В этом разделе мне бы хотелось обозначить некоторые вопросы сайзинга аппаратного обеспечения под vSphere. Вопрос вида «какой сервер выбрать под любимый гипервизор» – один из популярных и самых раздражающих – потому что
такая формулировка вопроса не корректна.
То, что написано далее, ни в коей мере не «Полное и абсолютное руководство
по подбору оборудования всегда», нет. Это немного теории про то, что такое производительность, – как показывает мой пятилетний опыт ведения ИТ-курсов,
даже у самых опытных людей бывают пробелы в обыденных для кого-то другого
вещах. Это небольшие нюансы выбора оборудования, связанные именно с виртуализацией. Это вопросы, на которые нельзя давать ответ абстрактно, но о которых
стоит задуматься, имея на руках данные конкретного случая.
Итак – нам нужно оборудование под ESX(i). Что дальше?
Самое главное для понимания, пусть и очевидное до невозможности, – это
следующее соображение:
Количество ресурсов, которыми должен обладать сервер под ESX(i), зависит
от суммы требований для выполнения всех задач, которые мы собираемся выполнять в ВМ на этом сервере. И еще от того, будем ли мы использовать некоторые
функции vSphere (в первую очередь HA/FT), так как эти функции требуют ресурсов сверх необходимых для работы ВМ.
Поговорим про все подсистемы – процессор, память, диски, сеть. Самая большая и сложная тема – это дисковая подсистема. Должна ли она быть представлена
системой хранения данных (СХД) или обойдемся локальными дисками сервера –

Сайзинг и планирование

75

это вопрос относительно простой. Есть бюджет на СХД – она нам нужна ☺. На нет
и суда нет. Какую именно СХД использовать – будет ли это система с подключением по оптике, Fibre Channel SAN? Или достаточно будет 1 Гбит подключения
Ethernet и это будет iSCSI SAN? Или это будет iSCSI, но с 10 Гбит подключением?
Или NFS? Вариантов масса. Какие диски там будут стоять? Или стоит задуматься
не о дисках, а о SSD-накопителях?
В любом случае, вам необходимо опираться на цифры. Цифры по нагрузке
существующих систем, которые вы планируете переносить в виртуальную среду.
Или цифры по планируемой нагрузке приложений, которые вы собираетесь добавлять в виртуальную среду.
Для уже существующей инфраструктуры статистику использования той или
иной подсистемы имеет смысл получать с помощью соответствующих средств
мониторинга. Мне известно решение от Майкрософт – System Center Operations
Manager (OpsMgr, SCOM).
Ну а наиболее правильно и удобно использовать специализированное средство анализа инфраструктуры для ее виртуализации – VMware Capacity Planner.
Услуги по обследованию с его помощью оказывают компании-партнеры VMware.
Для планируемых систем цифры по предполагаемой нагрузке берутся из тех
же источников, что и при сайзинге физических серверов, – из соответствующей
документации, нагрузочных тестов и опыта.

1.7.1. Процессор
Мне видятся два момента, связанных с выбором процессоров в сервер под
ESX(i).
Первый – какой производительностью они должны обладать, и второй – накладываются ли на процессоры какие-то условия с точки зрения некоторых функций vSphere.
Про производительность поговорим чуть позже, сейчас про функционал.

Выбор процессоров с точки зрения функционала
Процессор – это единственный компонент сервера, который не виртуализируется. Это означает, что гостевая ОС видит тактовую частоту и, самое главное,
наборы инструкций (типа SSE4 и т. п.) физического процессора. Если ВМ просто
и без затей работает на каком-то ESX-сервере, то от такого положения вещей нам
ни холодно, ни жарко. Проблемы начинаются, если мы хотим осуществить живую
миграцию (ту, что у VMware называет vMotion) этой ВМ на другой ESX(i).
Вывод: если мы предполагаем использование vMotion, то ЦП на этих серверах
должны быть одинаковыми. Раскроем нюансы.
«Одинаковость» здесь должна быть по функциям этих процессоров. Например, набор инструкций SSE 4.2 – если их поддерживает ЦП сервера, то наличие
этих инструкций увидит и гостевая ОС. Если на ЦП другого сервера этих инструкций не будет, а мы мигрируем включенную ВМ на этот сервер, то гостевая ОС
чрезвычайно удивится невозможности использовать то, что только что было до-

76

Установка vSphere

ступно. И может умереть, сама ОС или приложение. Чтобы такого не было, vCenter в принципе не даст нам мигрировать ВМ между серверами с разными ЦП.
Резюме: не важны тактовая частота, размер кеш-памяти и количество ядер.
Важны поддерживаемые функции, то есть поколение ЦП, версия прошивки и
(важно!) настройки BIOS. Некоторые функции могут включаться/выключаться из BIOS, поэтому вроде бы одинаковые ЦП могут оказаться несовместимыми
с точки зрения vMotion. Кстати говоря, не всегда легко найти отличия в настройке. В моей практике в таких ситуациях помогал сброс настроек BIOS на значения
по умолчанию.
Далее. Забудьте предыдущий абзац. ☺
Еще в ESX 3.5 Update 2 и тем более в версии 4 VMware реализовала и предлагает нам функцию EVC – Enhanced vMotion Compatibility. Суть этой функции –
в том, что мы можем «привести к единому знаменателю» разные ЦП на группе
серверов. Например, у нас есть серверы с ЦП поновее – поддерживающие наборы
инструкций до SSE 4.2. И есть серверы с ЦП постарше, поддерживающие набор
инструкций SSE 4. Если мы объединим две эти группы серверов и включим для
них EVC, то более новые ЦП выключат у себя SSE 4.2. И все эти серверы (их ЦП)
станут совместимы для vMotion.
Однако для работы EVC требуется, чтобы все процессоры поддерживали технологию «AMD-V Extended Migration» или «Intel VT FlexMigration». Это:
для AMD: процессоры Opteron™ начиная с моделей Rev. E/F;
для Intel: начиная с Core™ 2 (Merom).
Подробную информацию о моделях можно почерпнуть или в списке совместимости, или в статье базы знаний http://kb.vmware.com/kb/1003212.
Резюме: если мы приобретаем процессоры с поддержкой этой технологии, то
мы можем не волноваться – совместимость для vMotion будет обеспечена. Ценой
этому будет недоступность части новых функций в новых ЦП. Как правило, это
более чем допустимая жертва.
Надо понимать, что vMotion между серверами с процессорами разных производителей (c AMD на Intel и обратно) невозможен ни при каких условиях.
Попытаюсь резюмировать.
1. Если вы выбираете процессоры в сервер под ESX, предполагаете использование живой миграции aka vMotion и
• это будут первые ESX(i) серверы вашей инфраструктуры – то выбирать
можно достаточно свободно (см. еще соображения по производительности). Если в среднесрочной перспективе планируется докупать еще
серверы, то лучше сейчас выбирать процессоры поновее (из последней
группы совместимости EVC), чтобы в будущих серверах еще были доступны к заказу такие же (или представители той же группы);
• у вас уже есть несколько ESX(i)-серверов, к ним надо докупить еще.
Процессоры с поддержкой EVC можно использовать в одном «кластере EVC» с процессорами, не поддерживающими Extended Migration /
FlexMigration. В таком случае процессоры без поддержки EVC должны
быть одинаковы между собой.

Сайзинг и планирование

77

2. Если vMotion не предполагается к использованию, то обращать внимание
нужно лишь на соображения производительности. Однако в силу того, что
на момент написания у VMware остались только две редакции vSphere, не
включающие vMotion, – Free и Essentials, лучше исходить из возможного
включения vMotion в будущем.
Если процессоры у нас не поддерживают EVC, то совместимость ЦП можно
обеспечить на уровне настроек ВМ. По эффекту это похоже на EVC, но выполняется вручную и на уровне отдельной ВМ, а не группы серверов. Правда, эта
возможность является неподдерживаемой. Вас интересует настройка Options ⇒
CPUID Mask ⇒ Advanced. Наконец, можно просто отключить проверку совместимости ЦП на уровне настроек vCenter. Подробности см. в соответствующем
разделе – про vMotion.
Вторая после vMotion функция, которая обладает собственными требованиями к процессорам, – это VMware Fault Tolerance, FT.
Для серверов, на которых работает VMware Fault Tolerance, должны выполняться все условия для vMotion. Плюс к тому тактовые частоты процессоров на
разных серверах не должны отличаться более чем на 300 МГц. Наконец, эта функция работает только на процессорах из списка:
Intel 31xx, 33xx, 34xx, 35xx, 36xx, 52xx, 54xx, 55xx, 56xx, 65xx, 74xx, 75xx;
AMD 13xx, 23xx, 41xx, 61xx, 83xx.
Актуальную информацию о моделях процессоров для FT ищите в статье базы
знаний VMware № 1008027 (http://kb.vmware.com/kb/1008027).

Выбор процессоров с точки зрения
производительности
На производительность процессорной подсистемы оказывают влияние:
1) количество ядер (ну и самих процессоров, само собой);
2) их тактовая частота;
3) размер кеш-памяти;
4) поддерживаемые инструкции.
В идеале мы покупаем самый новый процессор (с максимумом поддерживаемых инструкций), с максимальным размером кеша, максимальными тактовой частотой и количеством ядер. В реальности же это не всегда возможно, да и не всегда
оправдано.
Самое эффективное в общем случае – использовать меньше процессорных сокетов и больше ядер, из тех соображений, что ESX(i) лицензируется на процессоры. Получим более эффективное соотношение цены и производительности. Но не
забываем о том, что ESXi с бесплатной лицензией заработает на сервере не более
чем с двумя процессорами, и для всех лицензий, кроме Advanced и Enterprise Plus,
возможно использование процессоров не более чем с шестью ядрами (информация верна на момент написания).
Еще один нюанс: один виртуальный процессор равен одному ядру физического сервера как максимум. Нельзя взять два физических ядра и объединить в одно

78

Установка vSphere

виртуальное, можно только «поделить» одно физическое на несколько виртуальных. Поэтому чем большей частотой будут обладать выбранные вами процессоры,
тем большей максимальной производительностью будет обладать один виртуальный процессор.
Остальное, по моему мнению, менее критично.

Что такое и зачем надо Intel-VT / AMD-V.
Аппаратная поддержка виртуализации
Процессор исполняет инструкции. Эти инструкции выполняются с тем или
иным приоритетом, который традиционно называется «кольцом» (ring). Кольцо
0 имеет наибольший приоритет, и именно в этом кольце работает ядро ОС, управляющее всеми ресурсами.
Но. В случае использования виртуализации ОС несколько, и ресурсами сервера должен управлять гипервизор, распределяя эти ресурсы между ОС в ВМ. Выходов несколько:
в ESX(i) реализована технология под названием «Binary translation» – программный механизм «вытеснения» ядра гостевой ОС из нулевого кольца.
ESX(i) на лету подменяет инструкции процессора таким образом, что работают они на уровне выше нулевого кольца, а ядру гостевой операционной
системы кажется, что оно на самом деле в нулевом кольце. Таким образом,
ESX(i) может работать на процессорах без аппаратной поддержки виртуализации. Гипервизор работает в кольце 0. Это самый старый механизм, который
в наше время считается унаследованным. Он обладает самыми высокими накладными расходами и вообще не работает для 64-битных гостевых ОС;
паравиртуализация ОС. Ядро гостевой ОС может быть изменено для корректной работы в ВМ – тогда гипервизору не требуется принудительно «выгонять» ядро из нулевого кольца. В силу необходимости изменения кода ОС
на уровне ядра, притом изменения разного рода для разных гипервизоров,
паравиртуализация не стала массовой. Тем не менее использование паравиртуализованных ОС в ВМ на современных гипервизорах позволяет снизить
накладные расходы на виртуализацию. Известные мне источники говорят
о примерно 10%-ной разнице по сравнению с непаравиртуализованными
ОС. Для запуска паравиртуализованных гостевых ОС нет необходимости в
аппаратной поддержке виртуализации. Паравиртуализация де-факто мало
актуальна для ESX(i), поэтому здесь упоминается для полноты картины;
та самая аппаратная поддержка виртуализации. Она реализуется с помощью технологий Intel VT (Virtualization Technology) или AMD-V. Если
процессор обладает этой возможностью, то это означает, что он предоставляет для гипервизора специфический приоритет. Этот приоритет обычно
называют кольцо –1 (минус один). Специфичность проявляется в том, что
исполняемые в этом кольце инструкции, с одной стороны, еще приоритетнее, чем инструкции кольца нулевого; а с другой – в минус первом кольце
могут исполняться не все инструкции. Впрочем, все, необходимые гипервизору, в наличии. Таким образом, если процессоры сервера обладают аппаратной поддержкой виртуализации, то гипервизор на таком сервере может

Сайзинг и планирование

79

запускать любые гостевые операционные системы без необходимости их
модификации. Этот режим является штатным для ESX(i).
Уже несколько лет все выпускаемые серверные (да и не только серверные) процессоры аппаратно поддерживают виртуализацию. Если вы работаете с не очень
современным сервером, обратите внимание на этот аспект отдельно. Дело в том,
что поддержка аппаратной виртуализации должна быть реализована не только
в процессоре, но и в материнской плате (возможно, потребуется обновление BIOS).
Однако возможность реализовать виртуальную инфраструктуру даже на серверах без аппаратной поддержки виртуализации является архиполезной, если подобная задача перед вами все-таки встала.

1.7.2. Память
К ОЗУ требований особо нет. Ее просто должно быть достаточно. Грубая оценка достаточного объема:
1. Берем информацию о том, сколько памяти необходимо каждой ВМ. Суммируем. Округляем до удобного для установки в сервер объема.
2. Хотя при сайзинге это учитывать не следует, но часть памяти окажется свободной. В этом помогут механизмы ESX(i) по работе с памятью. Учитывать
же при планировании эти механизмы не рекомендуется по причине того,
что в общем случае эффект экономии не гарантируется. Впрочем, вы можете вывести и использовать свой коэффициент в зависимости от собственного опыта, понимания специфики планируемой нагрузки и готовности
идти на риск не полностью сбывшихся прогнозов.
3. Кроме того, разные ВМ могут действительно использовать свою память
полностью в разное время. Следовательно, суммарный объем занятой памяти на сервере в среднем окажется меньше суммарного объема памяти,
выделенной для всех виртуальных машин. На этот эффект тоже не рекомендуют полагаться при сайзинге.
4. По причинам из пунктов 2 и 3 делать большой запас по памяти не следует.
Впрочем, большинство инфраструктур имеют обыкновение расти и в сторону увеличения количества ВМ, и в сторону увеличения нагрузки на существующие ВМ, так что при такой перспективе памяти лучше взять больше.

1.7.3. Дисковая подсистема
Когда мы говорим про ресурсы дисковой подсистемы, то назвать их можно
три: объем места, скорость чтения и записи в Мб/сек и скорость чтения-записи
в количестве операций ввода-вывода в секунду (Input/Output per second, IOPS,
или просто I/O).
Поговорим сначала про объем. Я приведу соображения, на которые следует
ориентироваться, и пример расчета.
Соображения следующие:
место на диске занимают сами файлы-диски виртуальных машин. Следовательно, нужно понять, сколько места нужно им;

80

Установка vSphere

если для всех или части ВМ мы планируем использовать тонкие (thin) диски, то следует спланировать их первоначальный объем и последующий рост
(здесь и далее под thin-дисками понимается соответствующий тип vmdkфайлов, то есть функция thin provisioning в реализации ESX(i). Дело в том,
что функционал thin provisioning может быть реализован на системе хранения независимо от ESX(i), и я имею в виду не функционал систем хранения);
по умолчанию для каждой ВМ гипервизор создает файл подкачки, по размерам равный объему ее оперативной памяти. Этот файл подкачки располагается в папке ВМ (по умолчанию) или на отдельном LUN;
если планируются к использованию снимки состояния, то под них тоже
следует запланировать место. За точку отсчета можно взять следующие соображения:
• если снимки состояния будут существовать короткий период после создания, например только на время резервного копирования, то под них
запасаем процентов десять от размера диска ВМ;
• если снимки состояния будут использоваться со средней или непрогнозируемой интенсивностью, то для них имеет смысл заложить порядка
30% от размера диска ВМ;
• если снимки состояния для ВМ будут использоваться активно (что актуально в сценариях, когда ВМ используются для тестирования и разработки), то занимаемый ими объем может в разы превышать номинальный
размер виртуальных дисков. В этом случае точные рекомендации дать
сложно, но за точку отсчета можно взять удвоение размера каждой ВМ.
(Здесь и далее под снимком состояния понимается соответствующий
функционал ESX(i). Дело в том, что снимки состояния (snapshot) могут
быть реализованы на системе хранения независимо от ESX(i), и я имею
в виду не функционал систем хранения.)
Примерная формула выглядит следующим образом:
Объем места для группы ВМ = Количество ВМ × (Размер диска × T +
+ Размер диска × S + Объем памяти – Объем памяти × R).
Здесь:
T – коэффициент тонких (thin) дисков. Если такие диски не используются,
равен 1. Если используются, то абстрактно оценку дать сложно, зависит от
характера приложения в ВМ. По сути, thin-диски занимают места на системе хранения меньше, чем номинальный размер диска. Так вот – этот
коэффициент показывает, какую долю от номинального размера занимают
диски виртуальных машин;
S – размер снимков состояния. 10/30/200 процентов, в зависимости от продолжительности непрерывного использования;
R – процент зарезервированной памяти. Зарезервированная память в файл
подкачки не помещается, файл подкачки создается меньшего размера. Размер его равен: объем памяти ВМ минус объем зарезервированной памяти.
Оценочные входные данные, для примера, см. в табл. 1.3.

81 Сайзинг и планирование Таблица 1. Всего получаем 2810 Гб. снапшотов ОЗУ. исходя из прочих предпочтений (например. Контроллер системы хранения принимает запрос. Гостевая ОС передает запрос драйверу контроллера SAS/SCSI (который для нее эмулирует гипервизор).5) = 1130 Гб. Следовательно. Драйвер передает запрос на контроллер. 2. потому что при обращении большого количества ВМ на одни и те же диски обращения идут непоследовательно. объединяет с запросами от других ВМ и передает общую очередь драйверу физического контроллера (HBA в случае FC и аппаратного iSCSI или Ethernet-контроллер в случае NFS и программного iSCSI). Обычно рекомендуется размещать 8–15 ВМ на один LUN. Или создать 4–5 LUN по 600– 800 Гб и поместить машины разных групп на разные LUN. Гипервизор перехватывает его. % ВМ. Запрос этот – операция чтения или записи с какого-то LUN или тома NFS.3. Данные для планирования объема дисковой подсистемы Размер ИспольСредний Примерный Резервидисков зуются размер размер рование одной тонкие ОЗУ ВМ. 3. Драйвер передает его на сам виртуальный контроллер SAS/SCSI. критичные серверы – 10 × (100 + 100 × 10% + 6 – 6 × 0. по сети передачи данных. чем их запрашивают виртуальные машины. серверы приложений – 20 × (40 + 40 × 10% + 2 – 2 × 0) = 920 Гб. Какой путь проходят обращения гостевой ОС к физическим дискам в общем случае: 1. . тестовые и временные – 20 × (20 × 30% + (20 × 30%) × 200% + 2 – 2 × 0) = = 400 Гб. мы можем создать два LUN по 1.4 Тб и примерно поровну распределить между ними виртуальные машины. Input/ Output per second). Контроллер передает его на систему хранения. Размер одного LUN ограничен как абсолютный максимум 2 Тб минус 512 байт. Выбор между ними делается. 6. Оба варианта (и промежуточные между ними) приемлемы. В случае виртуальных машин скорость в Мб/сек не является надежным критерием. Еще одним ресурсом дисковой подсистемы является производительность. 4. Для виртуальной инфраструктуры более важной характеристикой является количество операций ввода-вывода (IOPS. Дисковая подсистема нашей инфраструктуры должна позволять больше этих операций. 5. организационных). Гб диски? Гб Количество ВМ в группе Инфраструктура 20 Нет 10% 2 0 15 Серверы приложений Критичные серверы приложений 20 + 20 Нет 10% 2 0 20 20 + 80 Нет 10% 6 50 10 Тестовые и временные 20 Да 200% 2 0 20 Группа ВМ Получаем оценку требуемого объема: инфраструктурная группа – 15 × (20 + 20 × 10% + 2 – 2 × 0) = 360 Гб.

Особенно если планируется к использованию IP СХД. Однако базовые соображения звучат так: • RAID-10 – самый быстрый. Сколько и каких дисков нам потребуется в случае использования RAID-10 и RAID-5? . • RAID-5 компромиссен. что переносимой в виртуальную среду нагрузке хватит пропускной способности сети с планируемой пропускной способностью. что не надо их использовать.82 Установка vSphere 7. а 33% – запись. Результирующая скорость дисковой подсистемы следует из скорости дисков и алгоритма распараллеливания контроллером обращений к дискам (имеются в виду тип RAID и аналогичные функции). Также имеет значение отношение числа операций чтения к числу операций записи – это отношение мы берем из статистики или из документации к приложениям в наших ВМ. Также чем быстрее (в терминах I/O) сами диски. во время которого остается незащищенным от другого сбоя (превращаясь в RAID-0) и резко теряет в производительности. или «RAID с нулевой отказоустойчивостью». – такие системы давно и многими эксплуатируются. разные уровни массивов RAID обладают разной производительностью. тем лучше. Производительность на запись лучше RAID-6 (но хуже RAID-10). Изучение документации СХД важно для правильной ее настройки и эксплуатации. сеть передачи данных. что наши ВМ будут создавать нагрузку до 1000 IOps. Законченные рекомендации дать сложно. • RAID-0. типы RAID отличаются еще стоимостью и надежностью. связанных с долгим восстановлением данных после выхода из строя диска в случае использования современных дисков большой емкости и больших RAID-групп. состоящем из физических дисков. То есть запрос передается контроллером СХД на диски этого массива RAID. хотя чтение с него такое же быстрое. что надо постараться убедиться. Примем. 67% из которых будет составлять чтение. • RAID-6 – самый надежный. кроме скорости. на уровне физических дисков. тем лучше операции чтения-записи могут быть распараллелены. в частности кеша контроллеров системы хранения. для хранения значимых данных использовать нельзя. потому что. Где может быть узкое место дисковой подсистемы: скорее всего. Чем их больше. отнимая 50% на поддержку отказоустойчивости. настройки системы хранения. iSCSI или NFS. но страдает низкой производительностью на записи (30–40% от показателей RAID-10 при 100% записи). но наименее эффективно использует пространство дисков. Я ни в коем случае не хочу сказать. Но RAID-5 страдает от серьезных проблем. LUN – это «виртуальный раздел» на массиве RAID. Важно количество физических дисков в массиве RAID. выше эффективность хранения (на отказоустойчивость забирается емкость лишь одного диска). Разберем пример. Я хочу сказать. как с RAID-10.

что приведенные мною расчеты достаточно приблизительны.67% = 670 IOps. Требуемая доступность. Очевидно. При использовании RAID-5 и SAS нам потребуется 16–19 дисков. например VMware Capacity Planner. Можно считать. используем группировку сетевых контроллеров. заявленное в характеристиках производительности одного диска. связанные с подсчетом и изменением контрольной суммы.33% = 330 × 2 (так как в записи участвует лишь половина дисков) = 660 IOps. Для RAID-10: чтение – 1000 × 0. что лучше ориентироваться на несколько другие цифры: 50–60 для SATA и 100–120 для SAS. или teaming. запись – 1000 × 0. Необходимая пропускная способность для наших задач. но при записи каждого блока возникают накладные расходы.7. Здесь может помочь физическая изоляция трафика по разным сетевым контроллерам и/или использование VLAN. В массиве RAID-5 в чтении участвуют все диски.Сайзинг и планирование 83 В массиве RAID-10 в операциях чтения участвуют сразу все диски. Если не хватает одного контроллера. Закончим пример.4. Но как отправная точка для понимания процесса сайзинга дисковой подсистемы эта информация пригодна.33% = 330 × 4 = 1320 IOps.2k – 70–100 IOps.67% = 670 IOps. . Для уже существующей инфраструктуры (при переносе ее в виртуальные машины) эти данные можно получить с помощью специальных средств сбора информации. Однако есть мнение. в первую очередь кешировование – для оптимизации работы системы хранения. запись – 1000 × 0. Здесь соображений три: 1. получим требуемое количество дисков в массиве RAID-10 под указанную нагрузку. Для инфраструктуры планируемой – из документации к приложениям и собственного опыта. Всего от дисков нам надо 1330 IOps. В системах хранения используются разного рода механизмы. Здесь нам поможет дублирование – опять же за счет группировки сетевых контроллеров (Teaming). Всего нам от дисков надо 1990 IOps. 2. За кадром остаются методики получения требуемого для ВМ количества IOPS и отношение чтения к записи. Сетевая подсистема По поводу сети. Один диск SATA 7. а в операции записи – лишь половина (потому что каждый блок данных записывается сразу на два диска). что одна операция записи на массив RAID-5 вызывает четыре операции записи непосредственно на диски. Для какой-то задачи будет необходимо выделить сетевой контроллер в личное пользование одной ВМ. 3. Если поделить 1330 на количество IOps. При использовании RAID-10 и SATA нам потребуется 22–26 дисков. Для RAID-5: чтение – 1000 × 0. Безопасность. 1. По документации производителей один жесткий диск SAS 15k обрабатывает 150–180 IOps.

Конечно. сколько требуется в конкретном случае? Сеть нам нужна для: 1. Нужно ли его дублировать. насколько для вас критична невозможность какое-то время мигрировать ВМ с сервера в случае проблем в сети. ВМ. и под них рекомендуется выделять отдельные физические контроллеры. 2. И в любом случае рекомендуется это сделать с точки зрения безопасности. Абсолютный минимум – 1. 5. настроенный для Management traffic (для ESXi). Для надежности. если они будут использоваться. 3. и если через тот же физический контроллер идет еще какой-то трафик. используемой для vMotion. Верно и в обратную сторону: если трафик Fault Tolerance будет достаточно велик. очевидно. необходимость наличия дублирующего контроллера для FT более вероятна. Среди ВМ может быть несколько групп ВМ. Для ВМ – зависит от ваших нужд. если они разделяют один и тот же физический сетевой интерфейс. Но. он не обязан быть выделенным – но этого может требовать политика вашей компании.84 Установка vSphere Для реализации всех соображений нам может потребоваться несколько (много ☺) сетевых контроллеров. Управления. он может мешать другим задачам. зависит от того. В первую очередь это может оказаться актуально для трафика СХД по протоколу IP и для Fault Tolerance. Такие функции. С технической точки зрения. Fault Tolerance. . что и для vMotion. то с точки зрения производительности ее трафик лучше выделить в отдельную сеть. Какой предполагается организация виртуальной сети? Смогут ли все ВМ использовать один и тот же контроллер (группу контроллеров)? Необходимо ли дублирование? По результатам ответов на эти вопросы определяемся с необходимым числом сетевых контроллеров на каждый сервер ESX(i). Интерфейс Service Console (для ESX) или интерфейс VMkernel. Если активно будет использоваться система хранения iSCSI или NFS. скорее всего. vMotion. Но поддерживаемая конфигурация сервера для vMotion предполагает выделение контроллера под трафик vMotion. лучше бы нам управляющий интерфейс разместить на парочке контроллеров – для надежности. Однако нагрузка на сетевой контроллер со стороны других задач может помешать нормальной работе Fault Tolerance. Также в зависимости от планируемой нагрузки можно задуматься над оправданностью применения контроллеров 10 Гб Ethernet. 4. iSCSI и/или NFS. С технической точки зрения он может быть невыделенным – живая миграция будет происходить. требуют ресурсов сети. Fault Tolerance. как vMotion. в зависимости от планируемых к использованию функций vSphere. работа с системами хранения поверх протокола IP. Для vMotion нам необходим выделенный сетевой интерфейс. Для Fault Tolerance соображения примерно те же. Как посчитать. каждой из которых может потребоваться выделенный сетевой интерфейс (или не один). Для управления нам минимально необходим один сетевой контроллер. Идеальный минимум – 4 или даже 6. следует выделить под данный трафик несколько сетевых контроллеров.

что в более крупных серверах плотность размещения ВМ выше и. когда вас не устраивает качество или уровень поддержки имеющихся серверов. 3. . соответственно. Итого мы хотим. С другой стороны. настоятельно рекомендую не «разводить зоопарк» и не пускаться в эксперименты с другими поставщиками. Надо подумать и о доступности своих служб. сколько процессорной мощности и оперативной памяти необходимо вам для размещения всех ВМ. нельзя забивать все серверы под завязку. Посчитали. или ваш поставщик не предлагает серверов нужной конфигурации. Если же учесть экономию от Transparent Page Sharing. Если все ваши используемые серверы (пусть других моделей) произведены фирмой XYZ и вы ими довольны. 1. В каждый из четырех серверов по 64 Гб вы сможете с достаточным комфортом разместить по 21 ВМ по 3 Гб ОЗУ каждая (всего получается 4 × 21 = 84 ВМ). Потом сами будете не рады. обновлении ПО или оборудования). в то же суммарное количество ОЗУ можно вместить больше ВМ. то разница станет еще более заметна. Итого получается. крупные серверы уровня предприятия обычно обладают полезными возможностями вроде горячей замены или развитыми функциями удаленного управления. что мы можем задействовать с пользой лишь 256 – (2 × 64) = 128 Гб ОЗУ и разместить в них только (4 – 2) × 21 = 42 ВМ. Крупные серверы создают меньшие накладные расходы. Масштабируемость: мало мощных серверов или много небольших? Заключительный вопрос. всего получается 8 × 10 = 80.5.Сайзинг и планирование 85 1. 2. что один из серверов может отказать. 4. чтобы наше решение сохраняло доступность при одновременном выходе из строя двух узлов. Модельный ряд того поставщика серверного оборудования. В первом случае мы таким образом лишаемся половины (4 – 2 = 2) серверов. При прочих равных обратите внимание на дополнительные функции. Разумно запланировать. В каждый из восьми серверов по 32 Гб – по десять таких же ВМ. В нашем примере это можно проиллюстрировать следующим образом. И получается. в которых поместится (8 – 2) × 10 = 60 ВМ! Как видим. поэтому привожу свои соображения. вы определились с конфигурацией СХД. Во втором случае нам остается уже 8 – 2 = 6 серверов с 256 – (2 × 32) = = 194 Гб. Но как распределить их по серверам? Например. 16 процессоров и 256 Гб ОЗУ можно разместить в 4 четырехпроцессорных серверах по 64 Гб в каждом или 8 двухпроцессорных по 32 Гб. предыдущий совет не включает ситуации.7. Что выбрать при прочих равных? Здесь (как и везде в этом разделе) сложно дать однозначные рекомендации. а еще один в это время может находиться на обслуживании (например. Конечно. а также позволяют вместить суммарно больше ВМ. Например. 5. с которым вы работаете. Допустим. с учетом планирования доступности преимущество в нашем примере оказывается уже на стороне более модульной архитектуры.

– ведь каждое лезвие является сравнительно небольшой составляющей инфраструктуры. на текущем этапе развития технологий виртуализации). надеюсь. руководствуясь подобными или какими-то совершенно другими соображениями. Дальше вам придется решать самим. связанными с виртуализацией. В результате выход из строя сразу нескольких из них вряд ли сильно уменьшит суммарную мощность системы. А вот выход из строя целой корзины окажется все-таки более существен. Рекомендую заранее ознакомиться с тонкостями лицензирования этого ПО и нюансами. конечно. 2 = виртуальные машины). то есть потребуется еще и 56 сетевых портов. то второй сценарий (серверы по 32 Гб) вам просто не подойдет (без учета возможностей по оптимизации использования памяти. Они также отлично отвечают пятому соображению. а целых стоек. 2 = iSCSI. как это ни странно. которое вы планируете запускать в виртуальных машинах. Блейд-серверы также крайне эффективны с точки зрения уменьшения проблем и головной боли – куда девать все эти кабели? Предположим. мы будем использовать 6 одногигабитных сетевых интерфейсов (2 = управление + vMotion. потеряли вы стойку с лезвиями или стойку с обычными серверами. но и на лицензирование ПО. стоит задуматься о сбоях не только на уровне каждого лезвия в отдельности. То есть преимущества лезвий могут снова выйти на первый план. хотя. вы ни под каким видом не сможете разделить нагрузку одной ВМ между несколькими серверами (по крайней мере.86 Установка vSphere 6. что. обслуживание. увеличивая нашу инфраструктуру и поднимая требования к доступности. Не забудем о сети IPMI\iLO – в итоге 7 интерфейсов (и кабелей) на сервер. В случае с блейд-серверами количество кабелей (и портов) сокращается до 10–12. питание и охлаждение). что общую идею и способы оценки привлекательности разных подходов к выбору типа серверов вы поняли и это оказалось для вас полезным. 8. приведенному выше. куда менее вероятен. следуя соображениям отказоустойчивости. Просто с памятью это выглядит наиболее наглядно. чем даже пары обычных стоечных серверов. но и каждой корзины (шасси). может потребоваться вести счет уже не на потерю отдельных серверов или корзин. подсистемы ввода-вывода). которые мы здесь не станем учитывать для наглядности). Но. 9. аналогичные соображения могут действовать не только на оборудование и доступность служб. Иными словами. С другой стороны. В общем. 8 серверов виртуализации в итоге дают нам 56 кабелей. Все вышесказанное в равной степени применимо и к другим ресурсам сервера (процессор. если вам вдруг однажды потребуется создать ВМ с объемом ОЗУ 40 Гб. С третьей стороны. И здесь нет особой разницы. . которые к тому же надо куда-то подключать. С третьей стороны. 7. А вот первому варианту (серверы по 64 Гб) такой сценарий окажется вполне под силу. 10. Серверы-лезвия (Blade servers) обладают массой преимуществ с точки зрения стоимости владения (затраты на управление.

могут оказаться выгоднее. Правда. И здесь. . если для ВМ с этим ПО вы выделили всего один виртуальный процессор.Сайзинг и планирование 87 Например. Другие производители могут накладывать ограничения на перепривязку лицензий между серверами и считают таким переносом операции миграции ВМ (например. некоторые версии серверного ПО требуют приобретения лицензий по количеству всех процессоров в физическом сервере – даже в том случае. крупные серверы. В этом случае более маленькие серверы с небольшим количеством процессоров очевидно оказываются выгоднее. уже наоборот. в последнее время с развитием популярности виртуализации в промышленных инфраструктурах поставщики ПО стали постепенно отказываться от этой крайне невыгодной схемы лицензирования. которые снижают частоту (или необходимость) переноса ВМ. vMotion).

2.1). модель Nexus 1000V). Если вы используете сервер без виртуализации. группировку контроллеров. Виртуальные коммутаторы делятся на несколько типов: стандартный виртуальный коммутатор VMware. которое необходимо уяснить: физические сетевые контроллеры сервера ESX(i) не являются «активными сетевыми устройствами». то настраиваете вы физические сетевые контроллеры. Стандартный виртуальный коммутатор VMware доступен во всех вариантах лицензирования vSphere. и интерфейс для подключения NFS/iSCSI/ vMotion/Fault Tolerance (виртуальная сетевая карта VMkernel. гипервизора). про организацию сети в виртуальной инфраструктуре vSphere. Но и для себя самого гипервизор тоже использует виртуальные сетевые контроллеры (рис. 2. Поговорим про них последовательно.1. Трафик разных назначений следует разделять по разным физическим сетевым контроллерам. А являются активными сетевыми устройствами сетевые контроллеры виртуальные. как работают с сетью серверы ESX(i). Через один физический сетевой контроллер в сеть могут выходить и управляющий интерфейс (виртуальная сетевая карта Service Console). см. virtual switch или vSwitch. что может понадобиться для сети этого сервера.Глава 2. VLAN и прочее. IP-адреса. включая бесплатный ESXi.) . и разные виртуальные машины. раздел. distributed vSwitch) и виртуальный коммутатор стороннего производителя (на данный момент такой предлагает только Cisco. что виртуальные сетевые контроллеры гипервизор создает для виртуальных машин. распределенный виртуальный коммутатор VMware (dvSwitch. Настройка сети виртуальной инфраструктуры В этой главе будет рассказано про то. Распределенный и третьесторонний виртуальные коммутаторы – лишь в дорогих лицензиях. Очевидно. Если же мы настраиваем сеть на ESX(i). что у физического сетевого контроллера нет своего IP-адреса. На данном рисунке фигурируют и объекты внешней сети – физические коммутаторы. то физические сетевые контроллеры являются лишь каналами во внешнюю сеть (Uplink). Ключевой элемент сети в vSphere – это виртуальный коммутатор. устанавливаете на него какуюто ОС и настраиваете подключение к сети. Это означает. (Здесь имеется в виду принципиальная возможность. его MAC-адрес фигурирует лишь в техническом трафике. Основы сети ESX(i). посвященный сайзингу. объекты виртуальной сети Основное соображение.

Основы сети ESX(i). Основные объекты сети «внутри» ESX(i) Источник: VMware Связующим звеном между источниками трафика (виртуальными сетевыми контроллерами ВМ и гипервизора) и каналами во внешнюю сеть (физическими сетевыми контроллерами) являются виртуальные коммутаторы (рис. Рис. 2. 2.1. объекты виртуальной сети 89 Рис. Связь между объектами сети «внутри» ESX(i) Источник: VMware .2.2). 2.

то мы получим доступ к его настройкам и настройкам групп портов на нем (рис.90 Настройка сети виртуальной инфраструктуры На данном рисунке фигурируют и объекты внешней сети – физические коммутаторы. Таким образом.3. создаваемые на вКоммутаторах. что установлены в сервере. Перечислим объекты виртуальной сети: физические сетевые контроллеры (network interface card. 2. Service Console и VMkernel. ESX(i) дает им имена вида vmnic#. Рис. Они же имеются в виду под словосочетанием «канал во внешнюю сеть». 2. группы портов (Port groups) – логические объекты. виртуальные сетевые контроллеры. когда вам по тексту попадется термин «vmnic». 2. NIC) – те. Объекты виртуальной сети на ESX(i) в интерфейсе клиента vSphere Если зайти в свойства виртуального коммутатора. знайте: речь идет о физическом сетевом контроллере сервера. мы попадем в его настройки. Виртуальные сетевые контроллеры подключаются именно к группам портов. . 2.4). Они могут принадлежать виртуальным машинам. что интерфейс vSphere весьма наглядно показывает вам связь между объектами виртуальной сети – пройдите Configuration ⇒ Networking (рис.3). Обратите внимание на то. Сравните со схемой на рис. Выделив нужный объект и нажав кнопку Edit. виртуальные коммутаторы (vSwitch или вКоммутаторы) – основные объекты сети на ESX(i).2.

конечно.Основы сети ESX(i). Подробности о таком варианте см. Каждый физический сетевой контроллер нам надо привязать к вКоммутатору. Можно. Физические сетевые контроллеры. vmnic Про физические сетевые контроллеры сказать особо нечего – они используются просто как каналы во внешнюю физическую сеть. Единственное. beaconing). в разделе. что мы можем для них настроить. и их MAC-адрес можно отследить лишь в техническом. и не привязывать – но это имеет смысл. вспомогательном трафике ESX(i) (см. 2. вас интересует функция VMDirectPath. у них нет собственного IPадреса. объекты виртуальной сети 91 Рис.4. Свойства виртуального коммутатора 2. – это скорость и дуплекс. . лишь если мы хотим отдать этот vmnic напрямую ВМ. Делается это из GUI так: Configuration ⇒ Networking ⇒ Properties для vSwitch (к которому подключен физический контроллер) ⇒ закладка Network Adapters ⇒ выбираем нужный vmnic и нажимаем Edit.1. посвященном виртуальным машинам.1.

92 Настройка сети виртуальной инфраструктуры Итак. 2. и только одному вКоммутатору. Информация обо всех физических сетевых контроллерах сервера ESX(i) В столбце vSwitch мы видим. Скорее всего. Но к одному вКоммутатору могут быть привязаны несколько vmnic. В последнем случае мы можем получить отказоустойчивую и более производительную конфигурацию сети. но часто оно помогает нам сориентироваться. скорее всего. В столбце Observed IP ranges – пакеты из каких подсетей получает ESX(i) на этом интерфейсе. Получить информацию обо всех vmnic одного сервера можно в пункте Configuration ⇒ Network Adapters (рис.5).5 ясно. vmnic3 и vmnic4 – из другой. . Например. если мы не планируем использовать VMDirectPath. то не привязанный к вКоммутатору сетевой контроллер сервера у нас не используется никак. что они подключены к другому физическому коммутатору или принадлежат другому VLAN на физическом коммутаторе. а vmnic2. все vmnic будут привязаны к тем или иным виртуальным коммутаторам. Правило логичное – один физический сетевой контроллер может быть привязан к одному. 2. Это информационное поле. его значения не всегда точны и актуальны. что сетевые контроллеры vmnic0 и vmnic1 перехватывают трафик из одной подсети. поэтому. Это бессмысленно. из рис. к какому виртуальному коммутатору они привязаны. это означает. 2. Рис.5.

Именно на IP-адрес Service Console вы подключаетесь клиентом vSphere. 2. Она задублирована за счет того. на этот IP подключаются утилиты для работы с ESX. 2. Виртуальные контроллеры Service Console и VMkernel Первое. Управляющий интерфейс ESX.5). виртуальный контроллер для Service Console (vswif) Виртуальный сетевой контроллер для Service Console используется для управления сервером ESX. Теперь поговорим о прочих компонентах виртуальной сети – виртуальных сетевых контроллерах и виртуальных коммутаторах с группами портов. Один такой контроллер создается установщиком сервера ESX. E1000. 2. Но про них поговорим в разделе. Вам следует резервировать управляющий интерфейс.2.1. Также через интерфейс Service Console идут сигналы пульса (heartbeat) при работе кластера VMware HA. Если виртуальный контроллер принадлежит ВМ. vmxnet2. а здесь сконцентрируем внимание на виртуальных сетевых контроллерах для Service Console и VMkernel. Два варианта дублирования управляющего интерфейса ESX . чем отличаются виртуальные сетевые контроллеры. через него с сервером работает vCenter. то он может быть разных типов – Flexible.Основы сети ESX(i). см. Физическим сетевым контроллерам ESX(i) дает имя вида vmnic. рис. Командой esxcfg-nics –l вы выведете на экран список всех физических контроллеров сервера ESX и информацию о них. что к вКоммута- Рис. Фактически эта команда покажет на ту же информацию. Наконец. В левой части рисунка вы видите дублированную конфигурацию единственного интерфейса Service Console.6. некоторые варианты резервного копирования виртуальных машин осуществляются через интерфейсы Service Console. объекты виртуальной сети 93 Обратите внимание. что и соответствующее окно графического интерфейса (рис. именно ему принадлежит тот IP-адрес. у ESXi нет Service Console). сделать это можно двумя путями. – это принадлежность. Принадлежать они могут Service Console (для ESX.6. который вы указывали при установке. 2. vmxnet3. посвященном свойствам и оборудованию виртуальных машин. VMkernel (самому гипервизору) и виртуальным машинам.

что сейчас нас интересует Service Console. проблемы во внешней сети.94 Настройка сети виртуальной инфраструктуры тору подключены два сетевых контроллера. выход из строя одной физической сетевой карточки (а если они подключены к разным физическим коммутаторам – то и одного из них) не приведет к недоступности управления сервером ESX по сети. если одна из этих сетей начнет испытывать проблемы (например. 2. 2. к которому он подключен. но останется другой. то один из интерфейсов SC станет недоступен. что то же самое. Next. если количество сетевых контроллеров в сервере недостаточно под все наши задачи. Выбираем. Выберем. На стандартном виртуальном коммутаторе интерфейс Service Console всегда занимает свою группу портов целиком (или. жмем Next. какие vmnic привязать к создаваемому сейчас вКоммутатору. на вКоммутаторах интерфейсы Service Console могут соседствовать с любыми другими виртуальными интерфейсами в любых количествах – на рис. Само собой. но дублированную по-другому – созданы два интерфейса Service Console. Первый вариант удобнее в использовании. Однако первый вариант резервирования не защитит от двух дополнительных типов проблем: ошибки настроек интерфейса SC. Во втором примере двум разным интерфейсам SC даны адреса из разных сетей. «Service_Console_2» вполне подойдет. на разных vmnic. забегая вперед. и это защитит в том случае. и группу портов для него. что любой виртуальный сетевой контроллер числится подключенным именно к группе портов. Создать еще один интерфейс очень просто: Configuration ⇒ Networking ⇒ Аdd Networking (для создания нового вКоммутатора – то есть резервирование по правому варианту с рис. Если выйдет из строя один из каналов во внешнюю сеть (сам vmnic или порт в физическом коммутаторе. Несложно догадаться. Этот факт не является ограничением – на одном вКоммутаторе могут сосуществовать любые виртуальные интерфейсы в любых комбинациях. Таким образом. Тогда имеет смысл пойти по второму пути. так что рекомендую давать говорящие названия. Однако при чем здесь группа портов. VMkernel) создается отдельная группа портов. . В правой части рисунка вы тоже видите дублированную конфигурацию. поэтому при создании интерфейса SC из GUI мы создаем и интерфейс Service Console. Указываем имя (Network Label) – это название группы портов. группу портов для чего мы хотим создать на этом вКоммутаторе. Выделить может не получиться. Нас спросят. на разных вКоммутаторах. следовательно. но если мы не можем себе позволить выделить два vmnic на вКоммутатор с Service Console. просто под каждый интерфейс Serice Console (и. Это название – для человека. перегрузка паразитным трафиком или сбой маршрутизатора). группа портов для Service Console всегда состоит из одного порта). то он будет невозможен. мы ведь создаем виртуальный сетевой интерфейс Service Console? Дело в том. или сам физический коммутатор).6).6 их нет для простоты.

Решается такая проблема из командной строки для ESX или из BIOS-подобного локального интерфейса ESXi. и в ESXi мы можем создать виртуальные сетевые адаптеры для VMkernel. в свойствах которых установлен флажок «Management traffic» (рис. Затем для виртуального контроллера указываем настройки IP. . те из них. Обратите внимание. опечатки в IP-адресе) доступ к управлению ESX по сети станет невозможен. но в качестве самих интерфейсов выступают интерфейсы VMkernel с соответствующим флажком в свойствах. объекты виртуальной сети 95 Обратите внимание. Виртуальный сетевой контроллер для VMkernel (vmk) И в ESX. что и для интерфейсов Service Console в ESX. Дальше все так же. а на уже существующем вКоммутаторе. В принципе. в командной строке мы управляем этими объектами с помощью esxcfg-vswif. подключения дисковых ресурсов по NFS. Наконец.7). Поэтому для ESXi в качестве интерфейсов управления используются виртуальные сетевые контроллеры VMkernel. когда он один. В любом случае понадобится доступ к локальной консоли сервера – физически или по iLO и аналогам. организационные соображения здесь те же самые. подключения дисковых ресурсов по iSCSI в случае использования программного инициатора iSCSI. все. Я не рекомендую использовать пробелы и спецсимволы в каких бы то ни было названиях. Тогда делаем так: Configuration ⇒ Networking ⇒ для нужного вКоммутатора нажимаем Properties ⇒ и на вкладке Ports нажимаем Add. нюанс – если хотим создать интерфейс SC не на новом. Единственный. 2. но может создать дополнительные проблемы при работе в командной строке и сценариях. Fault Tolerance – по этим интерфейсам будут передаваться процессорные инструкции на резервную ВМ в Fault Tolerance-паре. в случае распределенных виртуальных коммутаторов пройдите Configuration ⇒ Networking ⇒ кнопка Distributed Virtual Switch ⇒ ссылка Manage Virtual Adapters ⇒ Add. – в случае ошибки (например. Нужны они для: vMotion – по этим интерфейсам будет передаваться содержимое оперативной памяти переносимой ВМ. Но в составе ESXi нет Service Console. Виртуальный сетевой контроллер для Service Console называется vswif – при создании их из GUI им даются имена вида vswif#. Это не смертельно. Управляющий интерфейс ESXi Для ESX управление идет через интерфейс Service Console. Будьте аккуратны в случае изменения настроек интерфейса SC. наверное. Таким образом. (только на ESXi) управления сервером (на ESX для этого используется сеть Service Console).Основы сети ESX(i). для гипервизора.

как активные объекты сети всегда выступают контроллеры виртуальные.8). 2. Технически допускается любая комбинация флажков на од- . как для Service Console (на ESX): Configuration ⇒ Networking ⇒ и затем: либо Аdd Networking для создания нового вКоммутатора и интерфейса VMkernel на нем. Обратите внимание на то. работа гипервизора с сетью немного двойственна.7. Укажем имя группы портов и настройки IP для создаваемого интерфейса. Тем не менее такая схема весьма удобна для понимания: физические контроллеры – это всегда «ресурс». что для интерфейса VMkernel у нас есть возможность установить три флажка (рис. потому что происходит на двух уровнях. в том числе для трафика гипервизора. либо для существующего вКоммутатора Properties ⇒ Add на закладке Ports. А как источник трафика. Таким образом. с другой – сам для себя. для своего доступа в сеть создает контроллеры виртуальные. им посвященных. Управляющий интерфейс ESXi См. подробности и требования к сети для соответствующих функций в разделах. Каждый из флажков разрешает передачу соответствующего трафика через данный интерфейс. в случае распределенных виртуальных коммутаторов пройдите Configuration ⇒ Networking ⇒ кнопка Distributed Virtual Switch ⇒ ссылка Manage Virtual Adapters ⇒ Add.96 Настройка сети виртуальной инфраструктуры Рис. С одной стороны. Виртуальные сетевые контроллеры для гипервизора создаются точно так же. гипервизор имеет доступ и управляет физическими контроллерами. В любом случае как тип добавляемого интерфейса выбираем VMkernel. всегда только канал во внешнюю сеть. 2.

Виртуальные сетевые контроллеры этого типа называются vmk – при создании их из GUI им даются имена вида vmk#. 2. в командной строке мы управляем этими объектами с помощью команды esxcfg-vmknic. . из чего следует создание отдельного интерфейса VMkernel под разные типы трафика гипервизора. Обратите внимание. Если вы планируете использовать один интерфейс для управления и обращения к IP-СХД. объекты виртуальной сети 97 Рис. Настройки интерфейса VMkernel на ESXi ном виртуальном интерфейсе. К тому же в случае использования ESXi через интерфейс с флажком «Management traffic» по умолчанию не пересылается трафик iSCSI и NFS. пусть даже из одной подсети и на одном и том же виртуальном коммутаторе. то лучше всего создать несколько интерфейсов. Устанавливать флажки следует только по необходимости. Однако рекомендуется трафик разных типов разносить по разным физическим сетевым контроллерам.8.Основы сети ESX(i).

Стандартные виртуальные коммутаторы VMware – vNetwork Switch Если вы перейдете на закладку Configuration ⇒ Networking. смонтированным в этой же стойке. подключенных к одному коммутатору. серверы внутри – ВМ. и не указываете номера портов. Что же тогда «ports group»? В общем-то. Смотрите – допустим. из командной строки можно увидеть все то же самое командой esxcfg-vswitch –l). В стойке работают серверы. количество портов в группе не ограничено – она будет расти по мере добавления в нее ВМ. принадлежащие Service Console. Про первые и последние мы говорили чуть ранее. и в некоторые порты коммутаторов подключены выходящие за пределы стойки сетевые кабели – Uplinks.2. Нам не надо выбирать. указать разные настройки ограничения пропускной способности сети (traffic shaping). VMkernel и виртуальным машинам. Согласитесь. Группа портов – логическое образование. физические сетевые контроллеры. виртуальные коммутаторы. То есть в настройках вы указываете – хочу создать группу портов. что-нибудь еще… На коммутаторе физическом большинство таких настроек выполняются для порта. коммутаторы – виртуальные коммутаторы. группами портов они и являются. различие – в том. Например: «Production». Ограничено только количество . для настройки тех же самых VLAN или ограничения пропускной способности сети (traffic shaping) вам достаточно создать на вКоммутаторе объект «группа портов» с каким-то говорящим (для вашего удобства) именем. у вас есть несколько физических серверов. теперь коснемся остального. п. Вся стойка и есть ESX(i). то увидите вашу виртуальную сеть (кстати. Не надо добавлять еще портов в группу. эти серверы подключены к коммутаторам. наконец.98 Настройка сети виртуальной инфраструктуры 2. Единственное. к порту с каким номером мы хотим подключить ВМ. Указать им разные VLAN. и даже их количество. в нее включить порты с 1-го по 12-й и им задать значение VLAN = 34. в свойствах ВМ указать – сетевой контроллер подключен к группе портов «Production». что у вас может возникнуть желание сделать на коммутаторе разные настройки для этих серверов. что вы не указываете настроек на уровне порта – только на уровне групп портов. подключения ко внешней сети (Uplinks) – это физические сетевые контроллеры. Начну с аналогии. В коммутаторе виртуальном стандартном все так же. «Test_Project_SCOM» и т. Таким образом. группы портов. входящих в группу. Это прямая аналогия. наверное. Все. Виртуальная сеть – это: виртуальные сетевые контроллеры. некоторые – для группы портов. Затем задать для нее необходимые настройки и. ESX(i) с работающими на нем ВМ можно представить в виде серверной стойки или серверного шкафа.

то есть количество виртуальных сетевых контроллеров (не ВМ. 4. См. Если последнее вас интересует. Следует указать тип «Virtual Machine».vmware. Кстати. 3. так как в одной ВМ может быть несколько виртуальных адаптеров). В запустившемся мастере первым вопросом будет тип первой группы портов на создаваемом вКоммутаторе.9. Рис. вы можете создать вКоммутатор без единого привязанного физического контроллера. шести свободных необходимо выбрать два правильных. Это пригодится для помещения ВМ в изолированную сеть. то вам надо выполнить следующее: 1. который будет каналом во внешнюю сеть для создаваемого вКоммутатора. поговорим немного подробнее. Отсюда выводы: Если вы хотите вывести во внешнюю сеть ВМ через определенные физические сетевые контроллеры. И вот вам из.9 и 2. Еще раз повторюсь. к нему привязать эти vmnic. 2. Это дело потенциально не простое – о нем пара слов чуть позже. Например. Пример организации сети .Стандартные виртуальные коммутаторы VMware – vNetwork Switch 99 портов на весь вКоммутатор. Создать вКоммутатор. что у вас в сервере несколько vmnic. вам будет удобнее сделать его максимально понятным для человека. для использования того или иного рода прокси-сервера или брандмауэра. По поводу п. Выбрать vmnic. обратите внимание на VMware vShield Zones (http://www. рис. 2. подключенных ко всем группам портов на этом вКоммутаторе. и они скоммутированы в разные сети (подключены к разным физическим коммутаторам и/или в разные VLAN на физических коммутаторах).com/products/ vshield-zones/). Представьте ситуацию. например. Укажите название группы портов.10. 3 – выбора физического сетевого контроллера. Также здесь вы можете указать VLAN ID – о VLAN я расскажу чуть позже. Configuration ⇒ Networking ⇒ Аdd Networking. 2.

вам надо подключить ВМ в сеть к шлюзу с указанным IP-адресом. Это не настройка. Информация о физических сетевых контроллерах ESX(i) Что нам поможет? Обратите внимание на столбец Observed IP ranges в этом окне. глядя на рис.9 и 2. к каким vmnic надо подключить эту ВМ? Правильный ответ – vmnic0 и vmnic1. пакеты из которых получает ESX на соответствующем интерфейсе. Предположим. к какому виртуальному коммутатору и через какие vmnic ее надо подключить? Нам может помочь Configuration ⇒ Network Adapters. В моем примере они подключены к вКомму- . То есть если вы знаете.9 вы видите сервер с шестью сетевыми картами. Рис.10. 2.10.100 Настройка сети виртуальной инфраструктуры На рис. 2. что vmnic. Они уже подключены к каким-то коммутаторам виртуальным – или вам как раз сейчас надо это сделать. Они попарно подключены к разным физическим коммутаторам и работают в разных сетях. Как вы поймете. то вы сможете сориентироваться по представленной здесь информации. 2. См. 2.10. Итак. не рекомендация – это информационное поле. скоммутирован в сеть с известной вам подсетью. рис. который вам сейчас надо подключить. Диапазоны IP-адресов в нем – это подсети.

настройки Traffic Shaping (управления пропускной способностью). какая группа портов для ВМ существует на этом виртуальном коммутаторе. но НЕ в верхней правой части окна. Распределенные коммутаторы – vNetwork Distributed Switch. 2.3.3. dvSwitch. и для распределенных виртуальных коммутаторов. Однако на уровне группы портов любую из настроек можно переопределить. и именно к ней подключать ВМ. . настройки Security (безопасности). или dvSwitch. Однако нет предела совершенству. «VLAN». «Traffic shaping» и «NIC Teaming». группы портов у нас «безразмерные». а справа от названия нужного вКоммутатора. то делается это очень просто: 1. что вновь добавляемая группа портов – для ВМ. dvSwitch 101 татору с именем vSwitch0. 2. Поговорим про эти настройки более подробно чуть далее. настройки NIC Teaming (группировки контроллеров). в разделе 2. но при этом с разными настройками. что настройки распределенных виртуальных коммутаторов описываются в разных разделах: в разделах 2. Еще один нюанс – настройка Number of Ports (количества портов) существует только для вКоммутатора.4 описаны настройки.4 и 2.3. и в больших инфраструктурах вам могут быть интересны распределенные виртуальные коммутаторы – vNetwork Distributed Switch. Далее укажите. не для коммутатора целиком. Если вы хотите добавить группу портов для ВМ на существующий вКоммутатор. то вы можете сопоставить MAC-адреса и названия физических контроллеров (вида vmnic#) и – как следствие – название vSwitch и групп портов. Значит. и ее название. Второй вариант – если вам известен MAC-адрес искомых физических контроллеров.Распределенные коммутаторы – vNetwork Distributed Switch. На закладке Ports кнопка Add. доступные и для стандартных. Эти настройки могут задаваться на уровне вКоммутатора – тогда они наследуются всеми группами портов. Обратите внимание на то. А настройка VLAN существует только для групп портов. Зачем вам может понадобиться на один вКоммутатор добавлять несколько групп портов для ВМ? Ответ прост – чтобы разные ВМ выходили в сеть через одни и те же физические контроллеры. это группы настроек «Security». Здесь под настройками понимаются следующие из них: настройки VLAN. надо посмотреть. Configuration ⇒ Networking ⇒ Properties. Настройки Виртуальные коммутаторы VMware – штука хорошая.5 описаны уникальные настройки dvSwitch.

конфигурацию придется вам. как: Network IO Control – возможность гибко настраивать минимально и максимально доступные ресурсы пропускной способности для трафика разных типов. Основа понятия «распределенный виртуальный коммутатор VMware» Идея их заключается в следующем: в случае использования стандартных вКоммутаторов у вас разные (пусть очень часто и идентично настроенные) виртуальные коммутаторы на каждом сервере. Здесь будет описан распределенный виртуальный коммутатор от VMware. но и даже на том же порту распределенного виртуального коммутатора (это называют Network vMotion). приобретается независимо от vSphere (но подойдет не любая лицензия vSphere. В версии 4. Еще один плюс – распределенный вКоммутатор доступен в реализациях от VMware и от Cisco.1. пусть даже идентичную. Это позволяет проще настраивать политики безопасности. осуществлять мониторинг трафика ВМ. логически единый коммутатор. При необходимости.102 Настройка сети виртуальной инфраструктуры 2.4. Акцент я хочу сделать вот на чем: создать и поддерживать эту. таким образом. и она появится для всех серверов ESX(i). Вы настраиваете только этот. что это такое. Однако рассмотрение настроек и возможностей этого решения в данной книге описано не будет.4). даже при миграции с сервера на сервер. см. эти задачи с администратора vSphere. ВМ.3. существующий сразу на всех серверах ESX(i). снимая. distributed vSwitch поддерживают Private VLAN и двухсторонний traffic shaping (о том. в главе 6. на момент написания – только Enterprise Plus). А в случае создания распределенного коммутатора вы получаете один-единственный (логически) коммутатор. Он обладает всеми возможностями. что все используемые коммутаторы в сети компании созданы одним производителем (здесь имеется в виду Cisco). Подробности о NIOC см. Позволяет добиться того. создать еще одну группу портов для еще одного VLAN вам потребуется повторить это простое действие на всех серверах ESX(i). присущими сетевому оборудованию от Cisco. как коммутаторами физическими.4. и сетевые администраторы могут управлять ими точно так же. Load Based Teaming – балансировка нагрузки между физическими контроллерами одного вКоммутатора в зависимости от нагрузки на каждый контроллер. Вариант от Cisco. остаются не только на том же коммутаторе. в разделах 2. входящих в распределенный коммутатор. посвященной распределению ресурсов.2 и 2. дающей на . привязываясь даже к отдельному порту вКоммутатора. распределенный виртуальный коммутатор Cisco Nexus 1000V. например. В отличие от стандартных виртуальных коммутаторов VMware. Новую группу портов из примера выше вы создадите один раз.1 в список уникальных возможностей распределенных коммутаторов добавились такие функции. Возможность им пользоваться появляется после активации лицензии.

2. 2. За всю работу отвечают скрытые коммутаторы на серверах ESX(i). скрытые от нас.11). де-факто распределенный коммутатор является шаблоном настроек. dvSwitch 103 него право. теряется только возможность изменения настроек. как таковой существующий только для vCenter. автоматически создаются стандартные вКоммутаторы. Мы создали один распределенный вКоммутатор. для которых он существует. Evaluation-лицензия). прикладной уровень. – сегодня это vSphere Enterprise Plus (и ее ознакомительный 60-дневный период после установки vSphere.Распределенные коммутаторы – vNetwork Distributed Switch. Однако даже при недоступности vCenter сеть будет продолжать работать – ведь за техническую сторону вопроса отвечают скрытые от нас коммутаторы на каждом ESX(i). . но на каждом сервере.11. Мы создаем его и указываем настройки в vCenter – это control plane по документации VMware. Рис. скрытые от нас (рис. то есть уровень управления. Как я уже сказал. в частности зависимость от vCenter. dvSwitch – объект скорее логический. все управление осуществляется только через vCenter. и при недоступности vCenter у администратора нет возможности менять настройки распределенного коммутатора и даже переключать виртуальные машины на другие группы портов. А после включения в созданный распределенный коммутатор серверов ESX(i) vCenter создает на них стандартные коммутаторы. По документации VMware это IO Plane. Таким образом. Иллюстрация сути распределенного виртуального коммутатора Источник: VMware Минусом такой схемы распределенного виртуального коммутатора VMware является возросшая сложность. vCenter является управляющим элементом для dvSwitch.

Распределенный виртуальный коммутатор создается для объекта Datacenter. Обратите внимание: один такой вКоммутатор может существовать для серверов с разной конфигурацией. Влияет только на удобство. По ссылке View Details вам покажут исчерпывающую информацию о физическом сетевом контроллере – драйвер. после создания вКоммутатора. Выбор можно осуществить или изменить позже. Пройдите Home ⇒ Networking. производитель. доступные через него подсети IP – не покажут здесь только MAC-адрес. У распределенных вКоммутаторов наоборот. подключение самого vCenter к распределенному коммутатору не поддерживается VMware. Вы можете создать до 248 распределенных виртуальных коммутаторов для сервера. У стандартных вКоммутаторов число портов настраивается для них самих. Если будете выбирать серверы сейчас. то на странице Home ⇒ Inventory ⇒ Networking вы видите картинку примерно как на рис. что в иерархии vCenter уже создан объект Datacenter. в которую объединены его подключения ко внешним сетям. То есть те порты вКоммутатора. что если не задавать заведомо огромных значений числа портов. 2. Обратите внимание. то автоматически будет создана группа портов со 128 портами и именем по умолчанию. Предполагается. PCI-адрес. Объект «Demo_dvSwitch-DVUplinks-28» – это группа портов. поэтому я рекомендую этот флажок снимать и создавать группу портов самостоятельно. На одном сервере может быть до 4096 портов стандартных и распределенных вКоммутаторов. то вам покажут свободные физические сетевые контроллеры на каждом выбранном сервере – и вы сможете выбрать те из них. то с ограничениями с этой стороны вы не столкнетесь. и существовать для серверов из разных Datacenter один dvSwitch не может. В запустившемся мастере нас спросят: Name – имя создаваемого вКоммутатора. Здесь «Demo_dvSwitch» – это сам объект – распределенный вКоммутатор.12. Когда вы создали dvSwitch. Имя по умолчанию малоинформативно. уже добавлены серверы. к ко- .104 Настройка сети виртуальной инфраструктуры Кстати. Number of dvUplink ports – максимальное количество подключений ко внешней сети – привязанных vmnic – на каждом сервере. группы портов «безразмерные». Подключитесь клиентом vSphere к vCenter. дальше вам предложат выбрать серверы. что будут использоваться для создаваемого вКоммутатора. на последнем шаге можно будет снять флажок Automatically create a default port group. для которых будет существовать создаваемый вКоммутатор. В контекстном меню объекта Datacenter выберите пункт New vNetwork Distributed Switch. статус подключения (link status). Если он стоит. Это означает. с разным количеством доступных сетевых контроллеров – а здесь мы ограничиваем максимальное число используемых для данного dvSwitch контроллеров на одном сервере.

настройки подключения vmnic У вас есть серверы. и их vmnic. на них создан распределенный коммутатор. на dvSwitch в одной группе портов могут сосуществовать и ВМ. объект «VM Network» на этом рисунке – это группа портов на стандартных виртуальных коммутаторах серверов этого vCenter. Идем Home ⇒ Networking ⇒ вызываем контекстное меню нужного dvSwitch ⇒ Add Host. 2.Распределенные коммутаторы – vNetwork Distributed Switch. на которых этот dvSwitch существует. Ну и «Demo_dvPortGroup» – созданная вручную группа портов. Кстати говоря. для которых выбранный dvSwitch не существует. dvSwitch 105 Рис. и интерфейсы SC и VMkernel в любых сочетаниях. На распределенных виртуальных коммутаторах VMware это возможно. для уникальности имени этого объекта. необходимо задействовать и его.3. Число 28 в названии – это случайным образом сгенерированное число. Появился еще один сервер. В запустившемся мастере вам покажут список серверов этого Datacenter. Нужен этот объект для получения информации о внешних подключениях – обратите внимание на столбцы в закладке Ports для данной группы портов. Выберите нужный сервер и те из его vmnic. 2.2. туда можно подключать ВМ. что хотите задействовать под этот dvSwitch (последнее можно сделать и потом). Добавление сервера в dvSwitch. Обратите внимание.12. При использовании стандартных виртуальных коммутаторов невозможно поместить в одну группу портов виртуальные машины и интерфейс VMkernel или Service Console. Свежесозданный dvSwitch торым подключены физические сетевые контроллеры серверов. а также виртуальные сетевые контроллеры Service Console и VMkernel. Если .

Такое происходит в том случае. Еще раз напомню. Нюансы задействования внешних подключений (Uplinks) dvSwitch У dvSwitch есть несколько портов для внешних подключений (dvUplink) – их число мы указываем при создании. Настройки dvSwitch . 2. для которого существует этот распределенный виртуальный коммутатор». в настройках этого dvSwitch указано. а мастер добавления сервера в vCenter (поле для ввода адреса сервера и учетных данных). что выбранный контроллер будет отсоединен от старого вКоммутатора и подключен к данному dvSwitch.106 Настройка сети виртуальной инфраструктуры вы выберете vmnic. что у него максимум три внешних подключения (рис. вам покажут предупреждение.13. Например. Рис. если все существующие серверы в Datacenter уже подключены к этому dvSwitch – вот вам и предлагают добавить в Datacenter какой-то новый сервер. которая уже используется. что это означает «до трех подключенных физических сетевых контроллеров на каждом сервере. 2. После выбора Add Нost в контекстном меню вам может быть показано не окно выбора сервера.13).

Увидеть их и их заполнение для конкретного сервера можно. Проиллюстрирую их суть на примере. пользуются только первым внешним подключением этого коммутатора. Рис. в наших серверах установлено по два сетевых контроллера. Например. Эти объекты можно назвать «абстрактными подключениями». мы можем. Правильно будет 10 Гбит контроллеры с каждого сервера подключать в один и тот же «абстрактный порт» распределенного коммутатора. Есть распределенный вКоммутатор. подключенных к этому dvSwitch. Внешние подключения распределенного коммутатора на конкретном сервере В данном окне мы видим ту часть и те настройки распределенного виртуального коммутатора.14). 2.Распределенные коммутаторы – vNetwork Distributed Switch. dvSwitch 107 По умолчанию они называются «dvUplink1». «dvUplink2» и т. что существуют для данного сервера. Поменять названия «dvUplink» на произвольные можно в свойствах dvSwitch. подключенные к этому dvSwitch на каждом из серверов. а второй гигабитный. Но на каждом сервере этому «абстрактному» подключению номер один соответствует какой-то конкретный физический сетевой интерфейс. мы увидим названия сетевых контроллеров серверов (вида vmnic#). для скольких серверов существует распределенный коммутатор. Если здесь развернуть список дочерних объектов для dvUplink (нажав +). подключенные к этой группе портов. на нем несколько групп портов и несколько внешних подключений. изменять эти названия имеет смысл лишь для нашего удобства.14. 2. Для какой-то группы портов мы указали использовать только первое подключение (dvUplink1). пройдя Home ⇒ Networking ⇒ dvSwitch ⇒ закладка Configuration. пройдя Configuration ⇒ Networking ⇒ кнопка Distributed Virtual Switch (рис. Вот откуда берется нужда в абстракции. Получается. один из которых 10 Гбит. что одному абстрактному dvUplink# соответствуют столько физических контроллеров. д. Если эти абстрактные . Увидеть же все физические сетевые контроллеры. Отлично – виртуальные машины. закладка Properties ⇒ General ⇒ Edit dvUplink port.

Откроется окно как на рис. Если какой-то dvUplink# уже занят хотя бы одним физическим сетевым контроллером – вы увидите его имя (вида vmnic#) под именем порта (вида dvUplink#).16). Щелкнув на уже подключенный vmnic. которые вы видите для сервера на странице Configuration ⇒ Network Adapters. Обратите внимание: эта настройка делается именно на уровне каждого сервера. то нам будет проще не ошибиться. для того чтобы увидеть то. нажатие Add NIC позволит выбрать. 2. 2. Здесь имеются в виду настройки dvSwitch целиком: Home ⇒ Networking ⇒ закладка Configuration – для распределенного виртуального коммутатора. какой из свободных vmnic добавить и каким из абстрактных внешних подключений сделать. Поэтому. Далее на каждом сервере мы можем указать. а «dvUplink_10Gb» и «dvUplink_1Gb». а не распределенного коммутатора. Рис. надо пройти Home ⇒ Hosts and Clusters ⇒ настраиваемый сервер ⇒ Configuration ⇒ Networking ⇒ нажать кнопку Distributed Virtual Switch ⇒ для настраиваемого dvSwitch нажать ссылку Manage Physical Adapter. вы увидите информацию о нем и сможете настроить скорость и дуплекс (рис. какой же из физических сетевых контроллеров этого сервера является каким из внешних подключений dvSwitch. о чем я говорю. 2. Настройки привязки физических контроллеров сервера к dvSwitch vmnic# на этом рисунке – это те vmnic. .15. Нажатие Remove удалит vmnic из этого распределенного виртуального коммутатора.108 Настройка сети виртуальной инфраструктуры порты будут называться не «dvUplink1» и «dvUplink1».15.

поэтому о типе создаваемой группы портов нас не спросят (как это происходит при создании группы портов на стандартных виртуальных коммутаторах). Обратите внимание на то.3. – точно так же. 2. Группы портов на dvSwitch.17). потому что в свойствах групп портов на dvSwitch вы можете выбирать. В частности. 2. какое из абстрактных внешних подключений dvSwitch является активным. Окно настроек vmnic Какой vmnic к какому порту (dvUplink) подключен. чей трафик выходит наружу через разные физические контроллеры.Распределенные коммутаторы – vNetwork Distributed Switch. добавление интерфейсов Service Console и VMkernel Для создания группы портов на dvSwitch вручную необходимо пройти Home ⇒ Networking и в контекстном меню нужного dvSwitch выбрать New Port Group. На dvSwitch и виртуальные машины. запасным или не используемым для данной группы портов (рис. количество портов в этой группе и тип VLAN (про VLAN для dvSwitch чуть позже). мы можем на- .16. dvSwitch 109 Рис. 2. как и на стандартных вКоммутаторах VMware.3. что если вы зайдете в настройки уже созданной группы портов. то количество настроек будет больше. может оказаться принципиально. и интерфейсы гипервизора могут существовать в одной и той же группе портов. Потребуется указать имя (опять же в ваших интересах сделать его максимально понятным). То есть на одном dvSwitch мы можем сделать несколько групп портов.

110

Настройка сети виртуальной инфраструктуры

Рис. 2.17. Настройки использования внешних подключений
для группы портов на dvSwitch

строить Port binding. Эта настройка связана с количеством портов в группе портов распределенного вКоммутатора. Варианты этой настройки:
Static binding – в этой группе портов столько портов, сколько указано настройкой Number of ports. Порты существуют вне зависимости от того,
подключены ли к ним ВМ. Порт закрепляется за ВМ в тот момент, когда
она подключается к этой группе портов, – вне зависимости от того, включена ВМ или нет. То есть если в этой группе 16 портов, то подключить к ней
можно не более 16 ВМ (со всех серверов – коммутатор-то распределенный), даже если все они пока выключены;
Dynamic binding – в этой группе столько портов, сколько указано настройкой Number of ports. Порты существуют вне зависимости от того, подключены ли к ним ВМ. Порт занимается ВМ в момент запуска и освобождается
после выключения. То есть к группе портов с 16 портами может быть подключено хоть 100 ВМ, но лишь 16 из них включены одновременно. К сожалению, при включении 17-ой ВМ вы не получите сообщения о том, что
нет свободных портов. ВМ включится, но с ее сетевого контроллера будет
снят флажок «Connected»;
Ephemeral – no binding – нет ограничения на количество портов для группы. Порт создается и закрепляется за ВМ в момент включения и существует, только пока ВМ включена.

Распределенные коммутаторы – vNetwork Distributed Switch, dvSwitch

111

Менять эту настройку группы портов можно, только если нет ни одной подключенной ВМ.
Про прочие настройки, доступные для групп портов и отдельных портов распределенных виртуальных коммутаторов VMware, см. следующий раздел.

Добавление интерфейса Service Console и VMkernel
на dvSwitch
Разумеется, с распределенным коммутатором могут работать как ВМ, так и
интерфейсы самого ESX(i) – интерфейсы Service Console и VMkernel. Определите (или создайте) группу портов, в которую будет подключен созданный адаптер.
Напоминаю, что для распределенных вКоммутаторов интерфейсы VMkernel и
Service Console могут сосуществовать в одной и той же группе портов друг с другом и с виртуальными машинами, в любых комбинациях (хотя из организационных соображений я бы так не поступал).
Интерфейсы SC и VMkernel – это объекты конкретного сервера. Поэтому для
управления ими пройдите на вкладку Configuration для выбранного сервера ⇒
Networking ⇒ кнопка Distributed Virtual Switch ⇒ Manage Virtual Adapters.
Вам покажут список существующих интерфейсов SC и VMkernel этого сервера на каком-либо dvSwitch. В верхней левой части открывшегося окна активна
ссылка Add. После ее нажатия запустится мастер с вопросами:
создать новый интерфейс или мигрировать существующий с обычного
вКоммутатора. Здесь мы говорим про создание нового;
интерфейс для VMkernel или SC хотим создать;
Select port group – выберите ранее созданную группу портов, в которую
подключится создаваемый интерфейс.
Select Standalone port – в какой отдельный порт подключить создаваемый
интерфейс. Standalone-порты можно создать, лишь задействуя SDK, так
что в большинстве случаев этот вариант вам не пригодится.
В случае добавления интерфейса VMkernel здесь вы можете указать, что
этот интерфейс можно использовать для vMotion (флажок Use this virtual
adapter for vMotion) и для Fault Tolerance (Use this virtual adapter for Fault
Tolerance logging);
IP Settings – укажите настройки IP для создаваемого интерфейса;
все.

2.3.4. Уникальные настройки dvSwitch
Если вы зайдете в Home ⇒ Networking ⇒ контекстное меню dvSwitch, выберите Edit Settings, то сможете изменить настройки распределенного виртуального
коммутатора.
Настройки General:
Name – имя dvSwitch;
Number of dvUplink ports – максимальное количество физических сетевых контроллеров, которое может быть подключено к этому коммутатору
на одном сервере;

112

Настройка сети виртуальной инфраструктуры

Edit dvUplink port – нажав эту кнопку, можно изменить название абстрактного внешнего подключения. Например, имя по умолчанию «dvUplink1»
заменим на более информативное «Primary_vMotion_uplink»;
Notes – произвольные примечания.
Настройки Advanced:
Maximum MTU – Maximum Transmission Unit, размер поля с данными в пакете IP. Используется для включения/выключения Jumbo Frames. Эта функция позволяет снизить долю технического трафика в IP-сетях, то есть значительно снизить накладные расходы на передачу данных по сети. Может использоваться для
iSCSI/NFS-трафика, трафика vMotion, для ВМ. Подробности про Jumbo Frames
и их настройку см. далее.
Cisco Discovery Protocol – протокол от Cisco, позволяющий обнаруживать и
получать информацию о сетевых устройствах. В отличие от стандартных вКоммутаторов VMware, для dvSwitch его использование настраивается из GUI. Значения этой настройки:
Down – CDP не используется;
Listen – ESX обнаруживает и показывает информацию о коммутаторах
Cisco, к которым подключен. На коммутаторы информация о вКоммутаторах не отправляется;
Advertise – ESX отправляет информацию о вКоммутаторах наружу, но не
слушает и не принимает информацию о физических коммутаторах;
Both – ESX и обнаруживает подключенные физические коммутаторы, и
отправляет на них информацию о коммутаторах виртуальных;
Administrator Contact Information – это информационные поля, информацию
отсюда CDP будет сообщать внешним коммутаторам при настройке Advertise или
Both.
Закладка Network Adapters чисто информационная, изменить настройки отсюда мы не можем.
На закладке Private VLAN мы можем настроить Private VLAN. В чем суть
этой функции, см. далее.

2.3.5. Уникальные настройки портов
dvSwitch: Miscellaneous и Advanced
Здесь поговорим о том, какие бывают настройки для портов распределенных
коммутаторов. Обратите внимание на то, что на dvSwitch настройки могут применяться как на уровне групп портов, так и индивидуально к порту. Многие из них
одинаковы для виртуальных коммутаторов обоих типов. Одинаковые настройки
здесь я лишь упомяну, подробному их описанию посвящен следующий подраздел.
Security – эта настройка одинакова для стандартных и распределенных вКоммутаторов. Подробнее о ней далее.
Traffic shaping – эта настройка почти одинакова для стандартных и распределенных вКоммутаторов. Отличие в том, что на dvSwitch этот механизм работает

Распределенные коммутаторы – vNetwork Distributed Switch, dvSwitch

113

и для исходящего (Egress), и для входящего (Ingress) трафиков. На стандартных
вКоммутаторах – только для исходящего.
VLAN – на dvSwitch функционал работы с VLAN немного расширен по сравнению со стандартными вКоммутаторами. Основное отличие – поддерживаются
Private VLAN. Немного отличаются сами окна настройки – все подробности далее.
Teaming and Failover – эта настройка одинакова для стандартных и распределенных вКоммутаторов.
Miscellaneous – уникальная настройка для dvSwitch. В этом пункте мы можем
заблокировать все или один порт, в зависимости от того, делаем ли мы эту настройку в свойствах группы портов или порта.
Advanced – здесь можем настроить:
Override port policies – можно ли переназначать вышеназванные настройки
на уровне портов. Если флажок стоит, то Home ⇒ Inventory ⇒ Networking
⇒ выделяем группу портов на dvSwitch и переходим на закладку Ports. Видим порты с указанием номеров и того, чьи виртуальные контроллеры подключены к тому или иному порту. Из контекстного меню порта вызываем
пункт Edit Settings и редактируем настройки, которые разрешено изменять
соответственно настройке Override port policies;
Live port moving – разрешает или запрещает переносить независимый
(standalone) порт dvSwitch в группу портов dvSwitch и в обратную сторону.
Эти переносы (и создание независимого порта) могут выполняться только из SDK, в планах VMware дать возможность делать это из командной
строки vSphere CLI. В графическом интерфейсе нет настроек для этих манипуляций;
Configure reset at disconnect – когда ВМ отключается от распределенного вКоммутатора, порт, к которому она была подключена, сбрасывает настройки на настройки по умолчанию, то есть заданные на уровне вКоммутатора или переопределенные на уровне группы портов. Данная функция
нужна, только если настройка Override port policies разрешает изменение
каких-то настроек на уровне отдельного порта;
Port Name Format – шаблон именования портов этого распределенного
виртуального коммутатора.

2.3.6. Миграция со стандартных
виртуальных коммутаторов
на распределенные
Если у вас уже есть сеть на стандартных виртуальных коммутаторах VMware и
вы хотите переместить ее (частично или полностью) на распределенные виртуальные коммутаторы VMware, то это несложно. У вас есть два варианта проведения
этой операции:
1. Используя стандартные механизмы по работе с сетями на ESX(i), в первую очередь настройки в окне Home ⇒ Inventory ⇒ Network. Метод при-

114

Настройка сети виртуальной инфраструктуры

меним в любых случаях, но требует большого количества повторяющихся
действий при большом количестве серверов.
2. Используя механизм Host Profiles, когда использование распределенных
виртуальных коммутаторов на первом сервере мы настраиваем вручную и
копируем эту настройку на остальные с помощью Host Profiles. Метод хорош автоматизацией.
Второй способ предполагает автоматизацию всех действий, что правильно. Но
есть ограничения в его применимости: конфигурации серверов по сетевым контроллерам должны быть одинаковы, для применения профиля настроек серверы
переводятся в режим обслуживания, что требует выключения или переноса ВМ
на другие серверы. Здесь под «конфигурацией» понимаются количество сетевых
адаптеров и порядок их подключения к разным физическим сетям (например,
первый адаптер каждого сервера – Management VLAN, со второго по третий –
Production и т. д.).
Зато функционал Host Profiles отлично подходит для отслеживания отхода
настроек сети на серверах от заданных – если кто-то, по ошибке, к примеру, меняет
конфигурацию сети на каком-то сервере, то этот сервер перестает удовлетворять
назначенному ему шаблону настроек, о чем мы получаем уведомление.
Также функционал Host Profiles интересен для настройки новодобавленных
серверов ESX(i).
Сначала разберем первый способ. Итак, вы имеете несколько серверов ESX(i)
под управлением vCenter с уже существующей виртуальной сетью (рис. 2.18).
Для перевода всей или части виртуальной сети на распределенные коммутаторы выполните следующую процедуру.

Рис. 2.18. Порядок миграции на dvSwitch
Источник: VMware

Распределенные коммутаторы – vNetwork Distributed Switch, dvSwitch

115

Первое. Создайте распределенный коммутатор. Создайте необходимые группы портов на нем.
Второе. Добавьте сервер к этому распределенному вКоммутатору. Перенесите
на dvSwitch часть физических сетевых интерфейсов сервера. Как вы понимаете,
один физический контроллер не может принадлежать одновременно двум коммутаторам. В идеале на каждом вашем стандартном коммутаторе внешних подключений хотя бы два (для дублирования) – и один из них мы сейчас можем освободить. Освобождаем один из них и переносим на распределенный коммутатор.
Этот шаг повторите для каждого сервера. Если внешнее подключение только одно,
тогда придется сначала его отключить от обычного вКоммутатора, затем подключить к распределенному. Разница только в том, что во время переключения ВМ
будут отрезаны от сети. Однако имейте в виду, что добавлять vmnic к распределенному вКоммутатору можно без предварительного отключения его от стандартного
вКоммутатора.
Третье. Перенесите ВМ на группы портов распределенного вКоммутатора.
Проще всего это сделать, пройдя Home ⇒ Inventory ⇒ Networking ⇒ и в контекстном меню dvSwitch выбрать пункт Migrate Virtual Machine Networking – см.
рис. 2.19.

Рис. 2.19. Миграция ВМ между группами портов

Здесь следует указать:
1. Source Network – виртуальные машины из какой группы портов будут
переноситься.
2. Destination Network – затем выбрать группу портов, в которую они будут
перенесены.
3. Далее нажать кнопку Show Virtual Machines и выбрать конкретные виртуальные машины для переноса.
После нажатия ОК они будут последовательно перенастроены на использование новой группы портов.

116

Настройка сети виртуальной инфраструктуры

Другой вариант: пройти Home ⇒ Inventory ⇒ Networking ⇒ выделить группу
портов стандартного коммутатора и перейти на закладку Virtual Machines. Здесь
выделите нужные ВМ (можно просто рамкой) и перетащите их в нужную группу
портов распределенного виртуального коммутатора.
ВМ будут последовательно перенастроены на использование dvSwitch. После
переноса ВМ (и при необходимости интерфейсов SC и VMkernel) на распределенные вКоммутаторы обычные вКоммутаторы вам следует удалить, а все физические сетевые контроллеры переназначить на dvSwitch.
Отдельно расскажу про перенос на dvSwitch интерфейсов Service Console и
VMkernel. Эта миграция выполняется для каждого сервера индивидуально. На
распределенном коммутаторе должна быть группа портов, в которую вы планируете подключать переносимые интерфейсы. Для выполнения самой миграции
пройдите Home ⇒ Hosts and Clusters ⇒ Configuration для сервера ⇒ Networking
⇒ кнопка Distributed Virtual Switch ⇒ ссылка Manage Virtual Adapters. В открывшемся окне нажмите ссылку Add, в запустившемся мастере выберите Migrate
existing virtual adapters (рис. 2.20).

Рис. 2.20. Миграция интерфейсов ESX(i) на dvSwitch

С помощью этого мастера вы можете перенести существующие и создать новые интерфейсы SC и VMkernel для сервера на dvSwitch. Это не только проще,
чем создание нового интерфейса и удаление старого, – это еще и удобнее, потому
что сохраняются старые MAC-адреса (а на них могут быть назначены резервации
в DHCP, например).
Теперь поговорим про решение той же задачи с помощью Host Profiles.

Распределенные коммутаторы – vNetwork Distributed Switch, dvSwitch

117

Использование Host Profiles поможет нам автоматизировать создание dvSwitch
и назначение внешних подключений. Последовательность действий такова:
1. Мы делаем dvSwitch. Создаем группы портов.
2. Добавляем к нему один сервер. Переносим его внешние подключения на
dvSwitch. Удаляем ненужные теперь стандартные виртуальные коммутаторы.
3. Затем снимаем с этого сервера профиль настроек.
Для этого идем в Home ⇒ Management ⇒ Host Profiles и нажимаем Create
Profile.
4. И назначаем на следующий сервер.
Для этого идем в Home ⇒ Management ⇒ Host Profiles, выбираем ранее
созданный профиль и нажимаем Attach Host/Cluster.
Применение профиля требует режима обслуживания – это значит, на сервере
не должно быть включенных ВМ. Таким образом, если мы не хотим выключать все
ВМ, то придется применять профиль настроек к серверам последовательно.
Получается, что использование профиля настроек удобно для первоначально
одновременной настройки множества серверов, когда ВМ еще нет. Или при добавлении в существующую инфраструктуру нового сервера.

2.3.7. Технические особенности
распределенных виртуальных коммутаторов
VMware
Настройки dvSwitch хранятся в базе данных сервера vCenter. Но каждый сервер ESX(i) имеет локальную копию настроек dvSwitch.
Эта локальная копия находится в файле /etc/vmware/dvsdata.db. Обновляется она каждые 5 минут. Также многие относящиеся к dvSwitch настройки хранятся в основном конфигурационном файле ESX(i) – /etc/vmware/esx.conf. Еще
одно место хранения настроек – каталог с именем .dvsData на одном из VMFSхранилищ сервера (рис. 2.21).
Данная информация приведена в основном для справки – у нас практически нет способов взаимодействовать с описанными объектами и, самое главное,
вряд ли возникнет необходимость. Необходимость может возникнуть разве что
при диагностике и решении проблем. Единственный инструмент, который нам
в этом может помочь, – утилита /usr/lib/vmware/bin/net-dvs, дающая доступ к
дампу настроек распределенного виртуального коммутатора на конкретном сервере ESX(i).
В некоторых ситуациях возможна рассинхронизация локальных данных с хранящейся в vCenter информацией. Это может привести к тому, что распределенный
коммутатор будет считать некоторые свои порты занятыми со стороны сервера,
который на самом деле их уже не занимает.
В такой ситуации vCenter не позволит удалить распределенный коммутатор
или сервер из него. Для решения такой проблемы следует уменьшить время, в те-

118

Настройка сети виртуальной инфраструктуры

Рис. 2.21. Каталог с настройками dvSwitch

чение которого порт считается заблокированным (по умолчанию это 24 часа). Подробности об этой операции см. в статье базы знаний VMware – http://kb.vmware.
com/kb/1010913.
Если вы используете систему хранения iSCSI с программным инициатором,
избегайте размещения этой папки на iSCSI LUN. Иначе вы рискуете оказаться
в ситуации, что при старте ESX(i) для поднятия сети потребуются эти файлы, а
для доступа за ними на хранилище iSCSI потребуется сеть, которой еще нет из-за
недоступности этих файлов.

2.4. Настройки Security, VLAN,
Traffic Shaping и NIC Teaming
Здесь будет рассказано о настройках, которые применимы и к стандартным (за
редким исключением), и к распределенным виртуальным коммутаторам VMware.
Напомню, что часть настроек распределенных виртуальных коммутаторов уникальна и доступна только для них. Такие настройки описаны в разделах 2.3.4 и 2.3.5.

2.4.1. VLAN, виртуальные локальные
сети. Настройка VLAN для стандартных
виртуальных коммутаторов
Немножко общей теории о виртуальных локальных сетях. VLAN поддерживаются как стандартными, так и распределенными виртуальными коммутаторами.
Суть их в том, чтобы возложить на коммутатор работу по анализу и контролю
трафика на втором уровне модели OSI с целью создавать не связанные между собой сети без физической их изоляции друг от друга.

для того чтобы повысить безопасность – хотя устройства подключены в одну сеть физически. и все ВМ подключены к разным (справа). Это означает. но для VLAN это не принципиально) подключены к одному коммутатору (слева). то коммутаторы (обычно этим занимаются именно коммутаторы) добавляют в каждый кадр поле. они не смогут взаимодействовать по сети. В общем случае VLAN – это разделение всей нашей сети на несколько как будто бы не связанных сегментов. Traffic Shaping и NIC Teaming 119 Рис. Серверы (ВМ) подключены к одному коммутатору. что на коммутаторе (в случае виртуальных машин – на вКоммутаторе) мы сделали настройку – порт для ВМ1 принадлежит виртуальной сети 1 (с идентификатором VLAN ID = 1). но к разным VLAN Что мы здесь видим? Все серверы (в нашем случае это ВМ. находясь в разных vlan. 2. в которое записывают так называемый «vlan id» (тег VLAN. но на этом коммутаторе настроены несколько VLAN. идентификатор VLAN) – число в диапазоне от 1 до . а не отдельно взятого коммутатора. Зачем это надо: для того чтобы уменьшить домены широковещательной рассылки. порт для ВМ2 принадлежит VLAN 2 и т. также в обязательном порядке должны быть настроены VLAN. следовательно. Если используются VLAN. Изоляция между серверами (ВМ) получается практически такой же. д. к которому подключены коммутаторы виртуальные. Небольшое примечание: на коммутаторе физическом.22. Именно всей сети. что эти ВМ друг с другом взаимодействовать не могут. VLAN.Настройки Security. снизить нагрузку на сеть. как если бы они были подключены к разным коммутаторам. Это означает. им не даст такой возможности сам коммутатор.

120 Настройка сети виртуальной инфраструктуры 4094. как правило. То есть устройства. Эту операцию называют «тегированием». к какому vlan относится каждый кадр. а в кадрах прописано. За VLAN отвечают только физические коммутаторы. У вас есть три принципиально разных варианта настройки vlan: external switch tagging. нам достаточно знать: ESX(i) поддерживает VLAN. для каждого порта указано. и физические) не вырезают тег VLAN при пересылке кадра на клиентское устройство (в нашем случае на ВМ). Один VLAN может распространяться (и. Если тема настройки VLAN вас касается. находящиеся в одном VLAN. кадры с каким vlan id могут пройти в порт. с точки зрения администрирования ESX(i). то есть виртуальным коммутаторам. External switch tagging . могут физически быть подключены к разным коммутаторам. чтобы теги VLAN не вырезались из кадров. Теперь если сервер подключен к порту с vlan id = «10». коммутаторах. Коммутаторы физические настраиваются таким образом. то формально. и только коммутаторы о них знают – с точки зрения конечного устройства (такого. virtual guest tagging. как физический сервер или виртуальная машина) в сети не меняется ничего. то коммутатор гарантированно не перешлет его трафик в порты с другим vlan id. EST – установка тегов VLAN только на внешних. то есть vlan с каким номером принадлежит порт. EST – схема на рис. Рис. передаваемых на физические интерфейсы серверов ESX(i). Получается. распространяется) на несколько коммутаторов. VST – установка тегов VLAN на виртуальных коммутаторах. VGT – установка тегов VLAN на гостевой ОС в виртуальной машине. то несколько слов подробнее. на вКоммутаторы трафик приходит без тегов VLAN. даже если сервер посылает широковещательный трафик. Если за настройки сети отвечаете не вы. и они будут тегировать и ограничивать проходящий через них трафик. физических. В этом случае коммутаторы (и виртуальные.23. добавлением в кадр тега vlan. 2. Обычно VLAN настраиваются на коммутаторах. virtual switch tagging. Мы можем настроить vlan id для групп портов на вКоммутаторе.23. 2. Что означает настроить vlan на коммутаторе? Это означает для всех или части портов указать vlan id. а теги VLAN вставляются в кадры самим клиентским устройством (в нашем случае виртуальной машиной).

2. и виртуальных коммутаторов.Настройки Security. VLAN. при реализации схемы EST уже физические коммутаторы пропускают в порты к ESX(i) пакеты только из нужных VLAN (5 и 15 в моем примере).25. что на каждый VLAN нам нужен выделенный физический сетевой контроллер в ESX(i). то есть пропускающие пакеты из всех (или нескольких нужных) VLAN. следует настроить «транковые». куда подключены физические сетевые контроллеры ESX. Из минусов – требует настройки на стороне и физических. Пройдите Configuration ⇒ Networking ⇒ свойства vSwitch ⇒ свойства группы портов ⇒ в поле VLAN ID. VGT – схема на рис. и не вырезающие теги VLAN при проходе кадра сквозь порт.24. когда одна ВМ должна взаимодействовать с машинами из многих VLAN одновременно. Впрочем. 2. к которой подключена ВМ. Те порты физических коммутаторов. Таким образом. необходимо для группы портов. А на вКоммутаторах надо сопоставить VLAN ID соответствующим группам портов. в качестве VLAN ID прописать значение «4095». Traffic Shaping и NIC Teaming 121 Этот подход хорош тем.24. Схема Virtual switch tagging Этот подход предполагает настройку VLAN и на вКоммутаторах. VST – схема на рис. Вашим сетевым администраторам не придется задействовать в этом вКоммутаторы ESX(i) – порты физических коммутаторов. Удобен тем. Минус подхода EST в том. Чтобы настроить транковый порт на стандартном виртуальном коммутаторе VMware. чтобы коммутаторы вырезали тег VLAN при покидании кадром порта. должны быть настроены обычным образом. Этот подход хорош в тех редких случаях. это несложно – Configuration ⇒ Networking ⇒ свойства vSwitch ⇒ свойства группы портов ⇒ в поле VLAN ID ставим нужную цифру. Виртуальные машины и виртуальные коммутаторы про VLAN ничего не знают. к которым подключены контроллеры серверов ESX(i). что все настройки VLAN задаются только на физических коммутаторах. Рис. что на один вКоммутатор (и на одни и те же vmnic) может приходить трафик множества VLAN. . Для этого вКоммутатор мы настроим не вырезать теги VLAN из кадров к этой ВМ (фактически сделаем транковый порт на вКоммутаторе). 2.

но какой-то один – см. обрабатывающее VLAN. рис. На физических серверах очень часто этим ПО является драйвер сетевых контроллеров. Это актуально и для ВМ.26. Драйверы vmxnet3 для Windows из состава VMware Tools позволяют настраивать VLAN. Настройка VLAN в драйвере vmxnet3 . что внутри ВМ должно быть ПО. – так как вКоммутатор теги VLAN вырезать не будет и они будут доходить прямо до ВМ.25. Рис. Схема Virtual guest tagging Минус конфигурации в том. 2. 2. 2.122 Настройка сети виртуальной инфраструктуры Рис.26. Для реализации схемы VGT виртуальные машины должны использовать виртуальные сетевые карты типа e1000 или vmxnet3.

com/design/network/ drivers/). Подробности см. Как вы видите на рисунке. или транкового порта (группы портов). некоторые лицензии позволяют использовать распределенные виртуальные коммутаторы VMware. в частности возможность настраивать VLAN – см.27. . У них немного больше возможностей работы с VLAN (они позволяют использовать Private VLAN) и чуть-чуть по-другому выглядят окна настройки. 2. для настройки VGT. Intel не предоставляет специального драйвера для 64-битных операционных систем. а выбираете из выпадающего меню «VLAN Trunking». Кроме стандартных виртуальных коммутаторов VMware. то получим все его возможности. Рис. нежели для обычного vSwitch (рис. вы не указываете значение VLAN ID = 4095 (как для стандартных виртуальных коммутаторов). Traffic Shaping и NIC Teaming 123 Виртуальный контроллер E1000 эмулирует контроллер Intel Pro1000. 2. Настройка VLAN в драйвере e1000/Intel Pro 1000 К сожалению.4. Увидеть эту настройку можно. 2.27. зайдя в свойство группы портов на dvSwitch. в следующем разделе. и если установить соответствующий драйвер Intel (http://www. VLAN. 2.28). рис.Настройки Security.2. Настройка VLAN для dvSwitch. Private VLAN Настройка VLAN для dvSwitch выглядит немного по-другому.intel.

Варианты настройки VLAN для групп портов на распределенном виртуальном коммутаторе VMware Кроме того. Для групп портов на dvSwitch появилась возможность настроить использование Private VLAN. . И лишь коммутаторы.28.29. с определенными правилами взаимодействия между ними. Но мы хотим. что все (здесь – виртуальные) серверы принадлежат одному VLAN с номером 5. непосредственно с которыми эти ВМ работают. знают о разделении основного VLAN 5 на несколько внутренних. Обратите внимание на рис. Устройства внешней сети считают.124 Настройка сети виртуальной инфраструктуры Рис. пакеты с какими VLAN ID могут попадать в эту группу портов. Можно этот один десятый VLAN разбить на несколько – но это усложнит конфигурирование VLAN в нашей сети. вторичных (Secondary) VLAN. Тайный смысл здесь в следующем: у нас есть какой-то VLAN (например. Механизм Private VLAN позволяет сделать несколько «вторичных» (Secondary) VLAN «внутри» нашего основного. – в то время как для обычных коммутаторов такой выбор не возможен. в моем примере это VLAN 5). да и при большом количестве виртуальных машин такой вариант решения проблемы невозможен технически. какие-то наши ВМ в нем. вы можете явно указать. Primary VLAN 5. 2. 2. чтобы часть из этих ВМ не могла взаимодействовать друг с другом.

2. но не могут с ВМ A и В и друг с другом.30).29.31. мы можем указать для нее Secondary VLAN – см. 2. с внешним миром). Пример использования Private VLAN Источник: VMware Вторичные VLAN могут быть трех типов: Community – ВМ в этом Secondary VLAN могут взаимодействовать друг с другом и с виртуальными машинами в VLAN Promiscuous (ВМ Е и F). В левой части окна добавляем номер Primary VLAN (их может быть несколько на одном dvSwitch). Isolated – ВМ в этом Secondary VLAN могут взаимодействовать только с машинами из Promiscuous VLAN (ну и. А потом.Настройки Security. зайдя в свойства группы портов на dvSwitch. VLAN. разумеется. в правой части вводим номер Secondary VLAN с указанием их типа – Isolated или Community (рис. на закладке Private VLAN. На распределенном вКоммутаторе вторичный VLAN этого типа создается автоматически. Настраиваются Private VLAN в свойствах распределенного коммутатора. Traffic Shaping и NIC Teaming 125 Рис. Его VLAN ID совпадает с VLAN ID Primary VLAN. То есть виртуальные машины C и D могут работать с ВМ E и F. но не могут с ВМ C и D. выделив этот Primary VLAN. 2. Promiscuous – когда ВМ находятся в этом Secondary VLAN. рис. . Затем. То есть для виртуальных машин E и F доступны все ВМ. они могут взаимодействовать со всеми ВМ на этом dvSwitch и всеми физическими и виртуальными компьютерами в данном Primary VLAN.

На них также должны быть настроены Private VLAN. что такой анализатор не заработает для вашей сети. если мы хотим. .4. для перехвата и анализа сетевого трафика. и он будет принимать все проходящие через вКоммутатор кадры (с поправкой на VLAN – кадры из других VLAN доступны не будут). чтобы эта схема работала. Эта настройка может пригодиться. гарантировать. 2. то переводить сетевой контроллер ВМ в режим прослушивания бесполезно – вКоммутатор будет пересылать в ее порт только ей предназначенные кадры. Если значение настройки Reject. 2.30. мы увидим закладку Security и там три настройки: Promiscuous Mode – режим прослушивания. Или наоборот. если вы в какой-то ВМ хотите запустить анализатор трафика (sniffer). Значение по умолчанию Reject. Security Зайдя в свойства вКоммутатора или какой-то группы портов. то в обмене трафиком между ними участвуют физические коммутаторы. Если значение настройки Accept.3. то сетевой контроллер ВМ можно переводить в режим promiscuous. Окно настроек Private VLAN для распределенного вКоммутатора Если ВМ в одном Private VLAN работают на разных серверах ESX(i).126 Настройка сети виртуальной инфраструктуры Рис.

Traffic Shaping и NIC Teaming 127 Рис. Само собой. приходящих по сети. Настройка Accept необходима для некоторых режимов работы NLB кластера Microsoft – это из известных мне примеров.Настройки Security. 2. то такие кадры будут отброшены. Такое происходит в тех случаях. это в случае значения настройки = Reject. когда MAC-адрес переопределен средствами гостевой ОС. и MAC Address Changes. не существующего в конфигурационном файле ни одной ВМ. Accept – при таком значении настройки проверка не производится. По сути. Forged Transmits – если в исходящих кадрах MAC-адрес источника отличается от MAC-адреса ВМ (прописанного в файле vmx). он будет отклонен. и Forged Transmits делают одно и то же – отсекают ВМ от сети. Если ваша ВМ отключилась от сети – то проверьте. возможно. а кто-то зашел в диспетчер устройств гостевой ОС и поменял MAC-адрес сетевого контроллера. если ее MAC-адрес отличается от указанного в ее файле . VLAN. Reject – при этом значении настройки гипервизор проверяет совпадение MAC-адреса виртуальных сетевых контроллеров ВМ в конфигурационном файле vmx этой ВМ и в пакетах. Настройки Private VLAN для группы портов MAC Address Changes – изменение MAC-адреса. для вКоммутатора или группы портов этой ВМ MAC Address Changes = Reject.31. Если пакет предназначен для MAC-адреса. В случае Accept проверки не производится.

когда эти ВМ в разных VLAN). если ВМ имеет 2 виртуальных сетевых контроллера в одной группе портов. то трафик между ними не выходит за пределы данного вКоммутатора (за исключением случая. 2.4. Burst Size – если ВМ пытается передавать данные со скоростью большей. то для каждого из них эти настройки применяются независимо. Для распределенных виртуальных коммутаторов возможно ограничение как исходящего. Фактически – максимальная скорость сети. Peak Bandwidth – столько килобит в секунду может проходить через порт. 2. NIC Teaming. Это значение всегда должно быть не меньше Average Bandwidth. то превышающие это ограничение пакеты помещаются в специальный буфер. если полоса пропускания занята не полностью. В таком случае ограничения пропускной способности канала на трафик между этими двумя виртуальными машинами распространяться не будут. так и входящего трафика. Ограничение пропускной способности (Traffic Shaping) Для вКоммутатора целиком или для какой-то одной группы портов у нас есть возможность ограничить пропускную способность его портов. то последней закладкой мы увидим «NIC Teaming». мы увидим три настройки: Average Bandwidth – столько килобит в секунду в среднем может проходить через каждый порт этого коммутатора/группы портов.vmx).5. Таким образом. размер его как раз и задается этой настройкой. . Фактически – средняя. куда те подключены). то данные из него будут переданы со скоростью Peak Bandwidth (если у коммутатора есть свободная полоса пропускания). Обратите внимание на то.4. Если виртуальные машины работают на одном сервере и подключены к одному вКоммутатору. Но первая настройка блокирует входящий трафик. группировка контроллеров. обычная скорость сети. если к вКоммутатору у нас подключен более чем один физический сетевой контроллер сервера (vmnic). Когда буфер заполнится.128 Настройка сети виртуальной инфраструктуры настроек (*. Группировка сетевых контроллеров Если зайти в настройки вКоммутатора или группы портов.4. Она нам потребуется в том случае. Обратите внимание: эти настройки применяются к каждому виртуальному сетевому контроллеру (на самом деле – к порту вКоммутатора. остающийся только на виртуальном коммутаторе. а вторая – исходящий. чем average bandwidth. что ограничению не подвергается трафик. Зайдя в окно настроек Traffic shaping (Configuration ⇒ Network ⇒ Properties для нужного вКоммутатора ⇒ Edit для самого вКоммутатора или одной группы портов).

чтобы какие-то vmnic стали резервными и не были задействованы в нормальном режиме работы. то даже когда vmnic3 опять станет работоспособным. Все (или несколько) оставляйте в Active. . Notify Switches. VMware не рекомендует подключать к одному вКоммутатору сетевые карты. Если вы хотите. Обратите внимание. то vmnic2 опять станет Standby.32. тем или иным образом балансируя между ними нагрузку. дающую лишь отказоустойчивость – когда работает только один vmnic. если хотите балансировку нагрузки. тогда перемещайте их в группу Standby. подключенные в разные физические сети или разные VLAN: коммутаторы виртуальные обрабатывают только кадры Ethernet (второй уровень модели OSI) и не могут осуществлять маршрутизацию. чтобы подменить его. Мы можем использовать конфигурацию. Когда вы создаете новую ВМ и подключаете ее к группе портов (как вариант – добавляете в ВМ еще один виртуальный сетевой контроллер) или когда трафик ВМ начинает идти через другой vmnic из-за сбоя ранее задействованного – тогда ESX(i) отправит пакет rarp с оповещением вида «Такой-то MAC-адрес теперь доступен на этом порту». Эта настройка напрямую относится к Failover Order. то в случае выхода из строя vmnic3 его подменит vmnic2. Ну а Unused обычно нужна на уровне групп портов – когда у вКоммутатора много каналов во внешнюю сеть. Failover Order. а vmnic3 – опять Active. пункт Network Failover Detection. Traffic Shaping и NIC Teaming 129 А зачем мы можем захотеть. Если мы подключаем к одному виртуальному коммутатору. стандартному или распределенному. 2. что vmnic неработоспособен? См. несколько физических сетевых контроллеров. подключенных в разные физические коммутаторы. Каким образом ESX(i) понимает. А что делать. запасные (Standby Adapters) и неиспользуемые (Unused Adapters) физические сетевые контроллеры из подключенных к этому вКоммутатору. Но здесь встает вопрос политики их использования. то сам этот контроллер.Настройки Security. когда vmnic3 вернется в строй? Вот если Failback выставлен в Yes. а остальные ожидают его выхода из строя. он станет Standby. Поэтому для доступа в сеть критичных ВМ более чем правильно использовать два или более vmnic. если Failback = No. а vmnic2 Standby. Если у вас vmnic3 Active. Или мы можем задействовать сразу несколько сетевых контроллеров сервера. Соответственно. Failback. его порт в физическом коммутаторе и физический коммутатор целиком являются единой точкой отказа. то они должны быть из одного домена широковещательной рассылки. чтобы к одному вКоммутатору были подключены несколько vmnic? Ответ прост: для отказоустойчивости в первую очередь и для повышения пропускной способности сети – во вторую. Самое нижнее поле позволяет выбрать используемые (Active Adapters). VLAN. но трафик именно конкретной группы портов вы через какие-то пускать не хотите ни при каких обстоятельствах. Эта настройка включает (Yes) или выключает (No) оповещение физических коммутаторов об изменениях в MAC-адресах ВМ на ESX(i). Если у вКоммутатора только один физический сетевой контроллер. Взглянем на окно настроек – рис.

2. Также . что физический сетевой контроллер неработоспособен? Вариантов два: Link Status Only – когда критерием служит лишь наличие линка. сигнала. Каким образом ESX(i) будет определять. Такой подход не поможет определить сбой сети в случае неправильной настройки порта. Окно настроек группировки контроллеров – NIC Teaming Рекомендуется выставлять в Yes для того. Подобный режим позволит обнаружить такие проблемы. на каком их порту доступен MAC-адрес ВМ. как выход из строя самого vmnic. например внесение его в неправильный VLAN и т. Network Failover Detection. обесточенный физический коммутатор. отключенный сетевой кабель. например кластер Microsoft NLB.130 Настройка сети виртуальной инфраструктуры Рис. Однако некоторые приложения потребуют выключения этой функции. чтобы физические коммутаторы максимально быстро узнавали о том. п.32.

– начинает отправлять весь трафик через оба подключения. Рис. посланные через vmnic5. 2.33) к разным физическим коммутаторам. Вообще. через какой-то да дойдет. механизм beaconing позиционируется как крайнее сред- . 2. посланный с одного vmnic. Если для определения отказов сети используется «Link status only» – то ESX(i) не сможет определить такую неработоспособность сети. И ожидается. мол. если обрыв сети произошел где-то за физическим коммутатором. содержащие MACадрес того сетевого интерфейса. такой ситуации лучше избегать. будет принят на других vmnic этого вКоммутатора. не дойдут до клиентов. то невозможно определить.33. VLAN. Если этого не происходит – значит где-то по каким-то причинам сеть не работает. какой из них не надо использовать – ведь с обоих beacon-пакеты уходят и на оба не приходят. кроме проверки статуса подключения. А beaconing сможет – потому что широковещательные пакеты от vmnic5 не будут приняты на vmnic3 и vmnic2. что здесь можно перевести как «двустволка». Сделать это можно правильной структурой физической сети. При этой настройке.Настройки Security. Beacon Probing – эта функция нужна только тогда. Traffic Shaping и NIC Teaming 131 он не поможет в случае. подключенных к «дальним» физическим коммутаторам. Пример конфигурации сети. при которой имеет смысл использовать Beacon Probing В этом примере пакеты. что каждый такой пакет. Конечно. виртуальный коммутатор еще рассылает (с интервалом порядка 5–10 секунд) через каждый свой vmnic широковещательные пакеты. когда у вКоммутатора несколько внешних подключений (рис. через который они ушли. Тогда вКоммутатор начинает работать в режиме «Shotgun». чтобы какие-то проблемы в ней решались за счет Spanning Tree. Но обратите внимание: если beacon-пакеты отправляются и не принимаются в конфигурации с двумя vmnic на вКоммутаторе.

Используется первый vmnic из списка Active – см. Косвенный вывод отсюда – виртуальная машина с несколькими виртуальными сетевыми контроллерами сможет задействовать несколько каналов во внешнюю сеть. то подстрахуйтесь от сбоев с помощью beaconing. Однако трафик от одного виртуального контроллера не получит полосы пропускания больше. Таким образом. Route based on ip hash – балансировка по хэшу (контрольной сумме) IP. не по его загрузке. Таким образом. может выходить по разным vmnic. так как именно на них будет вычисляться хэш IP-адресов для каждого пакета. когда подобные сбои в сети устраняются средствами этой сети и beaconing вам не нужен. Наконец. трафик между одной ВМ и разными клиентами. На практике метод практически не применяется. Рекомендуемым он является потому. к которому подключен . по какому алгоритму будет балансироваться трафик виртуальных машин между каналами во внешнюю сеть виртуального коммутатора. в том числе за маршрутизатором. д. чем дает один физический интерфейс. трафик из другого порта – через другой vmnic и т. Выбор очередного vmnic осуществляется случайным образом. Route based on source MAC hash – балансировка по MAC-адресу источника. чуть выше описание Failover Order. самая интересная настройка. Надо трафик поделить между каналами. Load Balancing. В этом случае трафик делится на основе MAC-адреса источника пакета. к которому она подключена. по какому принципу будет балансироваться нагрузка. а накладные расходы на анализ трафика минимальны. что дает какуюникакую балансировку нагрузки. Суть в чем – есть трафик. Также этот метод балансировки требует настроенной группировки портов (известной как link aggregation. Данный метод балансировки нагрузки используется по умолчанию и является рекомендуемым. Три варианта настройки отличаются тем. Ethernet trunk. При данном варианте настройки балансировки нагрузки трафик будет делиться по этим портам – весь трафик от одного порта вКоммутатора будет идти в какой-то один vmnic. каким образом будет делиться трафик: Route based on the originating port ID – балансировка по номеру порта. Ether-Channel. Но эффективнее. Вариант настройки Use explicit failover order указывает не использовать балансировку нагрузки. Multi-Link Trunking) на физическом коммутаторе. исходящий трафик делится точно так же. и есть несколько каналов наружу (vmnic#). Этот метод балансировки нагрузки является самым эффективным. Здесь критерием разделения трафика считается пара IP-источника – IPполучателя. выступающий каналом во внешнюю сеть.132 Настройка сети виртуальной инфраструктуры ство – если вы не можете повлиять на правильность конфигурации сети на физической стороне. А прочие три варианта настройки – это как раз выбор того. как и в случае балансировки по портам. В этом выпадающем меню вы можете выбрать. однако он может вызвать большую нагрузку на процессоры сервера. к которому они подключены. У каждой ВМ (у каждого виртуального сетевого контроллера в ВМ) есть порт в вКоммутаторе. port channel.

Однако есть и значительные различия. а на виртуальном ставите балансировку по хэшу IP для нужных групп портов – и все. Route based on physical NIC load – этот метод балансировки нагрузки доступен только для распределенных коммутаторов и только начиная с ESX(i) версии 4. выбор осуществляется в зависимости от нагрузки на этот pNIC. что при данном методе балансировки нагрузки MAC-адрес одной ВМ может одновременно числиться на нескольких vmnic. а не случайным образом. Traffic Shaping и NIC Teaming 133 коммутатор виртуальный. только если на виртуальном коммутаторе используется балансировка нагрузки по IP. В случае если вы твердо уверены. VLAN. для которых выполняется эта настройка. и только начиная с версии 4. для которой она необходима. с поправкой на абстрактность каналов во внешнюю сеть.1. В обратную сторону – если вы хотите настроить группировку портов между физическим и виртуальным коммутаторами. при принятии решения. и Route based on physical NIC load. выбор повторяется каждые 30 секунд (в то время как во всех прочих вариантах однажды осуществленный выбор не меняется до выключения ВМ). Что не является допустимым в штатном режиме работы. Более эффективную балансировку нагрузки рекомендуется ставить лишь для той группы портов. что вам необходима большая эффективность балансировки. ESX(i) не поддерживает автоматической настройки группировки портов с помощью Link Aggregation Control Protocol (LACP). то далеко не с любыми физическими коммутаторами получится использовать этот тип балансировки нагрузки в такой конфигурации. Он дает балансировку нагрузки с минимальными накладными расходами (но использовать этот метод балансировки возможно только на распределенных коммутаторах. как следствие – на нескольких портах коммутатора физического. через какой pNIC выпускать очередную «сессию». без группировки портов. то вы настраиваете ее на физическом. – с целью свести к минимуму накладные расходы в виде нагрузки на CPU сервера. Пример такой ситуации – одна ВМ. Это вызвано тем.1). Однако если нет возможности настроить etherchannel на физическом коммутаторе. . Link Aggregation (Etherchannel) на физическом коммутаторе должен быть настроен. Во-вторых. Резюме: рекомендуемым в общем случае является Route based on the physical NIC load – по совокупности характеристик. генерирующая большой объем трафика и работающая с большим количеством клиентов.Настройки Security. Во-первых. используйте Route based on ip hash. то Route based on ip hash использовать невозможно. Если не подходят и Route based on ip hash. используйте Route based on the originating port ID. Для распределенных виртуальных коммутаторов все так же. Последний нюанс: если у вас один коммутатор виртуальный подключен к нескольким физическим (из соображений отказоустойчивости). Суть данного механизма напоминает работу первого варианта балансировки – по Port ID.

34). Both – ESX и обнаруживает подключенные физические коммутаторы. Команда esxcfg-vswitch -B <mode> <vSwitch> поможет изменить значение настройки CDP для вКоммутатора <vSwitch>. CDP CDP – протокол от Cisco.34. 2. Когда CDP настроен в listen или both. к которым подключен. Чтобы изменить настройки CDP для стандартных вКоммутаторов.134 Настройка сети виртуальной инфраструктуры 2. На коммутаторы информация о вКоммутаторах не отправляется. и отправляет на них информацию о коммутаторах виртуальных. Advertise – ESX отправляет информацию о вКоммутаторах наружу. вам понадобится командная строка. нам доступна информация о коммутаторах Cisco. Доступные значения параметра <mode>: Down – CDP не используется. Просмотр информации от CDP .4. Рис. позволяющий обнаруживать и получать информацию о сетевых устройствах. но не принимает и не отображает информацию о физических коммутаторах. Команда esxcfg-vswitch -b <vSwitch> покажет текущую настройку CDP для вКоммутатора <vSwitch>.6. ESX(i) 4 поддерживает этот протокол. Listen – ESX получает и отображает информацию о коммутаторах Cisco. 2. Cisco Discovery Protocol. Для просмотра пройдите Configuration ⇒ Networking ⇒ иконка справа от vSwitch (рис.

5. затем для vSwitch и dvSwitch. Jumbo Frames могут использоваться виртуальными машинами и портами VMkernel для трафика NFS.1. Для стандартных коммутаторов VMware включение Jumbo Frames делается в два этапа. а также в физических и виртуальных серверах. Сначала подключитесь с помощью ssh или vSphere CLI к серверу ESX(i). генерация MAC-адресов ВМ. Проще всего включить их использование для распределенного коммутатора: Home ⇒ Networking ⇒ в контекстном меню dvSwitch пункт Edit Settings ⇒ Advanced ⇒ Maximum MTU. Чаще всего используется максимальный – 9000. а далее настроить их использование внутри ВМ или для виртуального контроллера VMkernel. Jumbo Frames Функция Jumbo Frames позволяет увеличить размер поля для данных в пакете IP. Получается. Для начала использования Jumbo Frames нам необходимо включить их поддержку на физических коммутаторах. Jumbo Frames должны поддерживаться всеми узлами сети.5. 2. таких как Jumbo Frames. то есть должны быть включены на физических коммутаторах. TSO. что мы тем же числом пакетов (то есть с теми же накладными расходами) передаем больше полезной информации. 2. первый шаг – включение поддержки Jumbo Frames на виртуальных коммутаторах – вы сделали. Если в стандартном IP-пакете поле для данных имеет размер 1500 байт. Шаг номер два – включить эту функцию на ВМ и/или на интерфейсах VMkernel. виртуальных коммутаторах или распределенных вКоммутаторах. то при использовании Jumbo Frame – до 9000 байт. . iSCSI и vMotion. Указываем размер поля для данных.Разное 135 Для распределенных коммутаторов эта настройка выполняется из графического интерфейса. Выполните команду esxcfg-vswitch -m <MTU> <vSwitch> Посмотреть текущие настройки можно командой esxcfg-vswitch –l Итак. Jumbo Frames могут использоваться с сетевыми контроллерами 1 Гбит и 10 Гбит. Разное Несколько слов о разнообразных отдельных функциях.

0.136 Настройка сети виртуальной инфраструктуры Чтобы использовать Jumbo Frames с ВМ. Red Hat Enterprise Linux 5. Но для Windows это делается примерно так. значит. в качестве гостевых ОС должны использоваться Windows Server (2003 или 2008. Выполните команду esxcfg-vmknic –l Будет отображен список существующих интерфейсов VMkernel. 8980 bytes from <адрес ВМ>: icmp_seq=1 ttl=128 time=3. Тип виртуального сетевого адаптера должен быть vmxnet2 или vmxnet3. SUSE Linux Enterprise Server 10.36 ms Jumbo Frames и VMkernel Для использования Jumbo Frames с интерфейсами VMkernel необходимо включить эту функцию на них.35. Настройки Jumbo Frames в драйвере vmxnet3 Для проверки работы Jumbo Frames отправьте большой пакет соседней ВМ: ping -f -l 8972 <адрес ВМ> На выходе должно получиться что-то вроде: ping <IP ВМ> 8972(9000) bytes of data. как показано на рис. 2. В документации VMware написано «Для включения Jumbo Frames смотрите документацию гостевой ОС».35. К сожале- . 2. Если в столбце MTU стоит значение 1500. Рис. Jumbo Frames не используется. Enterprise или Datacenter Edition).

Для этого удалите существующий интерфейс. Будьте осторожны – удаление интерфейса VMkernel может привести к разрыву сессий vMotion. TSO – TCP Segmentation Offload.2. Для этого пройдите Configuration ⇒ Networking ⇒ кнопка Distributed Virtual Switch ⇒ ссылка Manage Virtual Adapter ⇒ Add ⇒ Migrate existing virtual adapter. Jumbo Frames нельзя включить на ESXi с бесплатной лицензией. такая как формирование и подсчет контрольной суммы пакетов. 1. В случае использования распределенных вКоммутаторов есть небольшой нюанс. Убедитесь в том. куда подключен удаляемый интерфейс> понимается как раз название группы портов. 2. а самим контрол- . синтаксис команды следующий: esxcfg-vmknic –d <название группы портов. даны в варианте для стандартных вКоммутаторов. что были показаны выше. Обратите внимание.5. или TOE – TCP offload engine TOE (TCP offload engine) – функция физического сетевого контроллера. 2. Создать интерфейс VMkernel с MTU = 9000 на каком-то стандартном виртуальном коммутаторе описанным выше способом. выполняется не службой в ОС. Jumbo Frames имеет смысл использовать для интерфейсов VMkernel. а не интерфейса. iSCSI или NFS. Когда удаляемый интерфейс подключен к стандартному виртуальному коммутатору. изменить эту настройку для уже существующего интерфейса нельзя. Те команды по удалению и созданию интерфейса VMkernel. FT. куда должен быть подключен создаваемый интерфейс > Замечание по поводу синтаксиса вышеприведенных команд: у каждого интерфейса VMkernel есть собственное имя вида vmk#. перед его удалением.137 Разное нию. Перенести этот интерфейс на распределенный виртуальный коммутатор. задействованных под любые задачи. В актуальной на момент написания версии vSphere CLI не оказалось способа создать интерфейс VMkernel на распределенном виртуальном коммутаторе. Каждый такой интерфейс числится подключенным к группе портов. что интерфейс не используется. для которого хотите включить Jumbo Frames. куда подключен удаляемый интерфейс> Затем создайте новый командой esxcfg-vmknic -a -i <ip address> -n <netmask> -m <MTU> <название группы портов. Также имейте в виду. Поэтому следует поступить следующим образом. При выполнении вышеприведенных команд под <название группы портов. Единственное исключение – трафик управления ESXi. можно только его пересоздать. когда часть работы по обработке стека TCP/IP. что после пересоздания MAC-адрес интерфейса изменится.

что если контроллер с поддержкой TSO значится в списке совместимости ESX(i). что мне встречались утверждения инженеров VMware. «Формально» – потому. выключение может потребоваться лишь в случае проблем с использованием этой функции с вашими сетевыми контроллерами. Для интерфейсов VMkernel TSO включен по умолчанию. VMDirectPath Функция VMDirectPath позволяет выделять в приватное пользование ВМ контроллер в слоте PCI сервера. так как внутренние тесты не показали значимой эффективности на разнообразных задачах (см. что ESX(i) заработает с этим сетевым контроллером. то единственный способ его включить – пересоздать интерфейс заново (как это сделать. формируя из большого пакета большее количество пакетов меньшего размера.vmware. Включение этой функции позволяет снизить нагрузку на процессоры сервера и повысить скорость работы сети. Пройдите в настройки сервера: Configuration ⇒ Advanced Settings для Software ⇒ настройке UseHwTSO вам нужно присвоить значение нуль. Проверить это можно. или LSO. скорее всего. Формально мы можем задействовать эту функцию для трафика ВМ и VMkernel.5. Может потребоваться включение TSO в BIOS сетевого контроллера. В случае проблем перед отключением TSO обновите прошивку контроллера и ESX(i) (или отдельно драйвер для контроллера). что в vSphere (в первых версиях. Если он выключен. Выключить использование TSO для ESX(i) можно через расширенные настройки. Таким контроллером может быть сетевая карта. в разделе про компоненты ВМ. прокинув физический сетевой контроллер в ВМ с помощью функции VMDirectPath. http:// communities. по крайней мере) сетевые контроллеры с TSO работают. Подробности см. Для трафика ВМ эту функцию можно задействовать. но для трафика ВМ TSO не используется. TCP Segmentation Offload. но не гарантирует работу с его функциями TSO. . Скорее всего. Если вас интересует именно функционал TSO. то совместимость контроллера с ESX(i) нужно проверять именно с упором на TSO (по документации к сетевому контролеру). TSO позволяет обрабатывать большие пакеты (до 64 Кб) при любом размере MTU. выполнив команду esxcfg-vmknic –l Если в столбце TSO MSS значение 65535. В документации VMware обычно употребляется термин TSO. Часть этого механизма – TSO. лишь в инфраструктурах со значительным сетевым трафиком.138 Настройка сети виртуальной инфраструктуры лером. Обратите внимание. Заметная разница в нагрузке на процессоры сервера будет.3.com/thread/217825). то TSO включен. прочие названия приведены для справки. описано в разделе про Jumbo Frames). 2. то это означает. функция также известна как «large segment offload».

security и др. . Отдельные порты На распределенном виртуальном коммутаторе виртуальные машины подключаются к группам портов и к портам с конкретным номером. что для распределенных виртуальных коммутаторов изменять настройки (такие как VLAN.5.36. 2. traffic shaping. Рис.36.139 Разное 2. 2.) можно и для отдельного порта. Настройка сетевого подключения ВМ к отдельному порту dvSwitch Это может быть важно по той причине. Например. в свойствах ВМ вы можете увидеть возможность подключения виртуального сетевого контроллера к конкретному порту – рис.4.

Для разделения трафика используются VLAN или разграничение на уровне физических сетевых контроллеров. трафик Fault Tolerance. и очень часто разграничение идет только по VLAN. Рекомендации для сети Рекомендации в общем случае следующие. Более того. выделенная гигабитная сеть (в смысле выделенный гигабитный физический контроллер) под vMotion – это обязательное условие для того. выделенная гигабитная (или больше) сеть под Fault Tolerance – это обязательное условие для того.vmware. Разделяйте разные виды трафика для повышения безопасности и/или производительности. чтобы конфигурация была поддерживаемой. трафик от которых может быть большим или к безопасности которого есть особые требования. что его перехват потенциально дает доступ к содержимому оперативной памяти мигрируемой ВМ или возможность изменить это содержимое. ибо компрометация ESX(i) означает компрометацию всех работающих на нем ВМ. Разграничение на уровне сетевых контроллеров следует делать созданием отдельных виртуальных коммутаторов под разные задачи. Изоляция управляющего трафика весьма важна с точки зрения безопасности. так что если у вас есть группа ВМ. чтобы конфигурация была поддерживаемой. Однако нередко сетевых контроллеров меньше. В любом случае нельзя пренебрегать типичными для невиртуализированных систем средствами сетевой безопасности. чем по два на каждую задачу.com/products/vshield-zones/). трафик ВМ. такими как межсетевые экраны. Получается. Напомню. . трафик систем хранения – iSCSI/NFS. Притом деление может быть и среди них.140 Настройка сети виртуальной инфраструктуры 2. трафик vMotion – более того.6. Плюс к тому трафик vMotion передается незашифрованным. разумеется. имеет смысл подумать об изоляции их трафика. Разные виды трафика – это: управляющий трафик. что у VMware есть собственное решение с таким функционалом – VMware vShield Zones (http://www. Последнее является более рекомендуемым – когда сетевых контроллеров у нас достаточное количество. то есть сеть Service Console для ESX или интерфейс VMkernel с флажком «management network».

Поэтому я буду про них рассказывать в потребительском ключе – что надо потребовать от администратора системы хранения данных. Потом – про некоторые специфические особенности и функции ESX(i) в области работы с системами хранения. то есть «как делается создание LUN (или volume)». 3.1): Рис. – об этом говорить не буду ничего. «как делается их “презентование” (presentation)» и т. Ну а прямо сейчас – пара слов о специфике работы ESX(i) с дисковой системой (рис. Схема работы ВМ с дисковой подсистемой . Само администрирование СХД. о чем надо знать для этого. п.1. Системы хранения данных и vSphere Как администраторы vSphere мы являемся потребителями дисковых ресурсов. Затем – подробности по использованию и настройке работы с СХД разных типов.. 3.Глава 3. предоставляемых системами хранения данных. Сначала выскажу соображения по выбору системы хранения.

подключенных по FibreChannel и iSCSI. Raw Device Mapping. к которым подключены дисковые ресурсы. через который идет обращение к системе хранения. Гипервизор не сообщает ВМ о том. Доступом именно к СХД обладает только сам гипервизор.1 показанный как «VMware vitualization layer». расположенный на локальном диске сервера. 3. а не SCSI). Кроме того. Для всех ВМ.vmdk). на рис. Storage Area Network – данный тип систем хранения предполагает блочный доступ. которому презентован данный LUN. Такое подключение называется RDM. локальный контроллер RAID для доступа к локальным дискам и др. 3. какой контроллер (и СХД какого типа) используется. к ESX(i) может быть подмонтирован сетевой ресурс по протоколу NFS – и на таком сетевом ресурсе также могут быть размещены файлы виртуальных машин. Вне зависимости от того. Более подробно про VMFS (файловую систему для хранения виртуальных машин) и RDM (прямой доступ к диску) расскажу после рассказа о типах СХД. или LUN на iSCSI. или файл на сетевом ресурсе NFS. Диском третьей виртуальной машины является весь диск (LUN). какие бывают и что из себя представляют разные типы систем хранения данных. любая ВМ всегда видит свои диски как локальные диски SCSI. Когда гостевая ОС адресует команды SCSI своему диску. На разделах VMFS и NFS могут быть расположены файлы виртуальных дисков сразу нескольких других ВМ. СХД какого типа используется. Возможен доступ к одним и тем же ресурсам нескольких серверов одновременно. Однако гипервизор скрывает от гостевой ОС тип системы хранения – и даже в случае RDM гостевая ОС воспринимает свой RDM-диск как локальный SCSI-диск. файлы настроек ВМ и файлы иных типов. как если была бы установлена на физически сервер. что ее диском является файл. мы можем воспользоваться: SAN. Итак. Этот контроллер SCSI гипервизор создает для ВМ наравне с прочим виртуальным оборудованием (единственный нюанс – ESX(i) 4 может подключать виртуальные диски к контроллеру IDE. RDM-подключение возможно для дисков. что содержимое такого диска находится в файле типа «Virtual Machine Disk» (*. В VMFS форматируются дисковые ресурсы (LUN) блочных систем хранения (на рисунке это системы хранения FC и iSCSI). VMFS. диск является виртуальным. Это могут быть Fibre Channel HBA для доступа к Fibre Chanel SAN. эти обращения перехватываются гипервизором и преобразуются в операции с файлами на VMFS. отформатированном в файловую систему «VMware File System». который подключен к серверу ESX(i) и затем подключен напрямую к этой ВМ. Обзор типов СХД Для начала поговорим о том. подключенный как RDM. подключенные к локальному контроллеру SCSI. HBA – это Host Bus Adapter. кроме третьей. ВМ всегда видит своим диском локальный диск SCSI (или IDE) – и изнутри нее нельзя понять. Гостевая ОС обращается с этим LUN так же.142 Системы хранения данных и vSphere На этом рисунке вы видите несколько виртуальных машин.1. Такой файл размещается на разделе. В качестве среды передачи данных может исполь- . контроллер в сервере. В том смысле.

. сравнение СХД по этому параметру выходит за пределы книги. например файловый доступ на NAS или блочный на SAN. но встречаются они гораздо реже). Доступ к одним и тем же ресурсам нескольких серверов одновременно не возможен – это чрезвычайно снижает интерес к ним для инфраструктур vSphere. поддерживающего «iSCSI boot». возможны подобные варианты с интерфейсами SAS/SCSI. Direct Attach Storage – данный тип систем хранения предполагает блочный доступ. Возможен доступ к одним и тем же ресурсам нескольких серверов одновременно.1. DAS. потому что в каких-то решениях эти средства будут востребованы. Сравнение по поддерживаемым функциям я попытался отразить в табл. что главным отличием в производительности СХД разных типов является скорость используемого интерфейса/среды передачи данных. темы производительности дисковой подсистемы я касался в первой главе. Таблица 3. 3. Network Attach Storage – системы хранения этого типа предоставляют доступ на уровне файлов. ESX(i) поддерживают NAS только с протоколом NFS. много от каких факторов зависящее. Думаю. Системы хранения данных разных типов отличаются по следующим характеристикам: стоимость. например возможность создания снимков состояния (snapshot) на уровне СХД.143 Обзор типов СХД зоваться Fibre Channel и iSCSI (строго говоря. Производительность – непростое понятие. Про это тоже говорить здесь бессмысленно. оправданно будет сказать. функционал относительно vSphere – а вот по этому поводу поговорим подробнее сейчас.1. Также различием являются функциональные особенности того или иного подхода. Очевидно. производительность. а в каких-то – нет. NAS. Сравнение функционала СХД для vSphere Тип СХД Fibre Channel iSCSI NAS DAS Загрузка Включение VMotion ESX ВМ sVMotion HA API for VMFS MSCS SIOC DRS Data RDM MFC FT Protection + + + + + + + + + – + + + + + + –/+ + + – + + + + – + – – +/– + – – Примечания к таблице: загрузка ESX(i) с iSCSI системы хранения возможна только с использованием аппаратного инициатора или сетевого контроллера. Впрочем. функциональность самой системы хранения. Обычно СХД этого типа представлены локальными дисками сервера.

3. Дисковые ресурсы (LUN) системы хранения с блочным доступом ESX(i) может отформатировать в VMFS или подключить к виртуальной машине как RDM. потому что такие системы не предоставляют доступа к файлам одной ВМ нескольким серверам: в крупных внедрениях это необходимо для живой миграции (VMware VMotion). механизм контроля производительности СХД относительно виртуальных машин. MSCS/MFC кластер возможно реализовать с системой хранения iSCSI. Однако даже если вы используете СХД Fibre Channel. да – их можно считать хранилищем DAS. VMFS и RDM показаны в одном столбце потому. у систем хранения может быть свой собственный интересный для вас функционал. что являются отдельными устройствами. например упрощающий резервное копирование. часто представляют из себя просто корзину (Enclosure) для дисков в отдельном корпусе. Такая конфигурация полностью подпадает под определение DAS. то NAS не подойдет. см. . для функций повышения доступности VMware HA и VMware FT. О чем стоит задуматься и что стоит принять во внимание. 3. посвященном сайзингу. что их дисковые ресурсы доступны лишь одному серверу.1). то СХД может быть любой. Наиболее характерный пример – локальные диски сервера. если нам нужен RDM. но пара серверов подключена к ней без использования коммутатора FC – некоторые (как правило. DAS Direct Attach Storage. Для администраторов ESX(i) этот тип СХД обычно малоинтересен. сравниваем варианты по цене. SIOC расшифровывается как Storage IO Control. Да. к которому они подключены. Например. 3. что основные функции доступны для СХД любого типа. Обратите внимание. для автоматической балансировки нагрузки (VMware DRS). В сервере стоит контроллер SAS или SCSI. Если после пунктов 1 и 2 выбор типа системы хранения еще актуален. Таким образом. то примерный план может быть таким: 1. что они являются альтернативами друг другу. к которому и подключается полка DAS. 2. DAS – самый простой тип систем хранения. старые) модели СХД не смогут выделить один и тот же LUN сразу обоим серверам. Подробнее о нем рассказывается в главе 6. но такая конфигурация не будет поддерживаться VMware. С другой стороны. Определиться с необходимыми функциями (в первую очередь имеется в виду табл. Определиться с необходимой производительностью. Те DAS.144 Системы хранения данных и vSphere если оба узла кластера MSCS/MFC работают на одном ESX(i). в первой главе в разделе. Характерной чертой этого типа хранилищ является то. если стоит вопрос по выбору системы хранения.2.

Обычно соответствующая служба работает внутри ВМ. что на рынке присутствуют модели систем хранения. ни прочие «продвинутые» функции. с одной стороны. Характерный пример – файловый сервер. использующие собственную ОС. которая доступные для нее дисковые ресурсы ESX(i) предоставляет ему же. Возможен вариант. ни высокая доступность. Если ВМ расположены на каком-то разделяемом хранилище.NAS (NFS) 145 если речь идет про небольшие внедрения. . На стороне сервера требуются обычные сетевые контроллеры. Весьма сильные позиции в этом сегменте систем – у компании NetApp. но уже по iSCSI/NFS. А если выйдет из строя сервер. Если же у нас только DAS (например. а не сервером. – то ВМ будут недоступны. NAS (NFS) Network Attached Storage. доступ на уровне файлов – то есть файловая система создается и обслуживается системой хранения. что медленно. По сути. подключенное к сети. которые предполагают соединение с серверами по интерфейсу SAS. то администратор может пусть вручную. Кто-то может заметить.3. Такие варианты. у нас есть несколько ESX(i). DAS используются в тех случаях. доступ к одним и тем же дисковым ресурсам возможен одновременно с нескольких серверов. Это ключевое отличие NAS от DAS и SAN. имеет смысл отнести к SAN. где эти функции и так не предполагаются к использованию. ну или под наши задачи не нужны ни живая миграция. Его характерные черты: доступ к дисковым ресурсам по локальной сети. но с достаточно высоким уровнем доступности – в случае выхода из строя сервера есть возможность запустить реплику ВМ с него на другом сервере. Он предоставляет по сети доступ на уровне файлов к разделяемой (Shared) папке сразу многим клиентам (серверам). В таком случае мы получим дешевую инфраструктуру без СХД. 3. по данной классификации. Однако есть и специализированные системы хранения. Впрочем. но очень быстро и с минимальными усилиями переносить ВМ между серверами. с привлечением программного обеспечения третьих фирм. но программно реализуем доступ к этим дисковым ресурсам по iSCSI или NFS. в данной книге рассматриваться не будет. NAS – устройство хранения. когда на разделяемое хранилище с достаточной производительностью нет бюджета. когда мы используем под ESX(i) серверы с локальными дисками. А еще есть возможность с помощью сторонних программных средств реализовать репликацию файлов ВМ между серверами. где доступ к СХД идет на уровне блоков и серверы имеют возможность использовать собственную файловую систему. несколько больших дисков локально в сервере) – то перенос ВМ возможен лишь по сети. то ситуация примерно следующая: допустим. реализация такого рода вариантов. но позволяют множественный доступ. Этот тип систем хранения также весьма несложен. с потерей данных с момента последней репликации. к которому подключен DAS.

Сами по себе снимки не прерогатива NFS. vmdk Thin Provisioning – вне зависимости от типа vmdk файла с точки зрения ESX(i). а отдельные vmdk. Можно восстановить или отдельный виртуальный диск. и сами шаги более просты. DRS. однако в случае NFS мы получаем гранулярность на уровне отдельных файлов vmdk. Затем можно осуществить резервное копирование или восстановление файлов vmdk. резервного копирования. Такие функции. в чем-то сходная с работой дедупликации.146 Системы хранения данных и vSphere Существуют два основных протокола инфраструктур NAS – NFS для *nix и SMB для систем Windows. То есть в снимке системы хранения у нас будут не LUN со множеством vmdk вместе. как VMotion. только для конкретных файлов. Если сравнивать NAS с системами хранения других типов по функционалу относительно vSphere. или даже отдельный файл. но не для запуска ВМ. HA. системы хранения NAS способны обеспечить достаточно интересный дополнительный функционал. обеспечивает весь основной функционал. Позволяет получить значительную экономию места и скорости развертывания для однотипных виртуальных машин. С другой стороны. Если брать NetApp как наиболее применимое NFS-хранилище. cнимки состояния (snapshot) средствами системы хранения. кроме увеличения размера хранилища (что возможно и для VMFS). По сравнению с iSCSI с программным инициатором. с одной стороны. То есть при восстановлении одной ВМ из снимка состояния хранилища средствами СХД нет необходимости откатывать все хранилище целиком. Single-file FlexClone – функция систем хранения в NetApp. со всем его содержимым. На примере систем хранения NetApp будут доступны следующие функции: больший максимальный размер одного хранилища. система хранения сама способна обеспечить thin provisioning. NFS вызывает меньшую нагрузку на процессоры сервера. Так как снимок в NetApp доступен как простая копия. ESX позволяет запускать ВМ с NAS. при использовании репликации как средства повышения доступности инфраструктуры в случае возникновения необходимости переключения ESX(i) на копию хранилища NFS требуется меньше шагов для этого. использующих протокол NFS. то мы можем просто подключить эту копию по NFS только на чтение. Подключение по протоколу SMB с ESX возможно. однако использовать его получится лишь для обмена данными. а также подключить vmdk из снимка к ВМ и восстановить отдельные файлы «изнутри» этого vmdk. то NFS система хранения. Для FC/iSCSI LUN требуется так называемый «resig- . то в зависимости от уровня и поколения системы хранения ограничения на размер одного тома данных начинаются от 16 Тб и заканчиваются 100 Тб. сделанная в определенный момент времени. работают с хранилищем NFS. FT. допустимо осуществить уменьшение его размера (чего для VMFS невозможно). дедупликация на уровне системы хранения.

А также у этого вКоммутатора может быть больше одного канала во внешнюю сеть (как в правой части рисунка) – это даже рекомендуется.1. 3. через который и будет передаваться трафик NFS. Рис. и для ВМ. или команда ping в подключении по SSH. 3. VLAN (если используются) и вообще доступность системы хранения NFS по сети можно следующим образом: для ESX командой vmkping <IP NFS сервера> Используется специальная команда по той причине. чего в данном случае нам не надо. какого рода функциями могут обладать системы хранения данного класса.3). и для VMkernel под другие нужды. Схема сети должна быть примерно такой.2. После создания интерфейса VMkernel необходимо подключить ресурс NFS. на первом шаге мастера выберите подключение Network File System. на стороне ESX необходимо настроить интерфейс VMkernel. Здесь NetApp упомянут лишь для примера того. На следую- . для ESXi соответствующим пунктом локального меню (рис. что простой ping идет через интерфейсы SC. для больших надежности и скорости (multipathing для NFS реализуется через Link Aggregation или через статичные маршруты к разным IP-адресам одной СХД). NFS-хранилище же просто подключается без дополнительных условий. 3. как на рис. 3.3. Настройка и подключение ресурса NFS к ESX(i) Для того чтобы подключить дисковые ресурсы по NFS. Альтернатива этому меню – или команда ping из локальной консоли. Для этого в настройках сервера пройдите Configuration ⇒ Storage ⇒ Add Storage. Интерфейс VMkernel на стандартном или распределенном виртуальном коммутаторе Почему «примерно такой»? Потому что на этом же вКоммутаторе могут располагаться и любые другие виртуальные сетевые контроллеры – и для Service Console. Проверить правильность настройки IP.147 NAS (NFS) naturing».2.

5). В самом нижнем поле вы указываете метку. Обратите внимание на флажок «Mount NFS read only». Однако для запуска ВМ ESX(i) требует разрешений read/write на NFS. 3. таких как файлы шаблонов ВМ.4). в базе знаний VMware. Проверка доступности NFS-сервера из локальной консоли ESXi щем шаге необходимо указать IP или имя системы хранения NFS и имя сетевого ресурса (см. ESX(i) использует для блокировки файлов не средства NFS. что из-за какого-то сбоя файл блокировки не удален и мы не можем получить доступ к вроде бы выключенной ВМ).lck-XXX. что файл существует по ошибке (теоретически возможна ситуация.vmware. рис. пройдите в Configuration ⇒ Advanced Settings для Software (рис. создается файл с именем вида .lck-XXX. если не считаете.148 Системы хранения данных и vSphere Рис. . препятствующий открытию этого же файла ВМ с другого сервера. Когда сервер открывает файл ВМ на NFS.3. образы iso. 3.MaxVolumes. статья http://kb. Описание прочих расширенных настроек для NFS см. название хранилища – под этим именем этот ресурс NFS будет отображаться в интерфейсе ESX(i) и vCenter. Так что NFS только для чтения пригодится для неизменяемых данных. Он вам пригодится для подключения сетевого ресурса в режиме только чтения. Там вам нужны раздел NFS и настройка NFS. а собственную систему. По умолчанию вы можете подключить к ESX(i) до восьми ресурсов NFS. 3. Не удаляйте файлы . Обратите внимание. Если вам необходимо больше.com/kb/1007909.

Host Bus Adapter. После того как администраторы SAN презентуют нашим серверам ESX(i) какие-то новые LUN . Здесь мы никак не будем касаться настроек со стороны SAN. полный функционал относительно ESX(i). минимальные задержки.4. Fibre Channel 149 Рис. 3.6. В случае Fibre Channel SAN такая сеть строится на оптоволокне. и в этой книге в частности. SAN – сеть хранения данных. К плюсам FC SAN можно отнести все остальное – максимальная производительность. приобретение всего этого плюс покупка и прокладка оптоволокна приводят к удорожанию инфраструктуры FC SAN по сравнению с другими решениями. Обычно. Подключение ресурса NFS к серверу ESX(i) 3. Инфраструктура SAN предполагает создание выделенной сети только под данные. Схема Fibre Channel SAN показана на рис. 3. их называют FC HBA.4. Как правило. SAN. Требуются специальные Fibre Channel коммутаторы и специальные Fibre Channel контроллеры в серверы. Fibre Channel Storage Area Network.SAN.

А теперь взгляните на рис. представляет собой контроллер SCSI.5. На рисунке вы видите выделенный FC HBA (наверху) и видимые через него диски (LUN). 3. рис. для серверов выглядят как обычные диски – см. 3. администраторам ESX(i) надо выполнить команду Rescan (на странице Configuration ⇒ Storage Adapters ⇒ справа наверху rescan). В SAN же HBA отдает команды SCSI. В случае локального контроллера мы видим. Дисковые ресурсы. Этот контроллер принимает на вход команды SCSI. с точки зрения ESX(i). 3.8.7). 3. и вуаля – со стороны ESX мы увидели дисковые ресурсы (рис.7. Здесь вы видите список хранилищ (то есть разделов для хранения файлов ВМ). скорее всего. и гипервизор с ним обращается как с обычным контроллером SCSI. их же отдает на выход. И диски локальные здесь отображаются (да и ис- . Расширенные настройки (Advanced Settings) для NFS (или отключат старые). HBA. обернутые в пакеты Fibre Channel.150 Системы хранения данных и vSphere Рис. а также локальный контроллер SCSI (внизу) с видимыми ему дисками. доступных так или иначе. созданный на нем RAID из локальных дисков сервера. предоставляемые FC СХД.

по крайней мере. Альтернатива этому – подключение СХД напрямую к HBA сервера. к сильному падению производительности. конфигурации без коммутатора FC предполагают подключение двух серверов к двум контроллерам одного дискового массива – для экономии на стоимости коммутатора. что может привести к их зависанию или. Что же мы можем настроить в случае Fibre Channel SAN на стороне ESX(i)? Именно настроить. Однако здесь возможна проблема следующего рода: некоторые FC СХД. особенно начального уровня. по большому счету. СХД будет непрерывно переключать LUN между контроллерами. Как правило.6. Кстати. я это к чему – читать документацию системы хранения необходимо и в случаях попроще. как и FC LUN (впрочем. совсем немного. Схема FC SAN Источник: VMware пользуются) так же. В общем-то. и для NFS). обладают возможностью работать только в режиме Active-Passive. 3. то же справедливо и для LUN iSCSI.151 SAN. иногда прямо по-русски говорят «фабрика». И если разные серверы будут пытаться обратиться к одному LUN через разные контроллеры. по этой же причине не рекомендуется использовать для систем хранения Active-Passive настройку roundrobin multipathing. Такой режим означает. Что нам полезно будет знать про SAN как администраторам ESX? Топологию хотя бы с одним коммутатором FC называют SAN fabric. могут быть специфические нюансы. что один LUN в какой-то момент времени может принадлежать только одному контроллеру системы хранения. Fibre Channel Рис. .

3.4.7. подключенных каждый к своему коммутатору FC. Это – рекомендованная конфигурация. На нем вы видите. что в каждом сервере два HBA (или один двухпортовый).152 Системы хранения данных и vSphere Рис.6. и в СХД тоже два контроллера. Диски на FC и локальном SCSI-контроллере 3. Адресация и multipathing Вернитесь к схеме SAN на рис. 3. когда .1.

чего на этом рисунке не показано. Fibre Channel Рис. 4. для того чтобы заработали пути 2 и 3. Рис. HBA 2 : SP 1 : LUN1. Следствием дублированности является наличие нескольких путей от каждого сервера к каждому LUN. Например. поэтому он определит. HBA 2 : SP 2 : LUN1. 3. что видит не четыре разных LUN. 3.153 SAN. 3.8. а один с несколькими путями. См. необходимо соединить между собой коммутаторы FC на рис.) Модуль multipathing есть в ESX(i) по умолчанию.6. Пример LUN с двумя путями к нему . пример на рис. 3. HBA 1 : SP 2 : LUN1. 3. 2.9. (Строго говоря.9. первый сервер со схемы может добраться до LUN 1 четырьмя путями: 1. Список хранилищ ESX(i) у нас все компоненты SAN задублированы. HBA 1 : SP 1 : LUN1.

Если путь выйдет из строя.9): Fixed (VMware) – если выбрана эта настройка. Также чтобы использовать эту функцию. в примере мы видим. который создается для ВМ. Более актуально для программного инициатора iSCSI – он отображает разными каналами разные интерфейсы VMkernel. Это записи vmhba2:C0:T1:L0 и vmhba2:C0:T0:L0. Косвенный вывод – HBA в сервере является единой точкой отказа в данном случае. что она недопустима при реализации кластеров Майкрософт (MSCS/MFC) между виртуальными машинами. L# – номер LUN. контроллера в СХД (Storage Processor). и он продолжит использоваться. Физического контроллера (или порта на многопортовом HBA). Теоретически это позволяет повысить производительность на участке между дисками и драйверами в ОС. Эта политика не используется по умолчанию по той причине. в отдельно взятый момент времени ESX(i) может работать только с каким-то одним (используемый в данный момент помечен строкой «(I/O)» в столбце Status. По умолчанию другой путь начинает использоваться после передачи 1000 команд. что оба пути к FC_LUN_7 проходят через один контроллер сервера. который используется в сервере ESX(i). . Для выбора того.9). Разные ESX(i). но когда предпочитаемый вернется в строй – опять начнет использоваться он. Их список можно увидеть в настройках сервера Configuration ⇒ Storage Adapter. если не хватает производительности дисков. C# – номер канала SCSI. произойдет переключение на другой. но через разные контроллеры в системе хранения. какой путь использовать для доступа к LUN. Round Robin (VMware) – в случае round robin большой поток данных делится на части и передается через разные пути поочередно. а не виртуального контроллера SCSI. 3. Переключение на другой произойдет лишь в случае отказа используемого. Если путь выйдет из строя. T# – номер «target». выбранный предпочитаемым для доступа к LUN. но некоторые контроллеры каждую сессию SCSI выделяют в отдельный «канал». Обычно равен 0. Most Recently Used (VMware) – если выбрана эта настройка. Таким образом. 3. обращаясь к одним и тем же контроллерам. могут нумеровать их по-разному. рис. Расшифровываются эти обозначения следующим образом: vmhba# – это имя контроллера в сервере. у нас есть настройка политики (обратите внимание на выпадающее меню в верхней части рис. Но это не спасет от задержек. через которые может подключиться к LUN. Когда путей к LUN несколько. Эта настройка задается (или в простейших случаях выбирается автоматически) со стороны системы хранения. даже когда предыдущий вернется в работоспособное состояние. то сервер будет использовать текущий путь для доступа к LUN. таргета. произойдет переключение на другой. массив должен быть полностью active/active. то сервер всегда будет использовать путь.154 Системы хранения данных и vSphere Здесь вы видите два пути к LUN под названием FC_LUN_7.

В общем случае дать рекомендацию по выбору политики сложно. Но при установке на ESX(i) сторонних модулей multipathing возможно появление реализаций этих же политик от поставщика модуля multipathing. А в ESX(i) версии 4 появилась возможность использовать сторонние модули. Также Fixed позволяет вручную сбалансировать нагрузку на каналы путем указания для разных LUN разных предпочитаемых путей. разработанного VMware. Это хорошо для массивов Active-Active и не рекомендуется для массивов Active-Passive. 3. Они были добавлены в состав гипервизора и выполняют такие задачи. SATP. Внимательно изучайте документацию производителя системы хранения и ищите рекомендации по этим настройкам там. в скобках написано «VMware». если не понимаете зачем. SATP – Storage Array Type Plugins. Про модули multipahing. PSA. MMP. ищите рекомендации в документации вашей системы хранения. Fibre Channel 155 Обратите внимание. NMP. PSP – Path Selection Plugins. Еще наличие нескольких путей может помочь повысить производительность за счет распределения нагрузки между путями. Политика Fixed жестко задает путь к каждому LUN. Через разные HBA и разные контроллеры в СХД. Как они соотносятся. как: . Настройки multipathing определяют: когда переключаться – через какое количество непрочитанных/незаписанных блоков посчитать используемый путь сбойным. какой HBA использовать – любой.2. PSA – это общее название архитектуры. За счет нескольких путей до LUN мы получаем дублирование и возможность продолжить работу при выходе из строя какого-то компонента инфраструктуры SAN за счет перехода к работающему пути. которая позволяет ESX(i) использовать сторонние модули для работы с SAN. на рис. описанных чуть выше. При чтении документации на эту тему вам могут встретиться следующие термины: PSA – Pluggable Storage Architecture.10. PSP К одному LUN у нас могут вести несколько путей.SAN. 3. явно указанный или наименее загруженный. После названия политик multipathing. что это настройки встроенного модуля multipathing. В названии политик multipathing в скобках указано «VMware» по той причине. какой target использовать – любой или явно указанный. NMP – Native Multipathing. Это потому.4. см. Однако пару соображений выскажу. Также PSA – это название набора API для VMkernel. что это реализация данных политик от VMware. Не изменяйте настройку multipathing.

NMP поддерживает все системы хранения из списка совместимости vSphere. координация действий Native Multipathing Module и сторонних плагинов. То есть NMP работает со всеми типами поддерживаемых хранилищ за счет того. отслеживает доступность путей и сообщает об изменениях в NMP. используемый по умолчанию и включающий multipathing. что для каждого типа у него в составе есть свой SATP. Увидеть информацию о SATP и их настройках можно при помощи команд: esxcli nmp satp list esxcli nmp satp listrules esxcli nmp satp listrules –s <конкретный SATP> . и все это – для конкретного типа СХД. NMP содержит в себе два компонента – SATP и PSP. разделение пропускной способности между ВМ.156 Системы хранения данных и vSphere Рис. VMware поставляет SATP для всех поддерживаемых систем хранения – generic Storage Array Type Plugins для типовых систем хранения и local Storage Array Type Plugin для DAS. сбор статистики по вводу-выводу. Каждый SATP для конкретной модели может обладать возможностью выполнять специфичные для модели действия по обнаружению отказа пути и переходу на резервный путь. перенаправление запросов ввода-вывода к нужному MPP. Ассоциирует набор путей с LUN. как работать с той или иной моделью СХД. SATP – управляет переключением путей. осведомленный о том. Схема связей модулей гипервизора для работы с дисковой подсистемой Источник: VMware загрузка и выгрузка модулей MPP. разработанных с помощью PSA API. обнаружение и удаление путей к LUN. NMP – стандартный модуль работы с системой хранения. 3.10.

нежели стандартный. задействовать все пути одновременно. Сторонний PSP может уметь балансировать нагрузку по более сложным алгоритмам. Модуль или модули MPP работают одновременно с NMP – стандартным модулем работы с системами хранения. изначально не поддерживаемыми. В частности. этот компонент отрабатывает настройку multipathing (ту. которые могут усовершенствовать способы определения сбоев и перехода на другие пути за счет использования специфичных возможностей системы хранения. то есть стандартному модулю работы с системами хранения.11): сторонние MPP обеспечивают поддержку специфичной модели СХД и делают работу с ней более производительной и надежной. локальных дисков).SAN. По сути. MPP – multipathing plugin. если тот используется ESX(i) для других систем хранения (например. Разрабатывается MPP поставщиками СХД. 3. а не последовательно. что Fixed/MRU/Round Robin). Fibre Channel 157 PSP (Path selection plugin) – выбирает лучший путь. Также с помощью этих сторонних модулей возможна работа ESX(i) с массивами. Самое главное – архитектура PSA предполагает возможность использования сторонних модулей multipathing. Схема сосуществования встроенного и сторонних модулей multipathing Источник: VMware . Сторонние модули делятся на три категории (рис. 3. Сторонний модуль работы с системой хранения (сторонний модуль multipathing) является альтернативой NMP. которые могут работать вместо или вместе со стандартными. Их VMware называет MPP. Рис.11.

Этот SATP применяется для работы с EMС Symmetrix. А командой esxcli nmp psp list можно увидеть список PSP для NMP. какие из путей являются активными. Из графического интерфейса мы можем увидеть следующее: Configuration ⇒ Storage Adapters ⇒ нужный HBA ⇒ кнопка Paths (рис. который можно задействовать для доступа к LUN. этот PSP предполагает политику путей «Fixed». Задействованный в данный момент путь помечается как «Active (I/O)». Например. В соответствии с правилами. 3.conf. ассоциирует нужный модуль PSP для управления этими путями. PSA определяет.12). С помощью vSphere CLI и команды esxcli corestorage claimrule list можно посмотреть на загруженные модули и указать настройки (claim rules) для PSA.conf). Эти настройки хранятся в файле /etc/vmware/esx. настроить маскировку LUN. для семейства EMC CLARiiON CX по умолчанию используются SATP-модуль «VMW_SATP_CX» и PSP-модуль «Most Recently Used».158 Системы хранения данных и vSphere сторонние SATP интегрируются в NMP. выбирает. «Standby» – такой путь можно . NMP SATP. Для ESX(i) четвертой версии под «Active» путем понимается тот. Командой esxcli nmp satp list можно увидеть список SATP для NMP. какой из модулей multipathing должен управлять путями к тому или иному хранилищу. Когда сервер загружается. Этими модулями могут быть NMP от VMware или MPP от стороннего производителя. Содержат в себе описания более сложных алгоритмов балансировки I/O. и их можно просмотреть. Увидите строчку вида: /storage/plugin/NMP/config[VMW_SATP_SYMM]/defaultpsp = «VMW_PSP_FIXED» Эта строка файла настроек сообщает: Для SATP с именем «VMW_SATP_SYMM» использовать PSP с именем «VMW_PSP_FIXED». которых тот не поддерживает. NMP. обеспечивают его работу с системами хранения. сторонние PSP интегрируются в NMP. Здесь мы видим информацию о доступных путях и о том. PSA обнаруживает все пути к LUN’ам. описанными в файле настройки (esx. опять же в зависимости от настроек. какой из доступных SATP использовать для мониторинга путей.

Информация о путях .12. Информация о доступных путях задействовать в случае сбоя активного пути. «Broken» (на рисунке таких нет) – сбойный путь. 3.13.159 SAN. 3. Fibre Channel Рис. Рис. Configuration ⇒ Storage ⇒ кнопка Devices ⇒ интересующий LUN (рис. 3. Звездочкой помечается предпочитаемый (Preferred) путь в случае политики multipathing «Fixed».13).

работающий лучше стандартного из состава ESX(i). и на них установлен ESX(i).160 Системы хранения данных и vSphere Здесь можно увидеть. время недоступности LUN для ESX(i) будет меньше 60 секунд. В подавляющем большинстве случаев нам не надо. на котором ESX хранит свои ВМ. это серверы с разными задачами. которые могут работать эффективнее стандартного. Затем NMP нужно менее 30 секунд. в котором мы указываем видимость портов друг другом. Резюме: для ESX(i) 4 VMware предоставляет возможность и механизмы для разработки сторонних модулей работы с системами хранения. и к ней подключены серверы. как только драйвер HBA вернет отказ I/O. И даст нам его отформатировать в NTFS. если он будет доступен – это очень опасно. какие HBA к каким SP смогут обращаться.4.3. Все запросы к дисковой подсистеме от ВМ ESX(i) поместит в очередь. какой модуль управляет доступом к LUN. Linux и другие операционные системы. Несколько слов про NMP. к чему все это. поэтому их коснусь чуть подробнее. что это за файловая система. Скорее всего. Если так. то есть стандартный модуль от VMware. Вот смотрите – у вас есть система хранения. В случае Fibre Channel это время меньше 30 секунд. Про зонирование (Zoning) и маскировку (LUN masking. Выполняется на уровне коммутатора FC. был доступен с физического сервера с. VMFS. Более того. Достаточно важный вопрос: сколько времени требуется. к примеру Windows. А это уничтожит VMFS и ВМ на ней. так как может привести к повреждению данных. Ну и наконец. стандартный модуль multipathing. вне зави- . И будет считать этот диск пустым. Вот для предотвращения подобных эксцессов и необходимы правильное зонирование и маскировка. и наоборот. Какие-то используются под виртуальные машины. Зонирование – процесс настройки доступности СХД со стороны серверов.4 «Рекомендации для эталонных ВМ»). чтобы LUN. Подробности ищите в документации конкретного производителя. То есть мы настраиваем. Некоторые коммутаторы FC требуют настройки зонирования всегда. LUN presentation) В администрировании SAN есть два понятия: Zoning и LUN Masking. имеет смысл его установить. а Windows понятия не имеет. И на системе хранения мы создаем отдельные LUN’ы для этих серверов. Но именно из-за возможности такой паузы VMware рекомендует устанавливать время ожидания реакции ввода-вывода для гостевой ОС в 60 секунд (подробности см. Таким образом.2. и на них установлены Windows. В данном примере это NMP. Поставщик вашей системы хранения может предложить вам модуль multipathing. EMC предлагает PowerPath for VMware vSphere 4 – это и есть MPP. Например. Какие-то используются без виртуализации. 3. Они важны. ESX на таком LUN создаст свою файловую систему. в разделе 5. чтобы перейти на другой путь в случае отказа используемого? NMP начинает задействовать другой путь сразу же. чтобы переключиться на другой путь.

а не по WWN. Fibre Channel симости от того. Информация о путях к LUN VMware рекомендует зонировать по портам. выполняемая на системе хранения. серверу) какие LUN должны быть видны. Делается на уровне WWN. 3. Но как правильно настраивать зоны – надо смотреть документацию конкретного производителя. Связано это с тем. то есть в интерфейсе управления системы хранения мы должны выбрать LUN и выбрать WWN тех серверов (их HBA). Такое может произойти в случае. Маскировка – настройка.14. в разделе. World Wide Name – это уникальный идентификатор устройства в сети SAN. Если наше оборудование FC поддерживает данный стандарт. Рис. какому HBA (следовательно. Подробности см. то в свойствах ВМ мы можем активировать соответствующую настройку.14. В интерфейсах разных систем хранения эта опера- . аналог MAC-адреса Ethernet. которые должны его увидеть. Суть настройки – в указании того.161 SAN. 3. посвященном ВМ. необходима ли эта настройка нам. WWN. что одному порту ESX(i) могут соответствовать несколько WWN. Позволяющий это механизм называется NPIV – N-Port ID Virtualization. то увидите в нижней части рисунка WWN контроллера в сервере (HBA) и контроллера в системе хранения (SP). Зонировать можно по портам или по WWN. если вы посмотрите на рис. если мы назначаем уникальные собственные WWN каким-то виртуальным машинам. Например.

возможно. Теперь напишу про моменты. Используются обычные коммутаторы Ethernet. то есть сервер.15). Маскировка может выполняться на самом сервере ESX(i). 3. но сделать это на SAN мы по каким-то причинам не можем. что и у FC SAN. SAN. извлекает из них команды SCSI и отдает их гипервизору. В случае iSCSI SAN такая сеть строится поверх обычной инфраструктуры IP. И на этих СХД была сделана маскировка – то есть серверы ESX(i) имели доступ к выделенным под ВМ LUN. и контроллер на своем чипе инкапсулирует их в IP. специфичные именно для iSCSI. В случае аппаратного инициатора ESX(i) видит его как обычный дисковый контроллер. За счет использования стандартной. практически все те же функции. .5. iSCSI инициатор бывает аппаратный. В нашем случае ESX(i)-сервер. упаковывает их в пакеты IP и отправляет по Ethernet на хранилище. initiator. чтобы корректно было выполнено зонирование – наши серверы ESX(i) имели доступ к СХД. относительно дешевой и часто уже имеющейся инфраструктуры IP. кто инициирует обращение к ресурсам (здесь – дисковым). которые сам отдает в сеть. Получает в ответ пакеты IP. SAN – сеть хранения данных. а в серверах в качестве контроллеров используются более или менее специализированные аппаратные инициаторы iSCSI(iSCSI HBA) или обыкновенные сетевые контроллеры (за счет использования программного инициатора – службы. нам понадобятся vSphere CLI и раздел Mask Paths в документе Fibre Channel SAN Configuration Guide.162 Системы хранения данных и vSphere ция может называться по-разному. Инициатор iSCSI – это контроллер SCSI. HBA. который обеспечивает подключение к iSCSI СХД. где-то она называется «презентованием LUN». Это необходимо в том случае. Для того чтобы замаскировать LUN со стороны ESX(i) (фактически спрятать самому от себя). когда мы хотим скрыть какой-то LUN от ESX(i). что выше написано для Fibre Channel SAN. Настройки зонирования и маскировки являются взаимодополняющими. LUN Presentation. В минусы записывают меньшую максимальную скорость и. не имели доступа ни к каким другим LUN и чтобы к их LUN не имели доступа никакие другие серверы. В широком смысле инициатор iSCSI – это тот. необходимо. 3. Гипервизор отдает SCSI команды его драйверу. С точки зрения администратора ESX(i). тот передает их контроллеру. Инфраструктура SAN предполагает создание выделенной сети только под данные. который принимает команды SCSI от VMkernel. с аппаратной поддержкой и программный (рис. входящей в состав ESX(i) любых редакций). iSCSI SAN может оказаться дешевле FC SAN. iSCSI Storage Area Network. Обратите внимание. бо′льшие задержки (при использовании дешевого 1 Гб Ethernet). В контексте iSCSI часто употребляется термин «инициатор». Для iSCSI актуально практически все. Инициатор iSCSI в более узком смысле – это контроллер. простота внедрения. – это плюсы iSCSI. Меньшая цена.

Однако для использования iSCSI в производственной среде . кроме самой СХД с поддержкой iSCSI. и предоставляют функционал iSCSI инициатора. Зависимые инициаторы требуют настройки сети такие же. А VMkernel через обычные сетевые контроллеры отдает эти пакеты в сеть. Плюсы программного инициатора – для его использования можно ничего дополнительно не приобретать или приобретать лишь дополнительные сетевые контроллеры. которые одновременно и являются сетевыми. 3. та запаковывает SCSI в IP. что каждый такой контроллер отображается одновременно и как сетевой. Иллюстрация разницы между вариантами инициатора iSCSI Источник: VMware В случае программной реализации гипервизор передает команды SCSI на вход службе программного инициатора iSCSI.15. то есть создание виртуальных сетевых интерфейсов VMkernel. не надо ничего – в составе ESX(i) есть программный инициатор. то есть серверу достаточно иметь обычные сетевые контроллеры. В случае промежуточной реализации у нас есть контроллеры. и как дисковый контроллер в интерфейсе ESX(i). подключенные к обычным коммутаторам. iSCI 163 Рис. настройка Discovery. Однако во множестве случаев производительности и обеспечиваемой скорости у программного iSCSI оказывается вполне достаточно. Но максимальная скорость может быть меньше. назначение их на соответствующие физические сетевые контроллеры. как и программный инициатор.SAN. В принципе. Отличие таких сетевых контроллеров от аппаратных инициаторов iSCSI – в том. а IP отдает стеку TCP/IP VMkernel. и возрастает нагрузка на процессоры сервера. для использования iSCSI с ESX(i).

как). и она их воспринимает одинаково. меньшая нагрузка на процессоры сервера. Минусы – его надо покупать. 8. то нужно настроить только его – указать ему собственный IP-адрес и IP-адреса СХД (iSCSI target). не отличающийся от FC HBA. 7. включаем Jumbo Frames. 3. при необходимости. для этого настраиваем Discovery и. а iSCSI HBA – в пакеты IP.5. В настройках NIC Teaming привязываем каждый интерфейс VMkernel из п. Настраиваем вКоммутатор. чтобы задействовать механизмы multipathing для программного инициатора iSCSI. Если речь идет о настройке аппаратного зависимого инициатора iSCSI. то привязывать к вКоммутатору необходимо именно те сетевые контроллеры. 3 к какому-то одному физическому сетевому контроллеру. которые являются еще и контроллерами iSCSI. То есть если у вас есть аппаратный инициатор. 4. Привязываем порты VMkernel к iSCSI Software Initiator (см. Самое для нас главное – в ESX(i) такой программный инициатор есть. Из соображений производительности их может быть и больше. Теперь подробнее. Но. аппаратный iSCSI HBA – это контроллер SCSI. Назначаем на вКоммутатор физические сетевые контроллеры. аутентификацию. для ОС прозрачно. . То. (При необходимости включаем использование Jumbo Frames на физическом сетевом оборудовании. 6. См. Как настроить программный инициатор или аппаратный зависимый iSCSI на ESX(i) Краткий план настройки программного инициатора iSCSI таков.) Включение Jumbo Frames является не обязательным.1. 3. ниже. крайне желательно хотя бы два (из обычных соображений отказоустойчивости). раздел про сеть – для задействования Jumbo Frames их придется создавать из командной строки. 2. Настраиваем подключение ESX(i) к системе хранения iSCSI. Включаем VMware iSCSI Software Initiator (только для чисто программного инициатора). 1. Добавляем порты VMkernel по числу физических сетевых контроллеров на этом виртуальном коммутаторе. Создаем хранилище VMFS. в отличие от FC HBA. что FC HBA оборачивает SCSI в пакеты fibre channel. С точки зрения ОС (здесь – ESX(i)). Плюсы аппаратного и зависимого инициаторов – потенциально бо′льшая производительность. Контроллеров больше одного необходимо для того. но рекомендуемым. 5. инициатор iSCSI может быть программный.164 Системы хранения данных и vSphere обычно оправдано организовать выделенную под iSCSI инфраструктуру IP – коммутаторы и сетевые контроллеры серверов.

Необходимая настройка виртуальной сети для программного инициатора iSCSI «Примерная» потому. Это значит. Примерная конфигурация показана на рис. Потому что интерфейсов VMkernel нужно несколько. а в сеть они попадают через сетевой стек VMkernel.17. Вернитесь на рис. Рис. Пример настройки сети на ESXi. чтобы не было единой точки отказа.16.15 – служба инициатора iSCSI формирует пакеты IP. что необходимо сделать.17. Выделены все порты VMkernel . 3.165 SAN. 3. что нам понадобится виртуальный сетевой контроллер VMkernel. Потому что физических сетевых интерфейсов лучше бы использовать хотя бы два. 3. Взгляните на рис. Рис. – это настроить сеть для работы iSCSI.16. 3. если вас интересуют балансировка нагрузки. что на этом же вКоммутаторе могут располагаться и любые другие группы портов. 3. iSCI Настройка сети для iSCSI Первое. Небольшой нюанс.

это все равно было бы плохой идеей.166 Системы хранения данных и vSphere Здесь вы видите пример настройки сети на ESX(i). уникальный идентификатор устройства iSCSI. даже если бы так делать было можно. Обратите внимание на строку «iSCSI Name» на рисунке выше. Это iSCSI qualified names (IQN). Формируется он автоматически. аналог WWN для Fibre Channel. Если я попытаюсь подключить к этому серверу ESX(i) хранилище iSCSI с IP-адресом 192.168.9 «Адресация SCSI». Если вдруг изменяем – тогда в наших интересах озаботиться его уникальностью в нашей инфраструктуре. Discovery бывают динамическими (иногда называемые Send Targets) и статическими. Для серверов ESXi существует небольшая особенность – программный инициатор iSCSI не будет задействовать для своей работы интерфейсы VMkernel с флажком «Management» в свойствах. чтобы доступ с сервера на iSCSI СХД не требовал маршрутизатора. Однако при необходимости реализовать и такую конфигурацию возможно. vmk5). Для этого перейдите Configuration ⇒ Storage Adapters ⇒ и выберите тот vmhba#.18). Эта операционная система использует три сетевые карты (в данном примере это интерфейсы vmk0. так как предполагал. через который собираемся выпускать трафик iSCSI. находящийся в той же подсети. Таким образом. vmk4.75. В случае ESX(i) IP-адрес мы задаем в свойствах интерфейса VMkernel. Обратите внимание. И привязал к его вКоммутатору сразу три физических сетевых контроллера. то через какой из этих трех интерфейсов гипервизор попытается обратиться на этот адрес? Ответ на этот вопрос прост. Следующий шаг – это настройка Discovery. не путать с Service Console). Какую из них выбрать. Однако подробности об именовании iSCSI ищите в разделе 3. Поэтому я и назвал его «VMkernel_iSCSI». Очевидно.* или другого. обычно это нам не нужно. так что под iSCSI следует всегда создавать выделенные интерфейсы VMkernel. который находится в группе iSCSI Software Adapter ⇒ нажмите Properties ⇒ кнопка Configure ⇒ установите флажок Enabled (рис. Впрочем. Сессии discovery – это часть протокола iSCSI. . Крайне желательно. После этого нажмите ОК. 3. Гипервизор представляет собой операционную систему (отдельную. Включение iSCSI инициатора и настройка Discovery Следующий шаг – необходимо включить службу программного инициатора iSCSI.1. она решает в соответствии с таблицей маршрутизации. Хотя мы можем его изменить. и в этой сети есть три интерфейса VMkernel. в случае iSCSI у каждого устройства есть несколько идентификаторов – IP-адрес (часто несколько) и iSCSI Name вида iqn. так как для трафика IP-СХД рекомендуется несколько выделенных сетевых контроллеров. возвращающая список target с системы хранения iSCSI. Для настройки маршрутизации для гипервизора существует специальная команда esxcfg-route. что в моем примере она выберет vmk4. что через него пойдет iSCSI-трафик.

доступ к которым для ESX(i) был отменен. но про нее чуть позже. iSCI Рис. Найденные LUN записываются на закладке Static Discovery.18. имя таргета. Не забудьте удалить из списка Static Discovery записи о LUN. не опрашивая систему хранения о других доступных. . используемый сетевой порт и. Нажимаем кнопку Add.167 SAN. В случае статического discovery ESX(i) пытается обратиться к конкретному LUN. Далее надо настроить аутентификацию. указываем IPадрес системы хранения iSCSI. найденные через Dynamic Discovery. Обратите внимание. Для настройки того или иного метода discovery надо зайти в свойства программного iSCSI HBA (Configuration ⇒ Storage Adapters) и перейти на закладку Dynamic Discovery или Static Discovery. доступных на ней. в случае статичного discovery. 3. LUN. и после discovery нам возвращается список LUN. Включение программного инициатора iSCSI В случае динамического мы указываем адрес системы хранения. ESX(i) автоматически помещает в Static Discovery для ускорения обращения к ним при следующих включениях.

Обычно в случае iSCSI это делается по его идентификатору (IQN или другому).19. Если все было сделано правильно. выделив HBA. На стороне системы хранения нам необходимо презентовать LUN серверу. что после изменения настроек HBA требуется пересканировать систему хранения. Настройки аутентификации CHAP Здесь настраиваем аутентификацию CHAP в соответствии с нашими требованиями. при задании таргета надо нажать кнопку CHAP – см. ESX(i) 4 поддерживает аутентификацию по протоколу CHAP. Кроме того. согласимся с этим. 3. 3. то попадем в окно указания расширенных настроек iSCSI (рис.19. Чтобы указать имя и пароль на стороне ESX(i). рис. в нижней части окна мы увидим доступные LUN. Теперь про аутентификацию. Рис.20).168 Системы хранения данных и vSphere После нажатия ОК появится окно с сообщением о том. 3. . в том числе взаимную. Если там же нажать кнопку Advanced.

169 SAN. эти контроллеры будут сетевыми. и ESX(i) сам разберется. Программный инициатор iSCSI – это служба.ru/ 2010/08/vsphere-41-iscsi-advanced-settings. у одной системы хранения iSCSI может быть (и обычно бывает) несколько контроллеров. 3. Для справки см.2. каждый со своим IP-адресом.20. 3. Надо добавить их все. Для доступа в сеть она использует виртуальные сетевые интерфейсы VMkernel. лишь если вы хорошо понимаете. iSCSI Multipathing А теперь пару слов про iSCSI multipathing для программного инициатора. ESX(i) может использовать multipathing между своими контроллерами.html. А раз речь идет про Ethernet (поверх которого передается iSCSI). iSCI Рис. Эти интерфейсы под- . Во-вторых. Во-первых. что эти несколько таргетов показывают на самом деле на одни и те же LUN. Расширенные настройки для iSCSI Здесь следует что-то изменять.5.vm4. Но есть один нюанс. что делаете. http://www. Обычно поменять какие-то из этих настроек советует поддержка VMware в случае возникновения каких-либо проблем.

В таком случае через разные контроллеры могут быть установлены соединения при обращении на разные LUN. выбирая каждый раз следующий vmnic.170 Системы хранения данных и vSphere ключены к вКоммутаторам. Последним шагом будет ассоциировать каждый интерфейс VMkernel с каким-то одним физическим сетевым интерфейсом – чтобы балансировка между виртуальными интерфейсами VMkernel означала и балансировку между физическими сетевыми контроллерами.21. 3. а к тем подключены несколько физических сетевых контроллеров.22). Для организации такой конфигурации multipathing нам необходимо на вКоммутатор назначить несколько физических интерфейсов и создать на нем же столько же портов VMkernel (напомню.21 приведен пример описанной мной конфигурации). что на рис. Затем следует сопоставить их один к одному. перенесите в группу Unused Adapters (рис. На вКоммутаторе несколько каналов во внешнюю сеть и несколько интерфейсов VMkernel (рис. 3. Но в силу логики работы алгоритмов балансировки нагрузки далеко не всегда трафик iSCSI будет балансироваться оптимальным образом. Для осуществления этого зайдите в свойства виртуального коммутатора. но только один интерфейс VMkernel.21). . что балансировать нагрузку сможет storage стек VMkernel между интерфейсами VMkernel. Рассмотрим два варианта: 1. то есть для каждого порта VMkernel указать свой vmnic как единственный активный. А вот во втором случае трафик iSCSI наверняка сможет задействовать несколько каналов во внешнюю сеть за счет того. Настройки сети для multipathing в случае программного инициатора iSCSI В первом случае multipathing может быть обеспечен только на уровне виртуального коммутатора. 3. Закладка NIC Teaming ⇒ флажок Override vSwitch failover order ⇒ все vmnic. 3. выберите группу портов с первым из интерфейсов VMkernel и нажмите Edit. На вКоммутаторе несколько каналов во внешнюю сеть. 2. Повторите этот шаг для каждого интерфейса VMkernel. кроме одного выбранного. не только на разные контроллеры СХД. то через разные физические сетевые контроллеры будет пересылаться трафик к разным IP-адресам системы хранения. Даже если вКоммутатор настроен на балансировку нагрузки по хэшу IP. Более тонкого разделения проводиться не будет. Рис.

Настройка NIC Teaming для портов VMkernel. Для моего примера это будут две команды: . идут через разные vmk# (и. что отличаются каналом (C#).171 SAN. используемых инициатором iSCSI Теперь необходимо выполнить настройку из командной строки через vShepre CLI: esxcli swiscsi nic add -n <port_name> -d <vmhba> Повторите для каждого интерфейса vmk#. Те пути. как следствие. После завершения настройки подключения к системе хранения iSCSI вы увидите несколько путей к каждому LUN. iSCI Рис. через разные vmnic). Эта настройка привязывает интерфейс VMkernel к программному инициатору iSCSI. 3.22.

VMFS. vmhba33:C0:T0:L2. То есть мы увидим пути вида: vmhba33:C0:T0:L0. С точки зрения производительности. если есть используемые в данный момент пути через эти интерфейсы VMkernel. – через несколько.6. vmhba33:C0:T0:L1. в первом случае. которая обеспечивает целостность данных. как настраивать Discovery и подключаться к iSCSI СХД. Virtual Machine File System Дисковые ресурсы. когда три LUN подключены через три таргета. 3. Последний шаг – задать настройку политики multipathing. Таким образом. Во втором случае.4. когда сервер работает с одним таргетом и тремя LUN на нем. к которым осуществляется блочный доступ. VMFS является кластерной файловой системой. Это означает. C модулем multipathing по умолчанию вам доступны политики Fixed. Вспомним физический адрес LUN. Таким образом. . Какие-то системы хранения могут презентованные LUN показывать как разные LUN одного таргета или как разные LUN разных таргетов. Программный iSCSI-инициатор ESX(i) устанавливает одно соединение на таргет. обладающая полезным под нужды виртуализации функционалом: кластерность. Обязательно читайте документацию вашей системы хранения и следуйте ее рекомендациям. лучшего все эти настройки делать перед тем. второй вариант может быть интереснее. можно командой esxcli swiscsi nic list --adapter vmhba33 Следующий нюанс – система хранения iSCSI может по-разному адресовать LUN. весь трафик iSCSI пойдет через один внешний интерфейс. Проверить.1). Эта команда не отработает.172 Системы хранения данных и vSphere esxcli swiscsi nic add -n vmk1 -d vmhba33 esxcli swiscsi nic add -n vmk3 -d vmhba33 Обратите внимание. vmhba33:C0:T1:L0. vmhba33:C0:T2:L0. какие vmknic назначены для iSCSI-инициатора. путь к нему вида vmhba#:C#:T#:L#. закрытая файловая система от VMware. Most Recently Used и RoundRobin (их описание доступно в разделе 3. что с отформатированным в эту файловую систему разделом могут работать одновременно несколько серверов. Или: vmhba33:C0:T0:L0. VMFS обладает системой блокировок. Это проприетарная. – а это локальные диски (или другие DAS) и LUN на системах хранения FC и iSCSI – ESX(i) может отформатировать в файловую систему VMFS.

23. на каком из LUN мы хотим создать VMFS. 3. практически идентичную тому. 3. Нам будут предложены только те. Оставляем вариант «Disk/LUN» (рис. VMFS является журналируемой файловой системой.23). минимальные накладные расходы – при размещении файла виртуального диска в разделе VMFS какого-то LUN мы получаем производительность. Создать раздел VMFS достаточно просто. потому что на одном LUN мы можем создать только один раздел VMFS (рис. Рис. на которых раздела VMFS еще не создано. как если бы этот же LUN отдавали ВМ как RDM. В разделе VMFS могут быть расположены файлы размером до 2 Тб. 3.24). Запустится мастер.VMFS. напрямую. кстати. Затем выбираем. Добавление хранилища VMFS . Virtual Machine File System 173 поддержка файлов больших размеров. Это. а не подмонтировать NFS. ограничение на размер одного диска ВМ – не больше 2 Тб минус 512 байт. то для этого идем Configuration ⇒ Storage ⇒ Add Storage. Если у нас есть видимые ESX(i)диски (LUN) и на каком-то из них мы хотим создать VMFS. По шагам: Мы хотим отформатировать в VMFS какой-то диск/LUN.

. По сути. Выбор LUN для создания раздела VMFS Обратите внимание: на этом этапе мы можем попасть в крупные неприятности. Поэтому очень важно наверняка знать адрес LUN. легкий в восприятии идентификатор – см.9 «Адресация SCSI». потому что в пустых незадействованных LUN в этом списке могут находиться LUN’ы с данными. Имеет смысл указать тип СХД. К счастью. Путь к LUN – так как из него можно понять. задачу. то данные гостевой ОС будут уничтожены. если LUN выделен под конкретные цели.174 Системы хранения данных и vSphere Рис. В этом имени также имеет смысл избегать пробелов и спецсимволов. будьте внимательны. это опять же сведет к минимуму вероятность ошибок в будущем. Если мы выберем такой LUN и создадим на нем VMFS. это метка тома. На следующем шаге нам покажут информацию о выбранном диске. Например. для каждого LUN мы можем указать произвольный. но подключенные как RDM. через какой контроллер ESX(i) этот LUN видит. 3. В ваших интересах сделать ее максимально информативной. которую мы затем будем видеть в интерфейсе vSphere Client. «fc_lun_db_ production». Идентификатором может служить номер LUN в первую очередь. раздел 3. Наконец. косвенным идентификатором может служить размер. имя хранилища. который мы создали под VMFS.24. Затем предложат ввести «Datastore Name». В общем.

Рекомендация простая – выбирайте такой размер блока. Virtual Machine File System 175 Рис. Какого размера будут диски ваших ВМ? А это зависит от задач и нагрузки. от этого зависит максимальный размер одного файла на этом разделе. рис. вы всегда будете оставлять вариант по умолчанию – и VMFS будет занимать все место на LUN. 300 Гб.VMFS. Думаю.25. например. в общем случае сказать нельзя. Также на этом шаге мастера вы можете указать размер создаваемого раздела – занимает ли он LUN целиком или только его часть.10) для вас может быть важно все или некоторые разделы VMFS создать с одинаковым размером блока – чтобы работал механизм VAAI. это вопрос планирования. чтобы диски ваших ВМ помещались. При таком блоке максимальный размер файла может быть 256 Гб. раздел 3. По умолчанию предлагается размер блока в 1 Мб. Это означает.1 и функции VAAI (см. 3. см. 3. Здесь мы указываем размер блока создаваемого VMFS. посвященном сайзингу. что в таком разделе VMFS не получится расположить виртуальный диск для ВМ (файл vmdk) размером.25. Некоторые соображения приведены в первой главе в разделе. . Выбор размера блока для создаваемого раздела VMFS Шаг Formatting – самый интересный. С появлением ESX(i) версии 4. Причин поступать по-другому я не вижу.

Технические особенности VMFS Если посмотреть свойства только что созданного хранилища VMFS.fbb. описание раздела. о том. VMFS UUID – уникальный идентификатор раздела VMFS. Volume Label – метка раздела VMFS. Если необходимо не удалять раздел. при операциях чтения-записи VMFS оперирует «субблоками» размером в 64 Кб. В этих метаданных хранится информация о самом разделе: Block Size – размер блока. . Как максимум метаданные могут занимать до 1200 Мб на разделе. Сами файлы метаданных расположены в корне раздела: . VMFS предлагает совместный доступ с нескольких серверов одновременно за счет блокировки на уровне файлов. Нажатие Remove для раздела VMFS именно удалит раздел и все данные на нем. что они существуют.sf – file descriptor system file. Информация об их блокировке записывается в метаданные. Volume Capacity – размер раздела. Number of Extents – количество расширений раздела VMFS (extent). что несколько сотен мегабайт на нем сразу заняты. он блокирует лишь принадлежащие ей файлы. Важный момент здесь в следующем. О том. Если вам нужно удалить раздел VMFS. . то мы увидим. . VMFS Version – версия VMFS. то есть на какие еще LUN распространен этот том VMFS.sf – file block system file. то это делается с помощью операции LUN Masking. . чем больше сам раздел. с какого сервера они открыты.pbc.sbc. Еще в метаданных хранится информация о файлах на разделе. . «metadata». какие блоки под них выделены.fdc. Заняты они под так называемые метаданные. Просмотреть эту информацию можно командой vmkfstools -P -h /vmfs/volumes/<метка тома VMFS> Обратите внимание. выполняемой на системе хранения или на сервере ESX(i).sf – sub-block system file. Метаданные раздела VMFS занимают тем больше.sf – volume header system file. о том. Когда сервер запускает какую-то ВМ. а сделать его недоступным конкретному серверу. то в этом поможет ссылка Remove. Несмотря на размер блока от мегабайта.sf – pointer block system file. расположенная рядом с описанной выше Add Storage.vh.176 Системы хранения данных и vSphere Обратите внимание.

И каждый раз. как создание виртуальной машины или шаблона. Делается это с помощью команды Reservation (блокировка) протокола SCSI 2. а если для каких-то из них это необходимо – стараться держать их на отдельных LUN от тех производственных ВМ. клонирование ВМ. В этом случае производительность данного LUN просто делится между этими ВМ. SCSI reservation повторился. Эти ВМ одновременно читают и пишут данные на одном и том же VMFS. Файлы изменений (*-delta. когда у какой-то ВМ надо увеличить размер файла-дельты. изменении размера файлов – а это происходит регулярно при работе ВМ со снимков состояния и если ее диски (файлы vmdk) находятся в формате thin. мы можем недополучить часть производительности LUN. Storage VMotion и миграция выключенной виртуальной машины на другое хранилище. и какое-то маленькое время (обычно ~10 миллисекунд) девять других серверов с этим LUN не работают. По данным VMware. установке метки времени последнего обращения/изменения. все работают на разных серверах. файл vmdk стало необходимо увеличить. и при средней нагрузке негативный эффект на производительность от этих блокировок нулевой. Вывод: лучше стараться избегать постоянной работы при существующих снимках состояния (snapshot) для производственных ВМ. удалении файла. которым особенно важна производительность дисковой подсистемы. их файлы расположены на одном хранилище VMFS. что файлы этой ВМ теперь открыты или закрыты. происходит SCSI reservation. когда на одном хранилище много ВМ. каждая в свои файлы.vmdk) снимков состояния растут блоками по 16 Мб. то для внесения изменений LUN отдается в монопольное пользование серверу. у всех диски растущие и эти ВМ работают на многих разных серверах. проанализировав соответствующий журнал. SCSI Reservation происходит при: включении и выключении ВМ – потому что в метаданных надо прописать. Затем vmdk-файл еще увеличился. добавление диска ВМ. потому что десятый вносит изменения в метаданные. создание снимков состояния. Но в граничных случаях. и они работают на разных серверах. для указания нового размера файла в метаданных раздела произошел SCSI reservation. И что может получиться: на одном VMFS расположен десяток ВМ. смене владельца файла. Это файл /var/log/vmkernel. у всех снимки состояния. создании файлов. с минимальными накладными расходами. Разово эта операция вообще нестрашна и нормальна. который вносит изменения.VMFS. Но если необходимо внести изменения в метаданные. увеличении раздела VMFS. Тонкие диски увеличиваются по одному блоку VMFS. Это такие операции. где мы можем отследить произошедший «reservation conflict»: . И так далее. Отследить потери производительности из-за регулярных блокировок мы можем. Virtual Machine File System 177 Вот у вас есть две ВМ. Мы записали внутрь ВМ еще сколько-то мегабайт.

тогда Grow нам не пригодится. Extent – это когда мы берем раздел VMFS и «натягиваем» его на еще один LUN. Также на VMFS есть так называемый «Heartbeat Region».26). Нам покажут список LUN (рис. Если обстоятельства сложились неудачно. Увеличение размера хранилища VMFS. когда места на этом VMFS хватать перестанет. где VMFS нет. блокировки файлов этим сервером считаются недействительными. чтобы его задействовать под VMFS. Тогда на нем не будет файлов-дисков ВМ (не влезут). Для преодоления данной проблемы есть два пути – использовать операцию Grow или Extent. 3.982 cpu0:1151)StorageMonitor: 196: vmhba1:0:3:0 status = 24/0 0x0 0x0 0x0 Apr 24 15:59:56 esx35-1 vmkernel: 5:14:57:04.1. VMFS Grow Если мы добавили место на LUN.047 cpu3:1041)WARNING: SCSI: 119: Failing I/O due to too many reservation conflicts Если вы столкнулись с ситуацией.050 cpu0:1161)StorageMonitor: 196: vmhba1:0:3:0 status = 24/0 0x0 0x0 0x0 Apr 24 15:59:57 esx35-1 vmkernel: 5:14:57:06.982 cpu3:1041)SCSI: vm 1041: 109: Sync CR at 16 Apr 24 15:59:56 mel-esx-02 vmkernel: 5:14:57:05. когда блокировки оказывают негативное влияние на работу дисковой подсистемы. тогда мы увеличиваем размер раздела VMFS за счет него. В этой области серверы периодически обновляют записи с целью сообщить о своей работоспособности. порядка 2 Гб. Если сервер вышел из строя или потерял связь с хранилищем и своевременно не обновил свою запись.939 cpu0:1083)StorageMonitor: 196: vmhba1:0:3:0 status = 24/0 0x0 0x0 0x0 Apr 24 15:59:53 esx35-1 vmkernel: 5:14:57:01. Grow и Extent При создании раздела VMFS мы указываем его размер. то идите Configuration ⇒ Storage ⇒ раздел VMFS с этого LUN ⇒ Properties ⇒ кнопка Increase.6. и в этом списке мы должны увидеть . а останутся только метаданные. где первый LUN будет небольшим. мы можем оказаться в ситуации. И блокировки SCSI не будут оказывать влияния на скорость работы виртуальных машин на прочих LUN. 3.178 Системы хранения данных и vSphere Apr 24 15:59:53 esx35-1 vmkernel: 5:14:57:01. можно попробовать следующую конфигурацию: Сделать расширение раздела (extent) из нескольких LUN. Если наша система хранения не позволяет нам увеличивать размер LUN. Grow – это когда у нас на том же LUN появилось еще свободное место.047 cpu3:1041)SCSI: vm 1041: 109: Sync CR at 0 Apr 24 15:59:57 esx35-1 vmkernel: 5:14:57:06.939 cpu0:1041)SCSI: vm 1041: 109: Sync CR at 64 Apr 24 15:59:56 esx35-1 vmkernel: 5:14:57:04.

на которых нет VMFS. Next – и все. Нам будет показан список LUN. а то и вообще LUN посторонних серверов при неправильном зонировании или маскировке.VMFS. VMFS Extent Один раздел VMFS может существовать сразу на нескольких LUN. когда вам нужен один раздел VMFS размером больше 2 Тб. И так далее – один VMFS может быть распространен на до 32 LUN. тех же 2 Тб размером. Например. В столбце Expandable для него должно быть «Yes» – это значит. Увеличение VMFS за счет свободного места того же LUN тот из них. то увидите. Однако даже если у вас есть VMFS размером 64 Тб. которые можно задействовать для увеличения выбранного раздела VMFS. Для добавления в существующий том VMFS еще одного LUN следует пройти Configuration ⇒ Storage ⇒ раздел VMFS. Вам может потребоваться такая конфигурация: когда вам надо увеличить размер раздела VMFS. В этом списке будут те LUN. а увеличение LUN (и последующий grow раздела) не возможно.26. Next. VMFS на котором хотим увеличить. что приведет к их уничтожению. который хотим увеличить ⇒ Properties ⇒ кнопка Increase. 3. если вы не имеете доступа к управлению SAN. Если VMFS размещен на одном LUN. А если такой VMFS расширить на второй LUN. среди них могут быть LUN. что ваш логически единый раздел VMFS стал размером 4 Тб. на нем есть не занятое под VMFS место. А ваши администраторы систем хранения не могут или не намерены увеличивать ранее созданные LUN. Выбираем его. задействованные как RDM. Virtual Machine File System 179 Рис. Будьте внимательны при вы- . максимальный размер одного файла (то есть диска ВМ) продолжает быть ограниченным 2 Тб. То есть мы можем расширить том VMFS на LUN с данными. его максимальный размер 2 Тб минус 512 байт. Обратите внимание: кроме пустых.

освободить этот LUN невозможно.27. После завершения мастера по выбору LUN для расширения размер раздела VMFS будет увеличен (рис.180 Системы хранения данных и vSphere боре. Только если удалить весь расширенный VMFS целиком. Если по ошибке или из-за сбоя выходит из строя именно первый LUN одного распре- . является усложнение администрирования SAN. До и после выполнения extent Обратите внимание: операция extent необратима. В случае grow у нас один VMFS занимает один LUN. что не всегда приемлемо. Недостатком extent. Даже если у нас всего 10 LUN. Все метаданные объединенного раздела VMFS хранятся на первом LUN. А в случае extent 10 VMFS могут занимать большее количество LUN. все равно вероятность ошибки и потери данных всего VMFS выше. Банально. Как вы понимаете. 3. Рис. но все они принадлежат одному VMFS. Если вы расширили VMFS на какой-то LUN. количество LUN больше – и повышается вероятность ошибки администратора SAN.27). это потребует перемещения файлов ВМ на другие хранилища. 3. 10 VMFS занимают 10 LUN. по сравнению с grow.

Затем вы увидите вопрос «как поступить с этим разделом VMFS?» (рис. ESX(i) 4 поддерживает уменьшение RDM. Для этого ESXi номер LUN может поменяться. для iSCSI).*. например: изменились какие-то настройки на стороне системы хранения и у какого-то LUN поменялся номер. Впрочем. мы теряем данные только с него. на котором он был создан. оказавшись в такой ситуации. Например. universally unique identifier) раздела VMFS и номер LUN. так как оно обрабатывается лишь гостевой ОС. А раз это реплика. Если же вы оказались в такой ситуации незапланированно. Если выходит из строя любой LUN. когда: ESX(i) обращается к клону раздела VMFS.2.6. Так вот. 3. Ситуация. Обратите внимание. при которой номер LUN отличается от номера. То есть. то ESX перестанет работать с этим VMFS – в списке Configuration ⇒ Storage вы его не увидите. 3. или у вас произошел какой-то программный сбой. в такой ситуации обратитесь к мастеру создания VMFS – Configuration ⇒ Storage ⇒ Add Storage. что видит реплику LUN. то мы теряем все данные на всем томе VMFS. может быть штатной. когда настроена репликация LUN или вы клонировали LUN вручную. RDM и vmdk. кроме первого. Доступ к клонированному разделу VMFS.VMFS. Virtual Machine File System 181 деленного VMFS. или к разделу VMFS с изменившимся номером LUN В метаданных VMFS хранятся уникальный идентификатор (UUID. 3. вероятность отказа именно LUN (а не отдельного диска или RAIDгруппы) мне видится крайне низкой – исключая человеческий фактор. Используется в случае. когда вы хотите подключить реплику LUN и получить к ней доступ. в случае сбоя основной площадки запустить . Обычно такое происходит. Вы должны увидеть проблемный LUN и в столбце VMFS Label – метку существующего (но не отображаемого) на нем раздела VMFS (рис. Варианты следующие: Keep the existing signature – подключить VMFS как есть. ESX(i) предполагает. Уменьшить vmdk можно при помощи VMware Converter. без изменений. вы подключили к ESX(i) снапшот LUN (здесь имеется в виду функция системы хранения «snapshot»). Если в силу каких-то причин изменился номер LUN (или имя iqn.29). ESX(i) 4 поддерживает увеличение VMFS. установленный на диски ESX(i) не загружается и вы загружаете сервер с флэшки с ESXi. то записывать что-то на нее означает разрушить целостность реплики.28). Уменьшить VMFS невозможно. записанного на разделе VMFS.

Изменений метаданных не происходит. потому что UUID у них совпадает. Восстановление доступа к разделу VMFS на LUN с изменившимся номером виртуальные машины на резервной площадке. Уничтожит все имеющиеся данные. и его реплику одновременно.182 Системы хранения данных и vSphere Рис. Обратите внимание. Assign a new signature – сгенерировать и записать новый UUID для этого VMFS. 3. Из командной строки эти операции возможны с помощью команды esxcfg-volumes. В таком случае выбор данного варианта будет недоступен. Однако не получится подключить к ESX(i) и исходный том. . При использовании –M раздел VMFS останется подмонтированным и после перезагрузки. из реплики. Все ВМ и шаблоны с этого хранилища придется заново добавить в иерархию vCenter (ESX(i)). Format the disk – заново создать VMFS на этом LUN.28. Вам пригодятся ключики –l для просмотра информации о разделах и –m или –M для их подмонтирования. Однажды подключенные таким образом разделы VMFS в дальнейшем будут подключаться к серверам и после их перезагрузок.

подключенном как RDM. Размер этого файла vmdk отображается равным объему RDM LUN (объему LUN 14 в моем примере). однако на самом деле он занимает 1–8 Мб (в зависимости от размера блока VMFS).30. И даже не одной. на LUN. 3. При таком подключении LUN гипервизор будет пропускать SCSI команды гостевой ОС прямо на него. форматируем его в VMFS и храним там файлы ВМ. который выполняет роль ссылки для открытия. например для диска с данными кластера Майкрософт может и должен использоваться как раз RDM. Однако мы можем какой-то LUN выделить напрямую одной ВМ. Восстановление доступа к разделу VMFS на LUN с изменившимся номером 3. . 3. Raw Device Mapping 183 Рис. – фактически же чтение и запись идут на сам LUN. Обычно – многих ВМ на одном VMFS.7. Raw Device Mapping RDM – это альтернатива VMFS.RDM. подключенный к двум виртуальным машинам сразу. Таким образом. См. RDM. В случае хранилища VMFS мы создаем на диске/LUN раздел.29. будет создана файловая система гостевой ОС (NTFS. к примеру). При создании RDM создается файл vmdk. рис.

вы хотите поднять кластер Майкрософт с переходом по отказу (MSCS/ MFC). Переносимый физический сервер использует LUN для хранения своих данных. и эта файловая система может быть знакома серверу резервного копирования. Чтобы добавить RDM к ВМ: зайдите в свойства виртуальной машины.184 Системы хранения данных и vSphere Рис. не заработает. хотя бы одним из узлов которого будет ВМ. Иллюстрация подключения RDM Источник: VMware RDM вам интересен в случае. В случае VMFS + vmdk такая схема. то файловую систему на нем создает гостевая ОС. Например. а прямо этот LUN подключить к перенесенному в ВМ серверу как RDM. и иногда VMFS + vmdk даже быстрее. . А если этот LUN подключен как RDM к виртуальной машине. разница в скорости доступа к одному и тому же LUN как к RDM или к файлу vmdk на нем различается на проценты. Вам нужно добавить Hard Disk. потому что сервер резервного копирования не сможет забрать данные с проприетарной файловой системы VMFS.30. В таком случае кворумным диском и диском с общими данными должен выступать RDM. Мы можем не копировать данные с этого LUN внутрь файла vmdk на каком-то VMFS. мы можем средствами системы хранения создать снапшот LUN и этот снапшот подключить к серверу резервного копирования. По данным VMware. на закладе Hardware нажмите Add. вы хотите использовать механизм снапшотов или какие-то другие функции на уровне системы хранения для данных виртуальных машин. если: происходит миграция физической инфраструктуры на виртуальную. Однако использование RDM не дает заметных изменений в скорости работы с дисковой подсистемой. 3. скорее всего. из политических соображений – хранение каких-то данных в проприетарном формате (VMFS + vmdk) противоречит корпоративным политикам или предписаниям регулирующих органов.

А если мы выберем SCSI (1:0). Select a Disk – выберите LUN из списка. обращайте внимание на адреса и номера LUN во избежание ошибок и потери данных. Однако если внутри ВМ у вас будет ПО. Скорее всего. Все изменения сразу пишутся на диск. если добавляемый RDM – не первый диск этой ВМ). Невозможно как RDM подключить раздел – только LUN целиком. что при включении ВМ именно для этого ее диска создается файл дельты. Пригодится для кластера MSCS/ MFC в варианте cluster-across-boxes и physical-to-virtual. на каком хранилище VMFS будет располагаться файл виртуального диска (vmdk). В этом списке только те LUN. явно не требует использования physical RDM. Virtual разрешает перехватывать и изменять команды SCSI. под которую создается RDM. вариант по умолчанию вас устроит. .RDM. SCSI (0:1) означает. Если он стоит. Select Datastore – здесь вы выбираете. Если RDM Virtual. которому требуются прямой доступ на диск и работа с физическими характеристиками системы хранения. как файл виртуального диска. Важно! Среди них могут быть уже задействованные как RDM с другими ВМ. Дополнительные настройки в режиме Independent: • Persistent означает монолитный диск. если задача. второй вариант означает. то с ней можно осуществлять большинство операций типа VMotion. чтобы отдаваемый как RDM LUN был виден всем серверам (виден с точки зрения zoning и masking). Если к ВМ подключен RDM. являющийся ссылкой на этот LUN. к которому не применяются снимки состояния (snapshot). Raw Device Mapping 185 Device Type – выберите Raw Device Mapping. что в ВМ будет добавлен и второй контроллер SCSI – это часто нам надо для MSCS/MFC (первый SCSI-контроллер с номером 0 обычно уже существует. В частности. То есть позволяет RDM LUN использовать так же. Advanced Options – здесь мы. После выключения ВМ эта дельта отбрасывается. • Nonpersistent означает. Physical RDM дает прямой доступ к LUN. что диск будет подключен на первый SCSI ID контроллера 0. Также для VMotion необходимо. как и для файлов виртуальных дисков. то диск будет подключен как ID 0 контроллера 1. в который записываются все изменения. RDM бывает двух типов: Physical означает. на которых нет VMFS. С точки зрения использования. Физические характеристики диска (LUN) будут скрыты. что гипервизор подавляющее большинство команд SCSI пропускает до LUN без изменений. то мы можем поставить флажок Independent. Virtual RDM не препятствует снятию снимков состояния (средствами ESX(i)) и позволяет клонировать и создавать шаблон из ВМ. Compatibility Mode – тип RDM-подключения. указываем адрес SCSI добавляемого диска с точки зрения ВМ. Storage VMotion и др. то к этому диску ВМ не будут создаваться снимки состояния (snapshot). То есть диск в режиме nonpersistent автоматически возвращается в исходное состояние после выключения ВМ. physical RDM – ваш выбор. Выбирайте Virtual. о нем чуть ниже.

что означает возможность сгенерировать для каждой ВМ уникальный WWN.5xxxxxxxxxxx. Только доступ к этим настройкам осуществляется из другого места – зайдите в свойства ВМ..8. для представления оговоренного качества обслуживания появилась эффективная и простая в использовании функция SIOC (доступна не для всех лицензий vSphere).vmdk С помощью этой команды вы создадите файл-vmdk с именем VM1_rdm.. vmdk. Иногда ESX(i) не позволяет подключить LUN как RDM. который будет являться ссылкой на LUN/диск с идентификатором naa. описывающий. когда LUN подключен к локальному контроллеру. Однако если у виртуальной машины по умолчанию изменено значение настройки SCSI Bus Sharing (это настройка виртуального контроллера SCSI). eui.186 Системы хранения данных и vSphere Управлять путями к RDM LUN можно точно так же. Обратите внимание. Подключенный к виртуальной машине RDM LUN не является препятствием для VMotion. Причин тому несколько: уникальным WWN помечается только трафик к RDM LUN. улучшения производительности для отдельных виртуальных машин путем индивидуальной настройки кеширования на уровне СХД. чтобы отделить трафик одной ВМ от всего остального по ее уникальному WWN.5xxxxxxxxxxx VM1_rdm. 3. то тогда VMotion для нее будет невозможен. предоставления определенного качества обслуживания для отдельных ВМ. . Обычно это происходит. Тогда может выручить командная строка vmkfstools -r /vmfs/devices/disks/naa. Идентификатор устройства (вида naa. который так и так презентован одной (за исключением кластерных конфигураций) ВМ. На практике же я вижу данную функцию малоиспользуемой. vpx. как к LUN с VMFS. Теоретически эта функция пригодится нам для: анализа нагрузки на SAN со стороны отдельной ВМ. где использующая LUN виртуальная машина может оказаться. осуществления зонирования и презентования LUN для отдельных ВМ. ESX(i) поддерживает NPIV. Затем следует подключить этот файл-vmdk к виртуальной машине через Add HDD ⇒ Use Existing vmdk. эти LUN все равно должны быть доступны (с точки зрения зонирования и презентования) каждому серверу ESX(i). если виртуальная машина является узлом кластера Майкрософт и узлы этого кластера запущены на разных физических серверах.) можно посмотреть через клиент vSphere: Configuration ⇒ Storage Adapters ⇒ выбираем нужный контроллер ⇒ в нижней части экрана смотрим на доступные через него диски. выделите ее диск RDM и нажмите кнопку Manage Path. как один порт FC HBA может регистрировать несколько WWN на коммутаторах FC. NPIV NPIV – это стандарт. RDM LUN подключается к контроллеру SCSI с таким значением настройки SCSI Bus Sharing.

NPIV – это указание гипервизору. ее обращения к RDM LUN исходят от WWN сервера.31). Чтобы ESX(i) позволил настраивать NPIV для виртуальных машин. 3. 3. Таким образом. на вкладке Options (рис. Однако два применения NPIV мне кажутся более оправданными: если SIOC мы не можем использовать (например потому что наша лицензия этого не позволяет). то без настроенного NPIV для ВМ с RDM нам сложно массово сопоставить виртуальные машины и прокинутые как RDM LUN с СХД. если мы используем RDM.187 NPIV для виртуальной машины от включения NPIV не меняется ничего. какой WWN подставлять в соответствующие обращения на СХД. чтобы HBA и коммутаторы FC поддерживали NPIV. Рис. Настройка NPIV . Сама настройка осуществляется в свойствах конкретной ВМ. Если для ВМ не указан свой уникальный WWN. так и продолжает. необходимо. мы можем приоритезировать трафик некоторых виртуальных машин. то некоторые FC HBA позволят нам указать приоритет для трафика с тем или иным WWN. Как ВМ работала с локальным SCSI-контроллером.31.

Найти эти идентификаторы можно в графическом интерфейсе и в командной строке. сгенерированное для LUN самим ESX(i). • eui – для iSCSI может использоваться имя стандарта eui. как MAC-адреса). • t10 – еще один стандарт именования.188 Системы хранения данных и vSphere ВМ с включенным NPIV можно мигрировать с помощью VMotion. это имя не должно меняться. которые не представились именем по одному из стандартов naa/t10/iqn/eui. • iqn – для iSCSI используются имена стандартов iqn. В графическом интерфейсе пройдите на закладку Storage Views для сервера и выберите в выпадающем меню Show all SCSI Volumes (LUNs) (рис.. чаще CD-ROM. • mpx – для тех устройств. Есть еще некоторые мелкие нюансы. Такое имя всегда начинается со строки t10. идентификатор eui уникален глобально. Один таргет для разных ESX(i) может показываться под разными номерами. на стороне СХД или в командной строке сервера ESX(i). Вы увидите несколько столбцов с идентификаторами LUN: Name – это имя. однако. • T# – номер SCSI target. Знание имени LUN пригодится вам для каких-либо настроек. 3. Таким именем обычно представляются FibreChannel-устройства.. Runtime name – активный путь к LUN вида vmhba#:C#:T#:L#. и они могут меняться после перезагрузок. • L# – номер LUN. но их имеет смысл уточнять уже в документе Fibre Channel SAN Configuration Guide. В отличие от naa и t10. сообщаемое системой хранения. • C# – номер канала. Как и naa с t10. Увидеть их можно. . Здесь: • vmhba# – физически дисковый контроллер сервера.32). Обычно одного из следующих форматов: • naa – Network Addressing Authority id. некоторые системы хранения используют его. например. Эти имена не являются уникальными глобально. Такое имя всегда начинается со строки naa.9. пройдя Configuration ⇒ Storage ⇒ кнопка Devices. но нельзя с помощью Storage VMotion. ESX(i) дает имя mpx (от VMware multipath X). Адресация SCSI Для каждого LUN существуют несколько идентификаторов. формат именования SCSIустройств. Обычно такие имена присваиваются локальным устройствам. 3. Для удобства его можно поменять на произвольное. Identifier – это имя LUN. идентификатор IQN не обязан быть уникальным глобально (naa и t10 уникальны глобально. Программный iSCSI инициатор использует разные номера каналов для отображения разных путей к LUN. Сообщается системой хранения. однажды настроенное на системе хранения iSCSI. Номер таргета определяется сервером и может поменяться в случае изменений в настройках видимости таргетов сервером.

Данные о дисках.33). 3. полученные из командной строки . Закладка Storage Views Из командной строки можно выполнить команду ls -l /vmfs/devices/disks/ и увидеть диски. Рис.32. 3.189 Адресация SCSI Рис. доступные с этого сервера (рис.33. 3.

3.34. Extent или grow для хранилища VMFS. Указание произвольного имени для LUN Теперь это имя будет фигурировать в таких мастерах. Например. Однако есть способ упростить идентификацию LUN. рис. Пройдите Configuration ⇒ Storage Adapters ⇒ выделите контроллер ⇒ в нижней части окна отобразятся LUN. Это простой способ связать имя VMFS и идентификатор (типа naa) LUN. см. 3. . Рис.35.34). то можно будет задать произвольное имя (рис. Если кликнуть два раза в столбце Name. подключение LUN к ВМ как RDM. как: создание хранилища VMFS. 3. то в буфер обмена скопируется информация об этом разделе.190 Системы хранения данных и vSphere Также если перейти в Configuration ⇒ Storage ⇒ и в контекстном меню хранилища выбрать Copy to Clipboard.

Интеграция и делегирование 191 Рис.1 VMware реализовала поддержку так называемых vSphere API for Array Integration. поддерживающей этот интерфейс. VAAI. 3. Мастер добавления RDM к виртуальной машине Теперь не ошибиться при выборе диска в подобных операциях намного проще. Интеграция и делегирование некоторых операций системам хранения данных В ESX(i) версии 4. VAAI. что если ваши серверы работают с системой хранения.35. Суть этой технологии – в том. то некоторые операции серверы могут не выполнять сами. программных интерфейсов для интеграции с системами хранения. а передать работу на СХД. 3.vSphere API for Array Integration. . vSphere API for Array Integration.10.

использующих «тонкие» диски. многократная запись одинакового фрагмента данных – поможет при обнулении виртуальных дисков. Рис. которые получат выигрыш от использования VAAI: Storage vMotion. а также на процессоры сервера. Перечислим операции vSphere. ускорение работы виртуальных машин. через сервер. . развертывание ВМ из шаблона и клонирование ВМ. связанных с копированием. ускорение создания «предобнуленных». 3. блокировка отдельной области данных – поможет снизить вероятность того. а целевой – thin.36). eagerzeroedthick-дисков – они необходимы для защиты виртуальных машин при помощи VMware Fault Tolerance или Microsoft Failover Cluster. Определить поддержку VAAI со стороны системы хранения можно в интерфейсе клиента vSphere (см. ESX(i) не сможет использовать VAAI при копировании данных между хранилищами с блоками разного размера. В некоторых случаях возможны 10–20-кратное ускорение операций и значительное сокращение нагрузки на канал между системой хранения и сервером.192 Системы хранения данных и vSphere Такими атомарными операциями являются: создание полной копии файла – поможет при операциях vSphere. если исходный vmdk типа eagerzeroedthick. что блокировки метаданных раздела VMFS окажут негативное влияние на производительность. Информация о поддержке VAAI в интерфейсе vSphere Есть определенные ограничения для использования этого механизма: на момент написания VAAI не были доступны для NFS. если содержимое RDM LUN копируется не на RDM LUN. thin provisioning. В таком случае копирование будет осуществлено по старинке.36. рис. 3.

возможны лишь между LUN одной системы хранения. чтобы версия VMFS была максимальной. принадлежат разным системам хранения. если ваша инфрастуктура мигрировала на версию 4. Все операции. VAAI. доступные через VAAI. . Хранилища VMFS с extent поддерживаются также.1 с какой-то из предыдущих версий.vSphere API for Array Integration. между которыми осуществляется операция. лишь если все составляющие их LUN принадлежат одной СХД. то потребуется обновить (то есть пересоздать) разделы VMFS. с поддержкой VAAI. Интеграция и делегирование 193 если LUN.

Расширенные настройки.1. 4. то увидите список разнообразных расширенных настроек ESX(i) (рис. Рис. Как правило. в назначении которых вы уверены.1. Небольшая часть этих настроек описана в документации. рекомендации по их изменению вам может дать поддержка VMware как средство решения каких-то проблем. 4.1).com). Или какая-то статья в базе знаний VMware (http://kb.vmware.Глава 4. безопасность. Расширенные настройки (Advanced settings) Если вы пройдете Configuration ⇒ Advanced Settings для Software. . и только те из них. профили настроек 4. Расширенные настройки (Advanced Settings) сервера ESX(i) Изменять эти настройки нужно очень аккуратно.

И в общем – что нужно иметь в виду при разговоре о безопасности в контексте vSphere.195 Безопасность Например: Disk. в документации неплохо описаны расширенные настройки для iSCSI.2). и в частности – . единственные. Они. 15. в виртуальной инфраструктуре безопасность очень важна. 4. который мы используем. указав Disk.MaxLun – в этом параметре мы указываем максимальный номер LUN.2. до которого ESX(i) опрашивает систему хранения при операции rescan. например. Безопасность Как и везде.2. В частности. MaxLun = 16. В этом разделе поговорим про разные аспекты безопасности. которые доступны в другом месте интерфейса (рис. кстати. Расширенные настройки (Advanced Settings) для программного инициатора iSCSI 4. Если максимальный номер LUN. то. мы сократим время rescan. Рис. 4.

Общие соображения безопасности Здесь мне кажется оправданным дать представление об отличиях виртуальной инфраструктуры с точки зрения безопасности. Чтобы они начали работать. Изнутри одной ВМ нет способа получить доступ внутрь другой через гипервизор. потребуется в явном виде предпринять ряд действий. Кроме того. так как трафик между виртуальными машинами одного сервера не покидает пределов этого сервера и не доходит до физической сети. виртуальная сеть на ESX(i). их совместная работа не ухудшает ситуацию с безопасностью. C его помощью приложение из одной ВМ может получать доступ к другим ВМ на этом ESX(i) через гипервизор. запустить его и настроить. – антивирусы. Например. Гипервизор ESX и ESXi. системы хранения.2. так как захват гипервизора позволит злоумышленнику перехваты- . про системы раздачи прав. VMware предлагает свое решение межсетевого экрана для ВМ – vShield Zones. Подход к обеспечению безопасности ВМ (гостевых ОС и приложений) такой же. которые реализованы на ESX(i) и vCenter. VMkernel).1. безопасность. Несмотря на то что несколько ВМ работают на одном сервере. Использование этих API требует четкого понимания механизмов работы гипервизора и целесообразности включения в эту работу. которые имеют отношение к безопасности. Скомпрометированная виртуальная машина может перемещаться между серверами и компрометировать виртуальные машины на других серверах. сетевые экраны и прочее. VMkernel. уровень виртуальных машин. Также VMware предлагает набор программных интерфейсов (API) под названием VMSafe. как-то: установить соответствующее ПО или Appliance. кроме специализированных API VMsafe. ESX Service Console. vCenter Server. подход к защите которых различается: уровень виртуализации (гипервизор. который есть у ESX. которая будет сканировать память всех прочих ВМ на этом сервере. В каких-то продуктах могут быть реализованы и другие полезные функции. Вопрос безопасности гипервизора достаточно важен. Однако не все из привычных средств применимы – аппаратные межсетевые экраны малоэффективны. как и при развертывании тех же ОС и приложений на физической инфраструктуре. Обратите внимание. профили настроек про брандмауэр. По умолчанию эти API не используются никем. Виртуальные машины.196 Расширенные настройки. мы можем иметь одну ВМ с антивирусом. как-то перераспределяют его память. есть достаточное количество средств обеспечения безопасности от других производителей. 4. про настройки там и здесь. например сканирование выключенных ВМ. Естественно будет выделить несколько уровней виртуальной инфраструктуры.

то имеет смысл обратиться к сторонним производителям средств безопасности. Если вопрос безопасности стоит остро. таковых было известно очень мало) и Service Console. сегодня невозможно использовать большинство аппаратных средств обеспечения безопасности. Про настройку этого брандмауэра я расскажу позднее. Сеть для VMotion. даже обращения к ОЗУ. сеть для трафика iSCSI и NFS желательно выделять в отдельные физические сети или VLAN. который имеет смысл настраивать на блокирование всех незадействованных Service Console портов. эту vMA несложно настроить на сбор файлов журналов с серверов ESX(i). найденные в VMkernel (впрочем. Обратите внимание. Это и данные сетевых и дисковых контроллеров. Установка обновления от Red Hat (если она вообще получится) может заменить некоторые библиотеки. закрывающие уязвимости. для Fault Tolerance. полезным шагом является настройка централизованного журналирования. работающих внутри ВМ. Service Console – управляющий компонент ESX. под угрозой доступность виртуальных машин. О нем буду рассказывать в последней главе. и для безопасности Service Console. так как применение их для гипервизоров требует реализации специфичных возможностей и специальных драйверов. чем для традиционных операционных систем. теоретически. Плюс к тому в силу повышающегося процента консолидации компрометация гипервизора влияет на все большее количество виртуальных машин. Своевременная установка обновлений – важная часть обеспечения безопасности. Так вот. а не у Red Hat. VMware регулярно выпускает обновления. Управление выполняется из командной строки. К сожалению. Обратите внимание: обновления для Service Console надо получать у VMware. Собой представляет Red Hat Enterprise Linux 5. Зато гипервизор является узкоспециализированной операционной системой. работающих на этом сервере.Безопасность 197 вать данные абсолютно незаметно для традиционных средств защиты. Это ВМ с Linux. как следствие – поверхность атаки значительно меньше. Разумеется. Также в составе Service Console есть брандмауэр. VMware предлагает специальный компонент – VMware Update Manager. Например. что вредно и для нормальной работы. Из средств внутренней защиты присутствуют только брандмауэр (на ESX) и система разграничения прав. и. который дает возможность устанавливать обновления в автоматическом режиме на серверы ESX(i). C точки зрения безопасности. VMware предлагает vMA – vSphere Management Appliance. в котором оставили в основном только необходимые для ESX компоненты. внутри которой установлены необходимые для управления vSphere компоненты. . В простых случаях безопасность гипервизора обеспечивается прежде всего изоляцией его сети. в чьих активах уже есть специализированные программные продукты для ESX(i). Для обеспечения безопасности Service Console рекомендуется ее интерфейсы опять же помещать в изолированные сети. например.

Данные отличия вытекают из особенностей эксплуатации вКомутаторов – для них не предполагается прямого соединения между собой. что системы хранения iSCSI и NFS могут быть подключены по сети сразу к виртуальной машине. Например. настройка межсетевого экрана и антивирус. Он защищает интерфейсы Service Console. В таком случае крайне желательным является жесткое разграничение прав. Для полноты картины стоит упомянуть о том. поэтому Spanning tree и не нужен. с их стороны угроз безопасности хранилищ нет. Если эти настройки вас устраивают. Брандмауэр ESX В состав ESX входит брандмауэр. какие порты и направления им соответствуют. что к виртуальным машинам и к интерфейсам VMkernel он отношения не имеет.3). Более глубокую настройку брандмауэра можно выполнить из командной строки. для просмотра текущей информации о настройках . MAC-адреса ВМ им сообщает гипервизор. профили настроек VMware vCenter – это приложение для Windows. не vSphere CLI. в первую очередь из группы настроек «Security».2. и анализировать трафик нет нужды. не устанавливают соответствие MACадресов и портов путем анализа трафика и т. Виртуальные коммутаторы VMware имеют некоторые отличия от коммутаторов физических в силу своей природы. безопасность. Всем этим надо пользоваться. О механизме разграничения прав в vCenter вскоре расскажу. Настраивать его можно из графического интерфейса и из командной строки. Безопасность хранилищ для ВМ в основном сводится к правильному зонированию и маскировке LUN для серверов ESX(i).198 Расширенные настройки. генерирующий эти MAC-адреса для ВМ. Вывод: с сетевой безопасностью нет особо усложняющих работу нюансов. Итак. Это означает. не через гипервизор. Так как сами ВМ не знают о физическом хранилище ничего (у ВМ нет доступа к HBA/iSCSI инициатору/клиенту NFS).2. Здесь вы увидите описанные для брандмауэра службы. Но стандартные для таких задач – это опять же установка обновлений. то есть к vCenter через клиент vSphere. вКоммутаторы не поддерживают Spanning tree. д. Возможно. просто расставляя флажки. 4. надо знать и понимать важные настройки вКоммутаторов. что виртуальная машина может получить доступ к дисковому контроллеру с помощью функции VMDirectPath. 4. у вас доступ к управлению виртуальной инфраструктурой. Но такие конфигурации уже не связаны с вопросом безопасности гипервизора и его служб. Каких-то специальных средств обеспечения безопасности для него не существует. помещение vCenter в изолированную сеть. Разумеется. то разрешить работу в указанных направлениях по указанным портам можно. Хранилища. и о том. Виртуальные сети. Для настройки из графического интерфейса пройдите в Configuration ⇒ Security Profile ⇒ кнопка Properties (рис. основанный на сетевом экране iptables. Притом эти команды актуальны только для локальной командной строки ESX. будут иметь несколько людей.

log.3. доступ к которым открыт. В самом низу вывода команды esxcfg-firewall –q будут показаны службы. Варианты этой команды: esxcfg-firewall –q > tempFile В этом случае настройки брандмауэра будут записаны в файл с именем tempFile. Настройки брандмауэра Service Console из графического интерфейса брандмауэра в локальной командной строке или в сессии SSH выполните команду esxcfg-firewall –q. Список служб.Безопасность 199 Рис. esxcfg-firewall –q | less Тогда вывод команды будет происходить на экран постранично. определения которых заданы для брандмауэра. Нажатием «q» можно прекратить просмотр. где их удобно можно будет проанализировать. 4. Выполнение команды esxcfg-firewall без параметров покажет страницу помощи. Файл журнала для брандмауэра – /var/log/vmware/esxcfg-firewall. можно увидеть командой .

что созданный вручную файл не будет перезаписываться при установке обновлений на ESX. Самое первое.2. безопасность. у вас вряд ли будет много. 4. Вам необходимо ввести имя пользователя и пароль. Или вы запустили клиент SSH типа PuTTY. то домен укажите не в виде. А какие порты соответствуют какому имени службы. начиная разговор про раздачу прав. . Тогда учетные записи серверов будут созданы в контейнере vsphere/esxi. рискну предположить. начиная с версии 4. «vm4. вы запускаете vSphere Client. Из командной строки – в основном в случае возникновения каких-то проблем. а затем работать с сервером под его управлением без дополнительной авторизации. В выпадающем меню выбрать метод аутентификации Active Directory. – это о том. Для реализации этой возможности необходимо пройти в настройки сервера – вкладка Configuration ⇒ Authentication Services. Без дополнительных телодвижений авторизовываться вы будете пользователем Service Console (или сокращенного Linux в случае ESXi). – работать с ESX(i) напрямую (в командной строке или клиентом) придется мало. добавляя службы или меняя соответствующие им порты. Этот список позволяет вам открывать порты не по номерам. нежели локальную командную строку. Если вы хотите разместить записи серверов ESX(i) не в корневом контейнере AD.ru/vsphere/esxi». затем указать домен. «vm4. Итак. Притом для большинства манипуляций из командной строки VMware рекомендует применять vSphere CLI/Power CLI. Однако. и вам также необходимо авторизоваться. что хочу сказать.200 Расширенные настройки.3. которые выполняются разово. в сервере ESX(i) очень легко настроить авторизацию учетными записями Active Directory.xml. – это настоятельная рекомендация VMware. можно в файле etc/vmware/firewall/services. в том числе через Active Directory Первое. Вариантов два – на ESX(i) или vCenter. Это может быть удобнее тем. Или для специфических настроек. например. Таких проблем. профили настроек esxcfg-firewall –s Редактировать этот список. Разберем первый вариант. А эти средства позволяют авторизоваться на vCenter. а по имени службы – это может быть удобнее. например. вводите IP-адрес или имя сервера ESX(i). для описания служб и открытых портов можно создать собственный файл xml с произвольным именем в каталоге etc/vmware/firewall/. в этом файле как раз и указано.1. о чем стоит сказать. Клиентом напрямую следует подключаться только в том случае. не решаемых другими путями. Аутентификация на серверах ESX(i). да и просто это логично и удобно. если недоступен vCenter.ru». Кроме того. а в виде. куда мы обращаемся.

прав). Если вариант по умолчанию вас не устраивает. Рис.4. подключившись напрямую к серверу ESX(i). Обратите внимание на то.4. Настройки привилегий на vCenter . Там вы увидите. 4. рис. Здесь вы видите список привилегий (privileges. 4. включенных в роль (role) Administrator. перейдите на вкладку Permissions.2. что данную настройку можно тиражировать между серверами при помощи механизма Host Profiles.201 Безопасность Теперь.4. то в контекстном меню сервера выберите пункт Add Permissions – и у вас будет возможность выдать произвольные привилегии произвольному доменному пользователю или группе. Использовать доменного пользователя с таким образом назначенными привилегиями можно при обращении на этот сервер ESX(i) при помощи клиента vSphere или по SSH. Контроль доступа. раздача прав при работе через vCenter vCenter предлагает вам достаточно гибкую систему раздачи прав. 4. Что она собой представляет – см. что доменной группе «ESX Admins» выданы все права на данный сервер – таковы настройки по умолчанию.

Таким образом. в который входит сервер vCenter (если он в домен входит). такие как «Создать».5. Это. Создаем этого пользователя/группу. На рисунке справа вы видите привилегии для виртуальных машин. на котором установлен vCenter. рис. кстати. настройки по умолчанию – группа локальных администраторов на сервере vCenter имеет все права на всю иерархию. если они еще не существуют. Для этого проходим Home ⇒ Administration ⇒ Roles. профили настроек Привилегия – это право на атомарное действие.5. Затем: • в контекстном меню пустого места выбираем пункт Add для создания новой роли с нуля. порядок действий для выдачи каких-то прав пользователю или группе следующий: 1. . 4. то есть разрешенных действий. Роль можно дать пользователю или группе на какой-то уровень иерархии vCenter – см. Набор каких-то привилегий называется ролью. на какой уровень иерархии и какому пользователю назначена выбранная роль Здесь вы видите. Рис. созданными на сервере. он пользуется: локальными пользователями и группами Windows. если он входит в домен. 2. Они могут быть локальными в Windows vCenter или доменными. Роль – это конкретный набор привилегий. Информация о том. У vCenter нет собственной БД пользователей. здесь эта роль выдана пользователю MikhailMikheev на пул ресурсов под названием «View».202 Расширенные настройки. что роль Administrator (слева) дана группе Administrators на уровне объекта Datacenters (самом верхнем уровне иерархии vCenter). доменными пользователями и группами того домена. Кроме того. 4. Создаем роль. «Создать снимок состояния (snapshot)» и др. безопасность. «Удалить».

• Datastore – для раздачи прав на хранилища. • VMs and Templates – на ВМ. притом эта роль назначена группе на уровне «vcenter4» (то есть в корне иерархии vCenter. пулы ресурсов и др.5. Посмотрите на рис. то мы увидим информацию о том. Если вы вернетесь к рис. каталоги с серверами. вызываем для нее контекстное меню и выбираем Edit. В данном примере мы видим. 4. Если перейти на закладку Permissions. вызываем контекстное меню и выбираем Add Permissions (рис. у меня vcenter4 – это имя машины с установленным vCenter). что группа Administrators имеет права роли Administrator. группе «Typical_VMs_Admins» назначена роль «Resource pool administrator (sample)» на уровне «vm4ru» (в данном примере это название объекта Datacenter. Теперь вы хотите дать некие права группе или пользователю на объект в иерархии. содержащего все серверы и ВМ). кто и какие права имеет сейчас на выбранный объект. Кроме того. Если хотим поменять созданную роль.6. то увидите. Идем Home ⇒ Inventory и выбираем: • Hosts and Clusters для раздачи прав на видимые в этой иерархии объекты – кластеры. Просмотр разрешений для выбранного объекта Здесь вы видите каталоги для ВМ (они голубого цвета и видны только в режиме «VMs and Templates»). Оставаясь на закладке Permissions этого объекта. 4. как посмотреть обратную связь – какая роль кому и на какой объект назначена.. • Networking – для раздачи прав на вКоммутаторы. . Обратите внимание. серверы.6. В любом случае флажками отмечаем все необходимые привилегии.7). 3. шаблоны и каталоги с этими объектами. Рис. 4.203 Безопасность • в контекстном меню существующей роли выбираем пункт Clone для создания копии существующей роли. 4.

кроме тех. В своих примерах я дал пользователю «MikhailMikheev» (созданному мною в Windows. то ему доступны события только этих двух объектов. рис. которую хотите им дать. на которые имеет права. Самое важное: если пользователю выданы разные права на разных уровнях иерархии vCenter. Если теперь обратиться клиентом vSphere от имени этого пользователя. рис. то результирующими для какого-то объекта являются первые встреченные снизу вверх – см. Если он просматривает списки событий (Events). безопасность. – то есть двух ВМ. и далее.9. 4. и далее. затем в правой части из выпадающего меню выбрать роль. Пользователь не видит других объектов. 4. Далее немного правил применения прав. Желаемая роль к этому моменту должна быть создана. но не на ветвь его подобъектов. то увидим следующую картину – см. . Назначение роли на каталог с ВМ В открывшемся окне нажатием кнопки Add вы можете выбрать пользователей и группы.7.204 Расширенные настройки. Обратите внимание на флажок Propagate to Child Objects (применять к дочерним объектам). Если он не стоит. недоступно управление лицензиями. делается это в меню Home ⇒ Administration ⇒ Roles. Ему недоступно назначение ролей.8. то права выдаются только на объект (каталог Project_X_VMs в моем примере). на которой установлен vCenter) роль VMs_Admin (которую я сам создал в vCenter) на каталог Project_X_VMs. профили настроек Рис. 4.

Безопасность 205 Рис. По правилам распространения привилегий vCenter. в которую входит и VasilyPupkin. Почему я назвал ситуацию типичной: потому что не исключено. И бывает. 4.8. . только правами на чтение. для этого пула и для входящих в него ВМ пользователь не обладает правами администратора. что администратор будет давать каким-то группам пользователей ограниченные права на группы ВМ (или сетей. ВМ более вероятны). На пул ресурсов nonCritical_ Production_VMs выданы ограниченные права группе пользователей. Впрочем. или хранилищ. Подключение от имени непривилегированного пользователя Это достаточно типичная ситуация: пользователь VasilyPupkin имеет роль администратора (то есть все права) на всю иерархию.

9. Иллюстрация выдачи разных прав двум группам на один объект иерархии . профили настроек Рис. в эту самую группу. или начинает входить через какое-то время. безопасность. Рис.206 Расширенные настройки.10. 4. И вследствие этого теряет административные привилегии на ветвь иерархии. Иллюстрация варианта назначения разных прав на разные уровни иерархии что администратор сам входит. Другой пример – на рис.10. 4. 4.

В данном случае результирующими являются только те права. то. операторов и пользователей. выполните несколько итераций. то имеет смысл сделать примерно так: 1. скорее всего. Если что-то забудете – ничего страшного. вам система раздачи прав не пригодится или пригодится очень ограниченно – на уровне предоставления прав на некоторые ВМ некоторым группам пользователей.207 Безопасность Здесь вы видите. что выданы непосредственно пользователю. Рис. 4. что входят хотя бы в одну роль.11. 4. что на один и тот же объект в иерархии выданы разные права двум группам.11. и группам. в которую он входит. . Последний пример на рис. Общие соображения по разграничению прав доступа Если в компании один администратор. если мы входим в обе группы? В данном случае происходит объединение привилегий – мы будем обладать теми. Какие права для нас будут действовать в случае. которые придется решать. Выдача разных прав пользователю и группе. на один объект Здесь на один объект в иерархии выданы права и непосредственно пользователю MikhailMikheev. как вы понимаете. в которые он входит. Эта существующая по умолчанию роль необходима. для явного лишения доступа. В моем примере это роль «No access». А вот если с разными областями виртуальной инфраструктуры должны работать разные группы администраторов. Составьте перечень повседневных задач.

208 Расширенные настройки. Конечно же правильно будет: 1. Лишить группу локальных администраторов прав в vCenter. Создавайте роли под конкретные задачи с минимально необходимым набором прав. куда. Если SSL включен. Полученный в результате документ называется «матрицей доступа к информации». 4. Перечислите. профили настроек 2. с ее помощью будут фиксироваться изменения. 4. Про каждую. поддерживают SSL v3 и TLS v1 (обычно употребляется просто «SSL»). использует сертификаты X. За исключением роли Administrator (то есть все права). зачем. 3. Тем более это удобнее – для аутентификации в vSphere можно использовать ту учетную запись. Read-only (просмотр информации об объекте) и No Access (явное отсутствие доступа). Наделить их правами администратора на все в vCenter. Существующие по умолчанию роли могут не соответствовать этому условию. правильным будет создание ролей под конкретные нужды. Создать персонифицированную учетную запись (даже две). Само собой. Убрать их данные в сейф. кто и где будет это выполнять. Не забывайте о настройках по умолчанию: локальная группа администраторов имеет все права на корень иерархии vCenter. пользоваться ими лишь в исключительных случаях. Настройка сертификатов SSL VMware vSphere. а именно продукты ESX(i) 4. и подробно. как и другие продукты VMware. в частности если необходимо восстановить последовательность событий и виновное лицо. то есть не должно быть учетной записи. Только доменные.509 для шифрования передаваемого по SSL трафика. Однозначно роли должны назначаться персонифицированно. которая может все. vCenter 4. от имени которой был выполнен вход в Windows. Наличие документации. Распишите. кроме исключительных случаев. является обязательным – иначе вы рискуете в какой-то момент запутаться вплоть до потери доступа к инфраструктуре. Не используйте роли. подписан и не может быть незаметно изменен. ESX(i). составленного выше. а не использование одной роли.3. Фактически это – основа внутренней документации по безопасности виртуальной инфраструктуры. из-под которой могут аутентифицироваться несколько человек. . существующие в vCenter по умолчанию. Не используйте локальных учетных записей. на ее основе будут создаваться роли и выдаваться на те или иные уровни иерархии. какие объекты иерархии и элементы интерфейса используются для выполнения каждой задачи из списка. Кто. куда вносятся изменения в конфигурации. Прочие существующие по умолчанию роли использовать не рекомендуется (кроме роли VMware Consolidated Backup user (sample)). VMware Converter Enterprise и VMware Update Manager 4. 3. и не набирать пароль заново. безопасность. 2. Это чрезвычайно помогает. то трафик между узлами виртуальной инфраструктуры зашифрован.

4. возможно. Thawte или GeoTrust) или установленным в вашей сети (например. Такие самоподписанные сертификаты потенциально уязвимы для атак «человек в середине». AD CS или OpenSSL). Замена сгенерированных по умолчанию сертификатов. Примерный план этого действия выглядит следующим образом. как начинается шифрование трафика. Предупреждение о недоверенном сертификате Для решения этих проблем вам потребуется запросить у доверенного центра сертификации подходящий сертификат и заменить им сгенерированные автоматически. Доверенный центр сертификации может быть коммерческим (например. это предупреждение можно отклонить. Потому что для них до того.12). CA. Обратите внимание на то. Получение сертификата для ESX(i). Но они не выданы центром сертификации (certificate authority. Эта процедура не требует от администратора каких-то действий. замена ими сгенерированных по умолчанию сертификатов. можно занести сертификаты всех управляемых систем в список доверенных. Microsoft Windows Server Active Directory Certificate Cervices. При попытке подключения к ESX(i) или vCenter (с помощью клиента vSphere или браузера) пользователю выдается соответствующее предупреждение (рис. Конечно. Рис. но это может ослабить безопасность инфраструктуры. и они используются для шифрования трафика. сообщающее ему о том. в вашей организации запрещено использование систем с недоверенными сертификатами (административно или технически). УЦ). что замена сертификата для уже установленного Update Manager возможна лишь .Настройка сертификатов SSL 209 В vSphere 4 проверка сертификатов включена по умолчанию. К тому же. Однако по умолчанию эти сертификаты генерируются автоматически во время установки ESX(i). 1.12. VeriSign. Получение сертификатов для vCenter 4 и Update Manager 4. что удаленная система может не являться доверенной и установить ее подлинность не представляется возможным. 2. Также иногда упоминается в русскоязычной документации как «удостоверяющий центр». 4. не производится проверка подлинности самих сертификатов.

что он хранит свои сертификаты в своем собственном формате. 4. безопасность. предоставляет возможность осуществлять настройку серверов ESX или ESXi шаблонами. появившийся в четвертой версии виртуальной инфраструктуры VMware. NIC teaming. порядок именования PCI-устройств (если нам важно. да и далеко не всем администраторам vSphere придется заниматься этим вопросом. С какими настройками IP. Начиная с версии 4.ru/publikatsii/zamena-sertifikatov. security. Security – добавление локальных пользователей и групп. Storage Configuration – настройки подключения хранилищ NFS.210 Расширенные настройки. virtualizationsecuritygroup. Однако если для вас эта проблема актуальна. распределенные коммутаторы. а затем через профиль настроек перенести на другие серверы.ru/qcegm). 3. Здесь не приводятся конкретные инструкции.1 через Host Profiles также распространяются следующие настройки: настройки для Cisco Nexus 1000V. интеграция с AD. по моему мнению. VLAN.4. Date and Time – серверы NTP. Выполняется проверка соответствия настроек серверов шаблону (host’s compliance). конвертация в который происходит при установке продукта. Последовательность действий для работы с этим механизмом следующая. профили настроек с его переустановкой. . какая именно сетевая карта имеет имя vmnic1). рекомендую статью «Замена сертификатов на службах VMware vSphere 4» (http://www. Service – настройка служб ntp и vpxa (это агент vCenter). Шаблон назначается на другой сервер или кластер. Advanced – некоторые из расширенных настроек. Networking – самый главный. какие коммутаторы.html или http://link. То есть даже сложную и разветвленную конфигурацию сети мы можем создать один раз. временные зоны. 2. vm4. Host Profiles Механизм Host Profiles. например. Что это за настройки: Memory reservation – сколько мегабайт памяти будет зарезервировано для Service Console. с которого шаблон и снимается. Firewall – настройки брандмауэра. пункт. Это связано с тем. У вас должен быть полностью настроенный сервер. пароль root. так как они сильно зависят от вашей инфраструктуры. Настройки на уровне «должны ли они запускаться при старте сервера». Здесь мы можем указать. 1. группы портов и интерфейсы VMkernel с Service Console надо создавать.

После завершения работы мастера шаблон настроек появится в списке (рис. указать серверы и кластеры. сменить эталонный сервер. . удалив из профиля создание каких-то элементов виртуальной сети. Для создания шаблона проще всего перейти Home ⇒ Management ⇒ Host Profiles (рис. что сразу после создания шаблона настроек вам захочется его отредактировать перед назначением на другие серверы. экспортировать этот профиль настроек в файл. Теперь надо этот профиль назначить на прочие серверы. Вполне вероятно.16). Как вы видите.211 Host Profiles 4. Затем вы укажете имя и описание шаблона. Вы изменили его – например. хотите ли импортировать из файла шаблон (например. Вам предложат выбрать сервер.13. 4.14). настройки которого будут использоваться в шаблоне. Вы увидите список настроек. 4. Создание профиля настроек Запустится мастер. которые были на эталонном сервере. Рис. понадобившаяся вам после переустановки vCenter) или создать новый (рис. удалить этот профиль. на которые этот шаблон назначен. вы создали профиль настроек сервера. Итак. это может быть резервная копия.13). но которые не нужны на прочих серверах.15). Настройки из шаблона применяются к серверам с отличающимися настройками. На рисунке выделено контекстное меню профиля настроек. 4. Нажмите Edit Profile. обновить профиль – то есть заново считать настройки с эталонного сервера и занести их в профиль. 4. 4. которыми можно манипулировать через механизм редактирования профилей (рис. прямо отсюда можно: изменять содержащиеся в профиле настройки. где вы сначала выберете.

профили настроек Рис. Мастер создания профиля настроек Рис. 4.14.212 Расширенные настройки. 4. безопасность. . Доступные операции с профилем настроек Простой способ это сделать – из контекстного меню данного профиля выбрать Attach Host/Cluster.17) выберите нужные серверы и кластеры и нажмите кнопку Attach. 4.15. В появившемся окне (рис.

213 Host Profiles Рис. 4. 4. Назначение профиля на сервер или кластер .17. Редактирование профиля настроек Рис.16.

и. 4. Через короткое время на этой закладке отобразится ситуация с соответствием настроек. что профиль назначен на кластер и два сервера (серверы. очевидно. выделив его. когда на нем не остается ни одной работающей ВМ – все они мигрированы или выключены. – это полезно .214 Расширенные настройки. перейдите на закладку Hosts and Clusters и нажмите ссылку Check Compliance Now в правой части окна (рис. 4. что в кластере хотя бы один сервер не удовлетворяет профилю настроек. Cluster отмечен как Noncompliant. Рис. Для этого выделите профиль. что это сервер esx1. Напомню.ru. Оба действия можно выполнить из контекстного меню для сервера на том же окне (рис. Теперь можно выполнить последний шаг – ввести сервер в режим обслуживания (maintenance mode) и применить (Apply) профиль настроек. профили настроек Предпоследний шаг – проверка серверов на соответствие профилю. что сервер может войти в режим обслуживания только тогда. принадлежат кластеру). Maintenance Mode. это означает.19).18. Сразу видим.18). в нижней части видим расхождение его настроек с настройками из профиля. Также вас спросят – хотите ли вы переместить выключенные и приостановленные (suspend) ВМ на другие серверы. безопасность. Проверка на соответствие серверов назначенному профилю настроек Здесь вы видите. 4.vm4.

перевели сервер в режим обслуживания и нажали Apply для профиля настроек. таких как IP-адреса для интерфейсов VMkernel и подобных (рис.20.215 Host Profiles Рис. 4.19. Запрос о значении уникальных настроек при применении профиля настроек к серверу .20). Рис. 4. который спросит о значениях уникальных настроек. Откроется мастер. если сервер потеряет работоспособность после применения профиля настроек. Итак. Приведение настроек сервера в соответствие профилю настроек для подстраховки на случай. 4.

Хотим поменять. как на рис. профили настроек В нижней части указано. назначили профиль – новый сервер настроен. для автоматизированной перенастройки. Hosts Profiles удобно применять: для первоначальной настройки инфраструктуры. Все.21. что все серверы соответствуют (Compliant) профилю настроек (иногда необходимо заново запустить проверку соответствия (Compliance Check)).216 Расширенные настройки. для добавления сервера в инфраструктуру. Таким образом. что только что настроенный сервер все еще находится в режиме обслуживания – на это указывает его иконка. Поменяли ее на эталонном сервере. Не забудьте. Пока он не выйдет из этого режима. которая ежедневно запускает проверку соответствия каждому профилю настроек для каждого из серверов. При создании профиля настроек автоматически создается задача в планировщике (Home ⇒ Management ⇒ Scheduled tasks). для автоматической проверки корректности настроек. безопасность. конфигурацию виртуальной сети. Так что вызовите для него контекстное меню и выберите пункт Exit Maintenance Mode. Для просмотра текущей ситуации вам необходимо будет зайти на закладку Hosts and Clusters нужного профиля настроек. затем обновили сам профиль. К сожалению. нет возможности настроить автоматическое оповещение по электронной почте или SNMP. если на одном из серверов по ошибке или случайно изменилась настройка (из управляемых профилями) – вы легко сможете это отследить. сколько таких настроек нам нужно будет указать. 4. сняли шаблон – с его помощью настроили остальные. затем с его помощью поменяли эти настройки на прочих серверах. После завершения мастера и выполнения операции настройки вы должны увидеть примерно такую картину. 4. на который он назначен. Рис. один из них настроили. Серверы кластера удовлетворяют назначенному профилю настроек Здесь вы видите. Установили на него ESX(i). на нем нельзя запускать ВМ. Установили форму ESX(i). .21. Здесь – одну. с которого снимался профиль настроек. к примеру.

К примеру.22). есть возможность активировать агента SNMP на серверах ESX и ESXi. Кроме того. Использование SNMP Для мониторинга происходящего с инфраструктурой полезной или незаменимой может быть система мониторинга по SNMP. работать с профилями настроек можно не только из раздела Home ⇒ Management ⇒ Host Profiles. по факту срабатывания важных нам alarm. и даже немного разными способами.Использование SNMP 217 наконец. 4. Рис. убирать назначения. Пройдите в Home ⇒ Inventory ⇒ Hosts and Clusters. . запускать привидение к соответствию. Работа с профилями настроек из раздела Hosts and Clusters Здесь или в контекстном меню кластера и серверов можно назначать профили настроек. Кстати.5. Профили настроек не реплицируются между серверами vCenter в режиме Linked Mode. Вы сохраняете его текущие настройки в профиль и применяете этот профиль к свежеустановленному ESX(i) на этом же сервере. выделите сервер или кластер и перейдите на закладку Profile Compliance (рис. Программа минимум – настроить оповещение по SNMP от vCenter. Использовать ее с vSphere можно и нужно. в силу каких-то причин вы приняли решение переустановить ESX(i) на каком-то из серверов. 4.22. запускать проверку на соответствие. для резервного копирования. 4.

В результате – подобное оповещение. 4.4. Или что сервер отвалился от vCenter (рис. вызовите выпадающее меню в столбце Action для появившейся строки (рис. что ВМ потребляет аж больше 77% памяти (рис. Здесь вы можете указать получателей и строки community (рис. . безопасность. который отслеживает интересующее вас условие или несколько. 4. 4. Больше информации об этом доступно в разделе 6.25). Для этого. добавив реакцию кнопкой Add. Для этого пройдите Home ⇒ vCenter Server Settings ⇒ SNMP.1. 4. Настройка оповещения по SNMP для alarm Все эти оповещения будут отсылаться сервером vCenter. поэтому необходимо сделать настройки SNMP для него. Настройка SNMP для vCenter Выберите alarm. 4.26). Механизм Alarm может отслеживать очень многие события с инфраструктурой vSphere.23).5.24). профили настроек 4. Рис.218 Расширенные настройки.23.

24. 4. Настройки получателей SNMP для vCenter 219 .Использование SNMP Рис.

профили настроек Рис. Пример SNMP trap.25. 4. Пример SNMP trap. безопасность. полученного от vCenter Рис.26.220 Расширенные настройки. полученного от vCenter . 4.

Теперь потребуются несколько несложных команд vSphere CLI: Указание community vicfg-snmp –c <нужное коммьюнити> Указание адреса для отсылки trap сообщений vicfg-snmp –е <адрес:порт. вы подключились к vMA по ssh и указали целевой сервер ESX(i). Настройка SNMP для серверов ESX(i) Настройку SNMP для серверов ESX(i) правильнее всего осуществлять при помощи vMA.com/ community/developer/forums/managementapi или http://link.2. Допустим. . включение виртуальной машины или проблемы с аппаратной частью. то тестовый trap мы увидим на системе мониторинга. которые отслеживает SNMP-агент на серверах ESX(i). если не по умолчанию/коммьюнити> Если команды get и set нужны.Использование SNMP 221 4. Там же будут отображаться все события. Основы по работе с vMA я описал в первой главе. то укажем порт для прослушивания агентом SNMP vicfg-snmp –p <порт> Включаем агента SNMP vicfg-snmp --enable Пробуем отправить тестовый trap vicfg-snmp --test Если все сделано правильно.5.ru/eveih. Например. Библиотеки MIB доступны по ссылке http://communities.vmware.vm4.

Эта страница мастера не выводится. чтобы ESX(i) правильно выбрал дистрибутив VMware tools. В клиенте vSphere нужно вызвать контекстное меню для сервера. 4. предложил больше или меньше памяти по умолчанию. То есть на вопросы «сколько процессоров выдать ВМ». Он указывается для того. кластера. Старую имеет смысл выбирать. если ВМ создается в кластере без функции DRS. Virtual Machine Version (Custom) – здесь мы можем выбрать версию виртуального оборудования. В ваших интересах сделать имя понятным. какими обладают возможностями. 3. Создание ВМ. как мы их можем создать и какие манипуляции с ними производить. Виртуальные машины Здесь поговорим про виртуальные машины (ВМ).x и эта ВМ может оказаться на них. Configuration – здесь мы можем выбрать. Name and Location – имя ВМ и в каком каталоге иерархии vCenter она будет расположена. Resource Pool – в каком пуле ресурсов расположена ВМ. Достаточно удобно делать имя виртуальной машины совпадающим с именем DNS гостевой операционной системы. 1. В случае выбора Custom мастер будет содержать больше вопросов. уникальным и не содержащим пробелов и спецсимволов. По умолчанию (в варианте Typical) выбирается версия 7. Версия 4 – старая. которые будут предложены только в случае выбора варианта Custom. но не планирования.1. В этой главе будут рассмотрены моменты создания ВМ. типичную или нет ВМ мы хотим создать. Версия 7 – новая.Глава 5. Guest Operating System – тип гостевой ОС.x. совместимая с ESX(i) 3. Datastore – на каком хранилище будут располагаться файлы ВМ. Изменять значение этого поля можно и после . я этим словом и буду помечать. 6. 5. тот или иной тип виртуальных SCSI и сетевого контроллеров. «диски какого размера создавать» здесь ответов не будет. В любом случае запустится один и тот же мастер со следующими шагами. Начало работы с ней Процесс создания ВМ с нуля прост и понятен. что они из себя представляют. пула ресурсов или каталога с ВМ и выбрать пункт New Virtual Machine. 2. Те из шагов мастера. 5. лишь если у вас есть серверы ESX(i) 3.

то будет выбран именно он. подключение существующего виртуального диска. Начало работы с ней 7. небольшого размера. Он подключается к первой в алфавитном порядке группе портов. сообразно полученной от VMware Tools информации. если не устанавливать ни один флажок). 5. работать лучше). подключение LUN как Raw Device или создание ВМ без дисков вообще. Memory (Custom) – можем указать объем памяти для ВМ. в разделе о виртуальном оборудовании. 11. О разнице расскажу позже. журналы и другие файлы ВМ. 8. который для ВМ создает гипервизор. но еще и каждый блок создаваемого виртуального диска будет перезаписан нулями. Большинство из них текстовые. в разделе о виртуальном оборудовании. Размер диска по умолчанию зависит от системных требований выбранной ранее гостевой ОС. Выбираемый по умолчанию зависит от типа гостевой ОС. По умолчанию создается один виртуальный сетевой контроллер оптимального для выбранной гостевой ОС типа. несмотря на то что vmxnet2/3 тоже будет работать (и возможно. 9. Тогда на выбранном ранее хранилище будут храниться только файл настроек. «тонком» режиме. что место под этот файл-диск ВМ не выделится сразу (все 20 Гб в моем примере).1). Единственное исключение – файл подкачки. прописанные в ESX(i). 10. отведенное под виртуальный диск. Например. . По умолчанию его размер равен объему выделенной для ВМ памяти. а некий баланс между совместимостью и функциональностью. Более подробно о типах дисков расскажу позже. Create a disk – здесь вы можете выбрать размер создаваемого диска для ВМ и его тип (рис. «Оптимальный» в данном случае – не всегда самый производительный или функциональный. Нижний флажок необходим. 223 создания ВМ. Побочным эффектом обнуления является увеличенное время создания такого виртуального диска. Про типы виртуальных сетевых контроллеров читайте в разделе о виртуальном оборудовании. Верхний флажок создаст диск в thin. их тип и в какие группы портов они подключены. По умолчанию создается новый виртуальный диск. если создаваемая ВМ будет узлом кластера Microsoft (MSCS/MFC) или VMware Fault Tolerance. если в ОС есть драйвер для e1000. Это означает. будет размечено сразу (как происходит по умолчанию. Значения по умолчанию – константы. но для этого нужны VMware Tools. В случае варианта мастера Custom можно отдельно указать хранилище для создаваемого виртуального диска.Создание ВМ. SCSI Controller (Custom) – тип виртуального контроллера. По умолчанию выбирается небольшой объем в зависимости от типа гостевой ОС. Select a Disk (Custom) – можно выбрать создание нового виртуального диска. SCSI к которому будут подключены виртуальные диски ВМ. а будет выделяться лишь по мере необходимости. А после установки VMware Toos оно будет изменяться автоматически. Network (Custom) – можем указать количество виртуальных сетевых контроллеров. Тогда не только все место.

224 Виртуальные машины Рис.1. Этап настроек создаваемого виртуального диска в мастере создания Custom ВМ 12. Ready to Complete – здесь можно поставить флажок «Edit the virtual machine settings before completion». но его уже можно включить. это замечательно делается и потом. что диск ВМ будет на контроллере IDE (пригодится для тех ОС. 13. далее). На нем еще нет операционной системы. что это такое. и установить флажок Independent (о том. см. . но его небезуспешно заменяет консоль клиента vSphere. Advanced Options (Custom) – здесь можно указать. Впрочем. – устанавливаем ОС на диски. Самый очевидный способ это сделать – подключить к приводу CD-ROM этой ВМ физический диск или образ в формате ISO с дистрибутивом ОС и установить ее с этого диска. В большинстве случаев мы поступаем с ВМ так же. Установка операционных систем в ВМ ничем не отличается от установки их на обычные серверы. 5. что дает возможность удалить или добавить какое-то оборудование в эту ВМ непосредственно перед ее созданием. 5.2. Нам надо загрузить в него операционную систему и приложения. которые не поддерживают интерфейсы SCSI). рис. как с физическим сервером. Разве что у ВМ нет физического монитора. Созданная сейчас ВМ – это виртуальный сервер.

такая настройка может оказаться не очень удобной – .2. рис. 5. Пиктограмма открытия консоли ВМ в отдельном окне и сама консоль Консоль можно запустить из контекстного меню ВМ. Рис. когда даже ОС еще не установлена. что в ESX(i) 4 эти кнопки по умолчанию настроены на корректное выключение (Shutdown guest) и корректную перезагрузку (Restart Guest) гостевой ОС. Панель инструментов консоли ВМ Первая группа из четырех кнопок – управление питанием. Обратите внимание на то. кнопкой на панели инструментов клиента vSphere (отмечена на рисунке) или в закладке Console для ВМ. например сейчас. Эти операции могут быть выполнены. Выключить ВМ. В первых двух случаях консоль открывается в отдельном окне. в верхней части которого присутствуют дополнительные элементы управления. Одни из самых часто используемых вынесены на панель инструментов – см.3.3. 5. поставить на паузу (состояние «suspend»).Создание ВМ. В некоторых ситуациях. лишь если в гостевой ОС установлены и запущены VMware tools. включить и перезагрузить. Начало работы с ней 225 Рис. 5.

которые постоянно работают без VMware Tools. надо зайти в ее свойства. выберите пункт VMware tools и измените настройку на желаемую (рис. используемой в ВМ. 5.4. Таким образом. Чтобы настроить эти иконки на выключение (Power OFF) и перезагрузку (Reset) ВМ. изменять эти настройки имеет смысл лишь для тех ВМ. действие невозможно». виртуальная машина останавливается и не потребляет ресурсов сервера. перейдите на закладку Options. Выбор действия для кнопок управления питанием ВМ Впрочем. когда не существует версии VMware Tools для гостевой ОС. 5. Операция приостановки (Suspend) позволяет зафиксировать текущее состояние работающей виртуальной машины путем выгрузки содержимого ее оперативной памяти в файл. но при возобновлении ее работы мы возвращаемся в состояние на момент приостановки. Рис.4).226 Виртуальные машины при нажатии кнопок Power Off и Reset мы получаем ошибку «VMware tools недоступны. Для этого выберите в контекстном меню ВМ пункт Edit Settings. Обычно такое происходит тогда. .

снятия шаблона и включения Fault Tolerance. Datastore – на каком хранилище будут располагаться ее файлы. Обратите внимание на то. то. что с помощью этих кнопок можно подключать к CD/DVD (FDD) виртуальной машины как CD/DVD (FDD) клиентского компьютера. нажмите Ctrl+Alt. Обратите внимание на то. 3. Однако есть способы лучше. Resource pool – в каком пуле ресурсов ВМ будет находиться. как и на машину физическую. так и образы (ISO или Flp) с диска клиентского компьютера. Клонирование виртуальных машин Для этого в контекстном меню ВМ. клонирования. По кнопке Advanced можно указать разные хранилища для ее файла настроек и виртуальных дисков. . Также доступ к такой консоли ВМ можно получить через веб-интерфейс ESX (не ESXi) и vCenter (рис. для выполнения работы которых вы посчитаете нецелесообразным устанавливать консоль. Запустится мастер. в каком кластере и на каком сервере будет зарегистрирована создаваемая ВМ. 5. 5. или воспользуйтесь меню: VM ⇒ Guest ⇒ Send Ctrl+Alt+Del.2. Из меню VM доступны пункты для установки и обновления VMware tools. запуска миграции этой ВМ. клон существующей ВМ. Последние две – настройки виртуальных CD/DVD-ROM и FDD. Name and Location – укажите имя для создаваемой ВМ. нажмите Ctrl+Alt+Ins.Клонирование и шаблоны ВМ (Clone и Template) 227 Затем идут кнопки управления снимками состояния (snapshot). доступных с сервера ESX(i) и физических устройств сервера) доступны просто из окна настроек ВМ. Чтобы передать в ВМ комбинацию Ctrl+Alt+Del. вы передаете туда фокус ввода. 4. второй – механизм шаблонов. Host/Cluster – укажите. выберите пункт Clone. C помощью консоли можно производить все необходимые действия с ВМ.1. Доступ через веб-интерфейс часто удобен операторам ВМ. 2.2. Первый из таких способов – сделать копию. 5. что оба эти механизма доступны только при работе через vCenter. Если в ВМ не установлены VMware tools. изменения настроек этой ВМ. Чтобы вернуть его в ОС своего компьютера (в которой запущена консоль).5). а не какое-то ПО в виртуальной машине. в каком Datacenter (датацентре) и каталоге она будет расположена. и трафик данной консоли идет через управляющие интерфейсы ESX(i). копию которой вы хотите сделать. щелкнув мышкой внутрь окна консоли. Клонирование и шаблоны ВМ (Clone и Template) Устанавливать и настраивать ОС в виртуальную машину можно точно так же. Подключение устройств и образов с клиентского компьютера выполняется только через этот элемент интерфейса. За работу этой консоли отвечает сам ESX(i). 1. Подключения прочих вариантов (образов.

Все. Подробности по поводу обезличивания см. Операция клонирования может помочь вам в следующих ситуациях. отличное от видимого нам в клиенте vSphere. Мигрировать следует после переименования.228 Виртуальные машины Рис. Guest Customization – надо ли обезличивать гостевую ОС. что операция клонирования может проводиться и для работающей ВМ (правда. а вместо). Disk Format – в каком формате будут ее виртуальные диски. Один из удобных способов привести имена в соответствие – клонировать ВМ и удалить исходную. Но переименование виртуальной машины в иерархии vCenter не меняет имен ее файлов. . или Storage VMotion. Еще один способ – выполнить холодную миграцию на другое хранилище. что ВМ создается с одним именем.5. без гарантии целостности данных). У клона название каталога и файлов будет совпадать с именем в клиенте vSphere (здесь следует сделать замечание: клонировать надо не после переименования. если надо – то с какими параметрами. Веб-интерфейс vCenter 5. чуть далее. 6. что каталог и файлы этой ВМ имеют имя. Обратите внимание на то. а затем ее переименовывают. и получается. Это неудобно. Иногда бывает. 5. 7.

В контекстном меню ВМ есть пункт Templates.Клонирование и шаблоны ВМ (Clone и Template) 229 Если вы хотите избавиться от снимков состояния (snapshot). Про них еще поговорим. в котором находятся две операции – Clone to Template и Convert to Template. Acronis Snap Deploy или Symantec Ghost. увидеть и ВМ. В таких случаях проще клонировать эту ВМ – у клона снимков состояния уже не будет. особенно виртуальные диски. в vCenter есть механизм. который позволит вам сделать эталонную копию ВМ – шаблон. Конвертация происходит практически мгновенно. А второй – когда ВМ вам не нужна и вы хотите превратить ее в шаблон. и шаблоны (рис. По сути. создание шаблонов (Template) для последующего развертывания типовых ВМ. Клонировать в шаблон при необходимости можно и работающую ВМ. перейдя на закладку Virtual Machines. когда вы хотите сохранить ВМ. если не образ? Образ и есть. Шаблоны виртуальных машин (template) Еще интереснее. первый нужен. так как копировать файлы ВМ не нужно – достаточно пометить их как файлы шаблона. механизм Templates – это альтернатива созданию образов дисков с помощью ПО типа Windows Deployment Services (WDS) Image Capture Wizard (WDSCapture). чем клонирование. В иерархии Host and Clusters вы не видите шаблоны в дереве клиента vSphere.2.6. однако здесь можно выделить сервер. Шаблоны можно отличить по пиктограмме. но забегая вперед: иногда процесс удаления снимков может оказаться нетривиальным и требовать много свободного места на хранилище. кластер или датацентр и. Рис. 5. Так вот. 5. – что это. Шаблоны виртуальных машин .6).2. но получить из нее шаблон. Файлы ВМ. ImageX. Соответственно. 5.

5. Чтобы воспользоваться шаблоном. 3. запустится мастер: . Этот вариант при работе с шаблонами удобнее. где шаблон расположен. на каком именно. Еще подобная ситуация возможна при штатной работе DPM. Пройти Home ⇒ Inventory ⇒ Datastores и вызвать контекстное меню для того хранилища. В общем-то. тогда шаблоны будут отображаться и в дереве консоли. числится на каком-то из серверов. Обратите внимание на то. как и ВМ. Само собой. как файл настроек. В его контекстном меню есть пункт Add to Inventory (рис. одной буквой в расширении файла настроек шаблон и отличается от ВМ. на котором он числится. можно на закладке Summary для шаблона. Удалить недоступный шаблон из иерархии vCenter. 2. потому что шаблоном невозможно воспользоваться.vmtx – это не что иное.vmx. что он расположен не на локальных дисках недоступного сейчас сервера. когда сервер выходит из строя. недоступен. Регистрация шаблона Файл шаблона с расширением . или во время обслуживания сервера. Выберите пункт Browse Datastore. предполагается. В диспетчере файлов хранилища найдите в каталоге шаблона файл с расширением . чтобы шаблон был незапускаемой ВМ. в таком случае шаблоны имеет смысл настроить числящимися на не выключаемом DPM сервере. в случае виртуальной машины имеющий расширение . Если такая ситуация произошла. самым простым выходом является следующий: 1. Это изменение сделано для того.vmtx. что шаблон. дабы уберечь эталонную виртуальную машину от изменений вследствие случайного включения. пройдя Home ⇒ Inventory ⇒ VMs and Templates. когда сервер.7). Это создает небольшие проблемы. Такое возникает в нештатных ситуациях. Увидеть. 5.230 Виртуальные машины Или пройдите Home ⇒ Inventory ⇒ VMs and Templates. Проще всего это сделать. Выберите в его контекстном меню пункт Deploy Virtual Machine from this Template. Рис.7. выбрав в его контекстном меню пункт Remove from Inventory. найдите его.

в каком Datacenter (датацентре) и каталоге она будет расположена. такие ОС создадут проблемы. Guest Customization – надо ли обезличивать гостевую ОС. Name and Location – укажите имя для создаваемой ВМ. в случае. Для предотвращения этих проблем нам необходимо давать уникальное имя каждой ОС. чтобы при клонировании Windows для этой операции использовалась утилита System Preparation Tool (SysPrep). д. Resource pool – в каком пуле ресурсов ВМ будет находиться. Microsoft требует. задавать адрес IP. Disk Format – в каком формате будут ее виртуальные диски. 4. и генерировать прочие идентификаторы. . Удаляем из ОС уникальную информацию (обычно это имя. 7. Обезличивание гостевых ОС. Только этап № 3 выглядит так: «преобразуем ВМ с обезличенной ОС в шаблон». сетевые настройки. Имя машины. Мы подготавливаем эталонный образ. статичный IP-адрес и другие идентификаторы (в случае Windows это могут быть SID или ID клиента Windows Update) – эти параметры будут одинаковы у всех ВМ. Притом не важно. мы можем получить проблемы из-за полной идентичности старой и новой операционных систем. настраиваем ее. пользуемся ли мы шаблонами виртуальных машин в vCenter или разворачиваем ранее снятые образы на физические серверы. можно указать разные хранилища для ее файла настроек и виртуальных дисков. устанавливаем необходимые драйверы и приложения. развернутых из одного шаблона. 2. также необходимо обезличивание. 5. При развертывании ОС из такого образа удаленная информация заменяется данными. Host / Cluster – укажите. 5. 4. Datastore – на каком хранилище будут располагаться ее файлы. если надо – то с какими параметрами. Все.3. чуть далее. В виртуальной среде мы можем (и иногда вынуждены) поступать точно так же. И оно выполняется примерно по следующему плану: 1.). в каком кластере и на каком сервере будет зарегистрирована создаваемая ВМ. ключ продукта и т. когда у нас на серверы разворачиваются образы. Устанавливаем на один из серверов ОС. 3. Нажав кнопку Advanced. 3. уникальными для каждой установки. Это выполняется вручную или автоматически. Подробности по поводу обезличивания см. Например. Оказавшись в одной сети и подключаясь к одним серверам.Клонирование и шаблоны ВМ (Clone и Template) 231 1.2. 6. Снимаем образ такой «обезличенной» системы. если он назначается вручную. SysPrep Когда мы клонируем уже установленную ОС. 2. Проведем аналогию с невиртуальной средой. Также в некоторых случаях для каждого экземпляра Windows и другого ПО необходимо указывать собственный ключ продукта.

Самый неприятный – сложность обновления образа. Устанавливаем гостевую ОС. 9. И само удаление уникальных параметров происходит не на эталонной системе перед снятием с нее образа (преобразованием в шаблон). Если надо. 3) произвести необходимые изменения (установить обновления. внести необходимые изменения. В таком случае последовательность действий выглядит следующим образом. включить ее и. Преобразуем эту ВМ в шаблон. ее диск монтируется к серверу vCenter. Суть подхода в следующем: инструмент для обезличивания устанавливается не в гостевую ОС. 2. настраиваем ее. Благодаря файлу ответов мини-установка ОС проводится в автоматическом режиме. 1. 4) удалить уникальные параметры (имя. Red Hat Application Server версий от 2 до 5 (включая 64-битные версии). например обновления. сетевые настройки и т. устанавливаем необходимые приложения. добавить ПО). Разворачиваем ВМ из этого шаблона. Таким образом ПО для обезличивания получает доступ к удалению из ОС уникальных параметров. SUSE LINUX Enterprise Server 8.232 Виртуальные машины Однако подобный подход не лишен недостатков.). 5) заново снять образ.com). Для некоторых гостевых операционных систем vCenter реализует более удобный подход к обезличиванию. В шаге № 6 мастера Guest Customization нас спрашивают. необходимо: 1) развернуть этот образ. Такой подход хорош тем. указанные нами в мастере развертывания ВМ из шаблона. никак не меняя уникальную информацию. Мастер развертывания описан в предыдущем разделе. Для операционных систем Linux vCenter поддерживает обезличивание ОС из следующего списка: Red Hat Enterprise Linux AS версий от 2 до 5 (включая 64-битные версии). В файле ответов содержатся данные. Файлы шаблона копируются в новую ВМ. Обратите внимание: обезличивания не происходит. то нас просят указать. . на что заменить уникальную информацию. список может обновляться. после чего конвертировать обратно в шаблон. а уже на развернутой копии. 5. что для обновления шаблона достаточно конвертировать его в ВМ.). надо ли обезличивать разворачиваемую ОС. избавляя нас от необходимости указывать параметры в мастере при первом запуске ВМ. 3. 2) задать уникальную информацию (имя. а на сервер vCenter. д. 4. Чтобы добавить в образ (или шаблон) что-то новое. д. Впрочем. Мы создаем эталонный образ. После этого в образ помещается файл ответов для мастера мини-установки (Mini-Setup). сетевые настройки и т. не удаляя уникальную информацию снова. который лишен этого недостатка. 10.vmware. и актуальный стоит смотреть в документации (http://pubs.

Для обезличивания Windows Vista. Windows Server 2003. Advanced Server. потому что в имени компьютера в Windows нельзя использовать точки. Часто удобно бывает поставить переключатель «Use the virtual machine name».vmware. Запустился отдельный мастер. поэтому если мы устанавливали Service Pack на операционную систему. Тогда в качестве имени ОС будет использоваться название ВМ. Standard. В случае Windows vCenter нам поможет со следующими ОС: Windows 2000 Server. Если установить описываемый флажок. что в имени ВМ нет запрещенных символов. или загрузить с сайта Microsoft (версия SysPrep должна совпадать с версией ОС вплоть до пакетов обновления. Sysprep скопирован по нужному пути на сервер vCenter. нам необходимо поместить утилиту sysprep на сервер vCenter. domain. встроенные в сами эти ОС. Windows Server 2008. Windows 7 и Windows Server 2008 vCenter использует средства. Также полезной может оказаться статья базы знаний VMware http://kb. Взять ее можно из архива deploy. Он умеет делать обезличивание этих ОС «из коробки». Для того чтобы vCenter помог нам с обезличиванием ОС более ранних версий. Однако предварительно стоит убедиться в том. или Professional.cab. Registration Information – на кого зарегистрирована эта копия. Computer Name – имя ОС в ВМ. Windows 7. 1. как это делается в случае физических серверов. 2. Скопировать файлы Sysprep по адресу %AllUsersProfile%\VMware\VMware VirtualCenter\sysprep\<каталог с нужной версией Windows в названии>. То есть обезличивать их придется точно так же. Распишу мастер обезличивания на примере Windows Server 2003. в котором надо указать уникальную для разворачиваемой копии ОС информацию.com). чем Windows Vista. 4.cab). Windows XP Professional (включая 64-битные версии). Вы запустили мастер клонирования или разворачивания ВМ из шаблона. но вот мини-установка закончится ошибкой. 3. Administrator Password – пароль администратора и количество автоматических аутентификаций под его учетной записью. то для их обезличивания VMware не предлагает средств. или Enterprise Editions (включая 64-битные версии). отличных от стандартных для этих ОС. Порядок действий следующий. Обратите внимание: . Если у вас другие версии *nix. Например.com/kb/1005593. 1. Web. Windows License – надо указать ключ продукта и тип лицензирования. Находим эту утилиту для нужной версии ОС. мастер возражать не будет. На шаге № 6 вы выбрали «Customize using the Customization Wizard». 0.Клонирование и шаблоны ВМ (Clone и Template) 233 Притом на vCenter не нужно чего-то доустанавливать или настраивать. Windows Vista (включая 64-битные версии). который располагается на диске с дистрибутивом этой ОС (\SUPPORT\TOOLS\deploy. 2. когда из прочих соображений используются для названия ВМ FQDN (computer. то версия с диска может и не подойти).

Run once – произвольные команды.4. VMware не дает каких-то специальных инструментов для решения подобных задач. которые будут выполнены в гостевой ОС после обезличивания. выбрав там настройку Customize using an existing customization specification. требующее отдельного обезличивания.234 Виртуальные машины если пароль администратора в гостевой Windows непустой. Хранятся эти файлы в БД vCenter. то есть быть подключенным к узлу SCSI 0:0. Вводим имя и описание файла ответов для обезличивания. 10. 6. вы увидите все существующие файлы ответов для мастера обезличивания. . 9. о нем чуть ниже. 8. обычно это какие-то агенты. что в интерфейсе клиента vSphere есть пункт Home ⇒ Management ⇒ Customization Specification Manager. Time zone – часовой пояс. 7. 5. в ВМ должны быть установлены VMware tools. Рекомендации для эталонных ВМ В общем случае вот что можно порекомендовать делать для шаблонов ВМ с упором на Windows: выполнить выравнивание диска (disk alligment. Обратите внимание. Operating System Options – скорее всего. их собственными средствами. Также есть возможность их импорта и экспорта. вам не надо снимать флажок Generate New Security ID (SID). Network – настройки сети. Это означает. Могут пригодиться для выполнения каких-то специфических настроек. Обратите внимание: для шифрования используется сертификат vCenter. В эталонной ВМ может быть какое-то ПО. Однажды созданный. Загрузочный диск следует выравнивать до установки ОС. что при переустановке vCenter доступ к зашифрованным паролям теряется. то Sysprep не сможет его поменять. 5. Пройдя туда. Для них обезличивание придется производить отдельно. чем Windows Vista). удалять и создавать новые. Sysprep должен быть скопирован в правильный каталог на сервере vCenter (для обезличивания Windows версий более ранних. пароли администратора хранятся в зашифрованном виде.2. Save Specification – мы можем сохранить эти ответы на вопросы мастера. этот файл ответов можно выбирать в пункте № 0 данного списка. Для обезличивания гостевых ОС с помощью vCenter есть некоторые условия: обезличивание с помощью vCenter невозможно для контроллера домена. с тем чтобы не отвечать на те же вопросы при разворачивании однотипных ВМ. в разделе про виртуальные диски). сможете их изменять. загрузочный диск ВМ должен быть первым диском на первом контроллере. Обратите внимание на то. например антивируса или системы мониторинга. Workgroup or Domain – членство в рабочей группе или домене.

Обратите внимание. из которой был сделан шаблон. дефрагментировать жесткие диски ВМ.noOprom = «true» vmxnet. Например. бывает удобно в имени шаблонов использовать префикс.noOprom = «true» запретят загрузку по pxe для контроллеров типа flexible и vmxnet. Хорошей привычкой является занесение туда полной информации о шаблоне (зачем был сделан этот шаблон и как предполагается его использование. установить и настроить все необходимые службы ОС. Если это была группа портов на стандартном коммутаторе и ее нет на том сервере. в том числе тот. что и та ВМ. обратите внимание на то. Remote Desktop. Например. в документации вашей системы хранения вам наверняка встретятся рекомендации повысить тайм-аут отклика от диска в гостевой ОС.vmx). некоторые источники рекомендуют отключать скринсейвер. SNMP и т. но ее виртуальные сетевые контроллеры не будут никуда подключены. установить VMware tools. раздел Virtual Machines. куда вы разворачиваете новую ВМ. шаблон и разворачиваемые из него ВМ числятся подключенными к той же группе портов на виртуальном коммутаторе. Поэтому для вас может иметь . Лучше всего VMware Paravirtual. процесс разворачивания остановится с ошибкой. то ВМ нормально развернется. не пренебрегайте полем описание (Description).. Обычно это каталоги $NTUnistallxxxxxx$ и $NTServicePackUninstall$ (для ОС Vista и старше используйте compcln. само собой.exe). Информацию о подобных параметрах файла *. IIS. Это может быть нужно из соображений безопасности. п. что нет простой возможности увеличить размер диска для разворачиваемой из шаблона ВМ. что работает при отсутствии залогиненных пользователей. если таковые есть.Клонирование и шаблоны ВМ (Clone и Template) 235 настройте BIOS при необходимости. настройки vlance. что это ПО должно нормально относиться к смене имени ОС. который однозначно их отличает от виртуальных машин. устанавливать последние обновления. Если это была группа портов на распределенном виртуальном коммутаторе и ее нет на том сервере.vmx ищите в первую очередь в документе vSphere Hardening Guide. внесите типовые для вашей инфраструктуры изменения в файл настроек (*. порядок загрузки. установить типовое ПО. куда вы развернули новую ВМ. поменяйте тип SCSI-контроллера на наиболее оптимальный из поддерживаемых. пароль. удалить файлы для отката обновлений из %systemroot%. Для этого в ключе реестра HKEY_LOCAL_MACHINE ⇒ System ⇒ CurrentControlSet ⇒ Services ⇒Disk укажите значение в 60 (для FC/iSCSI) или в 125 (NFS). Например. Например: «типовой узел кластера для промышленных нагрузок») и дате последнего изменения.

поэтому заведомо большее. чем необходимо. индивидуального размера для каждой ВМ. Рис. Эта рекомендация дается из соображения упрощения администрирования СХД. а для данных использовать дополнительные виртуальные диски. как набор виртуального оборудования. упрощения расчета необходимого места. что значительно ускорит процедуру.8. При конвертации шаблона в ВМ лучше всего использовать то же хранилище – тогда при конвертации не будет копирования файлов шаблона. практически весь представленный на рис. количество гигабайт выдавать не стоит. 5. достаточно ограниченный. 5.236 Виртуальные машины смысл создавать небольшой загрузочный диск в шаблоне. Обратите внимание.8. 5. Виртуальное оборудование ВМ Виртуальная машина – это не что иное. презентования этого LUN всем серверам. Список комплектующих виртуальной машины . VMware рекомендует выделять отдельное хранилище (LUN) под шаблоны (и iso-образы). Также нет простой возможности уменьшить размер диска ВМ. Притом набор.3.

5. Пользуйтесь подсказками в виде цветных треугольников на экране настройки оперативной памяти для ВМ. Пойдем по порядку с прочими устройствами и компонентами виртуальной машины. одна ВМ сможет получить производительности не более четырех (или восьми для лицензии Enterprise Plus) ядер. что означает: в ограничение по количеству PCI-слотов мы не упремся. когда ВМ просто не использует весь выданный ей объем.2. CPUs В настройках процессора мы можем лишь указать их количество для этой ВМ. Таким образом. Это происходит в ситуациях. какое-то ПО может иметь ограничение на количество используемых процессоров. и в ситуациях.1. 5. бессмысленна выдача объема памяти больше. если мы импортируем ВМ.Виртуальное оборудование ВМ 237 В этом списке не отображаются слоты PCI. которое зависит от процессоров не только с точки зрения производительности. один процессор виртуальный даст производительности не больше производительности одного физического ядра. В ВМ у вас может использоваться ПО. Как управлять распределением памяти в таких ситуациях. Эта операционная система не увидит больше 4 процессо- . займет один слот. Само собой. В ВМ с версией виртуального оборудования 7 их порядка 16. когда памяти на все ВМ не хватает. Количество vCPU может быть любым – от 1 до 8. Но число vCPU одной ВМ не может превышать число ядер в сервере. в разделе про распределение ресурсов. Memory Для оперативной памяти мы можем указать размер. в том числе и нечетным (не учитывая вопроса поддержки того или иного числа CPU гостевой ОС). Хорошим примером последнего является Windows Server 2003 Standard Edition. то там еще может быть аудиоконтроллер. так как vCPU одной ВМ всегда работают на разных ядрах. созданную в VMware Workstation. скольки ядерные у вас физические процессоры в сервере. чем поддерживает гостевая ОС. сетевыми контроллерами (до 10 на ВМ). Они могут быть заняты следующими устройствами: один всегда занят под видеоконтроллер. PCI-контроллером памяти в случае включения VMI (паравиртуализации для гостевой ОС). поговорим позже. Какое-то ПО может лицензироваться на процессоры. В реальности гипервизор может выделять этой ВМ меньше оперативной памяти.3. То есть независимо от того. SCSI-контроллерами (до 4 на ВМ). Обратите внимание: виртуальный процессор ВМ (vCPU) – это одноядерный (!) процессор.3. Притом здесь мы указываем размер максимальный.

Нажмите кнопку Add Row. никакой настройки для них невозможно. на каждом может висеть по два устройства. 4. Значение из пункта 5 – это количество ядер на один виртуальный процессор.3. 4 или 8. Pointing device Эти устройства присутствуют всегда. Видеоконтроллер для ВМ на ESX(i) – это всегда простой SVGA-видеоконтроллер. SIO controller. 5. Следствием является то. . В таких ситуациях вас может выручить интересная настройка.3. Обратите внимание: контроллеров IDE два. в то время как одна ВМ с такой ОС может задействовать не более 4 из этих 24 ядер. То есть если мы для ВМ выдали 8 процессоров (пункт № 1) и количество ядер на vCPU указали 4 (пункт № 5).4. Возможность задать несколько мониторов (а для этого увеличить размер видеопамяти) может пригодиться в основном в VDI-решениях. Выдайте ей 2. Video card Для видеоконтроллера мы можем настраивать максимальное количество дисплеев. В столбце Value укажите значение – 2. Таким образом. но не факт.coresPerSocket 5. Для реализации этой функции: 1. Обидно иметь в сервере 4 шестиядерных процессора. Например. CD-ROM плюс HDD на IDE-контроллерах вместе может быть не более четырех на одну ВМ. Следует уточнять по документации поставщика ПО. то ВМ увидит 8 ÷ 4 = 2 процессора. 5. 2. IDE. с 4 ядрами каждый. согласно текущим правилам лицензирования.3. позволяющая несколько виртуальных процессоров представить как несколько ядер одного. на которых явно выполняется то или иное ПО. подключаемое к ВМ. а не ядра). Keyboard. 3. Microsoft учитывает физические процессоры (сокеты. PCI controller. AutoCad) – не самые лучшие кандидаты на виртуализацию сегодня. Данная настройка поможет с технической точки зрения (ВМ увидит свои 2 процессора по 4 ядра). что поможет с лицензионной. В свойствах ВМ вам нужна закладка Options ⇒ Advanced ⇒ General ⇒ Configuration Parameters. PS2 controller. В столбце Name укажите имя параметра cpuid. и объем зарезервированной памяти под видео. 4 или 8 процессоров. Еще подробностей про работу процессора и перераспределение ресурсов читайте в разделе про распределение ресурсов. что требовательные к видеокарте приложения (например.238 Виртуальные машины ров. Выключите ВМ.

по сути. Интерфейс VMCI – порядка до 10 Гбит/сек. откуда запущен клиент vSphere.3. VMware предоставляет соответствующие VMCI Socket API и документацию. когда хотите воспользоваться виртуальной дискетой. также кликнув на иконку в верхней панели клиента vSphere (или открытой в отдельном окне консоли ВМ). что после живой миграции виртуальной машины с FDD снимается флажок Connected.5 Гбит/сек скорости обмена трафика между ВМ на одном сервере.Виртуальное оборудование ВМ 239 5. Задействование этого интерфейса должно быть реализовано на уровне ПО. позволяющий чрезвычайно быструю связь между ВМ на одном сервере и между гипервизором и ВМ. с которой вы подключились к этой ВМ с помощью клиента vSphere или веб-консоли.3. вы можете подключить к DVD виртуальной машины образ с локального диска компьютера. New floppy image – на указанном хранилище создается пустой образ flp. 5. Обратите внимание. а по некоторым данным до 40 Гбит.6. Ссылаться они могут на: Client Device – то есть физический CD/DVD-ROM на машине. Варианты следующие: Client Device – то есть физический FDD на машине. то виртуальный дисковод не работает. Host Device – физический CD/DVD-ROM на сервере. откуда запущен клиент vSphere. В случае подключения Client device флажок Connected можно ставить только после включения ВМ. Виртуальный сетевой контроллер в силу своей виртуальности способен дать порядка 2 или 5. CD/DVD Drive К ВМ на ESX(i) может быть подключено до 4 виртуальных CD/DVD-ROM. специализированный сетевой контроллер. . вы можете подключить к FDD виртуальной машины образ с локального диска компьютера. 5. Не забывайте ставить флажки Connected и Connect at power on. с которой вы подключились к этой ВМ с помощью клиента vSphere или веб-консоли. Host Device – физический FDD на сервере. также кликнув на иконку в верхней панели клиента vSphere (или открытой в отдельном окне консоли ВМ). Datastore ISO File – образ iso. Если Connected не стоит. Existing floppy image – образ flp. доступный на каком-то из хранилищ. Floppy drive К ВМ может быть подключено до двух флоппи-дисководов.7. VM Communication Interface Контроллер VMCI – это.5. на что ссылается этот виртуальный FDD.3. доступный на каком-то из хранилищ или в каталоге /vmimages на файловой системе ESX(i). VMCI device. Из настроек мы можем указать.

в составе VMware tools. VMXNET 3 работает быстрее. . Он поддерживает VLAN. 5. Например. VMXNET 3 – виртуальный сетевой контроллер этого типа является самым новым на сегодня поколением паравиртуализованных виртуальных сетевых контроллеров. При использовании последней. или vmxnet. Если Connected не стоит.3. Драйверы для него доступны под большинство современных ОС. Network Adapter Один из самых многовариантных компонентов виртуальной машины – это сетевой контроллер. что он поддерживает все функции. посвященном сетям. нежели vlance или vmxnet. E1000 – виртуальный сетевой контроллер этого типа эмулирует сетевой контроллер Intel 82545EM Gigabit Ethernet. Однако для ВМ с этим типом сетевого контроллера не работает VMware Fault Tolerance. При использовании этого типа виртуального сетевого контроллера для некоторых операционных систем мы можем воспользоваться сетевыми драйверами от Intel и задействовать их стандартные возможности по настройке NIC Teaming и VLAN изнутри гостевой ОС. Его плюсом является наличие драйверов для него в разнообразных. Говоря проще. Flexible – при создании ВМ на ESX(i) 4 вы увидите скорее этот тип виртуального сетевого контроллера. Jumbo Frames. Некоторые подробности об их настройке приведены в разделе. в том числе старых. что контроллер типа Flexible как раз и эмулирует или vlance. ОС. Его использование возможно после установки драйверов для него. VLAN off-loading. В случае подключения Client device флажок Connected можно ставить только после включения ВМ. и MSI/MSI-X interrupt delivery. VMXNET 2 (Enhanced) – виртуальный сетевой контроллер этого типа является эволюцией контроллера типа VMXNET. Драйверы для него есть для многих современных ОС (в составе VMware Tools). Это означает. и это основное его преимущество. IPv6 offloads. Некоторые подробности об их настройке приведены в разделе. Эти контроллеры могут быть разных типов: vlance – виртуальный сетевой контроллер этого типа эмулирует контроллер AMD 79C970 PCnet32 LANCE. старый 10 Мбит/с сетевой контроллер. он не работает.8. Это обусловлено тем. посвященном сетям.240 Виртуальные машины Не забывайте ставить флажки Connected и Connect at power on. 7-ой версии виртуального оборудования их может быть до 10 на одну ВМ. доступные VMXNET 2. какой драйвер активен в гостевой ОС. в зависимости от того. это поддержка multiqueue (также известная в Windows как Receive Side Scaling). с меньшими накладными расходами и поддерживает многие актуальные на сегодня сетевые функции. TCP Segmentation offload. когда хотите воспользоваться виртуальным DVD-ROM. а также некоторые новые. VMXNET – виртуальный сетевой контроллер этого типа является более производительным гигабитным сетевым контроллером.

В строке ethernetX «X» – это порядковый номер сетевого контроллера в данной ВМ. • 32 и 64-битных версий SUSE Linux Enterprise Server 10 и более поздних.txt С точки зрения Windows. • 32 и 64-битных версий Red Hat Enterprise Linux 5. но не удаленным с точки зрения гостевой ОС сетевым контроллером. Таблица 5. ethernetX.1. аналогичных предыдущим. В таком случае в полученном текстовом файле следует поменять название подключения на это новое. Прочие различия виртуальных сетевых контроллеров перечислены в табл. вида «Local Area Connection 2» или подобным.241 Виртуальное оборудование ВМ Драйвер для VMXNET 3 доступен для ОС: • 32 и 64-битных версий Microsoft Windows XP и более поздних. новый контроллер будет виден под новым именем. Функции виртуальных сетевых контроллеров разных типов Flexible IPv4 TSO Нет Enchanced vmxnet (vmxnet2) Да IPv6 TSO Jumbo Frames Large Ring Sizes RSS MSI-X Версия виртуального hardware Нет Нет Нет Нет Нет 4и7 Нет Да Нет Нет Нет 4и7 E1000 VMXNET 3 Да Да Нет Нет Да Нет Нет 4и7 Да Да Да Да Да 7 Выбрать тип контроллера можно при создании ВМ (в мастере Custom) или при добавлении в нее контроллера.vmx). • 32 и 64-битных версий Debian 4/Ubuntu 7. либо напрямую править файл настроек (*. то с точки зрения этой ОС поменяется сетевой контроллер.04 и более поздних.0 и более поздних. В файле настроек ВМ могут быть строки следующего вида: ethernetX.virtualDev = "vmxnet" для сетевого контроллера типа VMXNET 2 (Enhanced). Для сохранения настроек IP в Windows можно сделать так: netsh interface ip dump > c:\ipconfig. Это повлечет за собой сброс настроек IP и. Если необходимо поменять тип существующего контроллера. • 32 и 64-битных версий Asianux 3 и более поздних. ethernetX.virtualDev = "e1000" для сетевого контроллера типа e1000.1.virtualDev = "vmxnet3" для сетевого контроллера типа VMXNET 3. невозможность выставления настроек. то нужно или удалить старый и добавить новый. отключенным. Или поменять имя сетевого адаптера на старое. иногда. – так как они числятся за старым. 5. Если поменять тип сетевого контроллера для ВМ с уже установленной ОС. . • 32 и 64-битных версий Sun Solaris 10 U4 и более поздних.

com/?kbid=269155). что работа по формированию IP-пакетов выполняется сетевым контроллером. То есть операционная система (или процессор) посылает на сетевушку большой блок данных.242 Виртуальные машины Для импорта настроек воспользуйтесь командой netsh -c interface –f c:\ipconfig. выполните команду set devmgr_show_nonpresent_devices=1 Подробности см. то есть для использования TSO вам нужны поддерживающие это сетевушки. Включение TSO в Windows . Контроллер выполняет эту работу без нагрузки на процессоры сервера. в статье базы знаний Майкрософт № 269155 (http://support. Суть функции заключается в том. пригодные для передачи по сети.txt Для удаления упоминаний о старых сетевых контроллерах воспользуйтесь менеджером устройств (Device Manager). microsoft. А контроллер сам формирует из него IP-пакеты. 5. Рис. TSO TCP Segmentation Offloading – функция физического сетевого контроллера.9. Кроме того. поставив в меню View флажок Show hidden devices.

5. Найдите настройку Jumbo Frames и укажите значение 9000. RSS Технология Receive-Side Scaling реализует многопоточность обработки стека TCP/IP. . а затем настроить их использование внутри ВМ или для интерфейса VMkernel.36 ms Large Ring Sizes Большой буфер на сетевом контроллере.9). Jumbo Frames должен поддерживаться всей сетью end-to-end. Jumbo Frames может использоваться с сетевыми контроллерами 1 Гбит и 10 Гбит. 2. Включение этой функции также делается в свойствах драйвера виртуального сетевого контроллера. После этого на примере Windows (рис. iSCSI и VMotion. Для начала использования Jumbo Frames нам необходимо включить их поддержку на vSwitch/dvSwitch. мы тем же числом пакетов передаем больше килобит. то есть должны быть включены на физических коммутаторах. который позволяет обрабатывать большие всплески трафика без отбрасывания пакетов.Виртуальное оборудование ВМ 243 Для задействования TCP Segmentation Offloading убедитесь. табл. Пакеты даже одного сетевого контроллера могут обрабатываться одновременно на нескольких процессорах сервера или виртуальной машины. На выходе должно получиться что-то вроде: ping <IP ВМ> 8972(9000) bytes of data. 5. Jumbo Frames Jumbo Frames позволяет увеличить размер поля для данных в IP-пакете. виртуальных коммутаторах и в ВМ. 5. Если в стандартном IP-пакете поле для данных размеров 1500 байт. Зайдите в настройки драйвера сетевого контроллера. а для ВМ выберите тип виртуального сетевого контроллера с поддержкой TSO. Это позволяет VMXNET3 меньше загружать процессоры сервера в случае гигабитного Ethernet и демонстрировать лучшую производительность для 10-гигабитного Ethernet. то при использовании Jumbo Frame – обычно 9000 байт. Jumbo Frames может использоваться виртуальными машинами и портами VMkernel для трафика NFS. выберите поддерживающий их тип виртуального сетевого контроллера (см.1). Получается. Получается. Rx буфер равен 150 для VMXNET2 и 256 для VMXNET3. что физические сетевые контроллеры его поддерживают. Затем в свойствах драйвера включите его использование (рис. мы с тем же количеством накладных расходов передаем больше полезной информации. Windows Server 2008. 8980 bytes from <IP ВМ>: icmp_seq=1 ttl=128 time=3. RSS поддерживается Windows Server 2003 SP2. Выполните ping соседней ВМ ping -f -l 8972 <IP ВМ> 2.10): 1. Для того чтобы включить Jumbo Frames для ВМ. Для теста Jumbo Frames: 1.

используйте Flexible. а не после установки VMware tools. . Если и он не поддерживается. 5. Используйте VMXNET 2 там. чтобы у ВМ был доступ к сети сразу.10. когда используется RSS. начиная с Windows Vista.244 Виртуальные машины Рис. используйте E1000. с ее помощью обеспечивается более эффективная работа сети. Зачастую это приводит к необходимости удалить упоминание о старом контроллере через менеджер устройств (Device manager). Пример настройки Jumbo Frames для Windows MSI-X Message Signaled Interrupts – альтернативная форма прерываний: вместо присваивания номера запроса на прерывание устройству разрешается записывать сообщение по определенному адресу системной памяти. Однако иногда с Flexible или E1000 стоит начать. Резюме Подводя итоги разговора о типах сетевых контролеров ВМ: используйте VMXNET 3 там. Если VMXNET 3 и VMXNET 2 не поддерживается для гостевой ОС. После смены типа контроллера гостевая ОС будет считать. ОС от Майкрософт поддерживает эту технологию. Обратите внимание. где не поддерживается VMXNET 3. что ей поменяли контроллер. где это поддерживается гостевыми ОС. Основная выгода будет в случае. Попросту говоря. на деле отображенному на аппаратуру локального контроллера прерываний (local APIC) процессора.

В частности.edit. что их можно отключить от ВМ через стандартный механизм отключения USB-устройств или запустив оснастку VMware tools (рис.disable = "true" isolation. Для отключения этой возможности добавьте в файл настроек (*.connectable.11.11). а две другие запретят отключение устройств через VMware tools. например на терминальном сервере.disable = "true" Напомню.vmx) этой ВМ строку devices.hotplug = "false" isolation. Первая из этих настроек запретит горячее удаление или добавление любых устройств в эту ВМ. 5.device. 5. .Виртуальное оборудование ВМ 245 В 7-ой версии виртуального оборудования виртуальные сетевые контроллеры числятся USB-устройствами. Рис. Возможность отключения сетевых контролеров В некоторых ситуациях это недопустимо. это означает. пройдя в свойства выключенной ВМ: Edit Settings ⇒ закладка Options ⇒ Advanced ⇒ General ⇒ Configuration Parameters ⇒ кнопка Add Row. что сделать это возможно.device.

выделив ее сетевой контроллер. но все же). vCenter способен сгенерировать до 65 535 уникальных MAC-адресов. Например. Из этого вытекает следующее: при включении ВМ она может поменять свой MAC. Как правило. Формат MAC-адреса выглядит следующим образом: 00:50:56:vCenterID:xx:xx. где vCenterID можно посмотреть через клиент vSphere в меню Home ⇒ VirtualCenter Management Server Configuration ⇒ Runtime Settings. В этом поле может быть указан MACадрес только из диапазона MAC-адресов VMware. Также делается проверка на уникальность MAC-адреса при включении ВМ. то за генерацию и проверку уникальности MAC-адресов отвечает уже он. Создали ВМ2 – ей сгенерировался такой же MAC-адрес (вероятность этого крайне мала. При его генерации проверки на совпадение с ВМ1 не происходит. Если это количество превышено. ей сгенерировался MAC-адрес. Однако в случае не-VMware диапазона проблема уникальности MAC-адреса в вашей сети – ваша головная боль. так как та выключена.246 Виртуальные машины MAC-адреса виртуальных машин Они генерируются автоматически. При генерации MAC-адреса проверяется несовпадение его с MAC-адресами работающих ВМ и ВМ в состоянии паузы (suspend). Выключили ВМ1. Каким-либо способом откройте файл настроек ВМ в текстовом редакторе. если он совпадает с MAC-адресом какой-то из работающих ВМ. если вы задаете MAC-адрес вручную. При включении ВМ1 поменяет свой MACадрес. Последовательность какая: создали ВМ1. А также изнутри гостевой ОС.vmx) вручную. Если вы работаете через vCenter.vmx> . При старте ВМ vCenter обязательно убеждается в отсутствии совпадения MAC-адресов у разных ВМ. Для вручную задаваемых MAC-адресов VMware использует диапазон 00:50:56. подключившись к ESX(i) по SSH и выполнив команду vi /vmfs/volumes/<название хранилища>/<каталог с ВМ>/<файл настроек ВМ. Эта проблема потенциально актуальна при отсутствии vCenter. может потребоваться ручная настройка MAC-адреса для ВМ. За VMware закреплены два диапазона MAC-адресов – один для автоматически генерируемых и один для вручную присваиваемых. Однако механизм генерации имеет ограничение – до 256 уникальных MAC-адресов (то есть виртуальных сетевых контроллеров) на сервер. Таким образом. все хорошо. Поле для указания MAC-адреса вручную вы увидите в свойствах виртуальной машины. Сгенерироваться заново MAC-адрес для той же ВМ может после перемещения ее файлов. уже внутри файла настроек (*. допустимым является оный из диапазона 00:50:56:00:00:00-00:50:56:3F:FF:FF. Для задания произвольного MAC-адреса в файле настроек сделайте следующее. Таким образом. Можно задать и совсем произвольный MAC-адрес.

SCSI controller Виртуальный контроллер SCSI тоже бывает разных типов.9. MAC-адрес укажите желаемый. Для ESX рекомендую использовать не vi.12). Найдите строки вида ethernet0. Однако на ESXi он недоступен. Если вы зайдете в свойства ВМ и на закладке Hardware выделите SCSI-контроллер. не возбраняется использовать другие из известных вам способов правки конфигурационных файлов.addressType = "static" ethernet0. Разумеется. в верхней правой части окна будет кнопка Change Type (рис. Рис. 5.checkMACAddress = "false" ethernet0.12. Смена типа виртуального SCSI-контроллера .Address = "00:0C:29:B0:27:E1" Разумеется.generatedAddress = "00:50:56:be:2c:21" ethernet0. Сначала про типы. 5.Виртуальное оборудование ВМ 247 Обратите внимание.addressType = "vpx" (на примере первого из сетевых контроллеров этой ВМ). а nano – это текстовый редактор с более дружелюбным интерфейсом. Замените их строками ethernet0.3. и для него доступны кое-какие настройки. 5.

LSI Logic Parallel – работает с меньшими накладными расходами.248 Виртуальные машины Типов всего четыре: BusLogic Parallel – этот виртуальный дисковый контроллер работает наименее эффективным способом. как поступить с типом контроллера: вариант 1. без какой-то эмуляции или перехвата со стороны гипервизора. Тип контроллера поставить PVSCSI. что поддерживает стандарт SCSI 3. Однако не работает VMware Fault Tolerance для ВМ с этим контроллером. используйте BusLogic. Именно в этом кроется повышение эффективности паравиртуализованных дисковых и сетевых контроллеров. . вариант 2. • Windows Server 2003. подключить к ВМ образ flp с драйвером для него и в начале установки подложить эти драйверы. типа PVSCSI. используйте LSI Logic Parallel. невелик: • Windows Server 2008 (включая R2). что при его работе задействуются мощности контроллера физического напрямую. Пример – установка в ВМ Windows 2008. которым необходима поддержка этого стандарта. После окончания установки оставить этот тип контроллера. накладными расходами. Если и он не поддерживается. Если позволяют условия. Выключить ВМ. После установки ОС добавить в систему второй контроллер. Резюме. удалить второй контроллер (PVSCSI). Вариант не очень удобен большим количеством шагов. Тип контроллера поставить LSI Logic. Отличается тем. LSI Logic SAS – новая версия LSI Logic. • Red Hat Enterprise Linux (RHEL) 5. Главным образом для виртуальных машин – узлов кластера Microsoft Failover Cluster. с большими. Windows активирует драйверы для PVSCSI. Напомню. И теперь у вас есть несколько вариантов того. Используется для ВМ. чем другие. используйте контроллер типа VMware Paravirtual. Если он не поддерживается гостевой ОС. Но на ESX(i) (начиная с Update 1) есть образ FDD с драйверами для PVSCSI. и список ОС. чем BusLogic. Вариант хорош простотой. что «паравиртуализованный» виртуальный контроллер означает. включить ВМ. зато нет нужды в подкладывании драйверов. Однако для него есть драйверы для большого количества операционных систем. Для ВМ-узлов MFC используйте LSI Logic SAS. для которых есть драйверы. однако есть для контроллера LSI. В данном случае его можно назвать оптимальным. тип первого поменять с LSI Logic на PVSCSI. VMware Paravirtual SCSI (PVSCSI) – самая современная версия виртуального дискового контроллера. Обеспечивает наибольшую производительность и наименьшие накладные расходы. У этой ОС нет стандартных драйверов для PVSCSI.

Настройка. драйверы можно интегрировать в дистрибутив – но их необходимо где-то взять. Добавление контроллера. Как вариант – из iso с VMware tools. в том числе с других серверов. когда вы хотите дать одновременный доступ к одним и тем же виртуальным дискам нескольким ВМ. . А первая цифра – номер контроллера. то добавится третий контроллер. Она нужна в ситуациях. висящим на этом контроллере. вы увидите список виртуальных компонентов. возможен доступ с других ВМ на этом же сервере. Physical – к виртуальным дискам. сейчас нас интересует пункт «SCSI node». Обычно это необходимо для построения кластеров. дефолтный диск ВМ создается по адресу SCSI 0:0. то кроме диска у вас добавится и второй контроллер. Если для третьего диска выбрать SCSI 2:0. висящим на этом контроллере. чтобы загрузочный диск и диски с данными висели на разных контроллерах. то есть это первый диск на первом контроллере. Например. Hard Disk Виртуальным жестким дискам в виде файлов vmdk или LUN целиком посвящен весь следующий раздел. Таким образом. Значение настройки по умолчанию. Проходим по мастеру создания жесткого диска.Виртуальное оборудование ВМ 249 наконец. возможен доступ с других ВМ. Если вы нажмете кнопку Add на закладке Hardware в свойствах ВМ. Все-таки идем в мастер добавления виртуального оборудования Edit Settings ⇒ Hardware ⇒ Add. SCSI id. Последняя цифра адреса – это номер диска на SCSI-шине. Однако среди них нет SCSI-контроллера.3. Добавлять несколько контроллеров вам придется преимущественно для ВМ – узлов Microsoft Cluster Services или Microsoft Failover Cluster. выделите Floppy Drive ⇒ Use existing floppy image in datastore ⇒ каталог vmimages\ floppies. Для этих решений требуется. которые в ВМ можно добавить. Если для второго диска вы выберете адрес SCSI 1:0. Образы дискет с драйверами для PVSCSI (Windows 2003/2008) и Bus Logic (Windows XP) доступны в каталоге vmimages. О подробностях – чуть ниже. Еще у виртуального SCSI-контроллера есть настройка «Bus sharing» – совместный доступ к SCSI-шине. первый. 5. Зайдите в свойства ВМ. нужная для организации cluster-in-a-box. нужная для организации cluster-across-boxes и physical-to-virtual. Всего до четырех. У каждого виртуального диска есть адрес вида «SCSI X:Y». Настройка. то делается это так. Virtual – к виртуальным дискам. Если вам надо добавить SCSI-контроллер. из упомянутого образа FDD. Варианты этой настройки: None – совместного доступа нет. таких как MSCS/MFC. Но добавляем Hard Drive.10.

Рис.12. что при подключенном физическом LPT-порту невозможна живая миграция (VMotion) этой ВМ.13.1 и на ESXi) возможно подключение к ВМ физического LPT-порта сервера.250 Виртуальные машины 5.3. для связи по COM-порту между ВМ одного ESX(i). На ESX (начиная с версии 4. В версии 4. Parallel port К ВМ можно подключить параллельный (LPT) порт. не будет работать FT. Обратите внимание. И на ESX. На ESX(i) (на ESXi только с версии 4. что при подключенном физическом COM-порту невозможна живая миграция (VMotion) этой ВМ. Альтернативой пробросу физического порта является подключение к именованному каналу (named pipe).1 список возможных режимов работы виртуальных машин с последовательным портом стал богаче. Обратите внимание. и на ESXi виртуальный порт LPT может быть подключен к файлу.3.1) возможно подключение к ВМ физического COM-порта сервера. Serial port К ВМ можно было подключить последовательный (COM) порт в любой версии ESX(i).11. Схема работы с концентратором последовательных портов Источник: VMware . не будет работать FT. 5. 5.

В доку- . например HP Command View. Таким образом. Так же как SCSI device. Обратите внимание: обращение на адрес внешнего модуля будет производиться сервером ESX(i). ленточные библиотеки. если того требует ПО управления SAN. Наконец. подключенный в Fibre Channel сеть. что ESX(i) может подключить последовательный порт виртуальной машины к внешнему концентратору последовательных портов по сети. USB controller и USB device Начиная с версии 4. нормальна и работоспособна. и не прервет работу с устройством. к ВМ стало возможно подключить USB-устройство сервера. они представляют собой программное решение. Обычно такими устройствами являются стримеры. Если к серверу подключен USB-накопитель или USB-ключ и в конфигурации виртуальной машины присутствует USB-контроллер. то есть записывать в файл исходящий поток данных. вовторых. А вот в версии 4. подключенного к серверу. Обратите внимание на то.3.3. Притом можно к ВМ подключить даже ленточный накопитель. что VMware не поддерживает подключение ленточных накопителей к виртуальным машинам. необходимо настроить внешний модуль. Администраторы обращаются (по telnet или ssh) к этой ВМ и получают доступ к последовательным интерфейсам виртуальных машин vSphere. Для виртуальных машин с таким вариантом последовательного порта будет поддерживаться vMotion. не виртуальной машиной. а затем указать его IP-адрес в настройках последовательного порта виртуальной машины. не являющееся жестким диском (LUN).1. ситуация. существуют сторонние решения Com-over-IP. таким внешним концентратором может быть виртуальная машина ACS v6000 Virtual Advanced Console Server. Для того чтобы воспользоваться данной возможностью.1 появился еще один вариант подключения – концентратор виртуальных последовательных портов.Виртуальное оборудование ВМ 251 Последовательный порт виртуальной машины может быть подключен к файлу.14. но обращается к USB-ключу с сервера 1. Суть этого механизма – в том. 5. когда виртуальная машина работает на сервере 2. 5.13. во-первых. работающее изнутри гостевых ОС. и для значительного процента моделей такое подключение не работает. не HBA-сервера). можно из ВМ увидеть контроллер системы хранения (именно системы хранения. Например. SCSI device К ВМ можно подключить SCSI-устройство. Что очень здорово – vMotion виртуальной машины с подключенным USBустройством будет возможен. то в конфигурацию виртуальной машины появляется возможность добавить и USB device – это будет подключение к виртуальной машине USB-устройства.

Однако можно попытаться пробросить и другие устройства. QLogic QLA25xx 8Gb Fibre Channel. задействование этой функции приводит к невозможности пользоваться: . К слову. но все 15 могут быть подключены к одной ВМ. К одной ВМ – до двух устройств. памяти или PCI-устройств. Однако. Однако у VMware есть явный список поддерживаемых контроллеров.3.0. самый удобный способ подключения к ВМ USB-устройств – это использование решений USB-over-IP. на мой взгляд. Broadcom 57710 10 Gigabit Ethernet adapter. такие как USBконтроллеры сервера. 5. Неофициальный список поддерживаемых устройств доступен по ссылке http://www. LSI 3442e-R и 3801e (1068 chip–based) 3Gb SAS adapter. к которому подключено устройство USB. Таким образом. Нельзя разделить одно устройство USB между несколькими виртуальными машинами.15. к виртуальным машинам на одном сервере не может быть подключено более 15 устройств USB. следовательно.html. на момент написания это контроллеры: Intel 82598 10 Gigabit Ethernet adapter. такие как 10 Гбит Ethernet и FC HBA. Обратите внимание.ru/2010/12/whitebox. не вызовет недоступности этого USB-устройства для виртуальной машины и не потребует от администраторов действий для обеспечения этой доступности.252 Виртуальные машины ментации вам доступен список официально поддерживаемых устройств USB. К сожалению. что отсутствие устройств в этом списке не означает. VMDirectPath Эта реализованная в ESX(i) 4-ой версии функция позволяет «пробросить» в виртуальную машину PCI(e)-устройство. Если вы продолжаете использовать ESX(i) версии 4. С ее помощью к виртуальной машине может быть подключен USB-контроллер сервера и. В таком случае плановый или неплановый простой сервер ESX(i). USB-устройства следует отключить перед горячим добавлением в виртуальную машину процессоров. Сервер должен поддерживать Intel Virtualization Technology for Directed I/O (VT-d) или AMD IP Virtualization Technology (IOMMU). Подробности такого варианта – в следующем разделе. то проброс устройств USB-средствами ESX(i) возможен только через функцию VMDirectPath. Изначально эта функция позиционируется как способ пробрасывать в ВМ высокоскоростные контроллеры ввода-вывода. что для них не заработает VMDirectPath. и в BIOS это должно быть включено. как и раньше. подключаемые к нему устройства USB. Иначе устройства USB окажутся отключены автоматически.vm4. Напомню. Хорошо для абсолютной минимизации задержек и предотвращения совместного использования устройств.

Виртуальное оборудование ВМ 253 VMotion и Storage VMotion. Для этого пройдите Configuration ⇒ Advanced Settings в разделе Hardware ⇒ ссылка Configure Passthrough (рис. 5. Настройка VMDirectPath для конкретного устройства Вам покажут список устройства сервера (рис.16). на закладке Hardware ⇒ Add ⇒ PCI Device ⇒ в выпадающем меню у вас должно получиться выбрать ранее указанное устройство (рис. оно теперь может использоваться виртуальной машиной. Здесь мы пометим устройство как не используемое самим гипервизором. . горячим добавлением устройств. сначала необходимо отключить его от гипервизора. Ни одна другая виртуальная машина и сам ESX(i) не смогут теперь этим устройством воспользоваться. После включения гостевая операционная система увидит устройство и запустит поиск и установку для него драйверов. 5. Зайдя в свойства ВМ. 5. Значит.14). Рис. снимками состояния (snapshot) и паузой (suspend) для виртуальной машины. Чтобы подключить какое-то устройство к ВМ.15). Fault Tolerance. 5.14.

Называется такой тип подключения Raw Device Mapping. Поговорим про все варианты подробнее. Глобально вариантов здесь два: 1. Сейчас поговорим про различные настройки виртуальных дисков – файлов vmdk. Диск ВМ – это весь LUN на FC / iSCSI / локальных дисках. 5.1. и во втором случае у нас есть несколько вариантов. И в первом. что из себя могут представлять диски виртуальных машин. 5. Диск ВМ – это файл vmdk на хранилище VMFS или NFS.4. Виртуальные диски – файлы vmdk Про виртуальные диски именно как файлы будет рассказано чуть далее. Выбор устройства для проброса в ВМ 5. 2. .254 Виртуальные машины Рис. Все про диски ВМ Здесь подробно коснусь того. RDM.4.15. в разделе «Файлы ВМ».

подключить уже существующий и расположенный на доступном этому ESX(i) хранилище. создаст vmdk типа zeroedthick. что максимальный размер файла ограничен размером блока раздела VMFS. 2. На VMFS. Create a Disk – здесь вы можете указать следующие настройки: • Capacity – номинальный размер диска. • Disk Provisioning – тип файла vmdk. 1. Размер же файла vmdk зависит от следующей настройки: напоминаю.255 Все про диски ВМ Рис. После нажатия Next вы увидите следующие шаги мастера. хотите ли создать новый файл vmdk. Флажок Thin Provisioning создаст . Выбор устройства для подключения к ВМ Для подключения диска к ВМ зайдите в ее свойства. созданном по умолчанию. без флажков. Select a Disk – здесь вы выберете. Вариант по умолчанию. Столько места на нем увидит гостевая ОС. Сейчас рассмотрим первый вариант. или же подключить RDM. на котором вы его создаете. нажмите кнопку Add на закладке Hardware и выберите Hard Disk.16. вы не создадите один файл vmdk размером больше 256 Гб. 5.

файл vmdk займет на диске 50 Гб даже тогда. Из-за обнуления процесс создания файла vmdk такого типа занимает намного больше времени. Этот режим для диска используется по умолчанию при создании файла vmdk на хранилищах VMFS. Файлы vmdk этого типа создаются нулевого размера и растут по мере того. Второй флажок создаст файл типа eagerzeroedthick. как гостевая ОС изменяет данные на этом диске. Чтобы создать файл этого типа. thin – «тонкий». Мы их подготовили. занимаемых этим файлом. Также в момент создания происходит обнуление всех блоков. То есть если вы создаете для ВМ диск размером 50 Гб. Блоки данных обнуляются (очищаются от данных. Теперь после выключения они всегда будут возвращаться к своему состоянию на момент включения этого режима. перевели их диски в данный режим. eagerzeroedthick – «заранее обнуляемый предразмеченный». • Mode – если поставить флажок Independent. Используйте его для ВМ под защитой Fault Tolerance (при включении FT мастер оповестит о необходимости преобразовать файлы vmdk ВМ к этому типу). то к этому виртуальному диску не будут применяться снимки состояния (snapshot). Он является рекомендуемым под большинство задач. что создаваемый диск подключен к контроллеру IDE. который будет удаляться после выключения ВМ. Также файлы vmdk этого типа рекомендуется использовать под диск для данных кластера Майкрософт. В режиме Persistent все изменения будут немедленно записываться в этот файл vmdk. настроили. О типах дисков – чуть ниже. чем могло бы быть. если этого контроллера в ВМ еще нет – он будет добавлен вместе с диском. В ВМ может быть до 4 SCSI-контроллеров и до 15 дисков на каждом. Такой режим имеет смысл. для демонстрационных ВМ. Файлы vmdk могут быть разных типов. например. Обратите внимание. такие как горячее добавление и увеличение размера. что этот диск займет второе SCSI ID на виртуальном SCSI-контроллере номер 1 (нумеруются они с нуля). Для IDE-дисков недоступны некоторые функции. Advanced Options – эти настройки обычно менять не требуется: • Virtual Device Node – на каком ID какого виртуального контроллера будет располагаться этот виртуальный диск. 3. которые находились там ранее) перед первым к ним обращением – поэтому первое обращение к ранее свободному месту будет чуть медленнее. В режиме Nonpersistent все изменения с момента включения будут записываться в отдельный файл. В этом режиме место под файл vmdk выделяется в момент создания. в графическом интерфейсе поставьте флажок «Support clustering features such as Fault Tolerance». Также вы можете указать.256 Виртуальные машины файл vmdk типа thin. В этом режиме место под файл vmdk выделяется в момент создания. • Location – на каком хранилище будет находиться создаваемый файл. От- . и типы эти следующие: zeroedthick – «обнуляемый предразмеченный». чем создание файла vmdk любого другого типа. когда никаких данных ВМ еще не записала на этот диск. SCSI (1:2) означает.

от блоков с неудаленными данными. подключенных Raw Device Mapping. в графическом интерфейсе поставьте флажок «Allocate and commit space on demand (Thin Provisioning)». а впоследствии удаленных данных все-таки существуют. rdm и rdmp – такой тип у vmdk. pRDM – physical RDM. Однако через пяток-другой месяцев разница с предразмеченными дисками может сойти на нет. В случае поддержки системой хранения thin provisioning созданный thick-диск в thin-режиме СХД займет место на системе хранения только по мере заполнения его действительными данными. Но не всегда.Все про диски ВМ 257 лично подходят для экономии места на хранилищах. vRDM – virtual RDM. которые являются ссылками на LUN.x был еще тип виртуального диска thick – предразмеченный необнуляемый. Однако в подобном формате ВМ используются в других продуктах VMware. с точки зрения гостевой ОС) данными. Обратите внимание. В графическом интерфейсе и в данной книге под типом «thick» понимается zeroedthick. Блоки данных обнуляются перед первым к ним обращением. Какие соображения имеет смысл принимать во внимание? Thin-диски требуют намного меньше места на хранилище при создании и в начале эксплуатации ВМ. Подробнее про RDM – чуть ниже. то включить ее на ESX(i) нельзя. Однако некоторые способы очистить thin-диск от записанных. . в случае использования vmdk выбирать нам надо между thin и zeroedthick. Преобразовывать vmdk в формат 2gbsparse или из него в thin/thick вы можете при помощи команды vmkfstools. RDM. На ESX(i) 3. Если файлы vmdk ВМ в таком формате. 2gbsparse – файл разбивается на части размером по 2 Гб. Так что ВМ в таком формате вам может понадобиться при переносе ее на ESX(i) с другого продукта VMware или для запуска на другом продукте созданной на ESX(i) виртуальной машины. monosparse и monoflat – виртуальные диски в этих форматах используются в других продуктах VMware. Режим thin для виртуального диска обычно используется по умолчанию при создании файла vmdk на хранилищах NFS. При работе с ним ESX(i) не производил обнуления блоков. занятые такими (удаленными. Но в книге рассматривается только thin provisioning в варианте от VMware. Чуть больше подробностей дам позже. ESX(i) не может отличить блоки. это зависит от настроек на стороне сервера NFS. см. потому что при удалении данных изнутри гостевой ОС происходит только очистка заголовков – ОС помечает какие-то блоки как «их теперь можно использовать». потому что операции уменьшения (Shrink) виртуального диска в ESX(i) не предусмотрено. Однако в ESX(i) 4 создать файл vmdk в таком формате нельзя. причем такой «аппаратный thindisk» может быть создан независимо от «программного thin-диска ESX(i)». По большому счету. NetApp). В частности. Понятие и технология thin disk также используются некоторыми аппаратными системами хранения (3Par. Чтобы создать файл этого типа. раздел «Уменьшение размера виртуального диска».

258 Виртуальные машины Плюс к тому некоторые операционные системы (Windows. мы увидим. кому среднестатистических 25 Гб все-таки недостаточно. Вывод: под некоторые задачи. Но внутри большей части 50-гигабайтных файлов vmdk будет много свободного места (скорее всего. Вывод: использование thin provisioning позволяет в начальный момент обойтись меньшим количеством места на системе хранения. В момент создания ВМ размер ее файла vmdk равен нулю. В первые полгода-год – вряд ли больше 15 Гб. чем для eagerzeroedthick. Если такая задержка может быть неприятной для вашего приложения. что файл vmdk занимает порядка 12 Гб: 6 + 2 + 2 + 2. В каких ситуациях нам интересно использовать thin-диски? Для производственных ВМ – когда мы хотим сэкономить на дисках в первое время эксплуатации виртуальной инфраструктуры. приложению может потребоваться до 50 Гб места за пару лет работы. для простоты одинаковых. С точки зрения файлов ВМ. используйте eagerzeroedthick-диски. И по статистике 50 Гб начинает использовать лишь небольшая доля таких серверов. когда данные часто добавляются и удаляются. и для разного типа thick-дисков. И для thin. По данным VMware. нежели занятые ранее удаленными данными. Допустим. в большинстве случаев для этого приложения хватает и 25 Гб. при использовании thin-дисков мы можем обойтись 450 Гб = 15 Гб × 30 ВМ. После установки ОС – порядка 6 Гб. 2. ESX(i) автоматически переводит все ВМ на этом хранилище в состояние паузы (suspend). Когда хранилище заполняется на 99%. и для zeroedthick время самого первого обращения к блоку значительно выше. производительность ВМ с дисковой подсистемой не ухудшается при использовании thin-дисков вместо thick. плюс еще гигабайт 300 для тех. Вот у нас есть задача запустить 30 ВМ. мы это просто предполагаем). Поясню свою мысль. но повышает вероятность столкнуться с неработоспособностью сразу всех ВМ в связи с нехваткой места. Их точность зависит от имеющихся у нас данных по использованию места на диске конкретным приложением и оценок по росту нагрузки в будущем. Однако все дальнейшие обращения. Получается: при использовании thick-дисков нам необходимо 1500 Гб = 50 Гб × 30 ВМ. в частности) для записи новых данных предпочитают использовать изначально пустые блоки. Но! Все эти цифры являются приближением. Например. опять скопировать и удалить и в последний раз скопировать. то место на хранилище закончится. В гостевой ОС мы увидим примерно 8 занятых гигабайт: 6 + 2 – 2 + 2 – 2 + 2. Если мы ошиблись в расчетах и не успели докупить еще дисков. по скорости одинаковы и для thin. . и работа всех (!) виртуальных машин с заполненных хранилищ станет невозможна. мы создадим ВМ с Windows Server 2008 и с диском в 20 Гб. thin-диски быстро вырастут до номинальных размеров. удалить его. то: 1. Если теперь скопировать на ее файл диск размером в 2 Гб. потому что его еще надо обнулить перед первой записью туда. Через год понадобится от 1000 Гб = 25 Гб × 30 ВМ. кроме самого первого.

Диски ВМ мы можем конвертировать в любые форматы. 5. не разделяя их с другими ВМ. 5. В таком случае RDM выступает в роли общего хранилища.17). чтобы диски были толстыми или тонкими (zeroedthick или thin). Это файл подкачки (*. Также мы можем конвертировать файлы vmdk в эти и прочие форматы из командной строки с помощью консольной утилиты vmkfstools. который могут занять файлы виртуальной машины. и файлы vmdk снимков состояния. Рис. Not-shared Storage будет показывать остальное место. за исключением двух вариантов: когда используется функция Linked Clone. равное номинальному размеру диска. Там в разделе Resources вы увидите данные по занимаемому месту (рис. принадлежит сразу двум ВМ. . когда диском ВМ является RDM и у вас кластер между ВМ (например. Так как каждый снимок состояния (snapshot) может занять место.17. то при каждом снимке состояния величина Provisioned Storage увеличивается на размер диска/дисков. Она доступна при использовании поверх vSphere таких продуктов. При операциях Storage VMotion и Clone нас спросят.259 Все про диски ВМ Обратите внимание. То есть это номинальный объем ее диска плюс объем всех прочих файлов. хотим ли мы. Данные по размеру тонкого диска Not-shared Storage всегда равняется Used Storage. Тонкие диски и интерфейс Выделите виртуальную машину с тонким диском и посмотрите на закладку Summary. как VMware Lab Manager или VMware View. Used Storage – сколько места реально занимают на хранилище файлы-диски этой ВМ. который гипервизор создает для этой ВМ.vswp). кроме RDM. Из «прочих файлов» заслуживают упоминаний два. Provisioned Storage – это максимальный объем. MSCS/MFC). что ВМ занимает на хранилище. Not-shared Storage – сколько места эта виртуальная машина занимает именно под свои файлы.

в каком бы он ни был формате.18). даже если тот не достиг своего максимума. 5. 5.2. который хотите увеличить. Зайдите в свойства ВМ. 5. Однако останется вопрос увеличения раздела файловой системы гостевой ОС на этом диске. Это приведет к неработоспособности ВМ. Однако если на хранилище закончится место. Рис.18. то гипервизор не сможет увеличить thin-диск (или файл снимка состояния). Делается это просто. то. Provisioned Storage – это ограничение размера файла vmdk. нам может захотеться увеличить его размер. выделите диск. чтобы дать дополнительно место для гостевой ОС. Меню увеличения размера диска .260 Виртуальные машины Обратите внимание. Вы увидите меню выбора нового размера и подсказку о максимальном размере диска – он зависит от количества свободного места на текущем хранилище (рис. Изменение размеров дисков ВМ Поговорим про разные варианты изменения размеров виртуальных дисков разных типов. То есть это гипервизор не даст файлу вырасти больше.4. Увеличение размера диска Если у ВМ есть файл-диск.

Для наших целей подойдет любой. может быть. Выбор средства для этого зависит от типа гостевой ОС. 5. нужного размера. К сожалению. попробовать найти какую-то стороннюю утилиту. а затем поняли. и перегнать на него образ диска. а затем файл vmdk. в Windows Server 2008 для этого не требуется дополнительных утилит (рис. размер которого хотим уменьшить. Если вам не хочется выключать ВМ для конвертации. работающими «изнутри». напомню. Тем не менее иногда его применение оправдано. что выдали слишком много. укажите имя и учетную запись для доступа к vCenter. В случае Enterpriseверсии. что VMware Converter Enterprise входит в состав VMware vCenter 4. удобно и успешно. нужно установить плагин конвертора в клиент vSphere. Перечислим их все: в первую очередь следует упомянуть об использовании VMware Converter.Все про диски ВМ 261 Уменьшение номинального размера thickили thick-диска Если вы выделили для виртуальной машины диск некоего размера. вручную уменьшить сначала раздел в гостевой ОС. тогда в начале мастера конвертации укажите. выполняющую эту работу для ВМ на ESX(i). сам скопирует данные и сам уменьшит размер раздела файловой системы гостевой ОС. VMware Converter. Можно подключить к ВМ второй диск. что вы хотите конвертировать Physical Machine. Это неподдерживаемый способ. . что вам необходимо конвертировать vSphere Virtual Machine. после чего в контекстном меню сервера появится пункт Import Machine. на шаге Source Data. – ПО работы с образами дисков типа Ghost или Acronis. а VMware Converter Standalone бесплатно загружается с сайта. в краткой аннотации я уже все рассказал про этот способ. В принципе. к моменту прочтения вами этих строк что-то и появится. Например. на нее установится агент конвертера.19). то есть несколько способов отобрать лишнее место. Установите конвертор. но можно указать диски меньшего размера. затем можно воспользоваться средствами. но. который вам необходимо выполнить. загрузив ВМ с LiveCD. подсказать что-то не могу. Затем. – это уменьшение размера раздела на уменьшаемом диске. Уменьшение размера диска вручную. Он нам и нужен.20). Напомню. Первый шаг. Часто эту операцию удобно выполнять. Убедитесь в отсутствии снимков состояния (snapshot) для ВМ перед его применением. запустите мастер конвертации. Конвертор сам создаст новую ВМ с дисками нужного размера. у вас будет возможность выбора размера диска вновь создаваемой ВМ (рис. в нем укажите. В этом случае обращение на конвертируемую ВМ произойдет по сети. Поговорим про эти способы чуть подробнее. который вы применяете на свой страх и риск. С его помощью ВМ конвертируется в ВМ на том же ESX. Запустится мастер конвертации. Перенос образа диска на диск меньшего размера. который обеспечит конвертацию без выключения этой ВМ. 5.

Обратите внимание на то. 2. Вот *.vmdk" Умножением RW на 512 получаем размер диска: 52428800 × 512 = 26 843 545 600 (25. Например. В неподдерживаемой командной строке ESXi есть только vi. но без дополнительных телодвижений они заработают лишь с ESX. disk2. В открытом файле vmdk мы увидим что-то вроде: # Extent description RW 52428800 VMFS "foo-flat. с именами вида: 1.262 Виртуальные машины Рис. хотим уменьшить диск до 12 Гб. для новичков.19. Для этого меняем disk.vmdk для уменьшаемого диска нам и нужен.vmdk – это тестовый файл описания геометрии и структуры диска.vmdk" . Мастер конвертации ВМ.vmdk – это непосредственно данные. шаг выбора размера диска Следующий шаг – выключение ВМ и открытие в текстовом редакторе файла vmdk. 5. В командной строке ESX можно использовать текстовые редакторы vi или nano.vmdk: # Extent description RW 12582912 VMFS "foo-flat. что диск ВМ состоит из двух vmdk. последний – попроще. disk2-flat. Можно воспользоваться утилитами FastSCP или WinSCP.6 Гб).

Все про диски ВМ 263 Рис. то уменьшение диска произойдет без выключения виртуальной машины. Если последняя операция реализуется через Storage VMotion. 5. который так и так занимает много места – и иногда нам хо- . можно клонировать этот диск из командной строки: # vmkfstools -i disk. Уменьшение реального размера thin-диска Что делать. На уменьшаемом диске должно появиться неразмеченное место Последний шаг – делаем горячую или холодную миграцию этой ВМ (или этого одного диска) на другое хранилище.vmdk Обратите внимание. Если у нас нет vCenter. то есть данные операции недоступны. Мигрировать можно не всю ВМ. если у вас есть vmdk. а лишь уменьшаемый диск.20. и после этой операции диск становится нужного размера (рис. который хочется уменьшить? Это может быть vmdk типа thick. 5.vmdk disk_new_small.21).

Для Windows в этом может помочь утилита sdelete от Sysinternals. Если имеющаяся у нас лицензия не позволяет использовать Storage VMotion. Исходную же ВМ мы просто удалим. вместо нее можно сделать холодную миграцию на другое хранилище (Migration ⇒ Change Datastore) или клон (Clone) этой ВМ.с E: Это для диска E:\. Запускаем ее внутри ВМ. Диск уменьшился чется перевести его в состояние thin. 5. занимаемые удаленными данными. . 1. 2. натравливая на диск с удаленными данными: sdelete .21. Необходимо обнулить блоки.264 Виртуальные машины Рис. Или это может быть «распухший» thin-vmdk. внутри которого содержится много удаленных данных. После окончания ее работы запускаем процесс Storage VMotion и в мастере выбираем настройку Change to Thin Provisioned Disk. Полученная копия будет занимать меньше места на хранилище за счет очистки удаленных данных.

Однако если вы выберете Remove from virtual machine в случае. Рис. вы увидите его тип (thick или thin) в строке Type. выделив HDD.265 Все про диски ВМ Обратите внимание. 5. Удаление диска Когда вы заходите в свойства виртуальной машины. то вам нужен пункт Remove from virtual machine. В свойствах виртуальной машины. 5.22). то файл останется на хранилище и продолжит занимать место. например вы хотите подключить его к другой ВМ. когда хотите именно удалить данный файл-диск. система спрашивает вас. Будьте внимательны и при необходимости именно удалить файлдиск выбирайте Remove from virtual machine and delete files from disk. выделяете диск и нажимаете кнопку Remove. Варианты удаления диска ВМ Если этот диск вам еще нужен. .22. как именно этот диск надо удалить (рис.

что при чтении или записи каждого блока будет произведено чтение или запись двух блоков на системе хранения. Это выравнивает блоки создаваемого LUN в соответствии с параметрами VMFS.266 Виртуальные машины К сожалению. В случае виртуализации ситуация даже немного сложнее: у нас есть блоки на СХД. выравнивание лучше производить. Это означает. для SAN. Для просмотра того. VMFS. что x86 операционные системы создают в начале раздела master boot record (MBR). И файловая система оперирует блоками данных. создается по границе 128 – кроме того. как «выровненный» или «невыровненный раздел». выполните команду fdisk –lu На выходе вы получите информацию о разделах. 5. падение производительности в невыровненном случае не является значительным в большинстве случаев. что при операциях чтения-записи массив оперирует блоками данных (или страйпами). По доступным мне данным.4. Суть его в том.robware. Это происходит потому. «осиротевшие» файлы-диски. На рис. Выравнивание VMFS Этап первый – выравнивание VMFS.3. создаваемый из графического интерфейса. Block и Cluster – соответственно. VMFS и файловой системы гостевой ОС (NTFS в гостевой Windows). потому что она оказывается ниже реально достижимой в случае оптимальной настройки. занимающую 63 блока. В некоторых случаях блоки файловой системы не выровнены по границам блоков (страйпов) системы хранения.23 показан невыровненный. Рекомендую стороннюю утилиту RVTools (http://www. впустую занимающие место. В англоязычной документации вам могут попасться термины Chunk. блоки файловой системы VMFS и блоки файловой системы гостевой ОС в файле vmdk. Выравнивание (alligment) Существует такое понятие. встроенного простого способа обнаружить неправильно удаленные. порядка 10%. не существует. по какой границе создан раздел VMFS. что отрицательно сказывается на производительности дисковой подсистемы. Также для виртуальных машин с интенсивной нагрузкой на дисковую подсистему. что создается при установке ESX(i) 4. что-то вроде Device boot Start End Blocks Id System /dev/sdj1 128 167766794 83883333+ fb Unknown .net). Однако имеет смысл производить его для шаблонов – тогда с минимальными усилиями диски большинства наших ВМ будут выровнены. плохой случай наверху и выровненный – внизу. потому что граница создания первого блока файловой системы сдвинута. особенно при случайном доступе. 5. Для большинства СХД достаточно при создании LUN указать правильный тип (обычно «VMware»).

Все про диски ВМ 267 Рис. если на нем расположен esxconsole. 2) это созданный нами из командной строки раздел. Выравнивание по границе 128 нам подходит. . 5. что этот раздел отформатирован в VMFS. так как для выравнивания раздела требуется его пересоздать. Другое значение (обычно 63) – о том. Получается. В случае использования ESX создаваемый по умолчанию VMFS невозможно удалить. что этот раздел выровнен по границе 128. что столкнуться с невыровненным разделом VMFS нам придется в одном из двух случаев: 1) это создаваемый установщиком раздел VMFS по умолчанию.vmdk. В первом случае иногда ничего сделать нельзя. диск Service Console. И столбец «start» – значение «128» говорит о том.23. Иллюстрация выровненных и невыровненных разделов Источник: VMware Здесь вас интересует столбец «Id» – значение «fb» указывает. При создании VMFS из интерфейса клиента vSphere он автоматически выравнивается по границе 128. что не выровнен.

Оставьте по умолчанию номер первого и последнего цилиндров. Обратите внимание: fdisk создаст раздел. 4.010000000036413037454237333333374241354331494d41474546 или mpx. где вы только что создали раздел. 2. Нажмите d для удаления раздела. Нажмите n для создания нового раздела. задействовав тем самым весь LUN под этот раздел. Можно сделать это из GUI. Выполните fdisk /dev/sd<x> где <x> – буква нужного LUN. Выполните команду вида vmkfstools -C vmfs3 -b 1m -S myVMFS /vmfs/volumes/devices/disk/mpx. но не отформатирует его в VMFS. Опознать нужное устройство можно. Нажмите b для указания номера первого блока раздела. вы сможете его опознать по ID «fb».268 Виртуальные машины Во втором случае надо пересоздать раздел правильно. что это VMware VMFS volume. Размер блока VMFS не имеет значения с точки зрения производительности. Выполните команду ls –l /vmfs/volumes/devices/disk Сопоставьте тому LUN.6a07eb73337ba5c1 или vml. Нажмите 1 для создания раздела № 1. Если там что-то есть. Нажмите p. Обратите внимание: это удалит все данные с этого раздела. vmhba35:C0:T0:L0:1 Параметр «–b 1m» указывает создать VMFS с блоком. 11. равным 1 Мб. 6. Для форматирования сделайте следующее: 1. Нажмите x для входа в режим эксперта. 3. 13. Если на LUN есть раздел VMFS. Нажмите p для указания. можно из командной строки: 1. 9. Нажмите 1 для выбора раздела 1. Наберите 128 (128-й блок – это 64-й килобайт). имя вида eui. выполнив команду fdisk -l 2. Нажмите w для записи информации о разделе на диск. 12. от него за- . 7. 8.vmhba35:C0:T0:L0. 5. 10. Нажмите t для указания system ID создаваемого раздела. что этот раздел primary. перенесите данные на другой LUN или сделайте резервную копию. Напечатайте fb для указания.

6a07eb73337ba5c1. раздел VMFS у нас выровнен. добавляем Hard Disk нужного размера.exe (она актуальная для Windows Server 2003 и 2008). После имени LUN. Выравнивание файловой системы гостевой ОС Теперь надо выровнять файловую систему гостя в файле vmdk. – виртуальная машина с Windows.Все про диски ВМ 269 висит только максимальный размер файла на создаваемом разделе. например eui. с размером блока в 32 Кб: Format E: /FS:NTFS /A:32K Если вам хочется посмотреть. У этой ВМ уже есть диск. Для форматирования созданного раздела в NTFS. Для создания раздела с правильным выравниванием: Create partition primary align=64 4. не для загрузочного диска ВМ. 2. Добавим к ней второй диск. Итак. Add на закладке Hardware. выровнены ли существующие разделы. Для просмотра списка дисков: List disk Добавленный будет «Disk 1». Для выхода из diskpart: Exit 6. Для последующих операций над этим диском: Select disk 1 3. не забудьте указать номер раздела через двоеточие – «:1». сделать это можно так: . из которой затем сделаем шаблон. Теперь в гостевой ОС запускаем утилиту diskpart. что выравнивание рекомендуется делать только для диска с данными. заходим в свойства ВМ. на который установлена ОС. Выполните команды: 1. Все. Первое. Для назначения буквы созданному разделу: select partition 1 remove noerr assign letter=E noerr 5. Я расскажу об этом на примере данной операции для создаваемого шаблона ВМ с Windows. постановка задачи – создать выровненный диск для ВМ с Windows. Мы его сначала выровняем из-под этой Windows. Параметр «-S myVMFS» присваивает создаваемому разделу метку «myVMFS». что нам понадобится. Обратите внимание. Итак. затем отключим и подключим уже к новой ВМ – будущему шаблону.

За дополнительной информацией обратитесь в статью базы знаний Майкрософт 929 491 (http://support. хотите ли создать новый файл vmdk.microsoft. хотя на самом деле он займет всего несколько мегабайт. Два варианта: • Physical – в этом режиме гипервизор не перехватывает и не изменяет SCSI команды от ВМ на LUN (с одним исключением: команда REPORT). Зайдите в свойства ВМ. нажмите кнопку Add на закладке Hardware и выберите Hard Disk. 3.270 Виртуальные машины 1. рис. Для того чтобы подключить к ВМ какой-то LUN. являющийся ссылкой на подключаемый RDM. RDM Raw Device Mapping (RDM) представляет собой механизм для прямого доступа виртуальной машины к конкретному LUN устройств хранения SAN (Fibre Channel или iSCSI) или DAS. . Для выровненных разделов число из этого поля должно нацело делиться на размер блока данных (например. Этот файл нужен для управления доступом к RDM. Режим нужен общих дисков кластера Майкрософт в варианте «виртуальный-физический» и для задач.24.4. 3. Обратите внимание. Select Datastore – выберем.4. созданном на LUN. 5. где будет расположен файл vmdk. Select a Disk – здесь вы выберете. К ВМ подключается именно и только LUN целиком. Также от ВМ не скрываются характеристики устройства.com/kb/929491). что в случае подключения к ВМ LUN как RDM в свойствах LUN (LUN Protocol Type) необходимо ставить тип гостевой ОС для корректного выравнивания без дополнительных усилий. Вас интересует поле Partition Starting Offset (Начальное смещение раздела). размер этого файла будет отображаться равным размеру LUN. В открывшейся утилите пройдите Components ⇒ Storage ⇒ Disks. Кстати. см. Для русской версии Windows это Компоненты ⇒ Запоминающие устройства ⇒ Диски. подключить уже существующий и расположенный на доступном этому ESX(i) хранилище или же подключить RDM. Select Target LUN – здесь мы увидим список LUN. Raw Device Mapping. На этом LUN не должно быть раздела VMFS. В гостевой ОС: Start ⇒ Run ⇒ msinfo32. ВМ будет хранить свои данные непосредственно на этом LUN. В примеры последним обычно приводят средства управления SAN. сначала создайте его со стороны SAN. на которых эта ВМ может оказаться. Compatibility Mode – режим совместимости. в случае кластера по умолчанию для NTFS – на 4096). 5. которые можем подключить как RDM. 4. а не в файле vmdk на разделе VMFS. 2. Этот LUN должен быть презентован всем ESX(i). После нажатия Next вы увидите следующие шаги мастера: 1. Сейчас рассмотрим последний вариант. требующих именно прямого доступа к диску. 2.

• Mode – настройка доступна только для virtual RDM. 5. для демонстрационных ВМ. который будет удаляться после выключения ВМ. Мы их подготовили. такие как снимки состояния (snapshot) и операция клонирования.271 Все про диски ВМ Рис. Обратите внимание: если этого контроллера в ВМ еще нет – он будет добавлен вместе с диском. Теперь после выключения они всегда будут возвращаться к своему состоянию на момент включения этого режима. . 5. Если поставить флажок Independent. Такой режим имеет смысл. перевели их диски в этот режим. что позволяет применять к этому LUN некоторые механизмы ESX(i). В режиме Persistent все изменения будут немедленно записываться в этот файл vmdk. SCSI (1:2) означает. что этот диск займет второе SCSI ID на виртуальном SCSI контроллере номер 1 (нумеруются они с нуля). то к этому виртуальному диску не будут применяться снимки состояния (snapshot). настроили. RDM пригодится вам в случаях: организации кластера Майкрософт типа «виртуальный-виртуальный» и «виртуальный-физический». Схема подключения RDM • Virtual – в этом режиме гипервизор имеет право перехватывать и изменять SCSI команды.24. Advanced Options – эти настройки обычно менять не требуется: • Virtual Device Node – на каком ID какого виртуального контроллера будет располагаться этот виртуальный диск. например. В режиме Nonpersistent все изменения с момента включения будут записываться в отдельный файл.

vmdk 6.vmdk -d rdm:/vmfs/devices/disks/naa. Мы получили vmdk. Настройки ВМ Если зайти в свойства ВМ. при миграции в ВМ физического сервера. в случае RDM на LUN хранятся непосредственно данные ВМ.60043560bd135e00123823443a44ag56 Local_RDM. В таких случаях приходится выполнять эту операцию чуть хитрее. xxxxxxxxxxxxxxxxxxxxx [vmdk-файл] Например: [root@esx1. 2.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx с помощью команды esxcfg-scsidevs –c 5. 5. Впоследствии эти данные можно перенести в файл vmdk без остановки ВМ с помощью Storage VMotion. доступные под закладкой Options (рис. из командной строки. 3. то вы увидите три закладки: Hardware.ru]# vmkfstools –i /vmfs/volumes/SCSI_LUN_1/SQL_Server/ SQL_ Server. Однако не всякий локальный RAID-контроллер позволит создать RDM из клиента vSphere. 5. 4. то есть RDM-диск.5. Можно LUN с этими данными подключить к ВМ как RDM. ссылающийся на LUN. для задействования NPIV. Размер и параметры оставляем по умолчанию.25). который хотим подключить как RDM. данные можно не копировать. лишь если она использует RDM.vm4. Сопоставляем его с именем вида naa. Создаем новый диск для ВМ. Для подключения локального диска как RDM из командной строки делаем следующее: 1. После этого вводим команду vmkfstools -i [Путь к vmdk –файлу ] –d rdm:/vmfs/devices/disks/naa.272 Виртуальные машины из политических соображений – когда идея помещать данные ВМ в файл vmdk не находит понимания. Options и Resources. Подключаемся к серверу с помощью putty. Выполняем fdisk –l Обнаруживаем (по размеру) диск. Дать каждой ВМ собственный WWN возможно. . К ним можно применять функции системы хранения (например. Сделать RDM подключение к LUN на системе хранения не представляет труда. хранящего данные на СХД. снимки состояния (snapshot) для организации резервного копирования). Поговорим здесь про настройки. Этот vmdk подключаем к виртуальной машине как обычный vmdk.

Это очень неудобно. Именно в нем по умолчанию создается файл подкачки при включении ВМ. 5. vApp Options Подробности см. Закладка Options для ВМ General Options Здесь вы можете поменять имя ВМ. Обратите внимание: при изменении этого имени файлы ВМ и ее каталог не переименовываются. поэтому переименований имеет смысл избегать. Наконец. здесь мы можем поменять тип гостевой ОС. PVSCSI или vmxnet3). который автоматически подмонтируется к ВМ при выборе пункта «Install/Upgrade VMware tools» в контекстном меню ВМ. даже когда файл vmdk расположен на другом хранилище. Также ESX(i) не будет предлагать нам не поддерживаемые гостевой ОС компоненты для ВМ (например.25. в разделе про vApp. Именно в нем создаются дельта-файлы снимков состояния (snapshot). Еще здесь вы можете посмотреть. . Тип влияет на выбор дистрибутива VMware tools. какой каталог является рабочим для ВМ.273 Настройки ВМ Рис.

еще нет. Если вам необходимо поменять или добавить какие-то настройки в файл настроек ВМ (*. перед выключением гостевой ОС. перед вводом в состояние «suspend». Здесь мы флажками можем настроить. в которой нет VMware tools (например. VMware tools могут запускать сценарий при включении. Скрытие этого флага не позволяет гостевой ОС использовать данную процессорную функцию. Обычно тут мы ничего не меняем. Особняком стоит функция NX/XD (Intel No eXecute и AMD eXecute Disable). здесь мы можем поменять действия по умолчанию на «Power Off» и «Reset». Вспомогательная информация доступна по кнопке Legend. В ESX(i) 4 по умолчанию делаются «Shutdown guest» и «Restart Guest». мы можем указать синхронизацию времени гостевой ОС со временем ESX(i) через VMware tools. если ВМ сама является источником времени (например. Advanced ⇒ CPUID Mask Здесь мы можем настраивать сокрытие от ВМ функций физических процессоров сервера. Несколько слов про ситуации. какие операции выполняются при нажатии на иконки управления питанием для ВМ. Так вот. при восстановлении из состояния «suspend». только боремся с установкой ОС). Имеется в виду ускорение Intel VT. на одном из которых процессоры не поддерживают эту функцию. Флажки в пункте Debugging and Statistics пригодятся вам в случае обращения в поддержку VMware. Иногда бывает полезно. то есть корректные завершение работы и перезагрузка ВМ. то будет не только проверяться версия VMware tools. По кнопке Advanced мы можем указывать. Advanced ⇒ General Здесь вы можете отключить ускорение (acceleration) для этой ВМ. это можно сделать здесь. эта возможность часто выручает. На момент внесения изменений ВМ должна быть выключена. Если вы работаете с ВМ. когда и как это можно делать. Но может создать проблемы в случае. Под кнопкой Configuration Parameters скрывается файл настроек ВМ. Наконец. то нажатия иконок вызывают ошибку «отсутствуют VMware tools для корректного завершения работы гостя». контроллер домена). иначе эти изменения не сохранятся.274 Виртуальные машины VMware tools Здесь мы можем указать.vmx). Если у ВМ нет возможности синхронизировать время по сети через NTP. Выключать его нужно редко – это может помочь в ситуациях зависания ВМ при запуске какого-то приложения. Еще мы можем указать проверку версии VMware tools на актуальность при каждом включении ВМ. . но позволяет живую миграцию между серверами. но они еще и будут автоматически обновляться. какие регистры процессора скрывать. Если флажок стоит. при каких событиях сценарии запускать надо. – в посвященном VMotion разделе.

Эта настройка бывает полезна в первую очередь для виртуальных машин. что работает внутри виртуальной машины. На стороне системы хранения подключаемый к ВМ LUN должен быть презентован для ее WWN. и оптимизирует свою работу. что использование NPIV возможно лишь для ВМ с дисками RDM. благодаря которым вендоры ОС могут встраивать поддержку VMI. гостевая ОС начинает видеть устройство контроллер памяти. . не даст никакого эффекта. Начиная с версии 4. Настройка выдачи уникального WWN для конкретной ВМ делается в этом пункте настроек. исходя из этого. Включение паравиртуализации со стороны ESX(i). и в гостевой ОС (см.6. Использование паравиртуализованных ОС обеспечивает снижение накладных расходов. F12 или Esc для вызова меню загрузки или захода в BIOS. VMware сделала доступным соответствующие API. который позволяет автоматически перезагрузить виртуальную машину. По данным VMware. ее документацию). Напомню. благодаря которым она определяет. посвященном системам хранения. если она не включена или вообще не поддерживается гостевой ОС.21. если она не нашла загрузочное устройство в течение указанного количества секунд. чтобы какие-то ВМ загружались позже других. Обратите внимание. я рассказал. что такое NPIV и в каких ситуациях вам может быть интересно его задействовать. SLES10 начиная с SP2. Эти настройки бывают полезны при работе с ВМ через WAN. Паравиртуализованная ОС имеет изменения на уровне ядра. Также задержка загрузки иногда применяется для того. Advanced ⇒ Paravirtualization Здесь вы можем включить использование паравиртуализации для гостевой ОС. загружающихся по PXE.Настройки ВМ 275 Advanced ⇒ Boot Options Здесь мы можем указать количество секунд паузы после процедуры POST и поставить флажок «Зайти в BIOS при следующем включении ВМ». когда задержки не позволяют нам вовремя нажать F2. Напомню. Advanced ⇒ Fibre Channel NPIV В разделе. VMI доступно только для 32-битных ОС. разница составляет порядка 10%. Использование паравиртуализации должно быть включено и со стороны ESX(i) (флажком в этом пункте настроек). что FC HBA и коммутаторы FC должны поддерживать NPIV для успешного использования этой функции и на них эта функция должна быть включена.1 в этом пункте настроек появился флажок Failed Boot Recovery. не задействуйте ее для 64-битных. Сегодня такой поддержкой обладает Linux с ядром старше 2. Паравиртуализация для ESX(i) называется VMI. Задействование паравиртуализации занимает один из PCI-слотов виртуальной машины. что означает «паравиртуализация» применительно к операционной системе. WWN должен быть уникальным.

vmdk – такая пара образует диск ВМ. где ее vmx. и у которых настроено хранить файл подкачки там. Так вот. SQL_Server. 5. вы будете оставлять вариант по умолчанию – «Automatic». файл подкачки всегда расположен в рабочем каталоге ВМ. NPT (Nested Page Tables). Еще в разнообразных технических и маркетинговых материалах могут встречаться названия HAP (Hardware Assisted Paging). где указано в настройках сервера. задействуется он гипервизором. главу 6).26.nvram – файл содержит настройки BIOS ВМ. SQL_Server-xxxxxx. Названия – AMD NPT(Nested Page Tables) / Intel EPT (Extended Page Tables). рис. Store in the host’s swapfile datastore – всегда хранить там. EPT (Extended Page Tables) и RVI (Rapid Virtualization Indexing). В данном пункте настроек мы можем указать. работающих на этом сервере. .vmxf – вспомогательный файл настроек ВМ. Этим местом может быть каталог ВМ – так это настроено по умолчанию. Для сервера это указывается в пункте Configuration ⇒ Virtual Machine Swapfile Location. где хранить файл подкачки. Имя и путь к каталогу можно посмотреть в свойствах ВМ ⇒ закладка Options ⇒ General. Варианты настройки: Default – хранить там.vmdk и SQL_Server-flat. Always store with the virtual machine – значит. перемещение файлов между хранилищами В каталоге ВМ мы можем увидеть разные файлы – см. На этом рисунке вы видите ВМ с именем SQL_Server и ее файлы: SQL_Server. который гипервизор создает для этой ВМ при ее включении. SQL_Server. на котором будут появляться файлы подкачки всех ВМ. где указано на уровне сервера или DRS-кластера. Все это – об одном и том же. Swapfile Location Здесь мы можем указать. Файлы ВМ. Скорее всего.vmsd – файл с информацией о снимках состояния (snapshot) этой ВМ.6. Названия – Intel VT / AMD V. какие из этих функций должны использоваться для данной ВМ. где скажет сервер.276 Виртуальные машины CPU/MMU Virtualization В современных серверах используются две технологии аппаратной поддержки виртуализации: поддержка виртуализации процессора. SQL_Server. Выбрать можем какое-то одно хранилище. Это внешний относительно ВМ файл подкачки.vmx – главный файл настроек ВМ. Про сами снимки будет сказано чуть далее. поддержка виртуализации памяти. там. Эта функция называется VMkernel Swap (см.vswp – файл подкачки ВМ. SQL_Server. 5.

закладка Options ⇒ General ⇒ кнопка Configuration Parameters. снимки состояния и прочее).Файлы ВМ.vmsn – память. которые могут пригодиться: . к каким группам портов они подключены.26. 5. Для нормальной работы ВМ этот файл должен существовать.vmx).vmx). а также некоторые другие параметры. Или откройте его в текстовом редакторе. Для этого в клиенте vSphere зайдите в свойства выключенной ВМ. к файлу подкачки. изменение которых невозможно из интерфейса. тип гостевой ОС и отображаемое имя (Display Name) ВМ. Список файлов ВМ SQL_Server-000001. является путь к ее файлу настроек. Файл VMX В текстовом файле с расширением vmx описана вся конфигурация ВМ. сохраненная при снимке состояния ВМ. несколько файлов журналов (*. Вам может потребоваться вносить какие-то правки в файл настроек. Несколько слов о каждом типе файлов подробнее. Также если вы выполняете какие-то манипуляции с ВМ из командной строки (включение.log). то указанием. перемещение файлов между хранилищами 277 Рис. SCSI-контроллеры и их тип. путь к дискам (файлам-vmdk). Подойдут nano или vi локальной командной строки. в контекстном меню файла настроек (*.vmdk – файлыдиски снимков состояния. с какой ВМ делать эту операцию. Пример параметров файла настроек (*. их MAC-адреса. то сделать это можно через Browse Datastore. SQL_Server-Snapshot1. или в утилитах WinSCP / FastsCP. Если вы хотите зарегистрировать на ESX(i) какую-то ВМ. В первую очередь это информация о виртуальном оборудовании: сетевые контроллеры. к файлу BIOS.vmdk и SQL_Server-000001-delta.

он будет создан при следующем включении ВМ. Первый – текстовый. Обратите внимание.connectable.disable = "true" Укажите эти две настройки. Притом.30).edit. Наконец.278 Виртуальные машины isolation. 5. Файлы VMDK Чаще всего дисками ВМ выступают файлы vmdk. для всех ВМ сервера. Указывать. Файл NVRAM В файле . что этих файлов два. Обратите внимание. где хранить файл подкачки в свойствах конкретной ВМ ⇒ закладка Options ⇒ Swapfile Location (рис.vmdk. Для кластера мы можем указать. работающие на этом сервере. По умолчанию файл подкачки создается в каталоге с ВМ. содержащий в себе описание геометрии диска и путь к -flat-файлу. Его размер равен количеству выделенной ВМ памяти минус значение настройки memory reservation. когда вы добавляете к ВМ один диск (рис. расположенные на разделах VMFS или NFS. . создаются сразу два файла (рис.disable = "true" isolation. то ВМ не включится. что встроенный в vSphere клиент файловый менеджер не покажет вам. 5. который указан как хранилище файлов подкачки для каждого сервера. 5. 5. 5. В свойствах кластера за это отвечает настройка Swapfile Location (рис. Эти настройки можно тиражировать простым копированием файла с нужными настройками между ВМ. А во втором хранятся непосредственно данные.vmdk и <имя ВМ>-flat. Для сервера Configuration ⇒ Virtual Machine Swapfile Location ⇒ Edit (рис.nvram содержатся настройки BIOS виртуальной машины.32). хранить файлы подкачки на этом выделенном хранилище или в каталоге ВМ мы можем для всех ВМ кластера.29).28). для отдельной ВМ. Файл подкачки VSWP Этот файл создается при включении ВМ и удаляется после выключения.27). – вы увидите только <имя ВМ>. Полного списка параметров в открытом доступе не существует.device. Если этот файл удалить. что если на хранилище не будет достаточно места для создания файла подкачки. на котором будут создаваться файлы подкачки ВМ. Обычно источником тех или иных настроек служат рекомендации специалистов поддержки VMware и статьи в базе знаний. с настройками по умолчанию.vmdk (рис. Это файлы <имя ВМ>. 5. если вы хотите запретить пользователям без административных привилегий отключать сетевые карты виртуальной машины через механизм usb safely remove и на закладке Devices VMware Tools. По умолчанию резерв для ОЗУ равен нулю. Однако мы можем указывать для сервера ESX(i) произвольное хранилище. хранить ли по умолчанию файл подкачки ВМ в ее каталоге или на каком-то LUN.31). мы можем указать.device.

перемещение файлов между хранилищами Рис. 5. Указание хранилища для файлов подкачки на сервере ESX(i) 279 .28.Файлы ВМ.27. Настройки расположения файлов подкачки ВМ для кластера Рис. 5.

Например. Настройка местоположения файла подкачки для ВМ Это особенность именно данного встроенного файлового менеджера. что сейчас размер этого диска составляет чуть более 6 Гб. . 5. следующая команда покажет размер всех файлов в указанном каталоге: du -h -a /vmfs/volumes/iSCSI_LUN_1/SQL_Server/ Что мы увидим изнутри гостевой ОС. Притом обратите внимание: размер виртуального диска равен 10 Гб. В данном случае верить ей не следует. Но тип диска – Thin. на хранилище файл занимает 6 Гб. что объем занимаемого места следует отображать в удобном для восприятия виде. Узнать реальный размер файла (файла-диска. Параметр –a позволит отобразить информацию обо всех файлах указанного или текущего каталога.280 Виртуальные машины Рис. в частности) из командной строки можно командой du. Но утилита WinSCP с рис. что в действительности файл vmdk растет по факту заполнения данными гостевой ОС. Это означает.29.33. 5. Параметр -h является указанием на то. показано на рис.31 показывает размер файла -flat. И во встроенном файловом менеджере мы видим. но будьте внимательны и при использовании каких-то других. Обратите внимание. 5.vmdk равным 10 Гб.

31. составляющая один виртуальный диск 281 . Пара файлов vmdk. Виртуальный HDD в свойствах ВМ Рис. перемещение файлов между хранилищами Рис. 5.Файлы ВМ.30. 5.

Заполненность диска изнутри гостевой ОС Кроме этой пары файлов. Просмотр файлов ВМ встроенным файловым менеджером Рис.282 Виртуальные машины Рис. Они появляются при создании снимка состояния ВМ. в каталоге с ВМ могут быть расположены еще несколько файлов vmdk для каждого ее диска. . 5. и про них я расскажу чуть позже.32. 5.33.

Для включенной ВМ осуществление данной операции требует наличия лицензии на Storage VMotion. выберите пункт Migrate в контекстном меню ВМ (рис. Соответственно. и хранилища. Если вы захотите переименовать файлы ВМ. не обязательно всю ее. Эта операция возможна без ограничений для выключенной виртуальной машины.vmdk. Это файл coredump от виртуальной машины. Change both host and datastore предполагает смену и хоста. в vCenter есть операция Migrate. возможна ситуация появления файлов. Перемещение файлов ВМ Для того чтобы переместить файлы ВМ на другое хранилище.Файлы ВМ. Однако если виртуальная машина была перемещена при помощи SVmotion. . Удалится он только при полной остановке. Например. Иначе этот файл также потребляет место впустую. В vmdk – путь к -flat. притом вы можете перенести только один или несколько файлов vmdk этой ВМ.vmdk). Впрочем. конкретно для решения этой проблемы в разы проще мигрировать ВМ на другое хранилище или сделать клон. кроме описанных. прописывая новые пути и имена в соответствующие файлы. где виртуальная машина числится сейчас. то файл остается в старом каталоге. и интересен он вам в случае проблем с этой ВМ. так как нигде в настройках машины (ВМ. Change datastore предполагает миграцию файлов ВМ (всех или только выбранных дисков) на другое хранилище. о которой – в разделе про снимки (snapshot). то переименовывать их надо последовательно. Change host предполагает регистрацию ВМ на другом сервере. В данном контексте этот пункт нас не интересует. но без изменения местоположения файлов виртуальной машины. но видимое серверу. Итак. файл вида VM-b3ab8ade. 5. Не удаляется он и при перезагрузке ВМ машины. возможен перенос ВМ на другой сервер и на хранилище. В каталоге виртуальной машины могут появиться дополнительные файлы. При выборе второго или третьего пунктов в коротком мастере вас попросят указать новое хранилище. Также в старом каталоге виртуальной машины после SVmotion можно обнаружить файл вида vmware-vmx-zdump. перемещение файлов между хранилищами 283 Полезно знать: в файле vmx указаны пути к файлам vmdk (не -flat. У снимков состояния тоже есть структура. Но иногда он остается. Не все из них одинаково полезны. видимое только другому серверу. для передачи дампа в поддержку. При старте такой suspended-машины файл (в теории) должен удаляться.vmss – в этом файле сохраняется содержимое оперативной памяти остановленной (suspended) виртуальной машины.34).000. Таким образом. Такая операция возможна лишь для выключенной виртуальной машины. Обратите внимание.vmx) он уже не фигурирует и никогда не будет удален автоматически. Эти операции автоматически приведут в соответствие название ВМ и имена ее файлов. впустую потребляющих место на хранилище.

Перейдите в Home ⇒ Inventory ⇒ Datastores ⇒ закладка Virtual Machines для хранилища.284 Виртуальные машины Рис.34. перенесите файлы ВМ на нужное хранилище. 5. . подойдет и встроенный. Затем просто перетащите эту ВМ на то хранилище. Затем любым файловым менеджером. Начало мастера миграции ВМ Альтернативный способ запуска этой процедуры более нагляден. 5. куда хотите ее переместить. Если у вас нет vCenter. откуда хотите перенести ВМ.7. 5. а желание перенести ВМ есть. 3. На рис. Снимки состояния (Snapshot) ESX позволяет нам создавать для виртуальных машин снимки состояния. Снимок состояния – это точка возврата. Из встроенного файлового менеджера вызовите контекстное меню для файла vmx перенесенной ВМ и выберите Register Virtual Machine. В контекстном меню ВМ выберите Remove From Inventory. ВМ появится в клиенте vSphere. то это также несложно: 1.35 показан диспетчер снимков (Snapshot Manager) виртуальной машины с двумя снимками. 2.

5. Мастера создания снимка состояния . с сохранением ее памяти. Создание снимка состояния весьма тривиально. что он был сделан при работающей ВМ. То есть при возврате на этот снимок мы вернемся в состояние работающей ВМ.285 Снимки состояния (Snapshot) Рис. В контекстном меню ВМ выбираем Snapshot ⇒ Take Snapshot. В открывшемся окне (рис. Его иконка с зеленым треугольником указывает на то.36) нас попросят ввести имя снимка и описание. 5. Диспетчер снимков состояния Обратите внимание на первый снимок с именем «Snapshot1_before_VMware_ tools». Рис.35.36. 5.

чтобы в момент снятия снимка на диске не было недописанных файлов. если мы перенесли ВМ на другой сервер. нижний флажок указывает VMware Tools. чтобы они попробовали обеспечить целостность данных ВМ. то есть все наработки с последнего снимка состояния. то в отдельном файле будет сохранено содержимое памяти ВМ на момент снятия снимка. Несмотря на то что ВМ со снимками можно мигрировать VMotion (но нельзя Storage VMotion). Снятие снимка создает точку возврата не только для состояния и данных гостевой ОС. 5. что будет произведена попытка остановить работу всех служб с диском. В таком случае при восстановлении на сохраненное состояние виртуальная машина окажется работающей. притом даже несколько веток (рис. мастер миграции проверяет на корректность только текущую конфигурацию ВМ. Диспетчер снимков состояния для ВМ с большим количеством снимков Когда вы откатываетесь на какой-то из них. «Quiesce» означает.37. .37). Например. Если вы хотите их сохранить – делайте еще один снимок.286 Виртуальные машины В случае если ВМ включена в момент снятия снимка. а на момент этого снимка к ней был подключен диск с приватного хранилища – вы столкнетесь с неработоспособностью ВМ на текущем сервере. У одной ВМ может быть множество снимков. а потом уже откатывайтесь к желаемому. но и для конфигурации ВМ. вы теряете состояние «You are here». Рис. то доступны два флажка: если верхний флажок стоит. 5. а затем откатили ее на какой-то из ранее созданных снимков.

то соответствующий ему файл-дельта сольется с файлом-дельта дочернего снимка. то текущее состояние игры теряется.vmdk. то соответствующий файл-дельта с диска удалится. а сливается с файлом-дельта Snap4. Получается. 5. а также не рассмотренные ранее файлы vmsn и vmsd. Рис. как на рис. Поэтому файл-дельта Snap3 не удаляется. 5. 5. а сливается с файлом родительского снимка.vmdk. – это файлы SQL_Server. и т. Кнопка Delete удаляет выделенный снимок состояния. если вы удалите любой из остальных снимков.38.vmdk и SQL_Server-flat. то его файл-дельта сольется с основным файлом диском ВМ. На примере рис.2. то файл-дельта этого снимка не удаляется. Поговорим про них. Давайте посмотрим на снимки состояния с точки зрения файловой системы. что при удалении (например) Snap3 у нас остается Snap4 – а он содержит все изменения относительно Snap3. 5. д. если данные Snap3 удалить – Snap4 «повиснет в воздухе». вы видите еще несколько файлов *. Так происходит потому. Среди прочих вы видите два файла. лишь если сохраните уже текущее состояние перед загрузкой другого сохранения. который содержит все изменения относительно Snap2.2). Однако. то с помощью утилиты WinSCP мы увидим следующую картину – рис.Снимки состояния (Snapshot) 287 У этой ситуации прямая аналогия с сохранением в компьютерной игре – если вы загружаете какое-то сохранение.36: если вы удалите последний в ветке снимок (Snap4 или Snap3. у которой есть снимки состояния . составляющие диск ВМ.38. Если у нас есть ВМ с двумя снимками. Притом если текущее состояние ВМ – после этого снимка. Список файлов виртуальной машины. кроме них. А если удалить родительский снимок верхнего уровня (Snapshot1_before_VMware_tools). А вернуться на него вы можете.35.

в которых описаны существующие снимки состояния и их структура. .Какой снимок является последним.createTimeHigh = "291622" snapshot1.288 Виртуальные машины Файлы VMSD Это текстовые файлы.createTimeLow = "-717423872" snapshot1. snapshot1.vmdk и SQL_Server-000002-delta. Пример содержимого этого файла: .Какой vmsn файл содержит в себе .Здесь начинается описание второго и .uid = "2" .fileName = "SQL_Server-000001.создания снимка.с момента создания этого снимка. SQL_Server-000002.fileName = "SQL_Server.displayName = "Snapshot2_Before_App_Upgrade" snapshot1.этой ВМ.numSnapshots = "2" snapshot.encoding = "UTF-8" snapshot.filename = "SQL_Server-Snapshot1.uid = "1" . snapshot0.vmsn" . .vmdk" snapshot1.vmdk На рис.numDisks = "1" snapshot0.Это порядковый номер последнего снимка.vmdk.vmdk" .node = "scsi0:0" Файлы vmsn В этих файлах находятся содержимое оперативной памяти ВМ и конфигурация на момент снятия снимка состояния.current = "2" . .disk0.parent = "1" snapshot1.type = "1" snapshot0.filename = "SQL_Server-Snapshot2.Это начало описания первого снимка.то есть после какого идет состояние .description = "" snapshot1.37 вы видите две пары файлов: SQL_Server-000001. 5.disk0.lastUID = "2" snapshot.description = "" snapshot0.vmdk.numDisks = "1" snapshot1.createTimeHigh = "290757" snapshot0.You are here".displayName = "Snapshot1_before_VMware_tools" snapshot0.Текущее количество снимков.Какой файл vmdk содержит все .последнего (в данном случае) снимка .createTimeLow = "-728460977" snapshot0. Если в этот момент ВМ была выключена или флажка «сохранять память» при создании снимка не стояло.node = "scsi0:0" snapshot1.disk0. то этот файл текстовый.vmsn" snapshot1.disk0. snapshot0. только с описанием конфигурации ВМ на момент снимка. Файлы -delta. snapshot0. snapshot0.содержимое памяти на момент .изменения на диске начиная . .vmdk и SQL_Server-000001-delta.

vmdk" # Extent description RW 6291456 VMFSSPARSE "SQL_Server-000001-delta. Но затем мы фиксируем и следующее состояние снимком номер 2. созданный после 1-го снимка = SQL_Server -000001. В нем должен быть указан CID предпоследнего снимка.vmdk и 00001-delta.vmdk. В таком случае имеет смысл вручную проверить и при необходимости восстановить цепочку. Первичный . Поэтому гипервизор создает пару 00001. Когда ВМ работает без снимков.vmdk = SQL_Server. 5.vmdk. Суть здесь в следующем – снимки состояния образуют цепочку.vmdk-файле: поле CID.vmdk не содержит поля «parentNameHint».39.deletable = "true" Обратим внимание на три поля в . и все звенья этой цепочки зависят друг от друга. Теперь изменять эти файлы гипервизор не может – ведь мы зафиксировали состояние ВМ.vmdk продолжают использоваться на чтение.vmdk. ссылка на parentCID. созданный после 2-го снимка = SQL_Server -000002.vmdk" # The Disk Data Base #DDB ddb.vmdk. Обратите внимание. эта исходная пара переводится в режим только чтения. Итерацию повторить. поэтому файлы 00001-delta. поле parentNameHint.vmdk – теперь все изменения на дисках с момента первого снимка пишутся в них. ее дисками является исходная пара файлов vmdk.vmdk и -flat. . Если по каким-то причинам целостность цепочки нарушается.vmdk являются файлами метаданных. ВМ перестает включаться.Снимки состояния (Snapshot) 289 Первичный .vmdk и 00002-delta. . Когда вы делаете первый снимок состояния. Посмотрите на рис. а его «parentCID» всегда равняется «ffffffff». То есть открываем файл 00000#. Файлы 00000#. В предпоследнем должен быть указан CID предпредпоследнего.vmdk.vmdk. Но они не самодостаточны. .vmdk последнего снимка перед текущим состоянием. Теперь изменения начинают писаться в созданные гипервизором файлы 00002.longContentID = "8d7a5c7af10ea8cd742dd10a26a39a09" ddb. Пример содержания: # Disk DescriptorFile version=1 encoding="UTF-8" CID=26a39a09 parentCID=411fd5ab createType="vmfsSparse" parentFileNameHint="SQL_Server.

290 Виртуальные машины Рис. Поэтому каждый файл -delta. то снимок не создастся. А максимальный размер этого -delta. диск с данными этой ВМ мы располагаем на другом хранилище. Например.vmdk равен размеру исходного диска. Это связано с тем. то нам не позволят этого сделать – так как файл -delta. Также если размер диска ВМ близок к максимально возможному на данном VMFS. и допустимые значения – от 1 (по умолчанию) до 8 Мб. где VMFS отформатирован с блоком в 1 Мб.vmkd файл требует до 2 Гб дополнительного места из-за накладных расходов. файл настроек и системный диск ВМ мы разместили на одном хранилище.39. Допустим. Напомню.vmdk создаются размером в один блок VMFS и по одному блоку увеличиваются при необходимости. Существует еще один нюанс. на первом хранилище. на диске может поменяться все. Напомню. Получается. . Как максимум. Все хорошо. потому что этот диск хотим сделать размером в 400 Гб.vmdk для диска с данными этой ВМ создается в рабочем каталоге. что размер блока VMFS мы указываем при создании раздела. 5. Диски ВМ могут быть расположены на других хранилищах. это штатная ситуация. что -delta. мы не сможем создать снимок этой ВМ. связанный со снимками состояния. чем максимальный размер файла на этом разделе VMFS. что если «размер диска ВМ» плюс 2 Гб больше. В моем примере это 400 Гб – а файл такого размера невозможно создать на VMFS с блоком в 1 Мб. нежели ее файл настроек.vmdk по размеру может быть равен номинальному объему диска ВМ. Связь снимков с файлами vmdk Обратите внимание: в файлы -delta. что следствием этого является максимальный размер одного файла на этом разделе VMFS в 256 Гб. Однако если теперь мы попытаемся сделать снимок этой ВМ. с большим размером блока. Изначально файлы delta.vmdk пишутся все изменения данных на диске ВМ.

однако показывает вам предупреждение вида «У ВМ есть снимки состояния. При создании снимка состояния ВМ у нас фиксируется состояние гостевой файловой системы и. участвующих в этом приложении (один или несколько контроллеров домена). Практически все средства резервного копирования виртуальных машин создают снимок состояния на время самой операции резервного копирования. когда вы сделали снимок. необязательно. Тогда при возврате на снимок состояния виртуальная машина окажется в некорректной конфигурации. без сомнения. когда отвечающий за ВМ администратор сделал снимок состояния виртуальной машины для подстраховки перед какими-то своими манипуляциями. Или пересоздали хранилища. то они сразу занимают все выделенное им место. ВМ со снимками состояния нельзя наживую мигрировать на другое хранилище с помощью Storage VMotion. после этого как-то изменили конфигурацию инфраструктуры и связанные с этим параметры конфигурации ВМ. но не рекомендую». чем раньше. Это бывает очень неприятно. Возможна ситуация. однако треть. простой VMotion работает. Но DRS теперь эту ВМ не мигрирует. Это бывает полезно для производственных ВМ. Однако все остальное является минусами. Например. уменьшается надежность – для ВМ со снимками состояния выше вероятность каких-то проблем именно из-за наличия снимков. вернулись в прошлое – . конечно. и про снимок благополучно забыли. Я ее мигрировать могу. Обычно эти проблемы выглядят как не запускающаяся после миграции или лунного затмения виртуальная машина. граничный случай. сохраняется и конфигурация ВМ как объекта ESX(i). то этот снимок занимает место сверх уже занятого самим диском. удобно сделать снимок состояния перед установкой какого-нибудь большого обновления – в случае возникновения каких-то проблем после его установки нам легко возвратиться на предыдущее состояние. и давайте эти минусы перечислим: если вы используете диски ВМ в thick-формате. Как максимум ВМ с одним снимком состояния может занять в два раза больше места. а только часть ВМ. Возможно. Следствием этого является то. Однако. чем номинальный объем ее диска. Например. кроме этого. Это. поменяли имена групп портов и переключили сетевые контроллеры ВМ на новые группы портов. и CD-ROM виртуальной машины теперь ссылается на файл iso по другому. памяти ВМ. Это сильно зависит от интенсивности изменения данных ВМ. Если не все. Подстраховка не понадобилась. пути.Снимки состояния (Snapshot) 291 Обратите внимание. Это. здорово для тестовых виртуальных машин. что перестает работать DRS для ВМ со снимками. Если теперь сделать снимок состояния ВМ. ее нельзя будет включить до устранения конфликта. огромной осторожности требует использование снимков состояния на ВМ с распределенными приложениями (самый типичный пример — Active Directory). а то и половину сверх объема диска снимок за несколько месяцев занять способен вполне. Плюсы и минусы снимков состояния Плюсами снимков состояния является их суть – создание точки возврата.

а где-то иным образом.292 Виртуальные машины мы рискуем получить серьезные проблемы вплоть до полной неработоспособности всего распределенного приложения (в случае Active Directory см. Дальнейшее будет в основном ориентировано на гостевые ОС Windows. что файлы vmdk снимков увеличиваются блоками. когда на одном хранилище много ВМ со снимками состояния. Несмотря на то что операционные системы могут работать в виртуальных машинах и без VMware tools. VMware tools содержат скрипты и службы. vmxnet#). Вывод: для производственных ВМ снимки состояния используем строго по делу и удаляем сразу после того. Solaris. Практически 100%-ная вероятность таких проблем привела к тому. В этой книге под «снимками состояния (snapshot)» понимаются «снимки состояния (snapshot) VMware». как автоматическое «освобождение» курсора мыши при покидании им окна консоли и операции копирования и вставки текста между консолью виртуальной машины и ОС клиента (это неполный список возможностей VMware tools). Для тех из них. VMware tools VMware tools – это наборы драйверов и утилит под многие поддерживаемые ОС.8. как в них пропала нужда. . что Майкрософт не поддерживает использование любых механизмов снимков (включая снимки ВМ. Именно в составе VMware tools содержатся драйверы для разнообразных виртуальных комплектующих. снимки СХД и резервное копирование с помощью программ снятия образов) с контроллерами домена Active Directory. настоятельно рекомендуется их устанавливать. Обратите внимание. вида «не нажать ОК три раза». Так что если у вас не только Windows – загляните в документацию. Кроме драйверов. что многое из перечисленного неверно для «аппаратных» снапшотов систем хранения. 5. обеспечивающие такие возможности. возникающих вследствие того. удаление снимков состояния в некоторых случаях требует очень много свободного места на хранилище. Эта оговорка делается по той причине. Полная команда выглядит примерно так: [root@linuxServer ~]# vmware-config-tools. а «запустить такой-то сценарий». VMware tools являются единственным источником драйверов. Netware) какие-то функции могут быть недоступны. что не имеют физических аналогов (pvscsi. Для устаревших или менее распространенных ОС (например. может уменьшиться производительность дисковой подсистемы из-за накладных расходов. Обратите внимание. «USN Rollback»). Для быстрой установки VMware tools под Linux с настройками по умолчанию вам поможет ключ --default. Для популярных Linux дистрибутивов отличия в основном интерфейсные. Работают такие снапшоты где-то сходным.pl --default.

указанного в настройках ВМ. Если выбрать автоматическую установку.40. хотите ли вы интерактивную установку с помощью мастера или установку автоматическую. Менять список по умолчанию обычно не приходится. 5.293 VMware tools Для установки (и обновления) VMware tools выберите в контекстном меню ВМ пункт Guest ⇒ Install\Upgrade VMware tools. с указанными настройками (рис. документ vSphere Basic System Administration. . В появившемся меню можно выбрать. Дополнительные параметры актуальны только для гостевых Windows – это параметры для msi дистрибутива VMware tools. что тип дистрибутива зависит от типа гостевой ОС. в первый из виртуальных CD-ROM этой ВМ автоматически подмонтируется образ iso с дистрибутивом VMware tools. В случае других ОС вам придется выполнить несколько команд – см. Обратите внимание. Рис. Дистрибутив новой версии передается через внутренний механизм коммуникации между сервером и ВМ. они вам не пригодятся. иначе этот путь установки/обновления VMware tools будет непригоден. В случае интерактивной установки вы сможете выбрать компоненты VMware tools для установки.40). то без указания дополнительных параметров VMware tools будут установлены с настройками по умолчанию. Обратите внимание: после установки VMware tools вас попросят перезагрузить ВМ. и вы увидите мастер установки. Обратите внимание. При установке в автоматическом режиме перезагрузка также произойдет автоматически. Если выбрать интерактивную установку. В ВМ должен быть CD-ROM. Скорее всего. Даже если у ВМ нет ни одного привода CD/DVD-ROM. то после подмонтирования в случае Windows сработает автозапуск. но какая-то старая версия VMware Tools уже установлена. Выбор типа установки VMware tools Какую бы вы ни выбрали. 5. то обновление VMware Tools все равно будет произведено.

Для этого зайдите в персонализацию рабочего стола. если гостевая ОС уже использует NTP для синхронизации времени. 5.41. Эта инструкция открывается в текстовом файле после установки VMware tools.41). Не надо включать такую синхронизацию. Двойной клик запускает настройки VMware tools в гостевой ОС. Если есть выбор что использовать. то мне более надежной представляется синхронизация времени не через . 5. На закладке Options мы можем: включить или выключить синхронизацию времени через VMware tools.294 Виртуальные машины В некоторых ОС (например. Windows Server 2008) необходимо включить аппаратное ускорение видео. выберите пункт Параметры дисплея ⇒ на закладке Диагностика нажмите кнопку Изменить параметры ⇒ ползунок до упора вправо (рис. но ее мало кто читает. Включение аппаратного ускорения После установки VMware tools в Windows в трее и в панели управления появляются характерные иконки. Рис.

точно так же.edit. посвященный ему раздел. вы увидите отображение доступности обновления в виде желтого восклицательного знака на иконке VMware tools в трее.device. На закладке Devices вы можете отключить какие-то из контроллеров этой ВМ (см. и не заходя в консоль ВМ. наконец. запустив настройки VMware tools и на закладке Options нажав кнопку Upgrade. так как позволяет пользователям ВМ вывести ее из строя отключением сетевых контроллеров. в свойствах ВМ ⇒ закладка Options ⇒ VMware tools можно поставить флажок «Проверять актуально и обновлять VMware tools при каждом включении ВМ». См. затем устанавливает новую. Обновления для VMware Tools всегда поставляются в составе обновлений для ESX(i).device. включить или выключить оповещение о доступности обновления VMware tools. Если в состав обновления для ESX(i) входила обновленная версия VMware tools. На закладке Scripts мы можем посмотреть или указать. что эта операция связана с перезагрузкой ВМ. как вы устанавливаете VMware tools: в контекстном меню ВМ выбрав Guest ⇒ Install/Upgrade VMware tools. Не забывайте. VMware периодически выпускает новые версии VMware tools. Часто эта возможность вредна. добавьте в файл настроек ВМ настройки devices.disable = "true" isolation. Этот флажок можно поставить в свойствах ВМ ⇒ закладка Options ⇒ VMware tools. а две другие запретят отключение устройств через VMware tools. что эту операцию можно запустить для нескольких ВМ сразу.42). рис. . Скорее всего. обновить можно. 5. удобнее будет выбрать автоматическую установку. то если эта настройка включена.hotplug = "false" isolation. Чтобы предотвратить такую возможность. Обновить VMware tools можно: зайдя в консоль ВМ. включить или выключить отображение иконки VMware tools в трее. для массового обновления VMware tools на многих ВМ удобнее всего использовать VMware Update Manager. Сначала установщик деинсталлирует старую версию. Обратите внимание. В клиенте vSphere пройдите Home ⇒ Inventory ⇒ Hosts and Clusters ⇒ выделите Datacenter ⇒ закладка Virtual Machines ⇒ рамкой или с помощью Ctrl и Shift выделите нужные ВМ. в контекстном меню для них выберите Guest ⇒ Install/Upgrade VMware tools.disable = "true" Первая из этих настроек запретит горячее удаление или добавление любых устройств в эту ВМ (пропадет возможность удалять контроллеры как USBустройства).connectable.VMware tools 295 VMware tools. какие сценарии запускаются VMware tools по тем или иным событиям по питанию ВМ.

5. Обратите внимание. который позволяет производить некоторые манипуляции над группой помещенных в него ВМ как над единым объектом (рис. После установки VMware tools в каталоге C:\Program Files\ VMware\VMware Tools находятся все драйверы для виртуального оборудования VMware под данную версию ОС. Они могут пригодиться. О пулах ресурсов и о настройках распределения ресурсов см. В запустившемся мастере вас попросят указать имя и настройки количества ресурсов для создаваемого vApp. как и для пулов ресурсов. Отключение контроллеров ВМ Закладки Shared Folders и Shrink не актуальны для ESX(i). .296 Виртуальные машины Рис. если вдруг драйвер на какоелибо устройство не установился автоматически. достались как присутствующие в VMware Workstation – а VMware tools и набор виртуального оборудования у этих продуктов весьма близки (хотя и не идентичны).9.42.43). vAPP vApp – это контейнер для виртуальных машин. В контекстном меню сервера или DRS-кластера вы увидите пункт New vApp. в соответствующем разделе. 5. кроме прочего. 5. – то есть vApp является пулом ресурсов. Настройки количества ресурсов абсолютно такие же.

См. Properties – здесь указываем значения произвольных полей. значения которых затем могут быть присвоены в пункте Properties. После выключения ВМ этот IP освобождается. 5. Но будут ли доступны Transient и DHCP. • по кнопке IP Allocation мы можем разрешить использовать Transient и DHCP вариант настройки IP для ВМ в этом vApp. Сами произвольные поля задаются в пункте Advanced ⇒ кнопка Properties. На закладке Start Order указываем порядок запуска и интервалы между запуском ВМ в этом vApp. когда мы выполняем операцию «Power On» для vApp. • DHCP. вы указы- . настраивается в окне настроек: Advanced ⇒ кнопка IP Allocation.297 vAPP Рис. чуть далее). Диапазон IP-адресов создается совершенно в другом месте – выделите датацентр (объект vCenter) и перейдите на закладку IP Pools. • Transient – когда для включаемой ВМ выдается IP из диапазона IPадресов (где настраивается этот диапазон. «Пулы ресурсов». IP Allocation Policy – ВМ в vApp могут получать сетевые настройки одним из трех типов: • Fixed – когда настройки произведены в гостевой ОС.43. Схема vApp Источник: VMware Для существующего vApp мы можем указать следующие настройки на закладке Options: Resources – здесь указываем настройки распределения ресурсов. Нажав Add. Advanced – здесь мы можем указать информацию о vApp: • по кнопке Properties можно указать произвольные переменные. не для отдельной ВМ в нем. описанном выше. Эти настройки актуальны.

В едином пакете. Резюме vApp – это развитие идей Virtual Appliance для случаев. Из плюсов вы получите: возможность включения и выключения группы целиком.vm4.ru/sepof и в блоге http://blogs. придется задействовать сценарий. возможность указывать автостарт. В том смысле. настроенного в vCenter. com/vapp/. вы и указываете. которые затем могут использоваться в vApp этого дата-центра. порядок старта и паузы между включениями виртуальных машин именно этой группы. Подробности см. а затем вы этот сервер добавляете в кластер DRS. когда единое решение – это несколько виртуальных машин. а не статично и не по DHCP. по ссылке http://link. которые являются одним решением. IP Pool привязывается к сети (группе портов для ВМ). для того чтобы воспользоваться данным механизмом назначения IP-адресов. Обратите внимание. какой IP Pool будет ими использоваться. и этот сценарий будет обращаться к свойствам vApp (которые будут передаваться в каждую ВМ в виде файла xml на подмонтированном iso). что мы можем экспортировать загруженные готовые vApp в нашу среду. Для администраторов vSphere vApp это средство в первую очередь внешнее. . вы можете объединить их в собственноручно созданный vApp. Создавайте vApp после внесения сервера в кластер DRS.298 Виртуальные машины ваете все сетевые настройки. запускаемый в гостевой ОС при старте. Однако если у вас есть своя группа виртуальных машин. Таким образом. то vApp придется удалить для завершения этой операции. выдавать им IP-адреса из диапазона.vmware. с единственным файлом описания в формате ovf будут все ВМ этого vApp и его собственные настройки. Однако. Готовый vApp можно экспортировать через меню File ⇒ Export ⇒ Export OVF Template. Если у вас есть созданный на ESX(i) сервере vApp. указав для ВМ в vApp использовать конкретную группу портов и в настройках vApp раздачу адресов Transient.

которые позволят гарантировать или ограничить количество ресурсов.1. то увидите настройки ресурсов для этой ВМ. Reservation – это количество мегагерц гарантированно закрепляется за данной ВМ в момент ее включения. которое ей гарантировано. мы можем перераспределить нагрузку между ними с помощью vMotion и DRS. чтобы обеспечить резерв ВМ. 6. Мониторинг достаточности ресурсов. Пулы ресурсов Сначала поговорим про настройки. По-русски их можно обозвать как «максимум». 6. Настройки limit. что является узким местом. «минимум» и «доля» соответственно. 6.1. Если у сервера недостаточно мегагерц. ESX(i) выполнит эти настройки с помощью механизмов работы с ресурсами. Выделим настройки процессорной подсистемы (рис. Для работающей на сервере ВМ мы можем сделать настройки количества ресурсов. Настройки распределения ресурсов для ВМ.1.Глава 6. Поговорим про них по порядку. Limit.2). Если серверов несколько. нам необходимо наблюдать. reservation и shares для процессоров и памяти Для процессоров и памяти виртуальных машин мы можем задавать настройки limit. достаточно ли ресурсов выдается нашим ВМ. Управление ресурсами сервера. выделяемое для одной ВМ или группы ВМ в пуле ресурсов. Если нет – определять. Кластер DRS В этом разделе поговорим про различные способы более эффективного задействования ресурсов сервера или нескольких серверов ESX(i). то виртуальная машина не включится с соответствующим сообщением об ошибке (рис. Наконец. Обратите внимание: резерв – это блокирующая настройка. Живая миграция ВМ.1). Обо всем этом поговорим в данном разделе. 6. reservation и shares для процессора Если вы зайдете в настройки ВМ ⇒ закладка Resources. которые у него есть. reservation и shares. . В конце приведены мои соображения и рекомендации по планированию этих настроек.

6. Мониторинг достаточности ресурсов Рис.2. 6. Настройки ресурсов для процессоров ВМ Рис.300 Управление ресурсами сервера.1. Сообщение о нехватке ресурсов для обеспечения резерва процессора ВМ .

В поле shares вы можете выбрать одну из трех констант – Low. лишь оказавшись на одном ядре. то увидите настройки ресурсов для этой ВМ. значит. reservation и shares для памяти Если вы зайдете в настройки ВМ ⇒ закладка Resources. 1000 или 2000 shares. то для нее будет выделяться требуемое ей небольшое количество процессорного времени. Также для ВМ с одним виртуальным процессором максимально доступная производительность – это производительность одного ядра. Shares. которое может быть выделено для этой ВМ на все ее процессоры. Еще раз напомню: механизм shares работает. Или выбрать Сustom и указать произвольное их число. Если ВМ не задействует ресурсы процессора. в п. Это важный нюанс – процессорный ресурс дискретен. ресурсов не хватает на все претендующие на них ВМ. это безразмерная величина. Всего 3000 = 1000 × 3. все точно так же. доля любой ВМ – одна треть. когда ресурсов сервера достаточно для покрытия резервов всех работающих ВМ. На первый взгляд. То есть даже если поставить ВМ высокий резерв. Если для какой-то ВМ увеличить или уменьшить shares – ей немедленно увеличат или уменьшат долю ресурса. Данные константы введены для вашего удобства – ведь все равно у вас будут типовые. Какую долю составляет количество shares одной ВМ относительно суммы shares всех претендующих на ресурс ВМ – такую долю этого ресурса ВМ и получит. но есть нюанс. что искусственно мы не ограничиваем процессорные ресурсы ВМ. по 1000. еще не достигла своего лимита. Реально бороться за ресурсы процессора ВМ будут. Normal или High.Настройки распределения ресурсов для ВМ. Limit.3 «Рекомендации по настройкам Limit. Задирать резерв или лимит выше – бессмысленно. 6. чем предоставляет одно ядро процессора физического. выключения ВМ для этого не требуется. они ей не выдаются. Shares у них одинаковый. Пулы ресурсов 301 Limit. что каждой ВМ может быть выделена треть ресурсов этого ядра. Пример: на одном ядре сервера оказались три однопроцессорные ВМ. Обратите внимание на мой пример: «На одном ядре оказались три ВМ…». Это значит.1. 6. более и менее важные ВМ. Выделим настройки памяти (рис. Shares – это именно доля. Один виртуальный процессор не может получить мегагерц больше. Сумма резервов всех работающих ВМ по определению не больше физического количества ресурсов сервера. По умолчанию стоит флажок Unlimited – это означает. Однако как быть в ситуации. Соображения по поводу использования этих настроек см. в то время как ее нагрузка невелика. . однако недостаточно для удовлетворения их аппетитов (и они не уперлись в свои лимиты)? В таких ситуациях работает настройка Shares (доля). Однако она будет иметь право задействовать и большую его долю – «отняв» ее у других ВМ.3). они ограничены только физически. соответствующие 500. как и для процессора. когда ВМ: уже превысила свой резерв. Reservation и Shares». Для процессоров это – максимальное количество мегагерц.

то ВМ не включится с соответствующим сообщением об ошибке. чтобы обеспечить резерв ВМ. Но что означает стоящий по умолчанию флажок Unlimited? И что за память тогда настраивается на закладке Hardware (рис. 6. 6.4)? Рис.302 Управление ресурсами сервера. Обратите внимание: резерв – это блокирующая настройка. Настройки ресурсов для памяти ВМ Reservation – это количество мегабайт гарантированно закрепляется за данной ВМ в момент ее включения. 6. Мониторинг достаточности ресурсов Рис. Если у сервера недостаточно мегабайт. Настройка «Hardware» памяти . Limit – это максимальное количество мегабайт.4.3. которое может быть выделено для этой ВМ.

при такой же настройке shares. Если вам необходимо выделить для ВМ меньше памяти – уменьшайте значение настройки Hardware memory. которые поддерживают горячее добавление памяти). которое видит гостевая ОС. однако недостаточно для удовлетворения их аппетитов (и они не уперлись в свои лимиты)? В таких ситуациях работает настройка Shares («доля»). в которых вам может потребоваться изменение настройки Limit. и оно отказывается запускаться. у которого жесткие системные требования. Если у сервера ESX(i) мало ресурсов. Какую долю составляет количество shares одной ВМ относительно суммы shares всех претендующих на ресурс ВМ – такую долю этого ресурса ВМ и получит.Настройки распределения ресурсов для ВМ. Я ее в дальнейшем буду называть «hardware memory». немного. А настройкой Limit ограничить реальное потребление оперативной памяти сервера этой ВМ. Например. вы не будете использовать настройку Limit на уровне ВМ. Таким образом. Shares. Normal и High соответствуют 500. когда ресурсов сервера достаточно для покрытия резервов всех работающих ВМ. Все. но в будущем это может понадобиться. как вариант. если гостевая ОС в любом случае видит весь выделенный ей объем памяти? С памятью ситуация следующая. Ситуаций. См. Для памяти Low. то есть количеством памяти. то есть по 10 на мегабайт. даже если на сервере нет недостатка в свободной оперативной памяти. И это логично. может быть выделено из файла подкачки. 10 или 20 shares на каждый мегабайт памяти ВМ. Или. что больше резерва. стоит задача протестировать приложение Х. является настройка памяти на закладке Hardware. Reservation – столько мегабайт памяти гарантированно выделяется из физической оперативной памяти. Виртуальные машины А и Б имеют право на до четверти от всей памяти. 1000 или 2000 shares на ВМ. если вы хотите ограничить ВМ сверху. и такое название вам может встретиться в документации. то для памяти это не так. а количество памяти на закладке Hardware. 6. Верхней границей. Shares – это именно доля. для увеличения Limit – нет. Обратите внимание: если для процессора константы Low. Пример: на сервере оказались три ВМ. . Normal или High соответствуют 5. Остаток до hardware memory обязательно будет выдан из файла подкачки. Normal. Пулы ресурсов 303 Что означает Reservation. Однако как быть в ситуации.5. это безразмерная величина. так как аппетиты ВМ В вдвое выше каждой из прочих. что компьютер им не удовлетворяет (у него меньше А гигабайт ОЗУ). ВМ В – на половину. вы сейчас не хотите выделять какой-то ВМ много памяти. Объем памяти у двух равен 500 Мб. Всего shares 20 000. если считает. Для увеличения Hardware memory требуется выключение ВМ (за исключением случая использования тех гостевых ОС. Limit – больше этого количества мегабайт не будет выделено из физической оперативной памяти. рис. то можно настройкой hardware memory указать достаточное для запуска приложения X количество памяти. Shares у них одинаковый. меняйте не настройку Limit. Скорее всего. у третьей – 1000 Мб.

Если выделить пул ресурсов. что ESX(i) может уменьшить Consumed Memory до Active Memory при необходимости. Информация об объемах выделенной и используемой памяти Выделена настройка Memory = 1 Гб. vApp. Рис. В упрощенной формулировке это означает. когда ВМ: уже превысила свой резерв. Обратите внимание: если ВМ не задействует память – ESX(i) не адресует ее для этой ВМ. ей немедленно увеличат или уменьшат долю ресурса. Столько памяти видит гостевая ОС. сервер. то подобную информацию можно получить для всех ВМ выделенного объекта (рис. 6. . это настройка «Hardware memory». Посмотреть это можно на закладке Summary для виртуальной машины (рис. сколько физической памяти ESX(i) выделил под данные этой ВМ. Если для какой-то ВМ увеличить или уменьшить shares. кластер или дата-центр и перейти на закладку Virtual Machines. Справа показана «Active Guest Memory» – столько памяти активно использует гостевая ОС.6).304 Управление ресурсами сервера. памяти не хватает на все претендующие на нее ВМ. Описание примера распределения долей памяти Еще раз напомню – механизм shares работает.5. еще не достигла своего лимита. Мониторинг достаточности ресурсов Рис. 6. без ущерба для производительности ВМ. выключения ВМ для этого не требуется.7). 6.6. А «Consumed Host Memory» показывает. 6.

7. при включении каждой ВМ создается файл размером с ее оперативную память. если вам необходимо освободить сколько-то места на разделах VMFS. Столбец Memory Size – это «hardware memory». Это настраивается в контекстном меню данной закладки ⇒ View Column. Таким образом. Если у сервера недостаточно памяти для удовлетворения резерва ВМ. 6. Если у сервера недостаточно памяти для удовлетворения аппетитов ВМ сверх резерва – то недостаток физической оперативной памяти будет компенсирован файлом подкачки.Настройки распределения ресурсов для ВМ. здесь же хочу отметить – при включении ВМ создается файл . Как велика эта часть? В наихудшем случае это вся память сверх резерва до hardware memory. то эта ВМ не включится. Механизмов подкачки используется два – файл подкачки гостевой ОС и файл подкачки VMkernel. Пулы ресурсов 305 Рис.vswp. Именно в этот файл ESX(i) адресует часть памяти ВМ. Дальше про эти механизмы я расскажу чуть подробнее. файл подкачки VMkernel (альтернатива этому – расположение файлов подкачки VMkernel на отдельном хранилище). тем меньше места резервируется под файл . один из способов – это увеличение reservation для памяти ВМ: чем больше резерв. Выводов отсюда два: если на хранилище для файлов подкачки (по умолчанию файл подкачки создается в каталоге ВМ) недостаточно места для создания этого файла – ВМ не включится. если оставить reservation равным нулю. Столбец Guest Mem % – какой процент от выделенной памяти активно использует гостевая ОС. Размер файла подкачки как раз такой: «hardware memory» минус reservation. если памяти физической не хватает. . создаваемый для каждой виртуальной машины при ее включении. Данные по использованию памяти для всех ВМ на одном сервере По умолчанию вы увидите не совсем тот же набор столбцов.vswp.

8. Шаг 3 – рис. 6. Ресурсов хватает на всех. Нагрузка на ВМ возрастает. и памяти сервера на всех уже не хватает. reservation = 5 Гб. reservation = 0. ESX(i) начинает рассчитывать доли ресурсов. Но виртуальной машине Б досталось 5 Гб.8. Шаг 2 – рис. у сервера 16 Гб памяти. 16 Гб. • у ВМ В shares = high. поэтому настройки reservation и shares не оказывают влияния на распределение ресурсов. Расход памяти на сам ESX(i) как ОС. 6. которые номинально выделены каждой ВМ. Шаг 1 – рис. . а виртуальная машина В – на 8 Гб. Большая окружность – память сервера.10. Каждой выделено по 10 Гб памяти (hardware memory): • у ВМ А shares = normal. Три ВМ под маленькой нагрузкой – А и Б активно используют не более 3 Гб памяти. reservation = 0. на накладные расходы опустим для простоты. ВМ В – не более 6 Гб. Ресурсы памяти разделены в соответствии с reservation и shares.9. Оставшиеся 11 Гб делятся между ВМ А и ВМ В с учетом их shares. 6.306 Управление ресурсами сервера. так как такое значение имеет настройка reservation для этой ВМ. три ВМ. • у ВМ Б shares = normal. Иллюстрация использования ресурсов. За счет Shares виртуальные машины А и Б имеют право на 4 Гб памяти каждая. 6. Всю недостающую память ВМ получают из файлов подкачки. Мониторинг достаточности ресурсов Иллюстрация работы механизма распределения ресурсов на примере памяти Ситуация: сервер. Шаг 1 Здесь пунктирными окружностями показаны 10 Гб. Рис.

Настройки распределения ресурсов для ВМ. Пулы ресурсов

Рис. 6.9. Иллюстрация использования
ресурсов. Шаг 2

307

Рис. 6.10. Иллюстрация использования
ресурсов. Шаг 3

Соображения по поводу использования пулов ресурсов см. в п. 6.1.3 «Рекомендации по настройкам Limit, Reservation и Shares».

6.1.2. Пулы ресурсов
Настройки Limit, Reservation и Shares для процессора и памяти можно задавать на уровне ВМ. Можно, но неинтересно. Сколько у вас виртуальных машин?
Сотни? Несколько десятков? Десяток?
Даже если десяток-другой – их число будет изменяться. Какие-то ВМ создаются, какие-то удаляются, какие-то клонируются и размножаются. Отслеживать
эти настройки для каждой из них неудобно и утомительно.
Намного естественнее выполнять эти настройки для групп виртуальных машин. В этом и состоит суть пулов ресурсов.
Создание пула ресурсов состоит из единственного шага: пройдите Home ⇒
Inventory ⇒ Hosts and Clusters и в контекстном меню сервера или DRS-кластера
выберите New Resource pool. Откроется единственное окно настроек (рис. 6.11).
Как видно, настройки пула ресурсов такие же, как настройки распределения
ресурсов для ВМ. Это Limit, Reservation и Shares для процессора и памяти. Единственное отличие от настроек ВМ – наличие флажка «Expandable Reservation».
Если флажок стоит, то пул ресурсов может «одалживать» свободные reservation у
родительского пула. Объясню эту настройку на примере:
Вы создали пул ресурсов «Main», а в нем – два дочерних, «Child 1» и «Child 2».
В дочерние пулы были помещены какие-то ВМ, притом для этих ВМ вы планируете указать reservation. Для того чтобы ВМ с резервом включилась, необходимо,
чтобы у пула ресурсов, в котором она находится, были свои reservation в достаточном количестве (рис. 6.12).

308

Управление ресурсами сервера. Мониторинг достаточности ресурсов

Рис. 6.11. Настройки пула ресурсов

Обратите внимание на иллюстрацию в левой части – в пуле Child 2 виртуальную машину VM7 с резервом в 500 МГц включить уже не удастся. Однако
свободные 800 МГц reservation есть у родительского пула Main – и они никак не
задействуются.
В правой части мы включили Expandable Reservation для пула Child 2 и Main.
Теперь Child 2 смог «одолжить» незанятые мегагерцы у Main. А когда «одолжить»
захотел еще и Child 1, тогда уже сам Main одолжил ресурсов у своего родительского пула.
Получается, что если резерв для пула должен быть жестко ограничен, то Expandable Reservation включать не надо. Зато включенный он позволяет не рассчитывать точное количество reservation для дочерних пулов: если им не хватит
своих – одолжат у родительского пула.
Пулы ресурсов можно создавать для сервера или для DRS-кластера. Также
пулы ресурсов могут быть вложены друг в друга. В данном контексте vApp тоже
является пулом ресурсов. См. рис. 6.13.
На этом рисунке я выделил пулы ресурсов, находящиеся на одном уровне. Обратите внимание, что виртуальная машина VMware Data Recovery находится на

Настройки распределения ресурсов для ВМ. Пулы ресурсов

Рис. 6.12. Иллюстрация Expandable Reservation
Источник: VMware

Рис. 6.13. Схема пулов ресурсов для кластера DRS

309

310

Управление ресурсами сервера. Мониторинг достаточности ресурсов

одном уровне с пулами ресурсов, для них родительским объектом является кластер. Это означает, что в случае борьбы за ресурсы эта ВМ будет бороться с пулами.
Те же виртуальные машины, которые находятся в пуле ресурсов, отсчитывают
свою долю от ресурсов пула (рис. 6.14).

Рис. 6.14. Иллюстрация распределения ресурсов ВМ в пуле
Источник: VMware

В данном примере указано, что все ВМ работают на одном ядре. Это допущение
сделано для простоты данной иллюстрации. Связано оно с тем, что работа на одном
ядре – обязательное условие того, что между ВМ возникает борьба за процессорный ресурс. В общем случае, предполагается, что виртуальных машин у нас по нескольку на каждое ядро сервера, и от такой борьбы мы никуда не денемся. В ином
случае борьбы за процессорные ресурсы не будет, и эти механизмы не нужны.
Обратите внимание на закладку Resource Allocation для пула ресурсов, рис. 6.15.
Эта закладка – хороший источник информации по настройкам limit, reservation, shares для дочерних объектов пула ресурсов, сервера или кластера. Особенно
обратите внимание на столбец Shares Value – он показывает посчитанную долю
каждого из дочерних объектов одного уровня. Важно – пул ресурсов «Production_
Critical», vApp «Mail» и несколько ВМ находятся на одном уровне, они дочерние
объекты пула «Production». И они борются за ресурсы по тем же правилам, по
каким боролись бы между собой объекты какого-то одного типа. Столбцы Reservation, Limit и Shares являются активными, то есть значения в них можно менять
прямо с этой закладки.
Кнопка Storage появилась лишь в версии 4.1 – она является интерфейсом
к механизму Storage IO Control. Данный механизм работает на уровне виртуальных машин, не на уровне пулов ресурсов.

Настройки распределения ресурсов для ВМ. Пулы ресурсов

311

Рис. 6.15. Закладка Resource Allocation

Соображения по поводу использования пулов ресурсов см. в следующем разделе.

6.1.3. Рекомендации по настройкам Limit,
Reservation и Shares
Основной идеей мне кажется следующая: ситуаций, когда вам пригождаются
эти настройки, следует избегать. Чуть ранее я уже приводил иллюстрацию – см.
рис. 6.16.
Здесь вы видите, что ресурсов сервера (большая окружность) достаточно для
удовлетворения текущих аппетитов ВМ (маленькие круги). Однако их недостаточно для одновременного удовлетворения максимально возможных аппетитов
(три пунктирные окружности). Если у нас нет твердой уверенности в том, что эти
виртуальные машины не будут требовать максимума своих ресурсов одновременно, то эта ситуация неправильна. Правильной ситуацией является та, когда ресурсов сервера заведомо больше, чем необходимо для всех ВМ (рис. 6.17).
Если у вас ситуация как на втором рисунке – то Limit, Reservation и Shares вам
особо и не нужны, и именно к такой ситуации вы должны стремиться при сайзинге
сервера/серверов под ESX(i).

312

Управление ресурсами сервера. Мониторинг достаточности ресурсов

Рис. 6.16. Иллюстрация недостаточного
количества ресурсов сервера

Рис. 6.17. Иллюстрация достаточного
количества ресурсов сервера

Отлично, этот момент принят во внимание, конфигурация и количество серверов достаточны для удовлетворения нагрузки со стороны ВМ. Проблема в том,
что количество серверов может резко уменьшиться в результате сбоя. Это не
проблема для доступности приложений в ВМ – при наличии разделяемого хранилища мы легко можем перезапустить ВМ с отказавшего сервера на остальных
за минуты. А при наличии лицензии на VMware High Availability это произойдет
автоматически.
Таким образом, возможна ситуация, когда все наши ВМ работают на меньшем
количестве серверов – и ресурсов на всех может уже не хватить.
Вывод: нам следует воспользоваться настройками распределения ресурсов
для подготовки к такой ситуации. Задача состоит в том, чтобы при нехватке ресурсов они в первую очередь доставались критичным и важным виртуальным машинам за счет отъема их у неважных.

Когда ресурсов в достатке
Все-таки как мы можем использовать эти настройки, когда ресурсов в достатке:
может быть неплохой идеей создать пул ресурсов с установленным limit
для некритичных (тестовых, временных) ВМ, от которых можно ожидать
вcплесков нагрузки или нагрузка со стороны которых мало прогнозируема;
если у вас запрашивают сервер с большими ресурсами памяти/процессора,
притом вы твердо знаете, что запрашивают лишнего, то можно с помощью
limit указать достаточное количество ресурсов. Плюсом является то, что
вам не нужно спорить и доказывать завышенные требования к ресурсам,
и то, что если больше ресурсов дать все-таки захотите, то достаточно будет
поднять limit, и ВМ без перезагрузки сможет воспользоваться дополнительными ресурсами;

Настройки распределения ресурсов для ВМ. Пулы ресурсов

313

увеличение reservation для оперативной памяти уменьшает размер файла
подкачки, который ESX(i) создает при включении каждой ВМ;
если политика использования виртуальной инфраструктуры предполагает
выделение под какие-то задачи фиксированного количества ресурсов, то
имеет смысл создать пул ресурсов, в настройках которого и зафиксировать
максимальное (limit) и минимальное гарантированное (reservation) количество ресурсов. Классический пример таких задач – хостинг ВМ, когда
клиент платит за некую производительность, и в наших интересах сделать
так, чтобы он получал за что заплатил, и не больше.

Когда ресурсов не хватает
Типовые рекомендации таковы:
Создавайте пулы ресурсов для ВМ разной важности. Кроме того, пулы ресурсов часто являются удобными объектами для назначения прав доступа – поэтому
для ВМ одной важности может быть создано несколько пулов, потому что эти ВМ
относятся к разным администраторам. Не забывайте, что пулы ресурсов могут быть
вложенными – это иногда удобно, в основном из организационных соображений.
Какими настройками лучше манипулировать – shares или reservation/limit?
В типовых случаях лучше shares, потому что это не блокирующая настройка. Напомню, что если недостаточно ресурсов для обеспечения reservation, ВМ не включится. В случае shares таких проблем гарантированно не будет.
Reservation может иметь смысл давать для критичных ВМ, для того чтобы гарантировать ресурсы для их работы в случае нехватки ресурсов. Однако зачастую
не стоит резервировать весь объем памяти для них. Для виртуальных машин гипервизор предоставляет нам счетчики Active Memory – к такому объему оперативной памяти виртуальная машина обращается активно, часто. Обычно имеет
смысл резервировать среднее значение Active Memory за период времени не менее
недели. Это гарантирует, что достаточно большой объем памяти для ВМ будет выделен в любом случае.
Чем меньше reservation, тем меньше вероятность того, что ВМ не включится
из-за нехватки ресурсов для обеспечения этого reservation. Еще ВМ с высоким
reservation может быть минусом для кластера HA, см. посвященный ему раздел.
Не забывайте, гарантия ресурсов для одних ВМ означает гарантированное вытеснение в файл подкачки и недостаточность процессорных тактов для других,
в случае когда ресурсов перестанет хватать на всех.
Если ВМ не потребляет много ресурсов, но достаточно критична (например,
контроллер домена), может иметь смысл зарезервировать небольшие потребляемые ей ресурсы целиком или близко к тому.
Если какая-то ВМ критична для нас и критичен уровень отклика этой ВМ (то
есть скорость работы) – для нее имеет смысл зарезервировать все или большую
часть выделяемых ресурсов.
Итак, сводный план действий примерно такой:
1. Думаем, нужна ли нам эта схема распределения ресурсов. Может быть,
даже выход из строя сервера другого не приведет к недостатку ресурсов

314

Управление ресурсами сервера. Мониторинг достаточности ресурсов

для ВМ. Если так – пулы ресурсов не используем, если на это нет организационных причин.
2. Создаем пулы ресурсов для ВМ разной степени критичности.
3. Соответственно критичности настраиваем shares: High – для критичных
пулов, Low – для некритичных. Оставляем Normal для всех остальных.
Если есть пулы для тестовых ВМ, пулы, ВМ в которых создаются и удаляются не нами, – может иметь смысл для них поставить limit, чтобы эти ВМ
не задействовали слишком много ресурсов.
4. При необходимости гарантировать каким-то ВМ уровень ресурсов настраиваем для них reservation. Это потребует настроить reservation для пулов,
в которых они находятся.
Не настраивайте reservation пулов ресурсов «впритык». Вернитесь к рис. 6.14 –
сумма reservation дочерних объектов меньше, чем reservation родительского пула, и так поступать правильно.

6.1.4. Storage IO Control, SIOC,
для дисковой подсистемы
Начиная с версии 4.1 серверы ESX(i) получили возможность управлять распределением количества операций ввода-вывода в секунду между виртуальными
машинами.
Мы можем оперировать двумя настройками – limit и shares, эти настройки делаются на уровне диска виртуальной машины.
Limit здесь – явное число операций ввода-вывода в секунду, которое может
получить этот диск виртуальной машины как максимум. По умолчанию limit не
задан. Limit указывается в операциях ввода-вывода в секунду. Если вам удобнее
оперировать Мб/сек, то, поделив необходимое число Мб/сек на размер одной
операции ввода-вывода (которым оперирует данная ВМ), вы получите искомое
количество IOPS. Например, для получения максимум 10 Мб/сек для виртуальной машины, оперирующей блоками в 64 Кб, укажите ее диску limit, равный
160 IOps.
Обратите внимание. Если пользоваться настройкой Limit, то она должна быть указана для всех дисков виртуальной машины. Если это не так, то настройка применяться не будет.

Shares – как и для других ресурсов, эта величина является долей ресурса, здесь
это IOps.
Этот механизм включается для отдельного хранилища VMFS. Притом работает он не все время, а лишь по срабатыванию условия – превышение пороговой величины задержки (Latency). Когда значение этого счетчика превышает указанную
нами пороговую величину, настройки Limit и Shares применяются. И в соответствии с этими настройками перераспределяются дисковые операции хранилища
между дисками виртуальных машин, на нем расположенных.

Настройки распределения ресурсов для ВМ. Пулы ресурсов

315

Давайте пройдемся по фактам о настройке и эксплуатации этого механизма.
SIOC выключен по умолчанию. Сделано это по той причине, что далеко не все
лицензии vSphere позволяют задействовать эту функцию.
Пороговое значение Latency по умолчанию – 30 миллисекунд. Притом высчитывается и оценивается среднее значение Latency для всех серверов, обращающихся к хранилищу VMFS.
Для включения SIOC необходим vCenter. Для работы SIOC vCenter не является необходимым. Серверы записывают необходимые данные на на само хранилище, в первую очередь это значения Latency и настройки Limit/Shares виртуальных дисков. Исходя из этих данных, работает соответствующая служба на
каждом ESX(i). Эта служба называется «PARDA Control Algorithm», и основные
ее компоненты – это «latency estimation» и «window size computation». Первый
используется для оценки Latency относительно порогового значения (это делается каждые 30 секунд), второй высчитывает необходимую глубину очереди для
сервера. При чем тут глубина очереди?
Дело в том, что именно за счет динамического изменения этой самой глубины
и реализовано разделение IOps хранилища между виртуальными машинами с разных серверов. Сравните рис. 6.18 и 6.19. Первый из них иллюстрирует ситуацию
без SIOC – когда два сервера обращаются на хранилище и полностью его нагружают, то сначала система хранения делит операции ввода-вывода между серверами
поровну. Затем каждый сервер может поделить обрабатываемые хранилищем для
него IOps в требуемой пропорции между своими виртуальными машинами.

Рис. 6.18. Распределение операций ввода-вывода
между ВМ разных серверов без SIOC

316

Управление ресурсами сервера. Мониторинг достаточности ресурсов

А вот на рис. 6.19 показана та же ситуация, но уже с SIOC.

Рис. 6.19. Распределение операций ввода-вывода
между ВМ разных серверов при включенном SIOC

Как видим, ESX(i) 2 пропорционально уменьшил глубину своей очереди (до
16), благодаря чему система хранения предоставила для него (его виртуальных
машин) пропорционально меньшую долю операций ввода-вывода данного LUN.
ESX(i) уменьшает глубину очереди с таким расчетом, чтобы операции ввода-вывода делились между виртуальными машинами с одного хранилища VMFS (LUN)
пропорционально их Shares. Глубина очереди не может стать меньше 4.
Обратите внимание. Для NFS данный механизм недоступен. Для VMFS с extend
данный механизм не работает. Для RDM SIOC не работает. Если после включения
SIOC изменилось число серверов, работающих с хранилищем, то данную функцию
следует выключить и включить заново.

SIOC включается на уровне хранилища VMFS. Включение этой функции
весьма тривиально: выберите один из серверов, которому доступно интересующее вас хранилище VMFS ⇒ Configuration ⇒ Storage ⇒ выбираем хранилище
VMFS ⇒ Properties. Нас интересует флажок Storage I/O Control. По кнопке
Advanced нам доступно изменение порогового значения Latency, по достижении
которого механизм SIOC вмешивается в распределение операций ввода-вывода между виртуальными машинами. В документе «Storage I/O Control Technical
Overview and Considerations for Deployment» (http://www.vmware.com/resources/
techresources/10118) VMware приводит рекомендации по рекомендуемым значениям Latency в зависимости от типа хранилища. Например, для хранилища с накопителями SSD нормальным считается Latency = 10–15 мс.

Настройки распределения ресурсов для ВМ. Пулы ресурсов

317

VMware рекомендует включить SIOC. Этот механизм будет полезен даже с настройками по умолчанию на уровне виртуальных машин – тем, что какая-то одна
виртуальная машина не сможет задействовать всю производительность LUN при
всплеске активности.
Обратите внимание на два элемента интерфейса, полезных при работе с SIOC
(рис. 6.20 и 6.21).

Рис. 6.20. Вкладка resource allocation ⇒ disk

Рис. 6.21. Вкладка Virtual Machines для Datastores

6.1.5. Network IO Control, NIOC
и traffic shaping для сети
Для управления ресурсами сетевой подсистемы серверов ESX(i) существуют
три механизма: группировка контроллеров (NIC Teaming), traffic shaping и появившийся в версии 4.1 Network IO Control.

318

Управление ресурсами сервера. Мониторинг достаточности ресурсов

Когда к одному вКоммутатору подключены несколько физических сетевых
контроллеров, тогда ВМ с этого вКоммутатора могут использовать пропускную
способность сразу нескольких из них. Более того, в некоторых ситуациях даже
одна-единственная ВМ способна задействовать сразу несколько каналов во внешнюю сеть (в зависимости от собственной конфигурации и от метода балансировки
нагрузки на виртуальном коммутаторе). О различных вариантах балансировки
нагрузки рассказано в главе 2.
Там же, на виртуальном коммутаторе или группе портов, настраивается traffic
shaping.
В случае использования стандартных виртуальных коммутаторов мы можем
настроить ширину канала для исходящего трафика.
В случае использования распределенных виртуальных коммутаторов VMware
ширину канала можно ограничивать и для входящего, и для исходящего трафиков.
Напоминаю, что применяется эта настройка лишь к тому трафику, что проходит через физический сетевой контроллер. Следовательно, с помощью этого
механизма нельзя ограничить канал между виртуальными машинами на одном
сервере. Подробнее о работе этого механизма рассказано в главе 2.
Про механизм Network IO Control поговорим ниже.
В распределенном коммутаторе начиная с версии 4.1 появилось управление распределением сетевого ресурса между задачами ESX(i) – Network IO Control, NIOC.
Этот механизм предназначен для ситуаций, когда все или большая часть источников трафика ESX(i) разделяет один набор 10-гигабитных физических сетевых интерфейсов (для гигабитной сети механизм NIOC, скорее всего, не окажет
ощутимого влияния). В этом случае возможна ситуация, когда (например) запущенная живая миграция негативно влияет на (например) производительность
iSCSI. С помощью NIOC мы избежим такого рода негативных влияний.
Говоря более конкретно, появилась возможность указывать Limit и Shares для
типов трафика. Обратите особое внимание – именно для типов трафика, не для
отдельных групп портов.
Этот механизм выделяет следующие виды трафика:
виртуальные машины;
Fault Tolerance;
iSCSI;
NFS;
Management;
vMotion.
Указав Limit, мы указываем количество Мб/сек, которые как максимум получат соответствующий тип трафика сразу для всех каналов во внешнюю сеть
виртуального коммутатора, через которые этот трафик может покидать ESX(i).
Ограничивается лишь исходящий за пределы ESX(i) трафик.
Shares – это указание доли, которую получает тот или иной тип трафика при
недостатке пропускной способности сети. По факту является минимальной гарантированной пропускной способностью. Доля (shares) высчитывается для каждого
канала во внешнюю сеть независимо.

Механизмы перераспределения ресурсов в ESX(i)

319

Для настройки этого механизма пройдите Home ⇒ Inventory ⇒ Networking ⇒
распределенный виртуальный коммутатор ⇒ вкладка Resource Allocation. Сначала
в пункте Properties необходимо включить саму функцию NIOC, затем мы получим
возможность изменять настройки Limit и Shares для трафика разных типов (рис. 6.22).

Рис. 6.22. Настройка NIOC

Каждый сервер ESX(i) рассчитывает доли трафика независимо – это важно
по той причине, что у разных серверов может быть разная конфигурация (здесь –
разное количество физических сетевых контроллеров).
VMware предлагает некоторые рекомендации:
использовать Shares, нежели Limit, так как Shares является более гибкой
настройкой;
использовать новый тип балансировки нагрузки – LBT, Load Based Teaming;
если вы примете решение использовать еще и Traffic Shaping, то будет удобно, если источник трафика каждого типа будет помещен в отдельную группу портов на распределенном коммутаторе.
Дополнительные подробности следует искать в документе Network IO Control –
http://www.vmware.com/resources/techresources/10119.

6.2. Механизмы перераспределения
ресурсов в ESX(i)
Limit, shares, reservation – это настройки, которыми мы указываем, как распределять ресурсы. А теперь поговорим о том, благодаря каким механизмам ESX(i)
умеет эти настройки претворять в жизнь и как устроено распределение ресурсов
сервера между виртуальными машинами.

что необходимо сказать: один vCPU работает на одном LCPU. Физические ядра или.2. – она задействует только одно ядро. на одном ядре может выполняться несколько vCPU разных виртуальных машин (рис. Самое первое. 6. ядра логические. а вот если эта ВМ с восемью vCPU. виртуальные (virtual. в случае hypertreading. что процессоров на виртуальную машину может быть до восьми.320 Управление ресурсами сервера. Один vCPU – это один процессор виртуальной машины. с интервалом в 20 миллисекунд может переносить vCPU между LCPU для лучшей их утилизации. В зависимости от их количества ESX(i) лицензируется. Напомню. то она задействует все восемь ядер – ESX(i) в обязательном порядке разводит по разным ядрам процессоры одной ВМ. CPU С точки зрения ESX(i) процессоры бывают трех типов: физические (physical. каждый процессор двухъядерный. 6. Мониторинг достаточности ресурсов 6. Иллюстрация работы с процессорной подсистемой Источник: VMware На иллюстрации показан двухпроцессорный сервер. Это именно процессоры. Service Console всегда работает на CPU0.1. . Каждый LCPU – это одна очередь команд.23. VCPU). То есть виртуальная машина с одним виртуальным процессором работает на одном ядре. LCPU). То есть даже если у вас однопроцессорный восьмиядерный сервер. Это ядра физического процессора. иногда говорят «сокеты». PCPU). то есть первом ядре первого процессора. Гипервизор осуществляет балансировку нагрузки. на котором работает только одна ВМ с одним процессором. Рис. логические (logical.23).

Таким образом. Здесь вы можете задать настройки Hyperthreaded Core Sharing и CPU Affinity. А если выделять их не одновременно. где-то нет). эта величина характеризует накладные расходы на виртуализацию процессоров многопроцессорной ВМ. что значительную долю времени все несколько vCPU этой ВМ простаивали. Из тех же соображений не стоит выдавать для виртуальной машины памяти больше. являются виртуальными процессорами. например. Однако ESX(i). В частности. Обратите внимание.Механизмы перераспределения ресурсов в ESX(i) 321 Обратите внимание. Также в свойствах ВМ на закладке Resources есть строка Advanced CPU (рис. что гипервизор отслеживал «рассинхронизацию». что все ее процессоры будут работать одновременно. Избегайте создавать ВМ с числом vCPU. как это возможно с точки зрения производительности.24). что на каждом физическом ядре работают несколько виртуальных процессоров. позволяя более эффективно утилизировать процессорные ресурсы сервера. 6. использует механизм под названием «Relaxed coscheduling». счетчика NUMA. которыми управляет гипервизор. Консольная утилита esxtop (resxtop для vCLI) показывает время ожидания синхронизации в столбце %CSTP. Если сервер построен на архитектуре NUMA. Но в случае виртуализации процессоры. поэтому следует стремиться настраивать для виртуальных машин так мало vCPU. Операционная система ожидает. начиная еще с версии 3. Суть его заключается в том. Это уменьшает потери производительности из-за виртуализации. то гостевые ОС как минимум будут получать пенальти по производительности. гипервизор останавливал «убежавшие вперед» vCPU и ждал возможности выделить процессорные такты всем vCPU этой ВМ одновременно. . большим. что «отстали». то гипервизор будет это учитывать и пытаться располагать все vCPU одной ВМ на одном процессоре. гипервизор перераспределяет ресурсы физических процессоров (ядер) между многими процессорами виртуальными. чем число ядер одного процессора на серверах с архитектурой NUMA. то есть ситуацию. видимые гостевой ОС. Однако панацеей такой механизм не является. когда какие-то vCPU работали. Так поступал ESX версии 2. а как максимум – падать в BSOD и Kernel panic. а лишь те. где-то в данный момент есть свободные такты. Определить эту величину можно. с помощью esxtop. а какие-то нет. гипервизору и неудобно выделять такты виртуальным процессорам одной ВМ одновременно (ведь нагрузка на разные физические ядра разная. что одновременно получать такты должны не все vCPU одной ВМ. В случае физических серверов так и происходит. чем локально доступно одному процессору физического сервера. Для гипервизоров предыдущих поколений эта проблема решалась тем. что замедлит доступ к памяти. И именно из-за того. В последнем случае гипервизор будет вынужден vCPU одной виртуальной машины выполнять на ядрах разных процессоров. Когда разница во времени работы достигала порогового значения (несколько миллисекунд). Получалось.

как будут использоваться логические процессоры. Мониторинг достаточности ресурсов Рис. 6. то на втором логическом ядре этого физического ядра могут работать другие vCPU этой и других виртуальных машин. Internal – настройка доступна лишь для многопроцессорных виртуальных машин. Варианты настройки: Any – когда виртуальный процессор этой ВМ работает на каком-то ядре. Напомню. что для процессоров с включенным гипертрейдингом каждое физическое ядро порождает два логических.322 Управление ресурсами сервера. Для ВМ c одним процессором такое значение этой настройки эквивалентно значению None. Когда ВМ с несколькими vCPU. Настройки Advanced CPU Hyperthreaded Core Sharing управляет тем. то они могут работать на разных логических ядрах одного физического ядра.24. что теоретически позволяет выполнять часть команд в два потока. на которые делится каждое физическое ядро при включении гипертрейдинга. .

2. ESXi создает в памяти RAM диск для своей работы. ESX отрезает 300–800 Мб для Service Console. Scheduling Affinity – здесь мы можем указать ядра. Если по умолчанию гипервизор может расположить процессор ВМ на любом ядре. то он захватывает его полностью. для простоты один. Вероятность ухудшения производительности от включения этой функции невелика. Обратите внимание: эта настройка сбрасывается на значение по умолчанию (Any). что значительно снижает применимость данной настройки. от включения гипертрейдинга производительность меняется незначительно. гипервизор ей выдает часть или 100% этого гигабайта. накладные расходы. Второе логическое ядро простаивает. Memory Вот у нас есть сервер ESX(i). Когда мы создаем виртуальную машину и указываем для нее 1 Гб памяти. и на нем работает сколько-то виртуальных машин. Если для виртуальной машины настроить 64 Гб памяти. 6. iSCSI-инициатору и прочим компонентам также нужны ресурсы для своей работы. и каждая какую-то долю от настроенной памяти потребляет («Потребляемая память ВМ»).2. Что можно рассказать про это? Несколько общих слов Доступная память сервера – это все гигабайты памяти сервера минус: память.5–2 Гб. Притом 100–150 Мб накладных расходов – это для гигабайта настроенной памяти. На данном ядре выполняется только этот один vCPU этой одной ВМ. говоря в терминах счетчиков нагрузки. Виртуальным коммутаторам. которую гипервизор тратит на себя. Как правило. Применимость этой настройки невелика – лишь для тонкого тюнинга производительности виртуальных машин на одном сервере. И даже в случае стопроцентного выделения еще 100–150 Мб гипервизор тратит на накладные расходы.Механизмы перераспределения ресурсов в ESX(i) 323 None – когда vCPU этой ВМ начинает выполняться на каком-то физическом ядре. . когда ВМ в DRS-кластере или при миграции ВМ на другой сервер. ESX(i) хорошо управляет распределением ресурсов без нашего участия. то с помощью этой настройки мы можем ограничить его выбор. то ВМ теряет способность к живой миграции. Если мы изменили данную настройку со значения по умолчанию. Overhead. У него есть сколько-то оперативной памяти для виртуальных машин («Доступная память сервера»). Нет четких данных по эффективности использования гипертрейдинга для ESX(i). Это память. Как правило. на которых могут выполняться vCPU этой ВМ. накладные расходы составят примерно 1. Обратите внимание. которую гипервизор тратит для создания процесса виртуальной машины. Каждой из виртуальных машин выделено сколько-то памяти («Настроенная память ВМ»).

vm4. То. На рис. 6. Или. В терминах мониторинга это Consumed. 400 Мб из показанного гигабайта. Это максимум. изнутри не заметить.25. 6. Мониторинг достаточности ресурсов кластер VMware HA может резервировать сколько-то памяти под свои нужды. Потребляемая память ВМ – это сколько реальной оперативной памяти использует виртуальная машина. чем «доступная память сервера» (поле Capacity) (рис. «потребляемая память» в такой ситуации может быть как меньше (хороший случай). 6.25 вы можете увидеть MO в действии – на сервере esx1. а у запущенных на нем ВМ в сумме 4096 Мб. и это важно. Мы же под данным словосочетанием будем понимать ситуацию. Memory Overcommitment При обсуждении работы с памятью разных гипервизоров часто встречается термин «Memory Overcommitment». правильнее сказать. который мы указываем в настройках ВМ на вкладке Hardware. например. поговорим чуть позже.ru доступны 2099 Мб памяти. Однако гипервизор может выделить для ВМ из реальной оперативки и меньший объем. чем память «доступная» (плохой Рис.25). который гостевая ОС может использовать. когда суммарная «настроенная память» (столбец Memory Size) всех включенных ВМ на сервере больше. что гостю выделено лишь. какой объем реальной памяти выделил ей гипервизор. Притом нередко под ним понимаются разные вещи. Именно этот объем видит гостевая ОС. Кстати говоря. так и больше. Настроенная память ВМ – это тот объем памяти.324 Управление ресурсами сервера. Прикладная иллюстрация Memory Overcommitment . чем «показал» ей памяти. По каким причинам гипервизор будет так поступать.

Это как раз пример «хорошего» случая memory overcommitment. Далее. • как запас на случай роста количества виртуальных машин или нагрузки на существующие виртуальные машины. сжатие памяти. «Промахнуться» в смысле «продать меньше памяти. Однако бывают приложения с нетипичным для нашей инфраструктуры профилем потребления памяти. Перечислим их: выделение по запросу. Рискну предположить. Она примерна. то есть «доступной» памяти. Как видим. В разное время суток/дни недели наши приложения потребляют память по-разному. Нам следует стремиться к тому. физическому или виртуальному) оперативная память никогда не загружена на 100%. Таким образом. Memory Overcommitment достигается на ESX(i) за счет нескольких технологий.Механизмы перераспределения ресурсов в ESX(i) 325 случай). Основная идея вот в чем – «показанная» серверу (тут не важно. То. Для иллюстрации – обратите внимание на столбец Host Memory Usage на предыдущем рисунке. Что это? Каково место этих технологий? Насколько они применимы? Насколько они бесполезны? Давайте поразмышляем. что у вас именно так. что в наших инфраструктурах можно выделить несколько групп виртуальных машин. вы плохо спланировали этот сервер. здесь не учитываем. 3. memory compression (новинка 4. потому что тут я ее предлагаю лишь для иллюстрации своих размышлений. Большинство задач потребляют максимум ресурсов в рабочие часы в будни. что вполне помещается в имеющихся у сервера 2099 Мб. согласны? Несколько утверждений. Попробую предложить классификацию. с пиками утром или в середине дня. Этот запас делается из следующих соображений: • архитектор опасается промахнуться с необходимым объемом. что виртуальные машины не должны все время потреблять 100% от «показанной» им памяти. что некоторые задачи занимают чем-то (например. файл подкачки гипервизора. Мы будем рассуждать о потреблении памяти виртуальными машинами. 2. В вашей инфраструктуре сделан запас по оперативной памяти серверов. на которых базируются дальнейшие рассуждения. VMkernel swap. по-разному потребляющих память. так как разговор идет в общем. Вводная к размышлениям. 1. он же balloon driver или vmmemctl. при 4096 Мб показанной памяти виртуальные машины реально используют 553 Мб.1). механизм баллон. чем потребуется для оговоренных виртуальных машин». дедупликация оперативной памяти. • как запас на случай отказа сервера (или нескольких). transparent memory page sharing. . Почему? У вас загружена именно так? Значит. кэшем) всю свободную память. или <подставьте данные своей статистики>. а точнее – гостевыми ОС и приложениями. прочие соображения я буду основывать на том.

ESX(i) умеет определять. сколько надо ей. кто-то просто много хочет в момент включения. гипервизор ему всю выдает. То есть гость 800 Мб пометил у себя в таблице памяти как «свободная». Но не 100% памяти потребляется. однако бывают и исключения (например. А раз не запрашивает. Итак. Или один. и больше по требованию. но потом освобождено и не используется. Виртуальную машину включили. Например. Но больше памяти гостю обычно не нужно – и он больше не запрашивает у гипервизора. в самом плохом случае. когда для ВМ выделены 10 (например) Гб. на этапе 1 «потребляемая» память равна «показанной». Тестовые ВМ – думаю. пики. гигабайт или два в среднем по больнице. редко больше. утверждение 1. Большинство таких приложений потребляет ресурсы в рабочие часы. службы начали работать. а она активно использует лишь 7. Что получилось: гостю 1200 Мб нужно. Виртуальной машине выделили («показали») 2 Гб. И часто возникают ситуации. Пики в рабочие часы. баллон раздулся. в момент включения гость потребляет всю или большую часть доступной памяти. серверы резервного копирования. гипервизор этой виртуальной машине больше страниц физической памяти и не выделяет. Этап 2 – гость стартовал все службы. Он и забирает (забегая вперед – для этого используется механизм balloon). Вернее. Инфраструктурные ВМ – всякие DNS. Потребляют ресурсов мало. По-хорошему гипервизору надо бы ее забрать.326 Управление ресурсами сервера. Мониторинг достаточности ресурсов ВМ приложений – сколько памяти вы выделяете («показываете» в моих определениях тут) своим серверам приложений? При опросах на курсах я слышу цифры 4–8. смотря что тестировать будем. сколько памяти ВМ использует. Что происходит дальше? Этап 1 – включение. для малого числа ВМ больше. а сколько не использует. гипервизор ему не выделит в реальной оперативке больше. п. Обычно гигабайт или два. Ок. где-то бывае