- Динамічне зберігання віртуальних машин
- Покращена підтримка процесорів
- Покращена підтримка мережі
- Cluster Shared Volume (CSV)
- Live Migration
- Огляд техології Live Migration
- Live Migration в порівнянні з Quick Migration
- Архітектура Live Migration
- вимоги
- Принципи роботи Live Migration
- Сценарії використання Live Migration
- Технічне обслуговування серверів
- динамічний датацентр
- Green IT
- Розгортання Live Migration
- Управління Live Migration
- резюме
Гипервизор Windows Server 2008 R2 заснований на архітектурі Windows Server 2008 Hyper-V з додаванням безлічі нових можливостей, що значно підвищують гнучкість продукту. Застосування віртуалізації на підприємствах призвело до підвищення гнучкості в розгортанні та управлінні життєвим циклом додатків. Віртуалізація використовувалася IT-професіоналами для консолідації робочих навантажень і підвищення ефективності використання обчислювальних потужностей. Крім того, віртуалізація може використовуватися спільно з технологіями кластеризації, що дозволить створити надійну IT-інфраструктуру з високою доступністю і швидким відновленням у разі збою. До того ж, замовники зацікавлені в ще більшій гнучкості системи. Windows Server 2008 R2 надає додаткову гнучкість за рахунок технології Live Migration.
Технологія Live Migration підтримується як в Windows Server 2008 R2, так і в Microsoft Hyper-V Server 2008 R2. За допомогою Hyper-V Live Migration можна переміщати віртуальні машини з одного фізичного хоста на інший без зупинки самої віртуальної машини. Технологія Live Migration надає можливості для динамічного балансування навантаження, високої доступності віртуального середовища під час технічного обслуговування фізичного хоста і зниження загального енергоспоживання системи.
У Windows Server 2008 R2 Hyper-V були додані дуже цінні нові можливості, поряд з тими, що вже були в Windows Server 2008. Наприклад, з використанням технології Live Migration, можна переміщати віртуальні машини між фізичними хостами «на льоту». Віртуальні диски можуть бути додані і видалені без зупинки віртуальної машини. Крім того, гипервизор Windows Server 2008 R2 більш ефективно використовує апаратні ресурси хоста. Цей документ являє собою огляд нових можливостей Windows Server 2008 R2 Hyper-V і докладну інформацію про технології Live Migration.
Динамічне зберігання віртуальних машин
Гипервизор Windows Server 2008 R2 Hyper-V підтримує гаряче підключення і відключення сховищ. Завдяки можливості додавання або видалення віртуальних дисків VHD і pass-through дисків на працюючій віртуальній машині можна легко переконфігурувати віртуальну машину відповідно до зміненими вимогами.
Примітка: для використання гарячого додавання і видалення віртуальних дисків необхідно встановити Hyper-V Integration Services в гостьовій ОС.
Покращена підтримка процесорів
Windows Server 2008 R2 Hyper-V підтримує до 32 логічних процесорних ядер. Покращена підтримка процесорів дозволяє консолідувати ще більше навантаження на один фізичний сервер.
Windows Server 2008 R2 Hyper-V так само підтримує SLAT (Second-Level Address Translation) і CPU Core Parking. SLAT використовує особливі можливості, наявні в процесорах Intel, що підтримують Extended Page Tables і процесорах AMD з підтримкою Rapid Virtualization Indexing для використання деяких функцій управління пам'яттю віртуальних машин, які знижують накладні витрати на трансляцію адрес всередині віртуальної машини в адреси на фізичному хості. Це значно знижує навантаження на процесори і витрата оперативної пам'яті кожної віртуальної машиною, дозволяючи фізичній хосту виконувати більше роботи з меншою утилізацією системних ресурсів. CPU Core Parking дозволяє знижувати енергоспоживання завдяки призначенню віртуальній машині тільки декількох процесорних ядер, перемикаючи інші ядра в сплячий режим.
Покращена підтримка мережі
У Windows Server 2008 R2 з'явилися деякі нові поліпшення, що стосуються роботи з мережею, що підвищують швидкодію мережевих компонент у віртуальному середовищі. Підтримка Jumbo Frames тепер доступна так само і у віртуальному середовищі. Завдяки цьому віртуальні машини тепер підтримують Jumbo Frames розміром до 9014 байт за умови, що фізичні мережеві компоненти (мережеві адаптери, комутатори і т.д.) підтримують їх. Підтримка Jumbo Frames дозволяє знизити накладні витрати мережевого стека на байт переданої інформації і підвищує пропускну здатність. Так само це дозволяє знизити утилізацію процесора завдяки меншій кількості звернень від мережевого стека до драйверу мережевого адаптера в одиницю часу.
Функція TCP Chimney, що дозволяє передати обробку TCP / IP-пакетів процесору мережевого адаптера тепер так само підтримується в віртуальному середовищі. Це дозволяє підвищити продуктивність віртуальних машин за рахунок передачі частини навантаження процесорам мережевих адаптерів, що особливо помітно на при великий мережевий навантаженні, наприклад - файлові сервери або сховища даних з підключенням по iSCSI.
Завдяки використанню Virtual Machine Queue (VMQ) мережеві адаптери фізичного хоста можуть використовувати DMA, поміщаючи оброблені мережеві пакети безпосередньо в пам'ять віртуальних машин, підвищуючи продуктивність мережевого стека.
Cluster Shared Volume (CSV)
У Windows Server 2008 R2 спільне використання сховищ даних значно спрощено зарахунок використання CSV. Використання CSV дозволяє декільком серверам здійснювати доступ до сховища даних SAN в єдиному просторі імен для всіх томів на всіх хостах. Різні хости можуть мати доступ до одного і того ж логічного пристрою (LUN) в сховище даних SAN. CSV дозволяє використовувати Live Migration і доступна як елемент служб відмовостійкої кластеризації Windows Server 2008 R2.
Live Migration
Однією з найбільш важливих і очікуваних можливостей гипервизора Windows Server 2008 R2 Hyper-V є технологія Live Migration. Частина, що залишилася цього документа детально описує технологію Live Migration, в тому числі - як відбувається переміщення працюючих віртуальних машин, описує кілька сценаріїв, при яких технологія Live Migration виявляється досить корисною і вимоги, необхідні для впровадження Live Migration.
Огляд техології Live Migration
Як говорилося раніше, технологія Live Migration підтримується в Windows Server 2008 R2 Hyper-V і в Microsoft Hyrer-V Server 2008 R2. Завдяки Live Migration можна переміщати працюють віртуальні машини з одного фізичного хоста на інший без будь-якого простою.
Оскільки технологія Live Migration дозволяє переміщати працюють віртуальні машини без простою, її застосування може сприяти підвищенню гнучкості та відмовостійкості системи:
1. Підвищення швидкодії: При використанні в датацентрі безлічі хостів на базі Hyper-V з'являється можливість переміщення працюючих віртуальних машин не помітно доя користувачів на найбільш підходящий фізичний хост для підвищення швидкодії, масштабованості і оптимальної консолідації.
2. Зниження витрат і підвищення продуктивності: У датацентру з безліччю хостів на базі Hyper-V можна проводити роботи з технічного обслуговування серверів в робочий час без зупинки сервісів. Live Migration дозволяє залишати віртуальні машини працюють навіть під час технічного обслуговування серверів, тим самим підвищуючи продуктивність як користувачів так і технічного персоналу. Також, за рахунок підвищення консолідації і відключення тимчасово невикористовуваних серверів.
Live Migration в порівнянні з Quick Migration
Можливість Quick Migration була присутня в Hyper-V спочатку, ще в Windows Server 2008. І Quick Migration, і Live Migration призначені для перенесення працюють віртуальних машин між фізичними хостами з одного невеликою різницею: Quick Migration переносить віртуальні машини, виробляючи операцію збереження стану (Save State ), що призводить до короткочасного простою віртуальної машини. При Live Migration ж, використовується інший механізм перенесення віртуальних машин. Цей процес буде детально описаний у відповідній секції справжнього документа. Коротенько перенесення відбувається так:
1. Всі сторінки пам'яті віртуальної машини транслюються з хоста-джерела на хост призначення.
2. Під час процесу перенесення віртуальної машини все редагувати сторінки пам'яті автоматично відслідковуються і реплікуються на хост призначення.
3. Покажчики на віртуальні диски передаються на хост призначення.
4. Віртуальна машина запускається на хості призначення.
Процес Live Migration значно знижує час простою віртуальних машин під час міграції. Завдяки цьому використання Live Migration переважно при перенесенні віртуальних машин, до яких потрібно безперервний доступ користувачів. Завдяки тому, що процес Live Migration завершується швидше, ніж настає тайм-аут TCP-з'єднання, процес міграції відбувається абсолютно прозоро для кінцевого користувача.
Примітка: Live Migration і Quick Migration підтримуються тільки у версії Windows Server 2008 R2 і Hyper-V Server 2008 R2. У версіях Windows Server 2008 і Hyper-V Server 2008 підтримується тільки Quick Migration, Live Migration не підтримується.
Архітектура Live Migration
Технологія Hyper-V Live Migration розроблена для переміщення запущених віртуальних машин непомітно для кінцевих користувачів. За рахунок пре-копіювання сторінок пам'яті віртуальної машини на хост призначення досягається мінімізація часу, витраченого на перенесення, а гостьова операційна система взагалі «не помічає», що її кудись переносили, відповідно використання Live Migration не вимагає будь-якої додаткової настройки всередині гостьової ОС.
вимоги
Вимоги для Live Migration - такі ж, як і для Quick Migration: якщо в організації вже використовується Quick Migration, то перехід на використання Live Migration буде досить простим. Фізичні хости, які братимуть участь в процесі міграції повинні бути налаштовані в відмовостійкий кластер на базі Microsoft Failover Clustering і використовувати загальне сховище даних. Крім того, всі вузли кластера повинні мати однаковий тип процесора (тобто процесори одного і того ж виробника). Повний список вимог для Live Migration наведено нижче:
1. Підтримувані версії ОС:
a. Windows Server 2008 R2 64bit Enterprise Edition
b. Windows Server 2008 R2 64bit Datacenter Edition
c. Hyper-V Server 2008 R2
2. Всі фізичні хости, на яких буде застосовуватися Live Migration, повинні бути вузлами кластера Microsoft Failover Clustering.
3. Кластеризація Microsoft підтримує до 16 вузлів в одному кластері.
4. Кластер слід конфігурувати з використанням окремої фізичної мережі для трафіку Live Migration.
5. Всі вузли кластера повинні мати процесори одного виробника.
6. Всі хости повинні належати до однієї IP-підмережі.
7. Всі хости повинні мати доступ до спільного сховища даних.
рекомендації:
8. Для зберігання файлів віртуальних машин рекомендується використовувати Cluster Shared Volume.
9. Між будь-якими двома вузлами кластера в один момент часу може відбуватися один процес Live Migration. Це означає, що в кластері може одночасно відбуватися N / 2 процесів міграції, де N - число вузлів кластера. Наприклад, в кластері з 16 вузлів може одночасно проходити до 8 процесів міграції, при цьому кожен вузол може бути задіяний тільки в одному процесі.
10. Для передачі великої кількості сторінок пам'яті віртуальних машин рекомендується об'єднати вузли кластера додаткової ізольованою мережею з високою пропускною здатністю (1Gbps і вище).
11. Конфігурація кластера повинна задовольняти Microsoft Support Policy for Windows Server 2008 Failover Clusters: http://support.microsoft.com/default.aspx?scid=kb;EN-US;943984
Принципи роботи Live Migration
Як вже було сказано, технологія Live Migration була розроблена для переміщення віртуальних машин з одного фізичного хоста на інший за мінімальний час. Процес Live Migration ініціюється адміністратором за допомогою одного з трьох методів (див. Нижче). Фактична швидкість процесу міграції залежить як від характеристик використовуваного обладнання, так і від пропускної здатності мережі.
Отже, існує три способи запуску процесу Live Migration:
1. Адміністратор може запустити процес міграції з використанням оснастки MMC Failover Cluster Management.
2. Через консоль System Center Virtual Machine Manager (якщо використовується).
3. За допомогою скрипта з використанням WMI або PowerShell.
Будь-яка гостьова ОС буде продовжувати роботу в процесі міграції. Після запуску процесу Live Migration, відбувається наступне:
1. Підготовка до міграції
На першій стадії процесу Live Migration (див. Рис. 1), хост-джерело встановлює TCP-з'єднання з хостом призначення. Це з'єднання використовується для передачі конфігурації віртуальної машини на хост призначення. На хості призначення створюється «віртуальна машина - скелет» і їй виділяється необхідний обсяг пам'яті.
Мал. 1. Підготовка до процесу міграції
2. Передача сторінок пам'яті на хост призначення
На другій стадії процесу міграції (див. Рис. 2), вміст області пам'яті, виділеної віртуальної машині копіюється по мережі на хост призначення сторінками по 4 кілобайти. Обсяг пам'яті, виділеної конкретної віртуальної машини далі будемо називати «робочим об'ємом пам'яті» віртуальної машини.
Наприклад, є віртуальна машина пож назвою NYC-SVR2, сконфигурированная з об'ємом пам'яті 1024MB мігрує на інший хост під керуванням Hyper-V. Ці 1024MB і складають її робочий об'єм пам'яті. Використовувані сторінки пам'яті всередині робочого об'єму NYC-SVR2 копіюються на сервер призначення.
Паралельно з копіюванням робочого об'єму, гипервизор хоста-джерела стежить за станом пам'яті NYC-SVR2. Як тільки будь-які сторінки пам'яті піддаються зміни, вони одразу ж відзначаються як «модифіковані». Таким чином формується список сторінок, які зазнали модифікації з початку процесу копіювання.
Під час процесу міграції віртуальна машина продовжує працювати. Процесссов копіювання вмісту пам'яті повторюється ітераційно, при цьому копіюються тільки ті сторінки, які зазнали зміни з моменту останнього копіювання, відповідно з кожної итерацией цей обсяг стає все менше.
Як тільки робочий об'єм пам'яті повністю скопійований на хост призначення, починається наступна стадія процесу міграції.
Мал. 2. Передача вмісту пам'яті
3. Передача змінених сторінок пам'яті
Після того, як робочий об'єм пам'яті віртуальної машини був скопійований, відбувається копіювання останніх змінених сторінок, а так само передача стану регістрів і пристроїв віртуальної машини на хост призначення.
Протягом цієї стадії, процес міграції сильно залежить від пропускної здатності мережі, тому рекомендується використовувати високошвидкісне підключення до мережі - як мінімум Gigabit Ethernet. Чим швидше будуть передаватися змінені сторінки пам'яті - тим швидше завершиться процес міграції.
Важливо розуміти, що кількість переданих сторінок пам'яті безпосередньо залежить від того, наскільки активно використовується віртуальна машина, і, відповідно, наскільки часто відбувається звернення до пам'яті. Чим частіше змінюється вміст пам'яті - тим більше часу займе процес міграції, так як необхідно передати всі зміни на хост призначення.
Після того, як всі змінені сторінки були повністю скопійовані, на хості призначення з'являється точна копія робочого об'єму пам'яті NYC-SVR2.
Примітка: Процес Live Migration може бути перерваний у будь-який час до моменту початку цієї стадії.
Мал. 3. Передача змінених сторінок пам'яті
4. Передача управління віртуальними дисками
На четвертій стадії міграції (див. Рис. 4), управління сховищами даних, пов'язаними з NYC-SVR2, як-то: VHD-файлами і pass-through дисками, передається хосту призначення.
Мал. 4. Передача управління віртуальними дисками
5. Запуск віртуальної машини на сервері призначення
На п'ятій стадії (див. Рис. 5) на хості призначення створюється абсолютно точна копія робочого об'єму пам'яті віртуальної машини і доступ до всіх використовуваних нею сховищ даних. Тепер віртуальна машина запускається на хості призначення.
Мал. 5. Віртуальна машина запускається на сервері призначення
6. Оновлення ARP-таблиці
Віртуальна машина успішно запущена на хості призначення. Після цього мережного комутатора посилається ARP-пакет, і комутатор «дізнається» новий MAC-адресу мігрувала віртуальної машини, і мережевий трафік перенаправляється на відповідний порт.
Процес міграції завершиться за менший час, ніж відбудеться тайм-аут для TCP-з'єднання віртуальної машини. Інтервали тайм-аутів з'єднання залежать від топології мережі і безлічі інших чинників. Наступні фактори можуть вплинути на швидкість міграції:
· Кількість змінених сторінок пам'яті віртуальної машини: чим більше сторінок піддається модифікації, тим більше часу займе процес міграції.
· Пропускна здатність мережі між двома хостами.
· Конфігурація обладнання хостів.
· Пропускна здатність з'єднання між хостами і загальним сховищем даних (SAN).
Сценарії використання Live Migration
Наведемо кілька можливих ситуацій, при якій використання Live Migration буде корисним.
Технічне обслуговування серверів
У будь-якій мережі періодично виникає необхідність установки оновлень ПО і заміни або додавання апаратних компонент серверів. Як правило, ці процедури вимагають перезавантаження або виключення сервера. Оскільки на одному фізичному хості може бути запущено безліч віртуальних машин - будь-який простий фізичного хоста торкнеться всіх віртуальні машини, запущені на ньому.
Оскількі Віртуальні машини могут буті переміщені на Інший фізичний хост з нульового часом простою, можна сделать міграцію перед проведенням робіт з обслуговування сервера. После Закінчення робіт и запуску сервера, можна перенести Віртуальні машини назад знову-таки непомітно для Користувачів. Завдяк цьом, роботи по обслуговуванню серверів можна віробляті в робочий час. Кроме того, оскількі міграція может буті запущена с помощью скриптів (через WMI або PowerShell), много операцій з обслуговування серверів могут буті Автоматизовані. ПО, яке може створювати скрипти або використовувати функції WMI, наприклад Microsoft System Center Configuration Manager, може бути налаштоване для використання Live Migration.
Мал. 6. Live Migration і обслуговування хоста в робочий час
динамічний датацентр
З використанням технології Live Migration, організації можуть розгортати динамічну IT-інфраструктуру. Динамічна інфраструктура дозволяє більш раціонально використовувати ресурси серверів в залежності від фактичної завантаженості.
Наприклад, якщо використовується якесь Web-додаток, і число запитів до нього значно зросла - Microsoft System Center Virtual Machine Manager (SCVMM) може автоматично надати один або кілька додаткових Web-серверів. При наданні цих веб-серверів, Virtual Machine Manager бере до уваги навантаження на апаратні сервера. При зростанні навантаження Virtual Machine Manager може переключиться на додаткові фізичні хости і запустити більше віртуальних машин - щоб впоратися із збільшеним навантаженням.
Оскільки навантаження змінюється, віртуальні машини можуть переміщатися між фізичними хостами для підтримки високої утилізації апаратних ресурсів. Невикористані сервера можуть бути вимкнені, що дозволяє заощадити електроенергію і знизити вимоги до охолодження, знижуючи, таким чином, витрати на роботу інфраструктури. Невідповідність характеристик фізичного хоста і вимог для запуску віртуальної машини стає не таким фатальним, оскільки віртуальні машини можуть бути переміщені на більш потужний хост без будь-яких простоїв. За допомогою Virtual Machine Manager можна створювати звіти про завантаження серверів, що допоможе у виборі ідеального сервера для міграції віртуальної машини.
Мал. 7. Віртуальні машини переміщаються на менш навантажений хост.
Green IT
Порядку 33% енергії, споживаної датацентрами, витрачається на охолодження і підтримку інфраструктури. Гнучка балансування навантаження, можлива завдяки використанню технології Live Migration, дозволяє знизити загальне енергоспоживання датацентру. Якщо навантаження на обладнання датацентру постійно змінюється, можна використовувати автоматизацію за допомогою скриптів і Live Migration для підвищення консолідації віртуальних машин при відносно невисокій завантаженості. Якщо вдається запустити більшу кількість віртуальних машин на меншій кількості фізичних хостів - невикористовувані сервера можуть бути вимкнені, що дозволить знизити енергоспоживання і вимоги до охолодження в приміщенні датацентру. При пікових навантаженнях, відключені сервера можуть бути знову автоматично запущені і віртуальні машини будуть перерозподілені за вільними хостам з використанням технологій Live Migration.
Функція Live Migration є частиною Windows Server 2008 R2 Hyper-V і не вимагає покупки будь-яких додаткових ліцензій і / або використання додаткового ПЗ. В принципі будь-яка апаратна конфігурація, яка підтримує Quick Migration - може так само підтримувати і Live Migration, без інсталяції додаткового обладнання, ПЗ та без покупки додаткових ліцензій.
Мал. 8. Підвищення консолідації.
Розгортання Live Migration
Оскільки в Windows Server 2008 процес розгортання відмов кластеру був значно спрощений - розгортання Live Migration досить просто. На початку, в процесі планування, необхідно з'ясувати, скільки знадобиться вузлів в кластері. Потім необхідно переконатися, що використовувані сервера і система зберігання даних відповідає вимогам для Microsoft Failover Clustering (див. Microsoft Failover Cluster Configuration Program ).
Процес розгортання включає в себе наступні кроки:
1. Створити кластер Windows Server 2008 Failover Clustering
2. Підключити всі вузли до мережі і СГД
3. Включити Hyper-V і Failover Clustering на всіх вузлах
4. Включити Cluster Shared Volumes
5. Зробити віртуальні машини відмовостійкими (Make Highly Available)
6. Протестувати процес Live Migration
Деталізовані покрокові інструкції можна знайти на сайті: http://go.microsoft.com/fwlink/?LinkId=139667
Управління Live Migration
При використанні Live Migration може бути доцільно використовувати Microsoft System Center Virtual Machine Manager 2008 R2. Функції управління віртуальними машинами і побудови звітів Virtual Machine Manager можуть використовуватися спільно з технологією Live Migration, що дозволить значно спростити управління віртуальним середовищем. Використання Virtual Machine Manager разом з Live Migration дозволить організації реагувати на зміну навантаження і вимог. Також, Virtual Machine Manager можна використовувати для управління окремими хостами Hyper-V, в тому числі і що знаходяться на віддалених майданчиках.
При управлінні за допомогою Virtual Machine Manager хостом, сконфігурованим для роботи в режимі високої доступності, Virtual Machine Manager може запускати процес Quick Migration або Live Migration прямо з консолі Virtual Machine Manager, що є дуже зручним для адміністраторів.
Оскільки прямо з консолі Virtual Machine Manager можна генерувати скрипти PowerShell на будь-яку дію, вбрання адміністратором, в подальшому рутинні завдання адміністрування можуть бути автоматизовані. Зрозуміло, це стосується і технології Live Migration. Використовуючи Virtual Machine Manager для запуску процесу перенесення віртуальної машини на інший фізичний хост з нульовим часом простою, можна також отримати скрипт PowerShell, за допомогою якого можна в подальшому автоматично запустити той же самий процес, або за допомогою незначних змін скрипта вказати іншу віртуальну машину, і / або інші хости-джерело і призначення.
За допомогою Virtual Machine Manager можна отримувати вичерпні звіти про утилізацію апаратних ресурсів серверів і розміщенні віртуальних машин на фізичних хостах. Ці звіти можуть допомогти в ухваленні рішення про створення нових віртуальних машин і перенесення існуючих на інші хости. Зокрема, в середовищах з високою щільністю, таких, як багато датацентри або в розрізненої середовищі, такий, як безліч віддалених майданчиків, достовірна інформація по віртуалізації і продуктивності систем може виявитися життєво-важливою для виконання вимог до надійності і швидкодії всієї системи. За допомогою Virtual Machine Manager можна отримати всю необхідну інформацію для ефективного управління безліччю хостів і віртуальних машин. Оскільки завдяки використанню Live Migration, перенесення віртуальних машин між хостами стає гранично простим і швидким, володіння достовірною інформацією про хостах стає особливо важливим.
резюме
Технологія Live Migration, підтримувана гіпервізором Windows Server 2008 R2 Hyper-V значно підвищує гнучкість віртуальної інфраструктури. Можливість переміщення віртуальних машин між фізичними хостами без будь-якого простою самих віртуальних машин значно спрощує обслуговування фізичних хостів і відкриває нові можливості для побудови динамічної інфраструктури, найбільш пристосованою для змінюються вимог. Технологія Live Migration дозволяє проводити роботи по обслуговуванню фізичних хостів без запланованого простою віртуальних машин. Коли змінюються вимоги до роботи віртуальної машини, її можна перенести на більш потужний менш завантажений сервер без зупинки, або, якщо вимоги знизилися, можна перенести її на більш завантажений сервер для підвищення консолідації і зниження енергоспоживання системи. Технологія Live Migration дозволяє використовувати VM з меншими затратами праці і більшою гнучкістю, ніж раніше. Ці переваги означають зниження витрат часу і грошей практично для будь-якої інфраструктури, що використовує віртуалізацію на базі Microsoft Hyper-V.
Переклад: Косівченко Олександр
Aspx?Com/fwlink/?