Денис Міхлевіч

Справжній герой цього інтерв'ю - інтернет в розрізі мережі транспорту. Технічних термінів сильно більше, ніж зазвичай, але лякатися не треба - треба читати.

Для початку - що б ти хотів розповісти нашим потенційним читачам?

Добрий день, мене звати Денис Міхлевіч, я працюю в компанії "Транстелеком", назва посади щороку змінюється, фактично, я керівник сектора експлуатації IP-мережі і телематичних служб. Хотів би поговорити про Інтернет, глобальні мережі зв'язку, і то, як Інтернет розвивається в глобальному сенсі слова.

Тобто ти головний по інтернету в Транстелекому.

Так, в ТТК-Волга - головний. Визначаю архітектуру мережі, налаштовую кореневі вузли, BRAS (Маршрутизатори широкосмугового доступу в Інтернет), DNS , Щоб все це добре працювало, без збоїв, а якщо збої трапляються - щоб перерви були мінімальні і усувалися оперативно.

Як я розумію, ти займаєшся цим досить давно і не плануєш міняти профіль.

Я влаштувався в ТрансТелеКом в червні 2010р, через рік після закінчення Університету. Мені подобаються мережі зв'язку, можна сказати, що налаштовувати обладнання для спілкування людей - це ще і хобі. Я починав з FidoNet в 2003р., подобалося, що ця мережа безкоштовна, некомерційна - користуватися Інтернетом в той час для мене було дорого. Це захоплення дало мені істотний поштовх як фахівця - настройка Федишин софта була досить складною, доводилося читати документацію, досконально розбиратися в принципах роботи. Федишин вузол у мене вдома досі працює, 6 осіб приблизно щодня "прокачують пошту" і щось читають, пишуть досі. Якісь технічні луна-конференції ще живі, а останній поінт з Мінська підключився в жовтні 2017р.

Тобто, хобі успішно переросло в роботу.

Ну щоб потрапити в таку велику компанію, потрібен якийсь досвід. Я не працював під час навчання, намагався максимально добре закінчити ВНЗ. Після СГУ роботу шукав близько 3-х місяців. У вересні 2010 року я влаштувався в компанію "Алло-таксі", де звільнилася вакансія системного адміністратора в зв'язку з тим, що поточний переїжджав до Москви. Було зрозуміло, що це просто початок кар'єри, там я досить непогано вивчив Аsterisk і спеціальний софт для таксі, написаний в Іжевську.

Давай до найцікавішого - до мереж. ТТК довго був піонером широкосмугового Інтернету для користувачів Саратова, і до сих пір досить помітний.

Наскільки я знаю історію, ТТК першим став будувати оптику по місту, але підключали до неї тільки дуже великих клієнтів - інших операторів зв'язку, банки, великі підприємства. Клієнтів і послуг було мало, але вони приносили великий дохід. Першим клієнтом в 97 або 98г була компанія "Ростелеком", яка брала цифрові канали зв'язку в 2 Мбіт / с від Самари до Саратова, Волгограда і Астрахані. Кожен такий канал коштував кілька тисяч доларів на місяць.

І користувачам Саратова, Енгельса в квартири ТТК почав першим підключати доступ в Інтернет за технологією FTTB (оптика до будинку). Була закладена інфраструктура з потенціалом зростання швидкості для кожного абонента - 100 Мбіт / с. У 2009 році це було дуже круто і такі швидкості вважалися захмарними.

Так, в 2009р, це було дуже гучна подія. Але зараз все це спало, на жаль.

ТТК зараз живе на існуючому тех.охвате і колись побудованих мережах. Ми як і раніше підключаємо точково корпоративних клієнтів, але конкурувати зараз складно. Перевага ТТК ще в тому, що ми представлені не тільки в обласних центрах, а й у малих населених пунктах - як правило там, де є залізниця, тому як уздовж залізничних колій проходять магістральні лінії зв'язку.

Ця стратегія живе вже багато років, і інший у компанії, схоже і немає.

Так зараз немає ніякої стратегії. Іноді намагаються запустити додаткові послуги, наприклад, доступ в Інтернет за технологією WiMAX. Компанія, як федеральний оператор запустила послугу в 2012р, в нашій області вона з'явилася в 2014, але тільки в Енгельсі і Балаково, а вже в 2016ом її почали згортати так як виявилася збитковою і не перспективною. Я, правда, відразу дивувався, бо це як DialUp починати впроваджувати - технологія застаріла і вообщем-то непотрібна. Цього року ТТК в нашому регіоні повинна запустити віртуального стільникового оператора TTK-Mobile. Якщо з WiMAX хоча б вишки й устаткування наше було, то у випадку з віртуальним оператором нічого нашого, крім бренду немає.

Тобто ти головний по Інтернету у великій, заслуженою, але не розвивається.

У компанії відбувається, як би це по політкоректніше висловитися, "оптимізація", ми укрупнювати. Раніше в регіоні були три області - Саратовська, Волгоградська, Астраханська. Зараз ми увійшли в Макрорегіон Волга, і велика частина керівництва, що приймає якісь рішення знаходиться в Нижньому Новгороді.

Рівень розвитку спав. Я за власною ініціативою вивчаю і впроваджую нові технології, і таким чином росту як фахівець і навіть отримую деяке визнання. З того що може бути помітно звичайним клієнтам, це впровадження IPv6 в ТТК-Волга, і модернізація системи DNS-серверів в укрупненому макрорегіоні. Поштовхом для цього стала аварія в Саранську, де на вузлі зв'язку відключили електрику, і після того, як сіли бесперебойники, в регіоні пропав Інтернет. Як виявилося, впали DNS-сервера, які сидять на одному бесперебойніка і регіон втратив можливість резолвінг. Резолвінг це перетворення назв сайтів в IP-адреси. Маршрутизація в Інтернеті здійснюється на основі IP адрес. Виходить що Інтернет був, але звичайний користувач нікуди не міг потрапити, так як не працювали DNS сервера.

Я отримав завдання від нового керівництва виправити цю ситуацію і побудувати отказоустойчивую систему DNS в макрорегіоні. Взяв контакти адмінів у всіх містах, провів аудит поточної мережі, і пропрацював варіант впровадження Anycast DNS.

Це тільки плани, або вже на рівні реалізації?

Вже зробив, в 2017, на все пішло 3 місяці (липень-жовтень). Окремі сервера можуть відвалюватися, служба DNS при цьому не пропаде, тому що система налаштована так, що запити автоматично перенаправляються на інший найближчий сервер. А якщо інший також відвалиться, то ще на наступні сервера піде навантаження. Кілька рівнів резервування зробив.

Розкажи детальніше, що таке Anycast?

Це такий тип маршрутизації. Найбільш поширеним в Інтернеті є Unicast-маршрутизація, коли у трафіку є один одержувач і в заголовку пакета вказується IP-адреса призначення. Ця електронна адреса знаходиться на одній машині (сервері). У Anycast маршрутизації один і той же IP-адресу знаходиться на декількох серверах, і по протоколам динамічної маршрутизації вибирається найбільш короткий шлях. Наскільки я знаю, зараз Anycast маршрутизація використовується переважно тільки для DNS, з 2002р стала використовуватися для кореневих DNS в масштабі планети. Деякі компанії, які надають послуги хостингу DNS імені також застосовують цю технологію. На рівні кешуючих DNS серверів у провайдерів я не чув, щоб цю технологію хтось застосовував.

З жовтня 2017 по лютий 2018, система Anycast DNS працювала дуже добре, кілька разів рятувала, але мені для щастя не вистачало моніторингу DNS. Весь цей час я виношував ідею як замоніторіть, щоб це рішення можна було впровадити в масштабі макрорегіону.

Отже в лютому 2018 р я впровадив систему моніторингу DNS-серверів, тому що мало зробити отказоустойчивую систему, треба ще розуміти що в ній відбувається.

На чому моніторинг?

Графічне відображення і зберігання інформації в системі Zabbix , Збір статистики трафіку DSC, нотифікація про падіння і підйомі серверів в спеціальну групу в Telegram. Передачею статистики трафіку від DSC в Zabbix займається спеціальний скрипт, його написав програміст з Самари, я йому сформулював технічне завдання і він з ним добре впорався. Виглядає моніторинг саме так як я його собі уявляв.

Скажи, а ось рішення, які ти потім і роздумами робиш - вони масштабуються якось за межі макрорегіону? Ти ж працюєш у великій корпорації - невже в кожному регіоні свій Денис Міхлевіч придумує рішення для одних і тих же завдань?

На жаль, приблизно так і відбувається. IPv6 впроваджено майже тільки у нас, причому в ТТК-Волга, а не в макрорегіоні - там не до цього, там простіші завдання не можуть вирішити. Керівництво в макрорегіоні Волга сказало, що впроваджувати IPv6 не будемо. Впровадивши IPv6 в ТТК-Волга я пішов проти всіх. У макрорегіоні Північ є ще тлумачний адмін, він сам незалежно підняв у себе IPv6. Але є і глобальні проекти, як наприклад перехід на єдиний білінг, ці проекти виходять з Корпоративного Центру в Москві.

Москвичі, досить високі фахівці, приїжджали до мене в червні 2017, знайомилися, дивилися як тут все добре працює.

Тобто вони не сказали, що приїхали вчитися, а сказали що будуть перевіряти тебе.

Саме так. Я бачу, що щось вони перейняли, зокрема, моніторинг трафіку IPv6.

Давай в двох-трьох словах познайомимо читачів з проблемою v6, її важливістю, і складністю.

Так, все так і питають - навіщо він потрібен якщо і так все працює? Це проблема глобального Інтернету, а не окремого провайдера. Існуючий стандарт завдання адреси кінцевого пристрою, IPv4 був розроблений ще в 70-х роках. Це було зроблено для забезпечення наукового експерименту, і тоді ніхто не припускав як широко розростеться Інтернет в майбутньому. У 1990-х стало очевидно, що адрес на всіх вже не вистачить.

І тоді придумали NAT.

Так, в 94г. Але це інвестиції в додаткове обладнання, плюс це порушує зв'язність мережі, так як два комп'ютера перестають мати можливість спілкуватися безпосередньо без допоміжного сервера з зовнішнім IP-адресою, а основний принцип Інтернету полягає в тому, що кожен хост повинен мати можливість зв'язатися з іншим без будь б то не було допоміжних серверів.

Існуючі провайдери використовують старі запаси IP адрес і NAT. Координацією адресного простору в Європі, на Близькому Сході і Центральній Азії здійснює некомерційна організація RIPE NCC , Зі штаб-квартирою в Амстердамі. Нерозподілених IPv4 в світі практично немає, тому поява нових провайдерів неможливо. Новий провайдер може отримати в своє користування від RIPE NCC НЕ більше 1024 адреси, що абсолютно недостатньо для здійснення комерційної діяльності, а 2000 році ТТК-Волга менш ніж за добу отримало для себе 32 тисячі адрес.

Був розроблений новий стандарт, IPv6, в якому адреса довше (128 біт, проти 32 біт як у IPv4), тому і самих адрес багато, багато більше. Щоб він заробив його повинні впровадити більшість гравців ринку. Тобто, переходити на IPv6 треба, але є проблема забезпечення сумісності. IPv6-адреса не може звертатися до адрес і сайтам, які працюють виключно по IPv4. Тому зараз застосовується т.зв. DualStack, коли разом з білим (або сірим) IPv4 видається префікс IPv6, які працюють в парі, і в локальній мережі кожен пристрій видається білий IPv6, який і є пріоритетом за замовчуванням. Якщо він є і у комп'ютера, і у цікавить сайту - трафік піде саме по ньому. У ТТК-Волга найбільша проблема більш масового поширення IPv6 це домашні маршрутизатори, 99% яких не підтримує IPv6. Переважно трафік IPv6 клієнтів ТТК-Волга створюється тими хто підключений до мережі безпосередньо без роутера.

Тобто на 10 пристроїв у мене вдома я отримаю 1 v4 і 10 v6

Насправді ні. В IPv6 кінцевому користувачеві видається не один адресу, а так званий префікс, тобто блок адрес. І домашній роутер за певними правилами автонастройки привласнює кінцевим пристроям адреси з цього блоку.

Виходить, треба поступово позбутися від IPv4 і забути про проблеми з адресним простором.

Це потрібно для того, щоб Інтернет продовжував розвиватися. Інакше в глобальному сенсі він буде стагнувати. На західних конференціях дуже багато часу приділяється питанням розумного будинку і Інтернету речей - це всякого роду датчики і домашні прилади (лічильники, побутова техніка), які підключені до мережі і можуть обмінюватися інформацією. Без IPv6 все це неможливо. IPv4 поки нікуди не піде, його повинен з часом витіснити IPv6.

Що ще можна позначити як напрям розвитку Інтернету? Що таке Інтернет?

Це транспортне середовище для спілкування людей. Раніше віддалено можна було поспілкуватися тільки по телефону, а скоро можна буде тільки через Інтернет. В Інтернет йде телефонія, телебачення та інші аспекти життя. Все нове, що з'являється, живе тільки там - біткоіни, соцмережі, платежі, сервіси картографії і так далі. Що ще буде з'являтися - передбачити складно. У 4G-мережах, правда, не у наших операторів, є можливість автоматично перемикатися на IP-телефонію при дзвінку, наприклад.

А зараз засобів комунікації недостатньо? Начебто і так всюди Інтернет. Чи буде якесь якісний розвиток?

Далеко не скрізь - в малих населених пунктах і з стільниковим зв'язком не все гаразд.

Ясно. Тобто транспортної компонентою Інтернету ти і займаєшся.

Так. Поки є можливість придумувати і впроваджувати якісь круті штуки, нові для нашого регіону, і це приносить мені задоволення.

Коли відбувся урочистий запуск IPv6 в регіоні?

31 березня 2016 року, але свої експерименти я закінчив в 2014 р і технічно ми були готові починати тоді. 2 роки зайняло рішення проблем з біллінгом, так як мені навідріз відмовлялися давати якісь додаткові RADIUS-атрибути на BRAS, і вплинути на це навіть через керівництво було неможливо. В 2016р відбувся перехід на єдиний московський білінг, при тестуванні якого в 2014ом, одним з моїх умов була активація всім абонентам IPv6 сервісу, по суті мені потрібно було щоб на кожну сесію по RADIUS протоколу в BRAS навішувалися заздалегідь відомі атрибути. У мене був тестовий BRAS, на якому я проводив свої експерименти. З 2014 року конфігурація чекала свого часу для впровадження.

Тобто в кінці 2000-х фахівцям вже було очевидно, що це справа потрібна і перспективне, але впровадити щось вдалося тільки через багато років, і колосальними зусиллями.

Колосальними зусиллями однієї людини. І до сих пір не вдається донести до начальства наскільки це важливо. Рівень впровадження IPv6 по Росії - менше 2%, це дуже мало. У лідерів, в США, Великобританія і як не дивно Індії це 40%

Експерименти ти закінчив в 2014 р, а почав коли? У чому була складність?

Почав я в 2012р, після відвідування яндексовского Конференції Yet Another Conference. Володимир Іванов там 40 хвилин розповідав, як запускали IPv6 в Яндексі, і мене це дуже надихнуло. По поверненню в Саратов, я запросив для компанії пул IPv6 адрес в RIPE NCC, і понеслося. підняли стики BGP з Транстелекому по IPv6, почав експерименти проводити на тестовому залозі. Як правило, все це робилося у вільний від роботи час - або між поточними завданнями, або навіть після роботи я затримувався.

ОК, отримав адреси. Що ще треба було зробити?

Створити адресний план, тобто побити отриманий блок на більш дрібні шматки "на місто" умовно. Потім підняти BGP стики по IPv6 c магістральної ТрансТелеКомовской AS'кой, для можливості взаємодії з глобальним Інтернетом по IPv6. Ще потрібно було налаштувати всі маршрутизатори, раут-рефлектора, DNS в ядрі мережі ТТК-Волга для підтримки IPv6 і налаштувати на них поширення таблиці маршрутизації IPv6. Маршрутизаторів у нас багато і налаштовувати потрібно було кожен з них.

Далі треба було протестувати як будуть підключатися клієнти в різних варіантах, задокументувати всі результати.

Потім пройтися по пиринге - наприклад, у нас є BGP стик з Дом.ру, у яких IPv6 теж є з 2013р, тільки по-замовчуванню вони його не видають нікому - клієнт повинен сам зайти в особистий кабінет і включити протокол IPv6 на своєму договорі і ще повинен мати сумісний IPv6 роутер, безпосередньо, без роутера, у них IPv6 не працює. Ми ж навпаки - видаємо всім клієнтам IPv6 і працює у нас як без роутера так і з IPv6 сумісним роутером. Було небезпечно, що щось може відвалиться у клієнтів, але коли ще я б зміг провести такий експеримент? Виходить, що IPv6 працює у тих клієнтів, у яких обладнання його підтримує і не працює у тих у яких не підтримує. Саме на це я сподівався при впровадженні.

У жовтні 2017р їздив на конференцію ENOG14. RIPE NCC відкрив програму Fellowship, коли фахівці, які щось впроваджують і готові поділитися досвідом можуть подати заявку, і якщо вона буде схвалена їм оплачують переліт і проживання в п'ятизірковому готелі. Я навіть виступив з бліц-доповіддю, хоча це було не обов'язково, з досвіду впровадження IPv6 в ТТК-Волга. Вважаю, виступив успішно, хоча не дуже задоволений тим, що читав з папірця.

А чому ти читав з папірця? Хвилювався?

Так звісно. Стояти на одній сцені з людьми, які керують розвитком всього Інтернету, і іншими монстрами галузі - це сильно.

Так ось ще. Ти крутий, ти сам зробив IPv6 в ТТК!

Наступна конференція буде влітку 2018 р в Москві, я туди поїду, і думаю що зроблю бліц-доповідь по впровадженню Anycast DNS. Спробую без папірця. Просто виступу це окремий навик, і у мене він розвинений не дуже добре.

Можна тут, в Саратові, зібрати мітап і розповісти зацікавленим, навіть якщо їх буде небагато.

Не знаю подивимося. Аудиторія тут маленька, не набереться народу хто може послухати і дати зворотний зв'язок.

Є Відчуття, что тобі тут тісно, и ти робиш все швідше всупереч, чем Завдяк организации, в Якій працюєш. Чи так це, і чи є розуміння, як це можна змінити?

На жаль це так. В принципі, можна було б давно виїхати з Саратова, але поки ще є фактори, які не дозволяють мені зробити цього.

Хоча і виїжджати з Саратова теж не хочеться. У Москві дуже дорога нерухомість, знімати житло я не хочу, добиратися до роботи звик швидко також як і жити в центрі міста. Якщо не змінювати профіль діяльності альтернатив по роботі в Саратові просто немає.

Ситуація сумна. Грамотних ставків в місті немає, а ті що є - нікому не потрібні.

Так. Потрібні біоробот, які будуть підключати абонентів і тягнути кроссіровкі, а думаючі інженери - не потрібні. Я думаю, що робота в зв'язку це справа мого життя, досконально знати всі нюанси і розвиватися в цьому напрямку.

Раз тобі цікаві мережі, зв'язок і Інтернет, як в технічному, так і в ідеологічному плані. Скажи тоді, куди піде розвиток? У всіх є смартфони, зона покриття зростає. Чи буде щось якісно нове?

Я не працюю з прикладним рівнем Інтернету, і не готовий передбачити куди все піде. На рівні маршрутизації в Інтернеті можу сказати, що у вересні 2017 стандартизований новий стандарт BGPSec, це розширення до протоколу BGP, яке покликане боротися з підробленими анонсами мереж. Наскільки він пошириться в Інтернеті і через скільки сказати зараз складно. Поки що його повинні впровадити виробники обладнання на рівні ПО. Зараз BGP тримається на довірі учасників, а новий стандарт покликаний додати шар безпеки в BGP. Але впровадити в Інтернеті його буде так само важко, як і IPv6.

Тобто мережевики зібралися, вирішили і викотили новий стандарт.

Є такий інженерний рада Інтернету - IETF, він працює безперервно, все взаємодія відбувається по електронній пошті, очні зустрічі відбуваються 3 рази на рік по 5 днів, в різних куточках планети, на яких затверджуються стандарти Інтернету RFC. Ця організація ніяк не зареєстрована, всі члени працюють добровільно і не отримують зарплату. Вступити в неї може будь-хто, що володіє певними компетенціями. Подумати тільки, що Інтернет починається з некомерційних організацій, які живуть на добровільних засадах їх учасників. Для Росії це виглядає дико. Але це є показником рівня розвитку цивілізованого суспільства.

У Росії ми в основному застосовуємо, то що хтось придумав на Заході. Це відноситься не тільки до зв'язку. Хтось застосовує існуючі технології краще, хтось гірше. Але створюються технології на жаль не у нас. Під створенням технологій розумію, то що використовується в усьому Світі.

Зараз Інтернет в початковому вигляді знаходиться під атакою. Різні держави і державні структури намагаються його контролювати. У нас це блокування Роскомнадзора, є ще Великий Китайський Фаєрволл, та й західні країни потихеньку нарощують у себе аналогічні механізми. Так це чи ні, і як ти до всього цього ставишся?

Так, блокування і видалення на заході теж є, хоча проводити якісь прямі аналогії недоречно - Росія і Захід це дуже різні суспільства, з різними правилами, світоглядом, менталітетом і технічним рівнем. Я вважаю що Інтернет треба все-таки контролювати. Адже це ж не правильно якщо можна через Інтернет купувати наркотики або дізнаватися "як зробити бомбу". Але блокуються і цілком нешкідливі сайти такі як LinkedIn. Його блокування я порівнюю з блокуванням ВК на Україні.

Крім роботи, що тебе займає - якісь хобі, захоплення?

Люблю їздити на автомобілі, влітку - на велосипеді. Мій рекорд - 80 кілометрів за один день.

Доволі непогано. Спасибі за розповідь!