[музыка] Добрый день коллеги всем рад очень видеть сейчас я включу демонстрацию экрана и так да я являюсь архитектором в компании арендато и сегодня будем говорить про миграцию на арене дата про основные сценарий и так далее а основу презентации составляет наш опыт дело в том что у нас есть большой продуктов которые покрывает основные

Технологические решения западных компаний и в том числе компании Open Source мы реализовали достаточно большое число проектов и мы естественно наш Проектный опыт систематизируем И от этого у нас получается такое понимание вообще проект миграции Почему миграции происходит так далее У нас есть реальный опыт и мы хотим поделиться вкратце о чем пойдет речь сначала

Поговорим про предпосылки Типа вы сценарии про процессы миграции На что обратить внимание потом Я немножко расскажу про наши программные продукты как они помогают осуществлять миграцию Да ну и приведу пару примеров миграции показать как наши заказчики успеху добивается начнем с предпосылок с самого начала да то есть я выделяю в принципе три

Основных таких блока предпосылок Почему приходится задумываться о миграции в настоящее время Ну стандартный риск который неожиданно там хотя ожидаемо на самом деле возник это так называемый экзистенциальный риск что это такое Это во-первых самое серьезная проблема которая может оказаться и стать перед вами это вообще отключение системы То есть она просто перестает работать та

Система хранения которая у вас есть она в какой-то прекрасный момент перестанет работать по той или иной причине может быть причина связана с оборудованием может быть причина связаны с функционированием саму программного обеспечения каким угодно причина причина очень много и наконец отказ технической поддержки это тоже критично особенности для банковской сфере и собственно говоря

Отказ технических последствия поддержки может привести к отключению системы в общем-то экзистенциальный риск существование некую класса по который сейчас активно распространен все эти компании вы прекрасно знаете Oracle terradata msql и так далее То есть Ну понятно что этот риск есть и надо С этим риском бороться следующая задача которая существует давно уже это высокая

Стоимость владения это неэффективность масштабирования данные растут становится больше и больше И порой либо вообще масштабирование невозможно либо на самом деле это просто дорого высокая стоимость владения Это очевидно связано с тем что программное обеспечение производится в странах других где более высокие так скажем оплата труда затраты завышают специально чтобы по сути максимально

Покрывать свои потребности в маркетинге в рекламе и так далее То есть соответственно стоимость владения достаточно высокая и наконец третий пункт это новый технологический требования это масштабирование как я уже сказал не всегда масштабирование вообще в принципе возможно исходя из самой технологии это производительность часто встречается проблема с производительностью Это очень хорошо

Коррелируется масштабированием ну бывают разные ситуации производительность надо достигать надежность системы открыта системы в конце концов система она система хранения она не существует сама по себе хранилище данных не существует сам по себе оно должно быть должна иметь возможность интегрироваться с внешним миром А и соответственно это очень важный параметр гибкость это дальнейшее

Развитие развитие функциональности и возможность расширять систему Вот и соответственно вот эти все причины приводят к тому что А в той или иной степени приходится заниматься задачами которую мы опять-таки разделяем на два на две ка теории первое разделяем на разделение иммиграцию разделение иногда нажимаем еще у Flow когда мы берем и

Часть информации переносим из существующих системы в новую систему миграции это полноценная миграция когда полностью от системы отказываемся можно пойти двумя путями то есть не отказываться а частично выделять какие-то блоки функциональности либо идти полностью кардинально берем и от системы западные отказы отказываемся переходим на новые программное обеспечение на новое оборудование два

Подхода При таком переходе мы столкнемся вы столкнетесь с определенными задачами связанными с этими тремя блоками это блок блоки связаны все с одним и тем же это необходимостью перенести то что вы реализовали на западных системах на информационных системах которые у вас есть переносы которые покрывает ваши требования через процесс отражает перенос это на новую

Платформу соответственно это можно выделить Три группы Первый группы это программный код который существует с убдс со мной системе управления базами данных то есть самой системе Если система построена У вас есть они должны конечно быть основаны на программном кодексу BD то есть там программный код должен быть зашит весь внутри систем правления базы

Данных Кроме этого существует так называемый интеграционные решения еды или процессы То есть это инструменты обеспечить интеграцию данных в том числе преобразование данных и там тоже конечно может быть программный код по нашей оценке тут зависимости от проекта бывает либо 60 процентов на E3 и 40 на код субдд либо в хороших проектах где

Реализация хорошая Больше перекос как раз на суда идет больше пяти процентов встречается и наконец есть приложение это приложение которое работает с самими хранилищами данных то есть системами хранения они тоже могут содержать программный код в том числе код преобразования данных кроме процессов здесь представлены незначительно но это не

Такая приятная вещь по сравнению с тем что может предоставить нам СУБД достаточно открытый программный код этой SQL там да или там например пел SQL процедурный языки но скоро предложение значительно сложнее поскольку здесь может быть даже пришлось бы декомпилировать приложение разбираться в том как это устроено внутри это более сложная ситуация

При переносе прикладных разработок надо учесть держать в голове о необходимости перехода перемещения трех основных артефактов первый это конечно метаданные То есть это структуру таблиц То есть те структуры которые у вас сейчас существуют те структуры которые данные хранятся их надо перенести на новую систему в большинстве своем это выполняется автоматически надо учитывать

Только особенности архитектуры баз данных и на это прежде всего влияет такой фактор как производительности то есть для того чтобы решение было максимально производительно неплохо было бы обеспечить такой такую структуру данных такую адаптацию вашей структуру чтобы это работало очень быстро и отвечала вашим требованиям применение все что его напоминает такой язык программирования который является

Декларативным таким последовательные ухода то его тоже придется переписывать здесь есть особенности и надежды связанные со стандартами Анси из куэль но к сожалению очень часто начинают использовать расширение языка которые характерны для конкретного производителя например там Oracle или terradata и соответственно такой программный код придется в той или иной степени адаптировать тут тоже придется

Приложить усилия Ну и третий кусок это кусок связанный с функциональным кодом то есть код который содержит функции это различные хранимые процедуры и так далее То есть вот этот кусок программы куда тоже необходимо перенести и на все эти этапы заложить время до метаданные сделать проще а процедурные языки с ними будет

Наверное больше сложностей при переносе а теперь посмотрим с точки зрения трудозатрат этих трех основных категорий то есть переноса кода СУБД перенос интеграционных процессов переноса приложений какие есть труд затраты с точки зрения нашего опыта мы обращаем внимание с точки зрения процентов указано Какие приходится прикладывать усилий кому то есть начинается все как

Обычно с того что необходимо просто собрать программный код то есть тот код который присутствует проще всего конечно собрать метаданные сложнее скрипты и функциональный соответственно метаданные собрать собрать просто структуры данных это достаточно простая Автоматизированная процедура и при переносе метаданных в первую очередь конечно требуется участие такой ролик как девелопер разработчик и

Сто процентов его участие необходимо поскольку здесь все усилия связаны именно с адаптацией программного кода под технические особенности СУБД и здесь нагрузка идет на разработчика когда мы говорим о SQL запроса когда мы говорим уже о процедурах здесь необходимо уже участие аналитика и если про искуэль запросы когда мы говорим аналитика потребуется участие больше

Поскольку надо в действительности разобраться о сути сути в этих запросов о том как они работают в особенности здесь необходимо учитывать сложности связанные со спецификой конкретной базой данных очень часто используют такие слабые документированные возможности например там некоторые хиты они автоматически приносят такие такие эффекты как сортировку данных

Например да то есть и не просто имея простого разработчика который преобразовать и понять что делает на самом деле поэтому здесь необходимо участие аналитика Ну и дальше у нас соответственно все это распадается на два установка это перенос метаданных и перенос программного кода который состоит из скриптов функции прикладные процедуры Что выливается

Соответственно в работы уже перенос внутри то есть убдд куда мы мигрируем и на наших проектах мы используем в основном такой подход что программный код в основном сохраняется СУБД хиты тоже скажем выполнять некоторую роль и Как видите То есть их роль уже по сравнению с исходным проектом будет по сути не

Таким значительным кроме переноса программного кода важно учесть и предполагать необходимость дополнительные затрат связанных прежде всего с архитектурным контролем потому что проект очень легко может уйти совершенно не туда куда запланировали и наличие хорошего архитектора который будет контролировать как идет а что на нем происходит так далее на это обязательно надо закладывать

И ресурсные соответственно финансовый финансовую часть сейчас очень важный вопрос связанный с информационной безопасностью то этому тоже необходимо уделить особое внимание ну и наконец нельзя забывать про документацию Несмотря на то что вроде как бы это происходит у нас здесь развивается продукт здесь в России все равно особенность его использование и будущей простота технической поддержки

Будет в какой-то степени коррелировать с той документацией которая будет создана проекте Ну еще мы крайне рекомендуем обязательно запланировать время на пуско наладку такой стандартный процесс и обучение сотрудников это тоже нельзя забывать а ресурсный план миграции обычно представляет как очень сильно конечно зависит от объема мигрированных данных от объема проекта но здесь представлены

Основные так скажем параметры связанные с длительностью проекта его этапами и собственно говоря теми параметрами использования ft Да там Сколько необходимо Сколько необходимо человека дней для того чтобы реализовать эту задачу теперь после того как мы обсудили вопросы связанные с таким планированием проектами миграции давайте рассмотрим На какие продукты мы как Арена дата

Предлагаем вам мигрировать наш секс продуктов для поддержки хранилища данных и вообще связанные с обработкой данных делится на два класса То есть все как всегда начинается с источников затем необходимо из источников данные собрать для этого необходим продукт который позволяет обеспечить интеграцию источников с системой хранения то есть мы предлагаем

Аренда стриминг для этой задачи это наш продукт по поддержке задача с интеграцией потоковая обработка данных это и Шинная архитектура реализации организации А4 для хранения Мы предлагаем целый стек у нас несколько решений Как видите они раскрашены в различные цвета это не случайно но дело в том что Каждый каждый

Из этих компонент отвечает за решение своих задач соответственно холодные данные у нас синие они находятся внизу и далее по разогреву то есть до того момента пока данные будут находиться в оперативной памяти это наши решения Ты когда-то каждый из них решает свою задачу и соответственно Вы можете уже к этим системам подключать свои компоненты

Для анализа данных для того чтобы управлять такой достаточно сложной кластерной системой Можно мы рекомендуем использовать наш продукт который называется аренда кластер менеджер это уникальный продукт позволяющий устанавливать конфигурировать настраивать каждый кластер каждую компоненту нашего решения развертывать его это очень удобный инструмент он работает как визуальном режиме то есть экранной формы

С таким традиционным так скажем работы мышкой и с другой стороны это возможность использовать API то есть по сути этот инструмент все что сделает мы можете повторять технически с помощью программных средств написанных на программу процедурном языке все наши компоненты взаимосвязаны Это очень важный момент каждый из них предоставляет свой сервис связанный с нагрузкой

Способом хранения ваших данных способа обработки ваших данных и соответственно необходимо выстроить интеграционные процессы внутри этих компонентов поскольку компоненты работают с большим объемом данных важно чтобы коннекторы поддерживали параллельную обработку данных то есть не существовала каких-то бутылочных горлышек в виде одного выделенного сервера для взаимодействия и так далее То есть это должны быть высокоскоростные

Высокопроизводительные коннекторы что Мы представляем такие решения на наши продукты все основаны изначально на открытом программном обеспечении то есть Здесь представлен например там Арена дата дата верхаус хранилище данных основана на Open Source решения Green Club Но если взять просто Open Source и попытаться его использовать у себя вы столкнетесь с большими проблемами

Связанными с тем что делаем мы То есть Вам необходимо по сути проанализировать программный код разобраться с теми проблемами которые в нем есть убрать закладки которые про которые уже сегодня речь шла после этого необходимо будет этот программный код не только понимать его надо будет технически поддерживать Это значит что вы должны из такого

Открытого программного кода сделать действительно корпоративный продукт который будет удовлетворять всем требованиям бизнеса То есть он должен быть оснащен монитори он должен быть работоспособным то есть проверенным у Вас должен быть персонал который поддерживает соответственно этот программный код Вы должны разработать подключение коннекторы к этому программу куда и так далее в том числе

Разрабатывать этот продукт по мере появления новых версий соответственно всю эту нагрузку Мы можем взять на себя и у вас на выходе будет не opensor продукта по сути уже обычный тиражируемый продукт Это продукт который можете использовать именно с теми ожиданиями которые вы привыкли ожиданием корпоративного продукта у нас есть такая

Матрица которая носит конечно условный характер но в целом Она позволяет понять Как можно и Какой продукт На какое решение аренда эмигрировать здесь различные типы нагрузки рассматривать эту ФИПИ нагрузка лап нагрузка и смешанная нагрузка в том числе иммиграции витрин данных так далее То есть я не буду на этом слайде очень долго останавливаться

Если у вас есть задача то мы всегда поможем вам уже вместе решить эти задачи и рассмотреть ну и наконец я завершу свой рассказ это несколькими примерами миграции которые у нас было например в банке Ак Барс соответственно была существовала не те за это решение BM Это программа аппаратный комплекс который поддерживает

Разработку и ведении хранилище данных но по мере существования этой системы возникли проблемы связанные прежде всего с интеграционными задачами достаточно сложно интегрировать эту систему внутри и была проблема с масштабированием После выбора банк выбрал нас и соответственно произошёл переходники дата db Тем самым у банков возникла четкое хорошее правильно структурированное хранилище данных

Размеры которые превышает 100 терабайт соответственно это позволяет банку вовремя и своевременно предоставлять отчетность Решать его бизнес задачи и что важно в том числе То есть это возможность подключения новых источников Ну достаточно сокращено по сравнению с тем что было раньше еще один пример это более тяжелый проект в плане набора продуктов то здесь были

Подключены продукты и арена Data debi наша и ходу и кикмарт для витрин и в том числе арендато стриминг То есть это большой стековый продукт собранный из нескольких наших компонентов основная задача конечно которая стояла перед ФНС это избавиться от рискованных продуктов таких как птеродатого руку и в том числе унифицировать свой стек

Сделать так чтобы интегрированный полноценный и так далее То есть на что стоит обратить внимание здесь это не только на то какая функциональность достаточно сложно было реализована на наших продуктах но и в том числе посмотрите какой Какое количество серверов используется для поддержки этого решения то есть это показательно то есть 400

Серверов то есть понимаете это решение оно очень и очень большое говорит о том что используем наши продукты вы действительно можете строить огромные решения то есть у вас сделав первый шаг начать сейчас и соответственно в будущем можно развиваться масштабироваться до огромных значений до Больших хранилищ данных все это возможно вместе с нами

Что дают наши проекты миграции почему надо переходить не только по поводу предпосылок но сейчас что это как результате дает это конечно же финансовые результаты связанные с снижением поддержки поскольку все это делается здесь в России это более надежно мы на самом деле избавляем в том числе Такой проблемы как мы

Являемся своего рода вендором Да ну наше решение основанное сорсе здесь вендерлока поэтому не возникает а Естественно что найти разработчиков которые готовы работать с открытым программным кодом значительно проще то есть с точки зрения разработки и дальнейшего развития продукта у вас не будет проблем Ну а если вы с нами то Тем более

Наше решение не требует специального какого-то оборудования которое обычно требует Западной компании блокируя использование оборудования общего комодить оборудования мы обеспечиваем развитие продукта то есть по сути вы получаете корпоративное приложение это уже не Open Source в том плане Как вы привыкли страшные черный экран сложная поддержка постоянно какие-то проблемы то есть это

Выверенный функционал это развитие приложений это по сути корпоративное приложение Ну и конечно все что связано с производительностью масштабирование вашей системы хранения можно делать на наш продукт на этом все [музыка]

[vid_tags]