ETI Solution - коммерческий продукт, позволяющий создавать ETL (Extract-Transform-Load) программы используя графический пользовательский интерфейс.
При создании проекта ETL программы (т.н. Solution) задаётся:
- тип входных данных (напр. СУБД, текстовые файлы, XML, JSON, и др.), протокол получения данных из источника, тип операционной системы;
- тип данных, в который нужно преобразовать исходные данные (XML, JSON, plain txt, СУБД и др.), тип хранилища и протокол передачи данных преобразованных данных;
- в зависимости от типа входных/выходных данных в проект импортируются соответствующие схемы данных. Это может быть XSD схема, заголовок из CSV файла, или получение схемы данных напрямую из СУБД;
- через пользовательский интерфейс создается проекция между схемой входных данных и выходных. Для сложных операций проецирования возможно создание/добавление алгоритма преобразования данных с помощью встроенного языка DSL.
- после завершения создания проекций архитектор запускает автоматизированный процесс генерирования кода ETL программ, их компиляцию, и при необходимости запуск для тестирования результатов.
Я более трех лет руководил командой сопровождения ETI продукта. В наши задачи входила техническая поддержка продукта, исправление ошибок в коде и добавление новых функциональных возможностей. Техническую поддержку оказывали крупнейшим европейским банкам и государственным учреждениям, где используется этот продукт. Подготавливал техническую документацию, пользовательские мануалы. Релизный цикл составлял 1 месяц.
Технологии:
- C#, Java, C++
- углубленная работа с сетевыми протоколами FTP, Telnet
- СУБД: Oracle, Microsoft SQL Server, IBM DB2/UDB