В модель эталонных таблиц добавлена возможность поиска таблиц модели по имени.
Изменение функций
После выполнения скриптов workflow, которые изменяют объекты репозитория, теперь автоматически перечитывается дерево репозитория у вызвавшего workflow пользователя.
Остальным пользователям потребуется вручную перечитать дерево репозитория.
Исправление ошибок
Не корректно отображались номера полей датасета после их удаления или фильтрации по имени.
EasyLoader
Добавление функций
Добавлен шаблон rdbms.ExecPatternSql, с помощью которого можно выполнять шаблонизированные SQL скрипты над группами таблиц.
Исправление ошибок
Если у таблицы Vertica в segmentedBy был указан ALL NODES, то при создании таблицы происходила ошибка.
Если в SQL скрипте перед SQL оператором стоял одиночный комментарий, внутри которого был многострочный комментарий, то комментарий пропускался, а оператор
не выполнялся.
Версия 1.61
EasyPortal
Добавление функций
При импорте таблиц теперь можно отключить импорт полей таблиц. Таблицы будут импортированы в репозиторий без описания структуры полей.
В опции создания таблиц PostgreSQL добавлено свойство "unlogged", при включении которого таблицы будут создаваться в БД, как "нелогируемые".
Изменение функций
Расширена функциональность переменных среды "Properties" в панели администрирования. Теперь помимо глобальных переменных можно задавать переменные
для конкретных репозиториев. Это позволяет задать для разных репозиториев нужные значения переменных с одинаковым именем.
Исправление ошибок
При добавлении или импорте репозитория текущий пользователь должен был устанавливать для себя права доступа к полученному репозиторию.
В соединении DBF файлов отсутствовало свойство кодировки файлов.
EasyLoader
Изменение функций
Для шаблона vertica.copy.CopyToVertica добавлен параметр environment, с помощью которого можно задать, с какой среды копировать данные без
необходимости делать внешний коннект на источник данных.
В шаблон rdbms.CopyToTables добавлены параметры для выполнения объединения записей источника с приёмником (MERGE).
Для шаблона загрузки flat файлов vertica.replication.LoadFlatFiles теперь можно описать правила обработки ошибок для конкретных таблиц по моделям
в файле конфигурации.
Исправление ошибок
Шаблон rdbms.RunSql не корректно работал при вызове в многопоточном режиме, где параллельные потоки RunSql работали в рамках главного соединения, а не его клона.
В шаблоне vertica.replication.CreateLogTables не корректно копировались данные со старой в новую создаваемую таблицу без учета реальной структуры
старой таблицы лога репликации.
В шаблоне rdbms.CopyToTables при пакетном копировании записей соединение приёмника могло отвалиться по таймауту, если слишком долго возвращались данные с
приёмника и это соединение было открыто при чтении инкрементальной точки или таблицы истории.
JDBC
Изменена версия PosgreSQL драйвера на 42.6.0.
Версия 1.60
EasyPortal
Добавление функций
По правой кнопке мыши можно скопировать имя объекта в списке просмотра объектов группы или щелкнув на имени вкладки открытого редактора.
В датасетах появилась экспериментальная вкладка "Данные", в которой можно просмотреть содержание датасета.
В workflow теперь можно по правой кнопки мыши клонировать скрипт в шаге.
Добавлена автоматическая перезагрузка объектов репозитория после вызова шаблонов и скриптов, которые изменяют содержимое репозитория.
В панели администратора для пользователей добавлен раздел управления правами пользователей на репозитории. Всем пользователям доступны все репозитории
портала для чтения, однако изменение объектов репозитория или запуск workflow должны явно задаваться в правах для пользователя.
Теперь при переключении между репозиториями разных сред в интерфейсе будут отдельными цветами выделяться репозитории тестовой и промышленной среды эксплуатации.
В панели администратора теперь можно временно отключить вход в портал пользователю, сняв у него флаг "Активность".
В workflow теперь можно смотреть выполняемый в текущий момент или ранее выполненный лог процесса в отдельном окне, для этого добавлена кнопка "Лог в новом окне".
Лог хранится в файловой системе и не пропадает после закрытия workflow или выхода из интерфейса портала. Таким образом, последний результат выполнения wofkflow
теперь можно посмотреть в любой момент времени.
Во вкладку опций создания для Vertica таблицы добавлено свойство "Наследование прав", в котором можно выбрать, как должна таблица наследовать права от
родительской схемы.
Изменение функций
При запуске workflow во вкладке отладки теперь не выводится вся служебная информация о старте процесса, что сокращает размер лога и улучшает его читабельность.
Для датасетов теперь при выборе типа поле NUMERIC длина и точность поля не являются обязательными.
При старте портала теперь репозитории не загружаются сразу в память, а подгружаются по мере обращения к объектам. Скорость старта портала значительно увеличилась,
однако чуть замедлилась скорость чтения списка объектов группы при первом обращении к ним.
Теперь при работе workflow активный лог работы режется до 300 последних строк, чтобы не занимать память браузера и не тормозить процесс отрисовки из-за большого
объема лога.
Исправление ошибок
В моделях групп и маппинга таблиц происходило некорректное сохранение таблиц модели, если в вкладке таблиц была задана фильтрация. В таком случае сохранялись
только таблицы, которые подходили под заданный фильтр.
При регистрации или изменении почты и пароля пользователя не проверялось, что указанное значение может содержать пробелы или псевдосимволы, что приводило к
невозможности пользователю подключиться к порталу.
Если пользователь выходил из учетной записи портала, но у него стоял флаг "Запомнить", то при следующем подключении происходил автоматический логин под
вышедшим пользователем.
Если по каким–то причинам был испорчен файл конфигурации объекта, то при попытке открыть его редактор, выдавалась ошибка и открывался пустой редактор. Теперь
после выдачи ошибки редактор не открывается.
Если открывался на редактирование датасет и пользователь щелкал на поле, помеченное как Primary Key, то при закрытии редактора предлагалось сохранить изменения,
даже если ничего не менялось.
В имени группы можно было задать пустое имя подгруппы, указав подряд две точки в имени группы объекта.
При экспорте полей из таблиц Oracle в таблицы Vertica не корректно обрабатывались поля Oracle с типом NUMBER.
EasyLoader
Добавление функций
Добавлен шаблон vertica.replication.CheckLogTables для проверки готовности таблиц приёмников и содержимого таблиц логов к репликации.
Добавлен шаблон репликации vertica.replication.ReplicationLogTables из таблиц логов репликации в таблицы приёмника. На текущий момент поддерживаются типы
репликаций NEW и NEW_EMPTY.
Добавлен шаблон files.ExecuteScriptFile, с помощью которого можно выполнить Getl скрипт из файла локальной системы или репозитория.
Добавлен шаблон files.GenerateObjectsScriptFile, с помощью которого можно выполнить Getl скрипт создания или изменения объектов в репозитории с автоматическим
обновлением репозитория после выполнения скрипта.
Добавлен шаблон repository.SynchJDBCTableStructure, который генерирует SQL скрипт с DML командами обновления структуры таблиц источника до структуры репозитория.
Добавлен шаблон vertica.replication.ClearDoublesFromLogTables, с помощью которого можно искать и исправлять в таблицах логов репликации ошибки в виде дублей
записей транзакций.
Добавлена поддержка записи CSV файлов с разделителями в виде псевдо-символов.
В шаблоны вызова программы RunProgram и вызова скрипта ExecuteScriptFile добавлен параметр exit_with_refresh, который сигнализирует,
что после выполнения шаблона требуется перечитать репозиторий.
В шаблон CleanLogs добавлен параметр workflow_as_subdir, который влияет на поиск логов внутри корневой директории. При включении этого параметра предполагается,
что в корневой директории находятся директории по именам выполняемых workflow. При выключении параметра логи ищутся внутри корневой директории.
В шаблон vertica.replication.CreateLogTables добавлен параметр grant_schema_roles, в котором можно перечислить роли и пользователей для организации доступа
к схеме хранения логов репликации.
В шаблоне vertica.replication.CreateLogTables добавлен параметр recreate_tables, при включении которого существующие таблицы логов репликации будут
пересоздаваться без потери данных.
Для шаблона CreateLogTables добавлен параметр recreate_if_difference_structure, с помощью которого можно отключить сравнение структур и принудительно
пересоздавать буферные таблицы логов репликации.
Для CSV соединений добавлены свойства blobAsPureHex и blobPfefix, в которых можно задать, нужен ли префикс для значений BLOB полей и значение префикса.
Произведена оптимизация пакетной загрузки данных в таблицы Vertica для увеличения скорости загрузки и исключение потери переводов строк в загружаемых
текстовых полях.
В скриптовый язык добавлены функции parseSQLDate, parseSQLTime, parseSQLTimestamp, isTable, isView и isQuery.
Исправление ошибок
В шаблоне vertica.replication.LoadLogTables не учитывались записи с оператором смены первичного ключа.
В шаблоне vertica.replication.LoadLogTables исправлена ошибка, где при загрузке данных из таблиц логов источника текстовые поля с пустыми значениями
интерпретировались как NULL.
Для всех шаблонов, работающих с моделями таблиц исправлена ошибка, где timestamp партиции писались в историю, но при следующем запуске по ним заново шла загрузка.
В шаблоне files.CleanLogs возникала ошибка, если в пути хранения логов использовались переменные Getl.
При создании буферных таблиц логов репликации в сортировке и сегментации не учитывались поля первичного ключа в шаблоне vertica.replication.CreateLogTables.
При завершении работы с файловыми менеджерами шаблонов не происходило отсоединение от источника, что могло привести к подвисанию задачи при завершении
её работы, если драйвер менеджера продолжал удерживать коннект.
При работе с CSV датасетами в свойствах обрамления текстовых полей, разделителя полей и разделителя записи не корректно обрабатывался escape символ "\", что
не позволяло задать разделителем псевдо-символ в формате "\u<ЧИСЛО>".
Для Vertica таблиц происходила не корректная пакетная загрузка значений BLOB полей из файлов в таблицы.
При выполнении SQL скрипта возникала ошибка, если после открывающей скобки сразу же стояла запятая.
Если в операторе ECHO SQL скрипта в конце стоял "--комментарий", то следующий за ECHO оператор не выполнялся.
При автоматической конвертации значений полей источника в приёмник не было проверки переполнения числовых типов, что могло привести к некорректной записи
данных из источника в приёмник, если в источнике тип данных был большей разрядности, чем в приёмнике.
Если в файловых шаблонах была включена опция копирования только файлов, которые есть в истории загрузке, то при копировании таких файлов их имена снова
вставлялись в историю, что приводило к ошибке дублирования уникального ключа.
Версия 1.59
EasyPortal
Изменение функций
В моделях трансформации и маппинга таблиц изменен принцип работы таблиц модели с инкрементальными точками. Теперь в таблицах модели не указывается
инкрементальный менеджер. Вместо этого на главной вкладке модели задается таблица хранения инкрементальных точек. Процесс автоматически в этой таблице
хранит инкрементальные значения для каждой таблицы модели, у которой задано поле инкремента. Если в существующих репозиториях уже используются инкрементальные
точки, то требуется увеличить в таблице хранения точек поле source до размерности 256 знаков, а так же сделать UPDATE source в этой таблице точки с именем,
ранее указанным в инкрементальном менеджере, используемым в модели на составное имя: "ИмяМодели@ИмяТаблицыМодели". Если это не сделать, инкрементальные
точки будут потеряны: инкрементальная загрузка начнется с нулевой позиции!!!
Добавление функций
Добавлены шаблоны vertica.replication.CreateLogTables и vertica.replication.oracle.LoadLogTables, с помощью которых можно развернуть промежуточные таблицы для хранения логов
репликации и обеспечить инкрементальную загрузку из таблиц хранения логов репликации Oracle (IUD).
При экспорте датасета в портале на другое соединение конвертация полей не учитывался размер хранения текстов в байтах между разными источниками и в чём
описывается длина хранения текста: в байтах или символах. При конвертации текстового поля из источника, где длина текста задана в символах в поле
приёмника, который указывает длину текста в байтах, длина будет указана меньшей, чем приёмнику нужно для хранения значения поля. Теперь в JDBC соединения
добавлены свойства "Кодовая страница БД" и "Длина полей указана в байтах", которые позволяют точно рассчитать длину текстовых полей при конвертации из разных
источников. В случае, если для отдельного поля таблицы была задана явная другая кодовая страница, это будет так же учитываться при конвертации типов.
При работе с CSV поля BLOB всегда записывались в HEX формате последовательности байт, что приводило к невозможности пакетного чтения таких файлов многими СУБД,
которые ожидают данных такого типа в формате "0xбайты в HEX". По умолчанию теперь значения BLOB полей записываются в этом формате. Для управления способом
записи в CSV соединение добавлено свойство "Натуральный формат BLOB", при включении которого BLOB будут записаны без "0x".
В скриптовый язык добавлена функция "decode" (аналог SQL функции), в которой можно сравнить значение с перечисленными условиями и вернуть значение, заданное
для подходящего условия.
В моделях маппинга при нажатии кнопки "Авто соединение таблиц" теперь можно указать маску связи таблиц источника и приёмника. В ней задается шаблон
"<маска источника>:<маска приёмника>", где в маске нужно использовать переменную "{name}", которая обозначает исходное имя, которым нужно оперировать. Пример
маски соединения представлений с префиксом "v_" и таблиц с суффиксом "from_view": "v{name}:{name}_from_view", где "v_table1" будет соединена с "table1_from_view".
В диалоговом окне выбора объектов теперь можно фильтровать список объектов группы по части имени.
EasyLoader
Смена версии
Номер версии изменен на "6.3". Перед установкой обновления проверьте, что лицензия Вашего репозитория поддерживает этот номер версии!!!
Исправление ошибок
При работе с JDBC таблицами, содержащих timestamp поля, миллисекунды обрезались до трех знаков. В случае использования таких полей как инкрементальных это
приводило к неправильной работе, где после захвата записей они могли быть снова загружены в следующий раз, так как по разрядности наносекунд были больше,
чем обрезанное значение поле до трех знаков миллисекунд. Теперь JDBC источники позволяют обрабатывать до шести знаков наносекунд.
При работе с CSV поля timestamp могли содержать не более трех знаков миллисекунд. Теперь по умолчанию формат чтения и записи предполагает хранение миллисекунд
до трех знаков, но при необходимости в формате данных можно задать хранение до девяти знаков наносекунд.
При чтении и записи BLOB полей данных из Oracle могла возникать ошибка "Класс oracle.jdbc.OracleBlob не известен". Теперь такие поля читаются и
пишутся без ошибок.
Версия 1.58
EasyPortal
Добавление функций
В гриде датасетов операции с JDBC таблицами вынесены в отдельную кнопку "Операции".
В гриде датасетов в "Операции" добавлен режим "Изменение схемы", с помощью которого можно изменить схему БД у помеченных в гриде JDBC таблиц.
При экспорте датасетов в другое соединение теперь можно при необходимости явно задать схему БД, которую нужно установить для экспортируемых таблиц источника.
Функция работает, если соединение приёмника имеет тип JDBC.
В список объектов для всех типов добавлена кнопка "Переместить в группу", где можно выделить список объектов и задать им новое имя группы в репозитории.
EasyLoader
Добавление функций
В процесс rdbms.CopyToTables добавлен флаг check_destination_tables, с помощью которого можно выключить принудительную проверку структуры таблиц на приёмнике
с описанием их структуры в репозитории перед началом копирования для ускорения выполнения процесса.
Исправление ошибок
Если при работе с Excel файлами у них расширение было с заглавными буквами, то возникала ошибка, что такой тип файла не поддерживается. Теперь для файлов с расширением
xlsx и xls есть поддержка вне зависимости от регистра расширения в имени файла.
Версия 1.57
EasyLoader
Добавление функций
Для процесса files.ProcessDatasetFiles добавлен параметр "copy_only_matching", с помощью которого можно указать, исключать ли из вставки в таблицу
приёмника поля, которых нет в источнике. Требуется выключить этот параметр, если в маппинге модели для полей приёмника указываются константы или
вычисляемые выражения, которые будут так же вставляться в приёмник.
Для скриптов wofkflow и выражений моделей в языке Getl добавлены функции asDate, asTime и asTimestamp для конвертации текстового или числового значения в нужный тип.
Исправление ошибок
При чтении таблиц Oracle могли возникать ошибки, если были поля с типом BLOB для последних версий Oracle. Теперь бинарные поля корректно читаются вне зависимости от версии Oracle.
Если в модели маппинга для процесса files.ProcessDatasetFiles указывались скрипты инициализации "dest_init" и финализации "dest_done" в таблице модели, то эти скрипты
выполнялись всегда, даже если процесс не обнаружил файлов для обработки. Теперь эти скрипты будут вызываться только, если процессом были найдены файлы.
Процесс files.ProcessDatasetFiles вызывал скрипты инициализации "dest_init" и финализации "dest_done" таблицы модели вне явно запускаемой транзакции.
Это приводило к тому, что после выполнения скрипта и закрытия соединения к приёмнику, СУБД откатывало изменения. Теперь скрипты выполняются в рамках
транзакции, если приёмник поддерживает работу с ними и при успешном выполнении скрипта транзакция будет зафиксирована вызовом COMMIT.
Для Firebird соединений возникала ошибка, если указывался путь к файлу базы данных, в котором были использованы {переменные окружения}.
При включении флага bulkLoad процессам, которые загружают данные с источника в БД Vertica через промежуточные файлы, мог использоваться не корректный парсер загрузки,
что приводило к обрезанию длины значений текстовых полей без ошибки загрузки, если значение источника превышало размер длины поля в таблице Vertica. Теперь это можно
контролировать явно через параметр шаблонов bulk_escaped, где для контроля длины полей и поддержки кодировки NULL собственным значением, bulk_escaped должен быть включен.
В язык Getl добавлена поддержка работы с базами данных SQLite с помощью операторов sqliteConnection и sqliteTable. В репозитории портала возможность визуально описывать
соединения и таблицы SQLite отсутствует.
Версия 1.56
EasyLoader
Исправление ошибок
При работе процесса files.ProcessDatasetFiles с включенными флагами кэширования и пакетной загрузкой в таблицу ничего не загружалось после обработки файлов.
Теперь все работает корректно.
Версия 1.55
EasyPortal
Исправление ошибок
В моделях мониторинга и эталонных таблиц Vertica не корректно работали checkbox для булевых свойств датасетов модели, что приводило к невозможности
выключить или включить нужное свойство.
EasyLoader
Добавление функций
Добавлен новый шаблон rdbms.MonitorSources, с помощью которого можно проверять наполнение таблиц БД на отставание от заданного периода.
Исправление ошибок
При пакетной загрузке одно файла в БД могло ничего не произойти, если нужно было загрузить единственный файл, а не список по маске. Теперь файл будет корректно
загружен.
Версия 1.54
EasyLoader
Исправление ошибок
Для шаблонов, которые используют модели маппинга, возникала ошибка "Источник не поддерживает SQL скрипты", если источник не был JDBC совместимым, но не имел
скриптов в модели.
При генерации ошибки не корректно обрабатывалось имя workflow, в котором произошла ошибка и это могло привести к ошибке, что переменная не найдена.
Версия 1.53
EasyPortal
Добавление функций
Интерфейс переведен на последнюю версию Webix для оптимизации производительности и закрытия ряда багов интерфейсной части JavaScript.
В JDBC соединения добавлена вкладка атрибутов. Добавляемые соединению атрибуты можно использовать как глобальные переменные при запуске скриптов через
SQL скриптер для этого соединения;
В моделях трансформации и маппинга для таблиц моделей добавлена вкладка "Скрипты". Во вкладке можно задавать события для шаблонов, код которых написан на
SQL языке ХП Getl. Помимо кода в скрипте можно использовать оператор RUN_FILE, чтобы выполнить код из SQL файла, находящегося в репозитории или на внешнем диске.
Исправление ошибок
В редакторе полей датасетов можно было одновременно при групповом изменении свойств полей задать ключевое поле и nullable. Теперь можно задать что-то одно из них.
EasyLoader
Добавление функций
Для шаблона files.ProcessingDatasetFiles добавлена поддержка событий, код которых указывается в SQL скриптах таблиц модели.
Для шаблона rdbms.CopyToTables добавлена поддержка событий, код которых указывается в SQL скриптах таблиц модели.
Расширена функциональность оператора "RUN_FILE" в языке хранимых процедур. Теперь можно указывать выполнение файлов с репозитория без указания префикса "repository:".
Поиск файлов происходит сначала в файловой системе, потом в репозитории и если файл нигде не найден, выдается ошибка.
Исправление ошибок
При работе с запросами Oracle возникала ошибка, если возвращались поля с типом "date". Теперь такие поля корректно обрабатываются наравне с "timestamp" полями.
Версия 1.52
EasyPortal
Добавление функций
В файловые источники, поддерживающие веб-сервисы добавлена возможность работы с аутентификацией. В соединения работы с Json, Xml и Yaml добавлены свойства:
логин, пароль и тип аутентификации. Поддерживается базовая и NTLM аутентификация по http протоколу.
В гриде датасетов появилась кнопка перечитки списка полей для выбранных в списке таблиц. Ранее приходилось заходить в каждый датасет и нажимать кнопку
перечитки списка полей.
Для моделей эталонных данных таблиц Vertica в списке моделей добавилась группа кнопок, с помощью которой можно создать таблицы хранения эталонных данных,
сохранить эталонные данные из рабочих таблиц или внешнего кластера Vertica, очистить рабочие таблицы или заполнить их эталонными данными, а также удалить
таблицы хранения эталонных данных в БД.
При создании нового репозитория теперь в автоматически создаваемой файла конфигурации репозитория сразу генерируется шаблон, в котором указаны основные
настройки работы процессов с репозиторием для каждого стенда репозитория, такие как язык сообщений (по умолчанию русский), логирование процессов,
JDBC соединений и файловых менеджеров, профилирование и параметры настройки дев стенда для работы с Vertica.
В датасете теперь во вкладке полей появилась кнопка "Установка свойств", с помощью которой можно для выбранной группы полей массово установить тип поля или
другие его характеристики.
При просмотре файлов репозитория теперь для администраторов портала видны файлы лицензии репозитория и его конфигурации. Ранее эти файлы скрывались для всех
пользователей.
Добавлена поддержка механизма лицензирования по номеру версии продукта.
Исправление ошибок
При долгом простое открытой веб страницы работы с порталом могли возникнуть ошибки при попытке дальнейшей работы с интерфейсом пользователем. Теперь время
активной сессии в браузере увеличено до 6 часов и в случае потери сессии портал переходит на страницу логина, чтобы пользователь не смог работать с
несуществующей веб сессией.
EasyLoader
Добавление функций
При вызове событий шаблона files.ProcessingDatasetFiles внутри кода событий было невозможно определить, для какого обрабатываемого файла вызвано событие.
Теперь в события параметром передаются атрибуты файлы (см. описание событий шаблона).
Исправление ошибок
В шаблоне files.CleanFiles возникало задвоение файлов в таблице истории, так как после удаления уже существующих в истории файлов на источнике, они снова
добавлялись в таблицу истории.
При работе с БД Vertica при генерации запросов могла возникнуть ошибка, если поле называлось "NEW". Теперь это слово считается ключевым и обрамляется в
двойные кавычки.
Для шаблона rdbms.CopyToTables возникала ошибка, что партиции не поддерживаются, если в качестве источника выступал файловый источник с чтением данных
с веб-сервиса и таблице в модели был назначен датасет списка партиций. Теперь при работе с веб-сервисами полноценно поддерживается чтение по списку партиций.
Для шаблона vertica.CaptureData возникала ошибка закрытия соединения, если для таблицы модели указывался инкрементальный менеджер, который имел такое же
соединение, как соединение приёмника модели. Теперь эта ситуация корректно обрабатывается и соединение закрывается только после окончания работы процесса
с моделью.
Версия 1.51
EasyPortal
Добавление функций
В главное меню добавлена кнопка вызова просмотра помощи по шаблонам в отдельной вкладке. Это позволяет по документации выбранного шаблона скрипта workflow
разрабатывать нужную модель, без необходимости возвращаться в workflow и в модальном окне вызывать помощь по правилам заполнения модели.
Исправление ошибок
В workflow при выборе объекта для параметра скрипта вызывалось модальное окно выбора, однако объект не выбирался двойным нажатием левой кнопки мышки,
только выделением и нажатием кнопки "Ок". Теперь двойное нажатие тоже работает.
В файлах репозитория при нажатии кнопки "Новый файл" запрашивалось его имя, файл создавался на диске, но не открывался сразу на редактирование. Теперь
редактор автоматически открывается для новых файлов.
EasyLoader
Добавление функций
Расширена функциональность для шаблона vertica.CopyToVertica:
Добавлен параметр source_login, в котором можно указать, под каким логином подключаться к источнику;
Добавлены атрибуты limit и order, с помощью которых для модели можно задать порядок сортировки выгрузки записей с источника и ограничение количества
выгружаемых записей.
В язык выражений добавлена поддержка функций isNull и nullIf.
В конфигурации репозитория теперь в разделе sqlscripter можно включить принудительную отладку выполнения запросов с помощью параметра debug. Это позволит
в логе выполнения процесса увидеть, лог работы Sql scripter при обработке и выполнении sql скриптов.
Исправление ошибок
В некоторых случаях при ошибках работы с датасетами шаблоны в тексте ошибки вместо имени датасета выводили "noname". Это не позволяло определить, какой именно
датасет содержит ошибки. Теперь при ошибках выводится как имя датасета в репозитории, так и его физическое имя в источнике (имя таблицы или файла).
Для Excel датасетов возникала ошибка чтения датасетов, ячейки которых содержали ошибку "#Н/Д". Теперь такие ячейки интерпретируются как null значения.
Если для Excel датасета поле, указанное как string в ячейках содержало тип number, то значение такого поля возвращалось в double формате. Теперь такие поля
правильно интерпретируются с числового в текстовый формат.
Для таблиц СУБД H2 не корректно возвращался список полей для регистрозависимых таблиц.
Не удавалось считать список таблиц с БД, у которых в именах содержались одинарные кавычки и переводы строк. Теперь такие таблицы видны при импорте
таблиц в портале и доступны к работе.
При импорте в портал таблиц с БД, в именах которых содержались запрещенные в именовании объектов портала символы (такие, как перевод строки, табуляция,
кавычки, двоеточие и т.д.), такие символы заменялись на символ подчеркивания. Однако, если в списке таблиц были имена, различие которых было только в
некорректных символах, после преобразования их имена дублировались и возникала ошибка импорта. Например, импорт "table@1" и "table:1" генерировал имена
table_1 и table_1. Теперь в именах объектов репозитория генерируется числовой ascii код таких символов в имя таблицы вместо простого подчеркивания, что
решает проблему с дублированием имен.
При выполнении sql скриптов в некоторых случаях Sql scripter не корректно определял тип выполняемого оператора, если в нем содержался SELECT и пытался его
выполнить с получением результата. Например, оператор "EXPORT TO VERTICA AS SELECT" приводил к ошибке. Теперь Sql scripter точно определяет, где идет SELECT
с возвратом результата, а где выполняется другой оператор.
Если в sql скрипте перед оператором стоял хинт в комментарии, то такой оператор мог быть пропущен при выполнении, где Sql scripter ошибочно считал, что
он часть комментария. Ошибка исправлена.
Версия 1.50
EasyPortal
Добавление функций
В моделях маппинга и списка таблиц добавлена возможность быстрого поиска таблицы по имени среди списка таблиц модели.
Исправление ошибок
Кнопка создания таблиц позволяла запустить визард для датасетов, не совместимых с JDBC таблицами. Теперь кнопка не горит, если выбраны не JDBC таблицы.
В таблицах JDBC не корректно работало добавление и удаление индексов во вкладке "Создание". Теперь проблем нет при описании индексов для таблицы.
В индексах таблиц JDBC вкладки "Создания" отсутствовала возможно выставить уникальность индексу. Это теперь можно сделать в свойстве "unique".
При открытии нескольких моделей маппинга таблиц выходила ошибка неуникального id формы. Это исправлено.
В панели администратора при создании нового репозитория в каталог, где уже был ранее прописан репозиторий возникала ошибка. Теперь портал не позволяет
создать новый репозиторий в такой каталог и предлагает его импортировать.
EasyLoader
Исправление ошибок
В шаблоне рефакторинга проекций Projections мог генерироваться хинт "createtype(L)", что при выполнении такого DDL приводило к ошибке в Vertica. Теперь
такой хинт убирается из скрипта создания проекции.
Версия 1.49
EasyPortal
Добавление функций
При выгрузке репозитория теперь спрашивается, нужно ли выгружать в архив библиотеки репозитория.
Для таблиц Vertica теперь во вкладке опций создания есть возможность установить, следует ли включать проверку Primary Key в таблице при работе с ней.
Исправление ошибок
При запуске скрипта из редактора файлов репозитория для ClickHouse выходила ошибка, что соединение не поддерживает транзакции и скрипт не выполнялся.
Теперь скрипты в ClickHouse запускаются.
EasyLoader
Изменение функций
Для шаблона EasyLoader.vertica.refactor.Projections добавлено свойство rules_file, в котором можно задать конфигурацию фильтрации списка обрабатываемых таблиц.
Изменено свойство connection_name на connection, добавлено свойство логин.
Для шаблона EasyLoader.vertica.reverse.SaveToFiles доработана модель получения метаданных, чтобы было можно ссылаться на все поля служебных таблиц Vertica
при написании выражений фильтрации обрабатываемых объектов реверсинга в файле конфигурации.
Ранее в языке макросов Getl поддерживалось экранирование символов "$", "{" и "}" с помощью "", чтобы исключить их с обработки. Теперь символ экранирования
изменен на "~2, чтобы не было пересечения с экранированием в языках Groovy и SQL. То есть в тексте, где требуется вставить фигурную скобку, вместо её обработки,
как переменной "{var}", нужно указать "~{~var~}~".
Исправление ошибок
Для соединений H2 и Vertica исправлена ошибка, которая возникала при вызове оператора dropSchema для этих соединений.
При работе с ClickHouse в лог работы писались сообщения по отсутствию инициализации логгера log4j. Теперь такие сообщения не пишутся.
Версия 1.48
EasyPortal
Добавление функций
Добавлен новый тип источника ClickHouse. Для соединений поддерживается работа через ssl. Для таблиц поддерживается создание и удаление таблиц,
добавление записей в таблицы и очистка записей в таблицах оператором truncate table. Нет поддержки time полей.
Добавлен новый тип источника SAP Hana. Поддерживается полный функционал работы с таблицами. Нет поддержки записи в blob поля.
В редактор SQL скриптов файлов добавлена возможность выбора среды выполнения, на которой требуется выполнить скрипт.
Версия 1.47
EasyWorkspace
Добавление функций
При старте приложения очищаются устаревшие логи работы старше 7 дней.
Исправление ошибок
При выгрузке файлов с сайта на локальный диск при запросе имени файла терялось расширение. Теперь расширение автоматически подставляется в окно выбора пути сохранения.
При выгрузке файлов на локальный диск в окне прогресса выгрузки показывалось не выбранное для сохранение имя файла, а пришедшее оригинальное с сайта.
EasyPortal
Добавление функций
В моделях групп таблиц и моделях маппинга появилась возможность описывать подчиненные таблицы к таблицам источника. Использование таких таблиц позволяет организовать схему записи master-detail, где при чтении таблицы источника по полям, содержащим вложенную структуру будет
автоматически произведена обработка с помощью подчиненных таблиц и далее с них произведена запись в выбранные таблицы приёмника. В качестве вложенных таблиц можно использовать датасеты ArrayDataset, CSVDataset, JSONDataset, XMLDataset и YAMLDataset. Для выбора подчиненной таблицы
на основной таблице нажмите кнопку "Добавить подчиненный" и выберите датасет. В подчиненном датасете укажите в свойстве "Поле связи" имя поля с мастер таблицы, для которого нужно брать значения как структуру данных. В свойстве "Таблица приёмника" выберите таблицу назначения,
куда будут записываться полученные данные. Для подчиненных таблиц можно описывать маппинг полей. Помимо полей подчиненных таблиц в таблицу приёмника будут приходить поля таблицы источника, имена которых так же можно использовать в маппинге.
Добавлен новый тип источника Array, который позволяет описывать массив как источник с одним полем. Создайте в репозитории одно соединение ArrayDatasetConnection и на него создавайте для полей, содержащих массивы датасеты ArrayDataset. Такие датасеты дальше можно использовать
как подчиненные датасеты в моделях групп таблиц и моделях маппинга. У ArrayDataset может быть только одно поле, тип которого можно переопределить.
В выражения маппинга моделей и код скриптов workflow выведены в публичный доступ функции работы с строками, числами, датами и парсингом файловых структур.
В пути к локальным файлам теперь можно указывать служебную переменную {#REPOSITORY}, вместо которой будет подставляться путь к репозиторию, где описаны объекты.
В коде скриптов workflow теперь можно обращаться к шагам и скриптам с помощью встроенных функций step('ИмяШага') и script('ИмяСкрипта').
Теперь при выгрузке архива репозитория в панели администратора в zip файл так же включаются библиотеки шаблонов, которые привязаны к выгружаемому репозиторию. Ранее, чтобы запускаемые workflow видели скрипты подключаемых библиотек шаблонов, требовалось jar файлы скопировать
в каталог userlibs инсталляции EasyLoader.
Добавлена видимость пользовательских статических функций с библиотек шаблонов в скрипты workflow и выражения маппинга моделей. К функциям нужно обращаться в формате "ИмяПакета.ИмяКласса.ИмяФункции".
Для файлов репозитория добавлена кнопка "Новый файл". Это позволяет с портала создавать в репозитории файлы без необходимости создавать их локально и загружать в портал.
Для файлов репозитория с расширением sql доработан редактор. Теперь можно во вкладке "Выполнить" выбрать соединение, указать логин и запустить выполнить редактируемый SQL скрипт без необходимости делать workflow, который будет его запускать.
При старте портала очищаются устаревшие логи работы с репозиториями старше 7 дней.
Исправление ошибок
При экспорте файловых датасетов в таблицы JDBC в полях таблиц оставались заполненные алиасы полей, что приводило к ошибкам чтения данных из таблиц. Теперь при таком экспорте алиасы полей сбрасываются.
При создании модели группы таблиц "Dataset groups" возникала ошибка, если соединение модели было не совместимое с JDBC источниками.
EasyLoader
Добавление функций
Добавлен новый шаблон EasyLoader.rdbms.SwitchLogin, в котором можно переключить логин для заданного соединения. Позволяет управлять работой под нужным логином для ряда действий без необходимости это делать в скрипте шага для соединения.
В шаблон EasyLoader.files.ProcessDatasetFiles добавлены события start_write_file, finish_write_file, start_write_cache и finish_write_cache.
В шаблон EasyLoader.files..ProcessDatasetFiles добавлена поддержка моделей маппинга с мастер-детайл данными. Ранее можно было загрузить только данные из файлов в одну таблицу приёмника. Теперь в модели маппинга можно добавить подчиненные таблицы, связать их с полями источника и
организовать запись в таблицы детализации приёмника.
Исправление ошибок
Для CSV источников данных не корректно работал парсинг числовых и дата-время полей в локали ce-RU, если числа выгружались с разделителем запятая и в дате стояло русское название месяца. Теперь все работает корректно.
Если в SQL скрипте на языке ХП Getl стояло ECHO {var} без статического текста в сообщение, то оператор ECHO не срабатывал. Теперь сообщение выводится.
В шаблоне EasyLoader.Files.ProcessDatasetFiles возникала ошибка, если для скрипта не были заданы менеджеры для хранения архивов и ошибок.
В файловых шаблонах EasyLoader.Files.* при указании сортировки обработки файлов поля с DESC возникала ошибка (например "FILEDATE DESC").
Библиотеки шаблонов
Добавление функций
В библиотеке шаблонов можно явно указать, какие классы требуется подгрузить сразу при старте приложения. Это позволяет в разделе static этих классов инициализировать нужные для работы данные. Нужно создать ресурсный файл "getl-library.conf" и в нем перечислить
требуемые для инициализации классы "init_classes=['Пакет.Класс1', 'Пакет.Класс2', ...]"
Версия 1.46
EasyPortal
Исправление ошибок
При выборе в модальном окне объекта репозитория для импорта таблиц с БД, добавления таблиц модели, выбора таблицы истории и т.д., возникала ошибка "Объект не найден undefined:undefined". Теперь все объекты корректно выбираются из модального окна.
Версия 1.45
EasyPortal
Добавление функций
Для моделей эталонных файлов и эталонных данных Vertica в списке объектов добавлена кнопка "Fill", с помощью которой можно развернуть эталонные данные на приёмнике без необходимости вызывать это вручную в коде.
Для Kafka датасетов в редакторе добавилась вкладка опций управления чтением данных.
В окне лицензии теперь показываются версии используемых Getl и EasyLoader.
Исправление ошибок
В моделях набора таблиц и маппинга можно было дважды добавить таблицу источника в модель. Теперь при выборе таблиц для модели уже ранее выбранные подчеркиваются зеленым цветом и не добавляются в модель.
При попытке смены источника или приёмника в моделях эталонных файлов с помощью вызова визарда ничего не возвращался выбранный файловый менеджер. Теперь все возвращается.
При вызове fill у моделей эталонных файлов и эталонных данных Vertica возвращалась ошибка, что у репозитория не включен unit test режим. Теперь он включается в портале при работе с репозиторием для текущей среды по умолчанию, но только если она не имеет название "prod".
EasyLoader
Добавление функций
Доработана проверка кластера Vertica на соответствие ожидаемому при тестировании работы процессов. Теперь это происходит не каждый раз при старте любого workflow, а только если используется шаблон,
который работает с соединением Vertica, указанным как сервер среды разработки.
Для шаблонов файловых процессов добавлено новое событие "tracking", с помощью которого можно отслеживать хода обработки файлов процессом.
Обновлены JDBC драйвера для работы с поддерживаемыми РСУБД на последние версии.
Обновлены библиотеки для работы с Hadoop и Kafka на последние версии.
Исправление ошибок
Шаблоны процессов, которые используют модели с ведением истории работы, не корректно создавали соединения для работы с таблицей истории в многопоточном режиме, что приводило к множеству лишних соединений к БД.
Теперь на каждый поток корректно создается одно своё соединение.
Шаблоны файловых процессов при возникновении ошибки с файловой системой могли попытаться некорректно записать ошибку в лог и прервать работу. Теперь ошибки файловых систем корректно отрабатываются и записываются в лог.
При построении списка файлов шаблоны работы с файлами создавали локальную временную таблицу в СУБД, где хранится таблица истории работы с файлами, даже если СУБД не поддерживает такой тип таблиц.
Теперь в этом случае будет создаваться обычная таблица, которая удалиться по завершении работы.
Расширение языка Getl
Счетчикам БД (sequence) теперь можно сбросить текущее значение на указанное с помощью функции restartWith.
Добавлены новые операторы attachToDataset и attachToArray, с помощью которых можно присоединить локальные данные к файловому датасету и получить с него записи.
В язык выражений и скриптов добавлены базовые функции для работы с строками, числами, датами и конвертацией типов, а так же функции для парсинга XML, Json и Yaml структур с текста (parseXML, parseJSON и parseYAML).
Список доступных функций можно посмотреть на GitHab.
Исправление багов в языке Getl
В шаблонах, которые копируют данных между источниками, не корректно вызывался код для события "before". Теперь это событие корректно вызывает код.