\
\" [] _ () "/
@velipre_xella
Всякое об SQL и ETL.
Телеграм @velipre_xella
44 posts
Pentaho DI

SQL диалект IBM DB2 в Pentaho DI. Не работает fetch N rows only.

Столкнулся с таким багом (или фичей) Pentaho DI. В степе Table input селект из IBM DB2 возвращает все строки, не смотря на использование этой кляузы. Гугол на раз не помог - не знал, что гуглить, - нашёл возможное объяснение проблемы в книжке Essential Pentaho ETL A self-study reference and practice book for ETL beginners (Gowda, Aryan Kavan). Есть проверенные (certified) источники, есть - непроверенные.

Pentaho DI. Преобразование строки к URL.

Это может понадобиться при выполнении запроса к Rest API. Например, какой-то из параметров запроса может быть на кириллице. Строка "Это тестовая строка" должна быть преобразована к "%D0%AD%D1%82%D0%BE+%D1%82%D0%B5%D1%81%D1%82%D0%BE%D0%B2%D0%B0%D1%8F+%D1%81%D1%82%D1%80%D0%BE%D0%BA%D0%B0"

Pentaho DI. Call DB Procedure Step для PostgreSQL.

Не получается у меня никак использовать этот степ для вызова хранимой процедуры PostgreSQL. Для вызова пользовательской функции с аналогичным функционалом - получается. Продемонстрирую пошагово.

User defined Java expression. Тернарный оператор.

Пользуюсь я этим редко и поэтому периодически приходится гуглить одно и то же.

Запуск джобов из командной строки, часть 2 (Launching Pentaho DI Jobs from the Command Line, part 2).

В предыдущей заметке https://teletype.in/@velipre_xella/Z1fFV2m6ctv на это тему шла речь о запуске джобов по абсолютному пути к файлу. Не всегда такое возможно.

Запуск Pentaho DI джобов из командной строки (Launching Pentaho DI Jobs from the Command Line).

Трансформации тоже можно запускать из командной строки, но в данной заметке речь только о запуске джобов.

Отправка e-mail из Pentaho DI.

Для отправки e-mail из Pentaho DI можно использовать степ Mail, который запускается в трансформации, и job entrie - с таким же названием и, видимо, с таким же функционалом.

Pentaho DI. Запуск job в цикле по записям в dataset(draft).

Это примерный пересказ из главы 8 Executing part of a job once for every row in a dataset книжки A. Meadows, A. S. Pulvirenti, M. C. Roldan - Pentaho Data Integration Cookbook - 2nd Edition (2013). Пример немножко подпилил под свои нужды, плюс, описал базовую трансформацию, которая, собственно, в цикле и вызывается.

Pentaho DI, конкатенация и размножение строк.

Задача из реальной жизни: есть многострочный селект, вертающий список таблиц из БД согласно каким-то правилам. И их нужно, допустим, удалить.

Pentaho DI. Использование переменных в джобе(draft).

Допустим, нужно запустить в джобе Pentaho DI хранимую процедуру pl/pgsql со следующей сигнатурой: