Коннектор для передачи данных из 1С в КХД и аналитические системы
Инструкция по эксплуатации
Инструкция содержит описание функциональных возможностей и характеристик программного обеспечения (Продукта, Расширения) «1С-ПЕРСПЕКТИВА:Коннектор к КХД» (далее — ПО), в том числе назначение, задачи, функции, отчеты и результаты работы ПО.
Оглавление
Оглавление
1. Введение
Продукт «1С-ПЕРСПЕКТИВА:Коннектор к КХД»:
  • Зарегистрирован в реестре российского программного обеспечения, рекомендованного Минцифры РФ для госзакупок: № 27 236 от 19.03.2025 г.
  • Разработан в среде «1С:Предприятия 8» и работает в режиме управляемого приложения
  • Подходит для любых конфигураций с версией платформы «1С:Предприятие» не ниже 8.3.13
  • Запатентован и имеет свидетельство о государственной регистрации программы для ЭВМ № 2 024 690 294
Расширение «1С-ПЕРСПЕКТИВА:Коннектор к КХД» является оригинальным расширением (дополнением), но не самостоятельным. Для работы расширения должны быть выполнены следующие условия.
  • Установлена платформа «1С:Предприятие 8.3» на необходимое количество рабочих мест
  • Установлена конфигурация, данные которой требуется выгружать в целевую систему
  • Установлен и настроен сервер лицензий (СЛК)
  • Установлена и настроена система обработки потоковых данных (например, Arenadata Streaming, VK DataPlatform или аналитическая платформа Форсайт)
  • Установлена и настроена СУБД (например, PostgreSQL, Arenadata DB или Arenadata P) или объектное хранилище S3
Инструкция предусматривает наличие у пользователя опыта работы с операционной системой семейства Windows/Linux, с программами на платформе 1С, а также инструментами работы с приложениями для управления базами данных (например, DBeawer).
2. Термины и сокращения
В инструкции применяются следующие термины и сокращения.
3. Общие функциональные возможности расширения «1С-ПЕРСПЕКТИВА: Коннектор к КХД»
Расширение «1С-ПЕРСПЕКТИВА:Коннектор к КХД» позволяет реализовать стриминг данных из систем на платформе 1С в хранилище данных, используя подход CDC (Change data capture).

В качестве поставщика данных используется одна или несколько информационных баз (1С:ERP, 1С:УХ и т. д.). Коннектор устанавливается на каждую из них и, после настройки подключения к целевой системе, начальной выгрузки и включения захвата изменений, позволяет создать и постоянно поддерживать в актуальном состоянии копию данных объектов конфигурации 1С в хранилище данных.
Ключевые возможности коннектора
  • Выбор объектов
    Выбор объектов учетной системы для захвата изменений содержащихся в них данных
  • Создание источников данных
    Создание источников данных, которые описывают данные, передающиеся в хранилище. Источники данных можно актуализировать и отслеживать версии их структуры.
  • Выгрузка объектов
    Первоначальная выгрузка данных объектов ИБ в целевую систему, запускаемая вручную или с помощью регламентного задания
  • Формирование очереди изменений
    Автоматическое формирование очереди изменений данных выбранных объектов средствами платформы 1С (не нарушая лицензионного соглашения)
  • Передача измененных данных
    Передача потока измененных данных с помощью регламентных заданий, последовательно формирующих задания, а затем на основе заданий формирующих сообщения и отправляющих сообщения в целевую систему
  • Передача метаданных
    Передача метаданных источников в хранилище для последующей обработки
  • Контроль
    Контроль передачи данных
Расширение позволяет использовать брокеры сообщений или ETL-системы различных поставщиков для построения хранилища данных и затем аналитической отчетности, не нагружая учетные (Online Transaction Processing, OLTP) системы ресурсоемкими аналитическими (Online Analytical Processing, OLAP) запросами.
3.1. Установка расширения
Установка программного обеспечения «1С‑ПЕРСПЕКТИВА:Коннектор к КХД» описана в отдельной инструкции.
3.2. Подключение к серверу СЛК
В качестве защиты от несанкционированного использования расширения применяются технологии 1С:СЛК.

Для нормальной работы коннектора требуется развернутый сервер СЛК, доступ к нему и лицензионные ключи. Заказчику нужно самостоятельно развернуть сервер СЛК или использовать уже развернутый. Временные или постоянные лицензионные ключи поставляются вместе расширением.

Как подключиться к серверу лицензий описано в инструкции ниже.
3.3. Меню функций
Меню функций находится в разделе «Коннектор».
Рисунок 1
Ниже описан каждый элемент меню функций (Рисунок 1).

Основная группа

1. Источники данных — переход к списку источников данных.

2. Полная выгрузка — переход к полной или первичной выгрузке данных настроенных источников; более подробно указано в 3.5.1. Полная выгрузка.

3. Выгрузка остатков — переход к полной выгрузке остатков на дату настроенных источников регистров бухгалтерии; более подробно указано в 3.5.2. Выгрузка остатков.

Мониторинг

4. Анализ ошибок в журнале регистрации — переход к журналу регистрации, с установленным отбором по типу события «Ошибка», событиям, относящимся к коннектору и текущей дате.

Сервис

5. Регистрация изменений для отправки — переход к интерфейсу отображения зарегистрированных (захваченных) изменений с возможностью зарегистрировать/ снять регистрацию изменения вручную.

6. Панель администрирования — работа с регламентными заданиями коннектора и потоком измененных данных; более подробно описано в 3.5.4. Администрирование работы коннектора.

7. Каскадное создание источников — интерфейс массового создания источников данных в системе (доступен с версии 1.5.1).

Настройки

8. Настройки и параметры — переход к настройкам коннектора, подробное описание настроек находится в 3.4.4. Настройки и параметры.

9. Стандартные названия — переход к словарю стандартизированных значений пар «Название исходное» и «Название целевое» для создания источника данных, более подробная информация в 3.4.9. Стандартные названия.

10. Менеджер лицензий СЛК — форма по заполнению настроек для подключения лицензии СЛК. Подробнее см. 3.4.1. Подключение к менеджеру лицензий.

Справочная информация

11.  Задания — регистр сведений, в который записываются задания на выборку данных, формирующиеся в результате работы регламентного задания «Обработка регистрации изменений». Задания хранятся в виде ссылок на данные системы. Из заданий в многопоточном режиме формируются сообщения.

12.  Задания в обработке — регистр сведений, содержащий временные данные регламентного задания «Обработка заданий».

13.  Сообщения — регистр сведений, в котором сохраняются уже выгруженные сообщения и сообщения для выгрузки. В этот регистр попадают сообщения, сформированные источниками данных, у которых установлена отметка «Отложенная отправка», а также сообщения, которые не удалось отправить с первого раза. Здесь можно фильтровать и анализировать сообщения, а также удалять ненужные, например устаревшие сообщения.

14.  Версии источников данных — регистр сведений, в котором фиксируется изменения набора и типов полей (метаданных) источников данных.

Дополнительные настройки

15.  Группы источников данных — справочник, для объединения источников данных в группы.

16.  Обмен с коннектора с центром управления — настройка обмена данными с центром управления. Функциональность в полном объеме будет доступна с версии 1.5.1.

17.  Обмен с ADS — форма настроек элемента плана обмена, более подробно указано в 3.4.2. Обмен с целевой системой.
3.4. Настройка расширения
Для выгрузки данных необходимо определить список отслеживаемых объектов платформы 1С, после чего нужно добавить эти объекты в план обмена (подробнее указано в разделах 3.4.5. Добавление отслеживаемых объектов в план обмена при объединении конфигураций (cf-файл) и 3.4.6. Добавление отслеживаемых объектов в план обмена при использовании расширения (cfe-файл).

Поставка расширения Заказчику может осуществляться в двух вариантах: в виде cfe‑файла или cf‑файла. Добавление объектов в план обмена в разных вариантах осуществляется по-разному.

Для корректной работы коннектора требуется один раз при начальной настройке создать узел обмена.
3.4.1. Подключение к менеджеру лицензий СЛК
Путь в разделах меню: Коннектор → Настройки → Менеджер лицензий СЛК

Откроется окно с настройками менеджера лицензий, в котором нужно указать:
  • способ сохранения: «Всем пользователям»;
  • адрес и порт (по умолчанию: текущий сервер и порт 9099);
  • код доступа.
Данные для пп. 2 и 3 нужно запросить у администратора сервера СЛК.
Рисунок 2
3.4.2. Обмен с целевой системой
Создание узла для обмена с целевой системой осуществляется в отдельном окне настроек.

Путь в разделах меню: Коннектор → Дополнительные настройки → Обмен с ADS
Рисунок 3
Для создания узла плана обмена нужно выполнить следующие действия.

  1. В списке узлов плана обмена нажать кнопку «Создать», после чего откроется форма ведения узла.
  2. Ввести код (например, «C1SP»), он служит для однозначной идентификации узла плана обмена.
  3. Ввести наименование: «Коннектор».
  4. Установить галку «Регистрировать изменения» — это признак активации отслеживания изменения объектов для данного узла (должен быть установлен для нормальной работы коннектора).
  5. Нажать «Записать и закрыть».
3.4.3. Обмен с центром управления
Начиная с версии 1.5.1 Коннектор имеет функциональность для подключения нескольких баз, где расположены расширения к единому центру управления. Руководство по настройке и эксплуатации центра управления размещена в отдельной инструкции, а также на сайте Компании по адресу: http://1c-perspective.ru/connector.

Путь в разделах: Коннектор → Дополнительные настройки → Обмен коннектора с центром управления
Рисунок 4
Окно создания «Узла плана обмена» содержит следующие поля.

  • Код: например, «1» — заполняется вручную для однозначной идентификации узла плана обмена.
  • Наименование: например, «Центр управления» — наименование узла.
  • Дата актуальности: по умолчанию — пустое значение.
  • Регистрировать изменения: признак активации отслеживания изменения объектов для данного узла.
3.4.4. Настройки и параметры
Путь в разделах: Коннектор → Настройки → Настройки и параметры

Типы подключения

Выпадающий список «Тип подключения» позволяет выбрать способ подключения для выгрузки.

  • Kafka REST — выгрузка данных в REST-сервис брокера Kafka.
  • NiFi Endpoint — выгрузка данных напрямую в NiFi.
  • S3 REST — выгрузка в объекты S3.
  • REST-сервис PULL — предоставление сервисов для «вытягивания данных» в КХД (требует web-сервер).
  • REST-сервис CALLBACK — предоставление сервисов для запроса данных с последующей асинхронной отправкой в EndPoint Форсайт.

Kafka REST

При выборе первого типа подключения (Рисунок 5) появляется группа «Настройки Kafka» со следующими полями.

  • Строка подключения: путь к сервису Kafka.
  • Топик метаданных: топик Kafka для передачи метаданных.
  • Имя пользователя: пользователь для HTTP-авторизации.
  • Пароль: пароль для HTTP-авторизации.
Рисунок 5
NiFi Endpoint

При выборе второго типа подключения (Рисунок 6) появляется группа «Настройки NiFi» со следующими полями.

  • Строка подключения метаданных: полный путь к сервису NiFi для передачи метаданных.
  • Строка подключения данных: полный путь к сервису NiFi для передачи данных.
  • Имя пользователя: пользователь для HTTP-авторизации.
  • Пароль: пароль для HTTP-авторизации.
Рисунок 6
S3 REST

При выборе третьего типа подключения (Рисунок 7) появляется группа «Настройки S3» со следующими полями.

  • Endpoint/bucket: путь к бакету S3 для передачи данных.
  • Путь выгрузки метаданных: полный путь с именем сервера и бакета к виртуальной папке, куда будут выгружаться метаданные.
  • Key: ключ API для авторизации.
  • Secret: секретный ключ API для авторизации.
Рисунок 7
REST-сервис PULL

При выборе четвертого типа подключения (Рисунок 8) появляется группа «Настройки REST-сервиса» со следующими полями.
Рисунок 8
  • Максимальное количество строк: если в полной выгрузке более указанного количества строк, то сервис вернет ошибку. Ограничение нужно для того, чтобы не перегружать учетную систему и web-сервер. Стандартно 50 000, но можно после анализа нагрузки увеличивать или разбить полную выгрузку на части.

  • Максимальное время выполнения, секунд: максимальное время обработки данных. В случае превышения сервис вернет соответствующую ошибку. Если ошибка превышения времени появляется, то есть следующие способы оптимизации работы коннектора: уменьшение количества полей источников, оптимизация запросов источников данных (обратите внимание на неявные соединения) или не делать выгрузки во время пиковых нагрузок на учетную систему.

  • Сервис полного обновления: часть пути к сервису полного обновления без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так:
<имя web‑сервера>/hs/dataconnector/pull/v1/full?ds=<код ИД>

или, если у ИД есть параметры:
<имя web‑сервера>hs/dataconnector/pull/v1/full?ds=<код ИД>&<параметр>=<значение>

Если параметров несколько, то они перечисляются через &, порядок неважен.

Пример доступа к сервису для полной/ начальной выгрузки:
192.168.15.70/ib/hs/dataconnector/pull/v1/full?ds=C_СURR

  • Сервис выгрузки изменений: часть пути к сервису выгрузки изменений без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так:
<имя web‑сервера>/hs/dataconnector/pull/v1/changes?ds=<код ИД>

или, если у ИД есть параметры
<имя web-сервера>/hs/dataconnector/pull/v1/changes?ds=<код ИД>

Пример доступа к сервису для выгрузки изменений:
192.168.15.70/ib/hs/dataconnector/pull/v1/changes?ds=C_CURR

  • Сервис выгрузки остатков на дату: часть пути к сервису выгрузки остатков без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так: <имя web‑сервера>/hs/dataconnector/pull/v1/datebalances?ds=<код ИД>

или, если у ИД есть параметры
<имя web‑сервера>/hs/dataconnector/pull/v1/datebalances?ds=<код ИД>

Пример доступа к сервису для выгрузки изменений:
http://192.168.15.70/ib/hs/dataconnector/pull/v1/changes?ds=AR_MSFO&PERIOD=20 260 301

Схема взаимодействия серверов приведена в Приложении 6.
REST-сервис CALLBACK

При выборе пятого типа подключения (Рисунок 9) появляется группа «Настройки REST-сервиса «со следующими полями.
Рисунок 9
  • Сервис выгрузки данных: адрес HTTP-сервиса для передачи данных.

  • Token: ключ авторизации в Форсайт.

  • MetabaseId: имя Metabase для подключения к репозиторию Форсайт.

  • ObjKey: ключ объекта.

  • MethodName: имя метода.

  • Сервис инициации полного обновления: часть пути к сервису инициации полного обновления без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так:
<имя web‑сервера>/push/v1/fullpaginated?ds=<код ИД>

или, если у ИД есть параметры:
<имя web‑сервера>/push/v1/fullpaginated?ds=<код ИД>&<параметр>=<значение>

Если параметров несколько, то они перечисляются через &, порядок неважен.

Пример доступа к сервису для полной/начальной выгрузки: 192.168.15.70/ib/hs/dataconnector/push/v1/fullpaginated?ds=C_СURR

  • Сервис инициации выгрузки изменений: часть пути к сервису выгрузки изменений без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так:
<имя web‑сервера>/hs/dataconnector/push/v1/changespaginated?ds=<код ИД>

или, если у ИД есть параметры
<имя web‑сервера>/hs/dataconnector/push/v1/changespaginated?ds=<код ИД>

Пример доступа к сервису для выгрузки изменений: 192.168.15.70/ib/hs/dataconnector/push/v1/changespaginated?ds=C_CURR

  • Сервис инициации выгрузки остатков на дату: часть пути к сервису выгрузки изменений без имени web-сервера и параметров. Нужен для формирования пути для получения данных источников. Имя web-сервера необходимо получить у Администратора web-сервера.
Путь для полной выгрузки формируется так: <имя web‑сервера>/hs/dataconnector/push/v1/datebalancespaginated?ds=<код ИД>

или, если у ИД <имя web‑сервера>/есть параметры:
<имя web‑сервера>/hs/dataconnector/push/v1/datebalancespaginated?ds=<код ИД>

Пример доступа к сервису для выгрузки изменений:
http://192.168.15.70/ib/hs/dataconnector/push/v1/datebalancespaginated?ds=C_CURR

Схема взаимодействия серверов приведена в Приложении 6.
Сертификат SSL

Для обеспечения защищенного соединения с использованием сертификатов реализована следующая логика.

С помощью зеленой кнопки со знаком «+» можно добавить сертификат, выбрав файл сертификата в диалоговом окне (сохраняется в безопасном хранилище 1С) для соединения с сервером целевой системы. С помощью красной кнопки со знаком «крестик» можно удалить сертификат из хранилища 1С.

В поле «Пароль от сертификата» нужно ввести пароль для использования сертификата.

Если сертификат не загружен, коннектор по умолчанию использует сертификат операционной системы.
Рисунок 10
Обмен данными

Группа «Обмен данными» (Рисунок 11) содержит следующие настройки.

  • Формат обмена: формат отправки сообщений в КХД, на данный момент возможен только JSON.

  • Сообщений в пакете отправки: количество сообщений, передаваемое в целевую систему за один HTTP-запрос, может меняться в зависимости от ограничения целевой системы на размер HTTP-запроса или времени обработки пакета.

  • Разделять пакеты по источникам данных: если опция выбрана, то пакет отправки изменений будет формироваться для каждого источника данных свой; такой подход увеличивает количество обменов данными коннектора и целевой системы, но при этом вырастает прозрачность и надежность выгрузки изменений – если при формировании сообщения возникнет ошибка, то она остановит поток данных только по одному источнику.

  • Время ожидания: позволяет установить время ожидания ответа Web-сервера целевой системы; изменение настройки может помочь если, например, NiFi, который не только принимает данные, но и обрабатывает их сразу же, что может занять время, большее стандартных 30 секунд.
Рисунок 11
Служебная информация

Группа настроек «Служебная информация» (Рисунок 12) содержит следующие поля.

  • Имя адаптера (справочно, не редактируется): название коннектора, которое содержится в сообщении. Нужно для определения программы, создавшей сообщение и ее версии.
  • База данных (справочно, не редактируется): имя ИБ, из которой получено сообщение. Нужно для анализа сообщений.
  • Идентификатор базы: уникальный код базы. Нужен для анализа сообщений, полученных из ИБ с одинаковыми именами, если их несколько. Можно заполнить автоматически, создав УИД с помощью кнопки рядом.
  • Схема таблицы: целевая схема для выгружаемых данных.
  • Сообщений в пакете отправки: количество сообщений, передаваемое в целевую систему за один HTTP-запрос. Может меняться в зависимости от ограничения целевой системы на размер HTTP-запроса.
Рисунок 12
Параметры обработки заданий

Группа «Параметры обработки заданий» (Рисунок 13) содержит следующие настройки.

  • Количество потоков: количество потоков регламентного задания «Обработка заданий АДК» (используется для формирования сообщений).
  • Количество заданий в потоке: количество заданий (порция), обрабатываемых одним потоком.
  • Максимальное количество попыток отправить сообщение: когда по какой-либо причине коннектор не может отправить сообщение (ошибка в настройках, ошибка связи и т. п.), то к реквизиту сообщения «Попыток отправки» добавляется единица. Если количество попыток равно или превышает значение параметра настроек «Количество попыток отправить сообщение», то коннектор перестает отправлять такие сообщения. Параметр введен для того, чтобы меньше нагружать учетную систему попытками отправки сообщений в случае ошибок связи или ошибок настройки.
Рисунок 13
Передача данных

Группа «Передача метаданных» (Рисунок 14) содержит следующие настройки.

  • Выгружать метаданные в каждом сообщении: добавляет в каждое сообщение метаданные объекта. При установке значительно увеличивает объем передаваемых данных.
  • Выгружать метаданные с каждым элементом данных: добавляет к каждому элементу данных метаданные объекта. При установке значительно увеличивает объем передаваемых данных.
Рисунок 14
Центр управления

Группа настроек «Центр управления» (Рисунок 15) (доступна, начиная с версии 1.5.1) содержит следующие реквизиты при установленном флажке «Использовать центр управления».

  • Адрес подключения: адрес центра управления.
  • Имя пользователя: пользователь ИБ центра управления.
  • Пароль пользователя: пароль пользователя ИБ центра управления.
  • Размер порции: количество информационных сообщений, передаваемых в «Центр управления» одним HTTP-запросом (рекомендуемое значение 3), определяется администратором «Центра управления».
  • Регламентное задание: ссылка на расписание регламентного задания для отправки сообщений в «Центр управления». Перейдя по ссылке, можно настроить расписание выполнения регламентного задания.
Рисунок 15
Рисунок 16
Дополнительное логирование

Настройка «Дополнительное логирование» (Рисунок 17) содержит флажок включения расширенного журналирования действий Коннектора в справочнике «АДК: События».
Рисунок 17
Очистка сообщений

Настройка «Очистка сообщений» (Рисунок 18) содержит количество дней, по истечении которых должны удаляться отправленные сообщения из регистра «АДК: Сообщения». Сообщения удаляются регламентным заданием «Очистка сообщений» в панели администрирования см. 3.5.4. Администрирование работы коннектора. Сообщения удаляются автоматически, только в том, случае, если регламентное задание выполняется. Его можно запланировать вручную или настроить запуск по расписанию (в периоды наименьшей нагрузки на учетную систему).
Рисунок 18
3.4.5. Добавление отслеживаемых объектов в план обмена при объединении конфигураций (cf-файл)
Путь в разделах: Коннектор → Настройки → Настройки и параметры

Выбор отслеживаемых объектов осуществляется в настройках плана обмена в программе «Конфигуратор».

Путь для добавления: Общее → Планы обмена → адкОбменADS → Вкладка «Основные» → Кнопка «Состав»

В открывшемся окне нужно отметить определенные на этапе проектирования потоков данных объекты, по которым будет происходить отслеживание изменений (Рисунок 19).
Рисунок 19
Добавленные объекты можно проверить в режиме Предприятия под полными правами.

Путь: Функции технического специалиста → Обработки → Регистрация изменений для обмена данными

Далее выбираем узел обмена (Рисунок 20).
Рисунок 20
3.4.5. Добавление отслеживаемых объектов в план обмена при использовании расширения (cfe-файл)
Добавление расширения для отслеживаемых объектов осуществляется в режиме «Конфигуратор».

Путь для добавления: Конфигурация → Расширения конфигурации

В открывшемся окне нажмите «Добавить», заполните реквизит «Имя», назначение — «Дополнение», при необходимости можно изменить синоним и префикс, далее нажимаем «ОК». Требуется проставить значения как на рисунке для добавленного пустого расширения (Рисунок 21).
Рисунок 21
Нажмите на созданное расширение правой кнопкой мыши. В открывшемся окне выберите «Конфигурация» и «Загрузить конфигурацию из файла» (Рисунок 22).
Рисунок 22
В открывшемся окне выберите нужное расширение. Для загрузки расширения подтвердите загрузку во всплывающем окне (Рисунок 23).
Рисунок 23
Подтверждаем обновление конфигурации базы данных (Рисунок 24).
Рисунок 24
После того как вы добавили расширение, снимите галку безопасного режима.

Для добавления объектов конфигурации в расширение необходимо выполнить следующие шаги.

1. Переключитесь на вкладку основной конфигурации, выберите интересующий объект метаданных, далее нажмите на него правой кнопкой мыши, выберите «Добавить в расширение» (Рисунок 25).
Рисунок 25
2. На вкладке расширения раскрыть раздел «Общее» → «адкОбменADS». В открывшемся окне плана обмена нажмите правой кнопкой мыши на кнопку «Состав» (Рисунок 26).
Рисунок 26
3. В списке объектов, активируем отслеживание изменений объектов (Рисунок 27).
Рисунок 27
4. Применить изменения в конфигурации (Рисунок 28).
Рисунок 28
3.4.7. Источники данных
Для связи объекта хранения 1С с сущностью КХД используется источники данных.

Платформа 1С использует для именования объектов, их реквизитов и типов данных преимущественно кириллицу, а в хранилище данных обычно используется латиница. Также на разных платформах используются различные типы данных.
Источники данных позволяют автоматически преобразовывать название объекта и названия его реквизитов в латиницу, что удобнее для обработки и использования в КХД.

Для целевых типов данных используется спецификация Avro. Приложение 3 содержит матрицу преобразования типов 1С в Avro.
Чтобы инкрементальная выгрузка начала работать корректно, необходимо сначала сделать первоначальную выгрузку (3.5.1 Полная выгрузка), в результате чего данные объекта информационной базы 1С выравниваются с сущностью в КХД. Далее необходимо активировать захват изменений объекта, затем происходит постоянная синхронизация данных объекта ИБ 1С и сущности КХД (по расписанию регламентных заданий).
Каждый источник данных автоматически формирует запросы к базе данных для выбора изменений из плана обмена, измененных данных объектов и полной выгрузки.
Информация об источниках данных содержится в справочнике «АДК: Источники данных» (наименование в Конфигураторе — адкИсточникиДанных).

Основные настройки источника данных

  • Наименование: описание выгружаемой сущности.

  • Код: реквизит, который по умолчанию заполняется автоматически программой, используется как название источника данных в КХД, может быть изменен вручную, если существуют отличные правила именования объектов в Хранилище. Код является уникальным идентификатором и не может быть одинаковым у двух и более объектов.

  • Статус: состояние источника данных.
  1. «Бездействует» — выгрузка неактивна.
  2. «Полная выгрузка» — требуется выгрузить все данные объекта.
  3. «Начальная выгрузка» — требуется выгрузить все данные объекта, после завершения статус нужно будет изменить на «Захват изменений».
  4. «Захват изменений» — захватываются изменения по отслеживаемому объекту, связанному с источником данных.

  • Тип: принимает значение «таблица» или «запрос». В первом случае источник настраивается в полуавтоматическом режиме на базе объекта ИБ, а во втором вручную на базе запроса к ИБ.
Если требуется нестандартная выборка данных, можно использовать автоматически сгенерированные преобразования полей объекта 1С и запросы, используя тип «Таблица», затем переключить тип на «Запрос» и сохранить, после чего скорректировать описание полей, сами поля и автоматически созданные запросы.
  • Топик / путь выгрузки:
  1. топик Kafka, в который выгружаются данные,
  2. часть URL после имени сервера NiFi, на который настроен HTTPEndPoint для обработки данных,
  3. виртуальная папка S3 для выгрузки данных.
  • Полное имя: системное имя отслеживаемого объекта метаданных.

Форма ведения источников данных, вкладка «Основное» источника данных

  • Тип таблицы: тип объекта (справочник, документ и т. д.).

  • Таблица: объект конфигурации 1С, на котором построен источник данных: «Номенклатура», «Партнеры», «Реализация товаров и услуг» и т. п.

  • Подобъект таблицы: поля самого объекта, табличная часть или виртуальная таблица, если источник данных формируется для нее.

Вкладка «Запросы» источника данных

  • Запрос полный: используется для инициализационной или полной выгрузки данных объекта метаданных.

  • Запрос дельта: используется для получения измененных данных объекта метаданных.

  • Запрос изменений: читает изменения из плана обмена.

  • Параметры: параметры запросов, доступны только для ИД на базе запросов. Параметры добавляются в полный запрос и в запрос изменений для дополнительных отборов данных, добавление параметров, по которым производится отбор в запрос дельты не рекомендуется, т.к. он читает данные по уже сформированным изменениям и добавление отборов к нему может привести к некорректной работе коннектора.

Вкладка «Служебное» источника данных

  • Группа: справочник для объединения источников данных в группы.

  • Ключевые поля: обязательные поля для определения записей по объекту данных, заполняется автоматически, если используется тип источника данных «Таблица».

  • Полное имя объекта метаданных: имя объекта метаданных для захвата изменений, в качестве суффикса содержит подобъект объекта метаданных (например, «Справочник.Номенклатура.ДополнительныеРеквизиты»). Заполняется автоматически при использовании типа источника «Таблица». При использовании источника типа «Запрос» с захватом изменений может потребоваться заполнить поле вручную. Если такой ИД работает только на полную выгрузку, поле заполнять необязательно.

  • Версия состава полей: при каждом изменении состава полей автоматически создается версия источника. По версии можно определить для какого состава полей выгружались данные и реализовать, если возможно, их преобразование в последнюю версию в хранилище без повторной инициализации источника.

  • Ссылочный объект: реквизит, обозначающий, что источник данных имеет одно ключевое поле.

  • Отложенная отправка сообщений: установка галки позволяет отправлять сообщения отдельным регламентным заданием.

  • Параметры полной выгрузки: два поля, позволяющие сохранять настройки полной выгрузки для источника: количество потоков и количество записей на поток; полная выгрузка эффективнее работает, когда:
  1. количество записей на поток кратно размеру пакета,
  2. количество записей в источнике больше или примерно равно количеству записей на поток, умноженному на количество потоков,
  3. количество записей на поток более 500 (при значении меньше 10 выгрузка данных замедляется очень сильно).

Вкладка «Предпросмотр» источника данных

  • Показать метаданные: при нажатии отображаются метаданные, которые будут отправлены в хранилище для текущего ИД.

  • Показать данные: пример сообщения данных для отправки в КХД.
3.4.8. Пример настройки источника данных
Для создания источника данных необходимо заполнить обязательные поля.

  • Наименование: рекомендуется использовать автозаполнение (доступно после выбора объекта метаданных конфигурации) или вручную ввести наименование синонима объекта выгрузки.
  • Топик / путь выгрузки: узнать у владельца целевой системы, куда выгружать данные (например, «test»).
  • Статус: для типового использования выбирается либо «Бездействует», либо «Захват изменений».
  • Тип — выбирается значение «Таблица».

Вкладка «Основное»

  • Тип таблицы — «Справочник».
  • Таблица — «Организации».
  • Подобъект таблицы: «Поля» (можно выбрать табличную часть — для них всегда делаются отдельные источники).
Для заполнения исходных и целевых значений необходимо нажать кнопку «Автозаполнение», она автоматически заполнит все целевые строки и позволит избежать ошибки при ручном заполнении.
Если при автоматическом заполнении не заполнился реквизит «Название целевое», его можно заполнить, нажав дважды по ячейке и выбрав предложенный вариант. Возможно также заполнить название вручную.
После сохранения настроек источника данных важно нажать кнопку «Выгрузить метаданные» для передачи в КХД описания метаданных источника (названия полей, типы и версия метаданных). Это нужно для того, чтобы команда, настраивающая хранилище смогла обработать в КХД поток передаваемых данных, соответствующих источнику.

Пример заполненного источника данных (Рисунок 29).
Рисунок 29
3.4.9. Стандартные названия
Путь: Коннектор → Настройки → Стандартные названия

При ведении источников данных может возникнуть потребность в типовом преобразовании имен полей из кириллицы в латиницу. Такие соответствия можно вести в справочнике «Стандартные названия». Если заполнить, например, соответствие «ПолноеНаименование» и FULL_NAME, то при автозаполнении источников данных «ПолноеНаименование» не будет транслитироваться, а будет заменяться на FULL_NAME.
Рисунок 30
Использование этого инструмента поможет добиться:
  • для улучшения восприятия имен полей;
  • для более компактного наименования полей при автозаполнении, что уменьшит объем передаваемых в целевой сервис данных в формате JSON (например: POLNOE_NAIMENOVANIE — 19 байт, FULL_NAME — 9 байт или FNM — 3 байта).

Для создания стандартного соответствия необходимо выполнить следующие шаги.

  1. Нажать кнопку «Создать».
  2. Заполнить тип, стандартно — «Поле».
  3. Написать исходное наименование поля объекта метаданных (как правило кириллицей).
  4. Написать латиницей целевое название.
В поставку с коннектором входят функции Greenplum/ PostgreSQL, которые используют поле «NOMER_STROKI» для расчета дельты. Если в словарь добавить преобразование стандартного названия «НомерСтроки», например, в «RN», то функции необходимо будет актуализировать.
3.5. Функциональность расширения
3.5.1. Полная выгрузка
Путь: Коннектор → Полная выгрузка

Пример результата работы обработки «Полная выгрузка» (Рисунок 31).
Рисунок 31
Полная выгрузка используется для выгрузки всех данных источника в КХД (данные объекта/ подобъекта метаданных с учетом отбора).

Вкладка «Выгрузка»

Для запуска полной выгрузки нужно заполнить следующие поля на вкладке «Выгрузка».

  • Источник данных: источник данных, содержащий информацию для выгрузки в КХД, имеющий статус «Начальная выгрузка», «Полная выгрузка».
  • Код: справочное поле, заполняется автоматически при выборе источника данных.
  • Количество потоков: количество потоков при выгрузке. Есть значение по умолчанию (2), значение, указанное в источнике данных (заполняется при выборе источника) или можно ввести вручную.
  • Записей на поток: количество записей, обрабатываемых потоком за один раз. Есть значение по умолчанию (500), значение, указанное в источнике данных (заполняется при выборе источника) или можно ввести вручную. Выгрузка будет работать быстрее, если количество записей на поток кратно размеру пакета (при размере пакета 1000 записей должно быть 5000, 10 000, 50 000 и т. п.).
Если количество записей в источнике больше, чем количество потоков, умноженных на количество записей, то обработка этих записей идет последовательно, и каждый поток, обработав предыдущую порцию, читает следующую, пока не будут выгружены все данные источника.

Параметры подбираются экспериментально. В зависимости от требований к скорости выгрузки и нагрузки на систему.

На вкладке «Выгрузка» доступны следующие информационные поля.

  • Количество записей: количество существующих объектов метаданных в базе.
  • Начало выгрузки: время начала выгрузки.
  • Окончание выгрузки: время окончания выгрузки.
  • Блок статистики (работает корректно, если в ИБ включена оценка производительности по APDEX).

Вкладка «Журнал»

Отфильтрованные события по журналу регистрации, которые были зарегистрированы в сессии полной выгрузки. Данная вкладка не заполняется при включенной функциональности «Использовать дополнительное логирование».

Вкладка «Сообщения»

Отфильтрованные сообщения из регистра «АДК Сообщения», которые были не отправлены во время полной выгрузки, например, из-за ошибок соединения.
3.5.2. Выгрузка остатков
Путь: Коннектор → Выгрузка остатков

Обработка «Выгрузка остатков» аналогична обработке «Полная выгрузка» за исключением того, что выводится список параметров, в т. ч. дата, на которую выгружаются остатки.
Рисунок 32
3.5.3. Частичная выгрузка
Путь: Коннектор → Сервис → Регистрация изменений для отправки

Частичная выгрузка используется для выгрузки выбранных пользователем данных в КХД.
Этот способ хорошо подходит для выгрузки отдельных объектов и относительно небольших объемов данных. Если нужно выгрузить, например, данные регистра бухгалтерии за год, лучше создать источник данных на базе запроса с отбором по году. Это займет меньше времени и ресурсов сервера приложений.
Для регистрации необходимо выбрать узел обмена (Рисунок 33).
Рисунок 33
Чтобы выполнить частичную регистрацию объектов метаданных, нужно пройти следующие шаги.

1. Выбрать интересующий объект метаданных из списка.

2. Нажать правой кнопкой мыши по объекту метаданных.

3. Выбрать пункт «Зарегистрировать изменения объектов при помощи отбора» (Рисунок 34).
Рисунок 34
4. Настроить отборы (Рисунок 35) по объектам метаданных (1), нажать кнопку «Выбрать все» (2).
Рисунок 35
5. Выполнить регламентные задания для отправки сообщений в КХД.
3.5.4. Администрирование работы коннектора
Изменения отлеживаемых объектов регистрируются планом обмена «Обмен с ADS» (адкОбменADS), после чего тремя последовательными регламентными заданиями данные выбираются из ИБ, сообщения формируются и отправляются в целевую систему.
Рисунок 36
Регламентные задания

Подробнее о регламентных заданиях.

  • Обработка регистрации изменений (АДК). Выборка изменений и создание списка заданий на выборку для последующего формирования сообщений. Результат регламентного задания можно посмотреть в регистре сведений «АДК: Задания».

  • Обработка заданий (АДК). Регламентное задание в многопоточном режиме обрабатывает список заданий и формирует сообщения для передачи в целевую систему. Если в настройках источника данных снят флажок «Отложенная отправка» (по умолчанию), то задание передает сообщение в целевую систему и записывает его в регистр сведений «АДК: Сообщения» только в случае, если целевой сервис не принял его (код ответа отличается от 200). Если флажок «Отложенная отправка» установлен, то сообщение записывается в регистр сведений «АДК: Сообщения».

  • Отправка сообщений (АДК). Регламентное задание в многопоточном режиме отправляет в целевую систему ранее не отправленные сообщения, записанные в регистр сведений «АДК: Сообщения», если отправка успешна (код ответа целевого сервиса 200), то у сообщения проставляется дата и время отправки. В регистр «АДК: Сообщения» попадают сообщения, которые не удалось отправить регламентным заданием «Обработка заданий (АДК)», а также если у ИД установлен флажок «Отложенная отправка».

  • Обмен с центром управления. Передает информацию о работе коннектора центру управления (доступно с версии 1.5.1).

  • Очистка сообщений. Удаляет устаревшие отправленные сообщения из регистра «АДК: Сообщения». Срок устаревания указывается в форме настроек коннектора — см. подраздел Очистка сообщений раздела 3.4. Настройки и параметры.

Анализ работы потока данных проводится с помощью «Панели администрирования». Дополнительно можно анализировать регистры: «Задания», «Задания в обработке» и «Сообщения» (Рисунок 37).

Помимо этого, подробная информация о работе коннектора записывается в журнал регистрации информационной базы.
Рисунок 37
Панель администрирования позволяет выполнять следующие действия.

1. Управлять регламентными заданиями коннектора: выполнять, устанавливать расписание, видеть, когда регламентные задания последний раз выполнялись.
Рисунок 38
2. Видеть текущее состояние очередей данных в разрезе источников: в частности,
  • сколько объектов какого типа были изменены,
  • сколько накопилось заданий на выборку данных,
  • количество отправленных и неотправленных сообщений.
Рисунок 39

На стадии тестирования удобно запускать регламентные задания вручную. При эксплуатации коннектора следует реализовать выполнение регламентных заданий по расписанию в периоды, которые устанавливает администратор системы, балансируя нагрузку на систему и требования по времени доступности измененных данных в КХД.
4. Роли пользователей
В системах 1С используется только роль Администратора для работы с ПО «1С-ПЕРСПЕКТИВА:Коннектор к КХД».

Соответствие роли и возможностей в системе

Роль: Администратор.

Возможности в системе: полные права.
5. Фактический адрес размещения инфраструктуры разработки, разработчиков и службы поддержки
Компания-разработчик

ООО «1С-ПЕРСПЕКТИВА», ИНН 7 709 860 400

Фактический адрес размещения инфраструктуры разработки, разработчиков и службы поддержки

109 028, г. Москва, ул. Земляной Вал, 50А, стр. 2, 10 этаж.

График работы техподдержки

Работа Службы технической поддержки осуществляется в рабочие дни с понедельника по пятницу с 09:00 до 18:00 по московскому времени с перерывом на обед с 13:00 до 14:00 за исключением выходных и праздничных дней.

Контакты службы поддержки

Обращение в Службу технической поддержки обеспечивается следующими каналами связи:
  • используя 1С-Коннект 1С-Перспектива — Коннектор;
  • по электронной почте в adc_support@1C-perspective.ru в режиме 24 часа в сутки 7 дней в неделю;
  • по телефону +7 (495) 981-81-60 в рабочие дни с понедельника по пятницу с 09:00 до 18:00 по московскому времени за исключением выходных и праздничных дней.
Приложение 1. Отслеживание выгруженных данных в хранилище
Для подключения и выполнения запросов в хранилище данных можно использовать любую программу для выполнения запросов к СУБД. Здесь используется бесплатная программа DBeaver (dbeaver.io).

Стейджинговая таблица, в которой находятся выгруженные коннектором данные, представлена в схеме stg_1c (название схемы и таблиц носят рекомендательный характер и могут быть заменены командой внедрения КХД) на рисунке (Рисунок 40):

adb → База данных → adb → Схемы → stg_1c
Рисунок 40. Путь для проверки полученных изменений
Далее необходимо нажать «SQL» (Рисунок 41) для вызова редактора запросов.
Рисунок 41. Вызов редактора запросов
В редакторе можно создавать запросы. Типовые примеры ниже.
-- Вставляем из ADS ДАННЫЕ в стейджинговую таблицу
insert into stg_1c.src_table 
select * from stg_1c.nifi_to_adb;

-- Записей передано из всех источников в разрезе источников 
select data_source, count(*) from stg_1c.src_table
group by data_source;

-- Передано из всех источников 
select * from stg_1c.src_table;

-- Показываем вставленные данные
select to_timestamp(ts::double precision / 1000) sql_ts, * from stg_1c.src_table 
order by ts desc limit 100;

-- Чистим таблицу с сообщениями
truncate table stg_1c.src_table;

-- Выбираем метаданые
select * from stg_1c.src_table_metadata stm;

-- Чистим таблицу с сообщениями с метаданными
truncate table stg_1c.src_table_metadata;
Чтобы выполнить запрос, нужно его выделить или поставить курсор внутри текста запроса и нажать кнопку «Выполнить» (выделена на Рисунке 42).
Рисунок 42. Контроль запросов
Приложение 2. Формат передаваемых данных
Сообщение состоит из записей:

payload — содержит данные,

before — содержит ключи записи источника данных для операции удаления,

after — содержит все поля записи источника данных для операций вставки и обновления,

source — содержит служебную информацию о записи.

Структура записи before и after соответствует структуре и типам данных соответствующего источника данных. Ниже приведен пример для справочника валют (Рисунок 43).
Рисунок 43. Пример сообщения для справочника «Валюты»
Структура записи source:

op

Операция передаваемого сообщения:

C — первичная/ полная выгрузка (снапшот),

U — создание и модификация,

D — удаление

version

Номер версии метаданных источника

ts

Время изменения

name

Имя коннектора (служит для определения платформы)

db

Имя информационной базы

schema

Схема

connector_uid

Уникальный идентификатор инстанции, служит для разделения данных информационных баз-копий с одинаковыми именами

data_source

Код источника данных

lsn

Номер записи полной/ инициализационной выгрузки

Приложение 3. Матрица преобразования типов данных
В таблице ниже приведена матрица преобразования типов данных платформы 1С в типы данных Avro.

Тип 1С

Дополнительно

Базовый тип (Primitive type)

Логический тип (Logical-Type)

Размер (Size)

Разряды (precisiom)

Смещение (scale)

УникальныйИдентификатор


string

uuid

Нет

Нет

Нет

УникальныйИдентификатор

Можно выбрать только вручную

fixed

uuid

Да

Нет

Нет

Дата

ЧастиДаты.Дата

string

date

Нет

Нет

Нет

Дата

ЧастиДаты.Время

int

time-millis

Нет

Нет

Нет

Дата

ЧастиДаты.ДатаИВремя

int

timestamp-millis

Нет

Нет

Нет

Строка

Длина > 0

string


Да

Нет

Нет

Строка

Неограниченная длина

string


Нет

Нет

Нет

Булево


boolean


Нет

Нет

Нет

Число

Разрядность > 0

РазрядностьДробнойЧасти > 0

ИЛИ

Разрядность > 18

РазрядностьДробнойЧасти = 0

bytes

decimal

Нет

Да

Да

Число

Можно выбрать только вручную

double


Нет

Нет

Нет

Число

0 < Разрядность < 10 РазрядностьДробнойЧасти = 0

int


Нет

Нет

Нет

Число

9 < Разрядность < 19 РазрядностьДробнойЧасти = 0

long


Нет

Нет

Нет

Приложение 4. Типы сообщений, формируемые коннектором при действиях пользователя в системе
В таблице ниже описаны действия пользователя над документом, какие сообщения какого типа формирует коннектор для пары документ и регистр накопления.

№ п/п

Тип объекта

Объект

Действие в 1С

Сообщение, выгружаемое в КХД

OP

Примечание

1

Документ

Реализация товаров и услуг

Запись нового документа

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U

 

2

Документ

Реализация товаров и услуг

Добавление/ удаление строки из вкладки «Товары»

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U

Если все строки из документа будут удалены, то сформируется 1 сообщение, по таблице «Товар», номер строки — «null»

3

Документ

Реализация товаров и услуг

Проведение документа

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U

 

Регистр накопления

Выручка и себестоимость товаров


Создаются сообщения по количеству равные количеству уникальных номенклатур в документе на вкладке «Товары». Дополнительно могут выгружаться строки по закрытию периода в 1С

U

 

4

Документ

Реализация товаров и услуг

Добавление/ удаление строки из вкладки «Товары»

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U

Если все строки из документа будут удалены, то сформируется 1 сообщение, по таблице «Товар», номер строки — «null»

Регистр накопления

Выручка и себестоимость товаров

Перезапись данных по измененному регистратору в регистре

Создаются сообщения по количеству равные количеству уникальных номенклатур в документе на вкладке «Товары». Дополнительно могут выгружаться строки по закрытию периода в 1С

U

На стороне КХД необходимо идентифицировать выгрузку по регистру и удалить/проигнорировать предыдущие записи

5

Документ

Реализация товаров и услуг

Распроведен / помечен на удаление документ

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U

 

Регистр накопления

Выручка и себестоимость товаров

Автоматическое удаление записей по документу и расчету себестоимости

Все записи по документу и по закрытию периода по документу удаляются

D

На стороне КХД необходимо идентифицировать выгрузку по регистру и удалить записи по данному регистратору

6

Документ

Реализация товаров и услуг

Удаление документа из базы 1С

Создается 1 сообщение по выгрузке шапки документа. Создается 1 сообщение по выгрузке вкладки «Товары»

D

Номер строки в таблице «Товар» будет «null». Необходимо удалить из таблицы «Шапки» документа и «Товары» записи по данному регистратору

В таблице ниже описаны действия пользователя над документом, какие сообщения какого типа формирует коннектор для пары документ и регистр накопления.

№ п/п

Тип объекта

Объект

Действие в 1С

Сообщение, выгружаемое в КХД

OP

Примечание

1

Документ

Реализация товаров и услуг

Запись нового документа

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U


Регистр сведений

Распределение по бизнес-регионам

Автоматическая запись нового значения по продаже

Создается 1 сообщение с информацией по новой записи в регистре

U


2

Документ

Реализация товаров и услуг

Добавление/ изменение/ удаление бизнес-регионов в документе реализация товаров и услуг

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U


Регистр сведений

Распределение по бизнес-регионам

Автоматическое удаление предыдущей записи и добавление новой

Создаются 2 сообщения по выгрузке регистра сведений

D + U


3

Регистр сведений

Распределение по бизнес-регионам

Изменение в ручном формате строки в регистре сведений

Создаются 2 сообщения по выгрузке регистра сведений

D + U

Удаление предыдущей записи и добавление новой

4

Документ

Реализация товаров и услуг

Распроведен/ помечен на удаление документ

Создается 1 сообщение по выгрузке шапки документа. Создаются сообщения по количеству равные количеству строк в документе на вкладке «Товары»

U


Регистр

Выручка и себестоимость товаров

Автоматическое удаление записей по документу и расчету себестоимости

Все записи по документу и по закрытию периода по документу удаляются

D

На стороне КХД необходимо идентифицировать выгрузку по регистру и удалить записи по данному регистратору

5

Документ

Реализация товаров и услуг

Удаление документа из базы 1С

Создается 1 сообщение по выгрузке шапки документа. Создается 1 сообщение по выгрузке вкладки «Товары»

D

Номер строки в таблице «Товар» будет «null». Необходимо удалить из таблицы «шапки» документа и «Товары» записи по данному регистратору

Регистр сведений

Распределение по бизнес-регионам

Автоматическое удаление записи

Создаются 1 сообщение по выгрузке регистра сведений

D

На стороне КХД необходимо идентифицировать выгрузку по регистру и удалить записи по данному регистратору

Приложение 5. Объекты хранилища данных
Таблица выгруженных данных (стейджинговая таблица)
CREATE TABLE stg_1c.src_table (
	payload json NOT NULL,
	"version" text NULL,
	ts text NULL,
	name text NULL,
	db text NULL,
	"schema" text NULL,
	data_source text NULL,
	lsn int4 NULL,
	op text NULL
)
DISTRIBUTED BY ("version");
Таблица выгруженных метаданных
CREATE TABLE stg_1c.src_table_metadata (
	id serial4 NOT NULL,
	"version" int4 NOT NULL,
	ts timestamp NULL,
	"name" text NULL,
	db text NULL,
	connector_uid text NULL,
	"schema" text NULL,
	data_source text NULL,
	op bpchar(1) NULL,
	table_schema json NOT NULL
)
WITH (
	appendonly=true,
	orientation=column
)
 DISTRIBUTED BY (id);
Функции Greenplum/ PostgreSQL

Описание функций и их исходный код содержатся в поставке в файле «Функции Greenplum/ PostgreSQL для задач STG».
Приложение 6. Схема взаимодействия REST-сервисов
Рисунок 44. Схема взаимодействия REST-сервисов