Vector_TechJournal. Парсинг технологического журнала 1С

• Назначение
  • Возможности
• Реализация
• Запуск
• План реализации
• Лицензия

Назначение

Данный проект создан для того чтобы искоренить боль от использования технологического журнала.

Использование ТЖ должно свестись к трем простым действиям.

• Настроил ТЖ
• Запустил сборщик
• Приступил к анализу.

Возможности

• Vector_TechJournal - это конфигурация Vector для разбора и трансформации файлов технологического журнала
• Предоставляет возможности чтения файлов ТЖ
• В планах реализация разбора всех известных событий ТЖ.
• Выгрузка результатов парсинга в различных форматах
  • В файлы в различных форматах
  • В в консоль
  • В Clickhouse
  • В Loki и другие аггрегаторы логов
• Возможность масштабирования решения в случае большего объема логов

Реализация

Продукт представлен в виде docker-compose файла и пригоден для запуска в любой среде поддерживающей контейнеры, а так же файлов конфигурации для него. Конфигурация обработки каждого отдельного вида событий находится в ./config/transformations/<EventName>.vrl

Запуск

Для запуска разбора технологического журнала достаточно:

• Подготовить базу данных clickhouse
  • Создать базу
  • Создать таблицы скриптами из папки sql_scripts
• Переименовать docker-compose.yaml.example в docker-compose.yaml, и techJournal.env.example в techJournal.env
• Отредактировать файл techJournal.env
  • указать необходимые события которые вы планируете хранить
  • Задать параметры авторизации в Clickhouse
• В файле docker-compose.yaml указать в Volume параметры подключения к папке с логами.
• docker-compose up -d

Планы

• Дописать разбор самых востребованых событий.
• Отладить и оптимизировать разбор.
• Добавить словари для "Очеловечивания" информации
• Реализовать фронтенд для удобного просмотра и анализа ТЖ

---

Лицензия

Distributed under the Apache License, Version 2.0