Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Пропускаются некоторые записи #49

Open
partyzan543 opened this issue Jan 30, 2023 · 2 comments
Open

Пропускаются некоторые записи #49

partyzan543 opened this issue Jan 30, 2023 · 2 comments

Comments

@partyzan543
Copy link

Добрый день! Благодарю за ваш труд!
Присутствует такая проблема, как пропуск некоторых записей при импорте.
Берем файл лога (скажем общий за день) и импортируем в любой приемник (elastic или clickhouse) и при фильтрации за тот же период в самой 1С видим, что записей больше. Находим недостающую запись - в файле лога она есть.
Проводим эксперимент. Создаем пустой файл лога, в него вписываем те проблемные строки которые не импортировались - Eventlog их нормально импортирует. То есть проблема не в самих записях, а в том, что по каким то причинам при массовом импорте некоторые строки пропускаются.
Пробовал уменьшить в конфиге пачку обработки с 10000 до 1 записи - Результат тот же.
Не могли бы проверить в чем может быть проблема?

@partyzan543
Copy link
Author

partyzan543 commented Feb 7, 2023

Подебажил дополнительно. Записи на самом деле не пропускаются, у них просто не все поля имеют значения, поэтому если селектить из clickhouse, по предполагаемым параметрам, то их не видно.
Если вычленить "проблемные записи" в отдельный файл и скормить Eventlogу, то записи нормально импортируются со всеми нужными полями.
То есть такое ощущение, что при обходе файла то ли из за нечитаемых символов, либо из за отсутствия символов перевода строки или чего то еще объекты парсятся неправильно и по мере обхода файла данные "уезжают" и становятся недостоверными.
А вот если они в составе общего файла, то почему то на некоторых отсутствует пользователь и Данные.Проведение почему то становятся Данные.Добавление.

@deevil
Copy link

deevil commented Oct 24, 2023

@partyzan543 может проблема с чтением LGF файла?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants