index improvements

[pkaptur]

Повысить надёжность чтения индексов при загрузке логов

Что изменено

• Защищено чтение индексов, пока загрузчик добавляет строки. Это устраняет риск ошибок и чтения неполных данных при одновременной работе загрузчика и интерфейса.
• Добавлен кэш для счётчиков и подсчёта строк по значениям фильтра. Результат обновляется при появлении новых строк или ключей.
• StringPool теперь сохраняет не более 64 строк каждого размера, чтобы не удерживать весь исторический пик использования памяти.
• LineProvider проверяет размер запрашиваемого диапазона и сообщает об ошибке, если диапазон превышает 2 ГБ.
• LineIndex сообщает о новых строках и завершении загрузки через сигнал. Раньше ожидающий читатель проверял состояние раз в 250 мс.

Изменения перенесены выборочно. В LongsLeaf сохранена корректная логика поиска из LogGrokX. Парсер и его поддержка продолжений строк и времени не изменялись.

Результаты замеров

В локальных микрозамерах повторное чтение счётчиков перестало выделять временную память: раньше на одно обращение выделялось около 2 КБ, теперь — 0. Подсчёт по значению фильтра при 256 ключах стал примерно в 900 раз быстрее.

При построении индекса для 100 000 значений объём временных выделений памяти снизился примерно вдвое: с 803 до 413 КБ. Время выполнения осталось примерно тем же.

Эти цифры относятся к отдельным внутренним операциям. Общее время открытия файла и скорость интерфейса не измерялись.

Проверка

Добавлены тесты для одновременной записи и чтения индексов, обновления кэша, ограничения StringPool, слишком большого диапазона чтения и пробуждения LineIndex. Отдельный тест проверяет корректность поиска в LongsLeaf.

• dotnet build LogGrokX.sln -t:Rebuild — успешно, 0 предупреждений и 0 ошибок.
• dotnet test LogGrokX.sln — пройдены все 303 теста.

Компромисс

Для безопасного чтения LongsLeaf заранее резервирует память под лист индекса. Это увеличивает начальное потребление памяти у небольших файлов: первый лист резервирует около 256 КБ.