issue-2969: add hive reconnect time counter #2970
Conversation
yegorskii
added
large-tests
| } else if (msg->ClientId == HiveClientId && ReconnectStartTime) | ||
| { | ||
| if (ReconnectPipeCounter) { | ||
| ReconnectPipeCounter->Add( |
There was a problem hiding this comment.
этот счётчик показывает суммарное время всех реконнектов к Hive?
точно ли это полезная информация?
может считать среднее время реконнекта?
или перцентили
There was a problem hiding this comment.
Реконнект всего один(hive-то один и pipe client по факту тоже только один) при разрыве. Мы откладываем время только после восстановления соединения. Не вижу смысла в гистограммах или перцентилях пока
There was a problem hiding this comment.
Но по факту да, суммарное время реконнектов за 15 секунд
There was a problem hiding this comment.
Нам это нужно что тыкать этим в YDB, когда hive слишком долго поднимается. Обсуждали с ними, такой метрики им достаточно
| @@ -307,6 +340,12 @@ void THiveProxyActor::HandleConnectionError( | |||
|
|
|||
| for (const auto& actorId: states->Actors) { | |||
| auto clientId = ClientCache->Prepare(ctx, hive); | |||
| if (!HiveClientId) { | |||
| HiveClientId = clientId; | |||
There was a problem hiding this comment.
зачем нужен HiveClientId?
There was a problem hiding this comment.
Чтобы понять что текущий сдох после разрыва соединения. Судя по коду UnboundClientCache если клиент получает сообщение о разьединении то его просто убивают
| @@ -177,14 +177,28 @@ class THiveProxyActor final | |||
|
|
|||
| const ui64 TenantHiveTabletId; | |||
|
|
|||
| const NMonitoring::TDynamicCounterPtr CountersRoot; | |||
| @@ -177,14 +177,28 @@ class THiveProxyActor final | |||
|
|
|||
| const ui64 TenantHiveTabletId; | |||
|
|
|||
| const NMonitoring::TDynamicCounterPtr CountersRoot; | |||
| NMonitoring::TDynamicCounters::TCounterPtr ReconnectPipeCounter; | |||
There was a problem hiding this comment.
HiveReconnectTimeCounter
| @@ -177,14 +177,28 @@ class THiveProxyActor final | |||
|
|
|||
| const ui64 TenantHiveTabletId; | |||
|
|
|||
| const NMonitoring::TDynamicCounterPtr CountersRoot; | |||
| NMonitoring::TDynamicCounters::TCounterPtr ReconnectPipeCounter; | |||
| ui64 ReconnectStartTime = 0; | |||
| @@ -216,6 +239,13 @@ void THiveProxyActor::HandleConnect( | |||
| auto error = MakeKikimrError(msg->Status, TStringBuilder() | |||
| << "Connect to hive " << hive << " failed"); | |||
| HandleConnectionError(ctx, error, hive, true); | |||
| } else if (msg->ClientId == HiveClientId && ReconnectStartTime) | |||
There was a problem hiding this comment.
зачем понадобился HiveClientId, почему не хватает проверки ReconnectStartTime?
There was a problem hiding this comment.
Чтобы подстраховаться от возможных гонок
| namespace NCloud::NStorage { | ||
|
|
||
| //////////////////////////////////////////////////////////////////////////////// | ||
|
|
||
| NActors::IActorPtr CreateHiveProxy(THiveProxyConfig config); | ||
| NActors::IActorPtr CreateHiveProxy( | ||
| THiveProxyConfig config, | ||
| NMonitoring::TDynamicCounterPtr CountersRoot); |
| if (config.FallbackMode) { | ||
| return std::make_unique<THiveProxyFallbackActor>(std::move(config)); | ||
| } |
| HiveReconnectTimeCounter->Add( | ||
| CyclesToDuration(GetCycleCount() - HiveReconnectStartTime).MicroSeconds()); | ||
| } | ||
| HiveReconnectStartTime = 0; |
There was a problem hiding this comment.
HIveReconnectStartCycles
| for (int retries = 0; retries < 5 && !hiveLockRequests; ++retries) { | ||
| // Pipe to hive may take a long time to connect | ||
| // Wait until hive receives the lock request | ||
| runtime.DispatchEvents(TDispatchOptions(), TDuration::Seconds(1)); | ||
| } |
#2969