Доработка BadWords - опция поиска по комментариям + показ запрещенного слова в замечаниях #3190

artbear · 2023-11-25T17:23:16Z

Описание

опция поиска по комментариям
для возможности отключения поиска в комментариях
часто выдаются срабатывания, которые не влияют на поведение системы, и не нужно их обрабатывать
по умолчанию опция выключена, т.е. поведение остается, как в исходной реализации правила
показ запрещенного слова в замечаниях
в случае хитрых шаблонов поиска бывает непонятно, на какое запрещенное слово или выражение выдано замечание.

Связанные задачи

Closes #3189

Чеклист

Общие

Ветка PR обновлена из develop
Отладочные, закомментированные и прочие, не имеющие смысла участки кода удалены
Изменения покрыты тестами
Обязательные действия перед коммитом выполнены (запускал команду gradlew precommit)

Для диагностик

Описание диагностики заполнено для обоих языков (присутствуют файлы для обоих языков, для русского заполнено все подробно, перевод на английский можно опустить)

Дополнительно

по умолчанию включено, как и в текущем варианте по умолчанию

ghost · 2023-11-25T17:24:42Z

👇 Click on the image for a new way to code review

Legend

nixel2007 · 2023-11-25T19:15:25Z

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java

@@ -44,17 +48,25 @@
 public class BadWordsDiagnostic extends AbstractDiagnostic {

  private static final String BAD_WORDS_DEFAULT = "";
+  private static final boolean FIND_IN_COMMENTS = true;


исправлено

nixel2007 · 2023-11-25T19:21:17Z

Не запускал перфоманс тест? Насколько процентов замедляется диагностика от этой доработки?

nixel2007 · 2023-11-25T19:21:48Z

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java

      while (matcher.find()) {
-        diagnosticStorage.addDiagnostic(i, matcher.start(), i, matcher.end());
+        diagnosticStorage.addDiagnostic(Ranges.create(i, matcher.start(), i, matcher.end()),
+          info.getMessage(matcher.group()));


src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java

nixel2007 · 2023-11-25T19:27:24Z

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java

-      Matcher matcher = badWords.matcher(moduleLines[i]);
+    var moduleLines = getContentList();
+    for (var i = 0; i < moduleLines.length; i++) {
+      final var moduleLine = moduleLines[i];


Многое мусорных final

Многое мусорных final

не согласен с этим,
мое мнение - final позволяют зафиксировать константность переменной, это полезно для понимания кода

но убрал все final у обычных переменных для принятия ПР!

artbear · 2023-11-26T06:43:22Z

Не запускал перфоманс тест? Насколько процентов замедляется диагностика от этой доработки?

Так это тест в CI проводится.
раз не упал, значит, потерь нет или они менее 10%

…tics/BadWordsDiagnostic.java Co-authored-by: Nikita Fedkin <[email protected]>

nixel2007 · 2023-11-26T06:53:43Z

В тесте проверяется общая производительность в параллели,а меня интересует производительность конкретной диагностики

artbear · 2023-11-26T07:02:56Z

В тесте проверяется общая производительность в параллели,а меня интересует производительность конкретной диагностики

Не проверял, но не должно быть потерь )

вариант без опции работает как и раньше
вариант с новой опцией только добавил довольно быстрый расчет номеров строк,
последовательный одноразовый проход по токенам с проверкой только номеров строк
проверка номера строки в Set также быстра

nixel2007 · 2023-11-26T07:38:52Z

Перебор токенов - это всегда медленно.

artbear · 2023-11-26T08:51:15Z

Перебор токенов - это всегда медленно.

1 Тем не менее, в нескольких диагностиках вполне себе юзается, и даже без параллельности

см. скрин

2 можно попробовать слегка ускорить через спец.стрим, как в DocumentContext::getMetrics - возможно, он работает параллельно

    int[] nclocData = getTokensFromDefaultChannel().stream()
      .mapToInt(Token::getLine)
      .distinct().toArray();

nixel2007 · 2023-11-26T10:47:56Z

Я же не говорю, что не используется) я говорю, что медленно)

Кстати, эту же информацию можно прям из метрики дёрнуть же, да? Она там предрассчитана и закэширована

artbear · 2023-11-26T11:19:29Z

Кстати, эту же информацию можно прям из метрики дёрнуть же, да? Она там предрассчитана и закэширована

Да, нужный массив предрассчитан в метрике.
Воспользуюсь, если есть доступ.

Нормально для диагностики брать данные из метрики ?
не запрещено?

nixel2007 · 2023-11-26T12:42:12Z

Не, не запрещено. Мало того, оно все равно дернется в какой-то момент - цикломатикой/когнитивкой, запросом метрик в сонаре или явно при перфоманс тесте

использую предрассчитанное значение из метрик

artbear · 2023-11-26T12:45:45Z

Кстати, эту же информацию можно прям из метрики дёрнуть же, да? Она там предрассчитана и закэширована

использовал предрассчитанное значение, запушил

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java

nixel2007 · 2023-11-27T06:30:06Z

Спасибо!

artbear added 3 commits November 25, 2023 19:32

опция для поиска в комментариях

a0e8d51

по умолчанию включено, как и в текущем варианте по умолчанию

запрещенное слово показывается в тексте замечания

7c945e1

precommit

9e58bed

nixel2007 reviewed Nov 25, 2023

View reviewed changes

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java Outdated Show resolved Hide resolved

nixel2007 reviewed Nov 25, 2023

View reviewed changes

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java Outdated Show resolved Hide resolved

nixel2007 reviewed Nov 25, 2023

View reviewed changes

artbear and others added 3 commits November 26, 2023 09:43

Update src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnos…

1e31e77

…tics/BadWordsDiagnostic.java Co-authored-by: Nikita Fedkin <[email protected]>

Update src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnos…

8763be8

…tics/BadWordsDiagnostic.java Co-authored-by: Nikita Fedkin <[email protected]>

замечания из ПР

1009afa

ускорил реализацию правила

3020c65

использую предрассчитанное значение из метрик

github-advanced-security bot found potential problems Nov 26, 2023

View reviewed changes

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java Dismissed Show resolved Hide resolved

nixel2007 reviewed Nov 26, 2023

View reviewed changes

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java Show resolved Hide resolved

nixel2007 reviewed Nov 26, 2023

View reviewed changes

src/main/java/com/github/_1c_syntax/bsl/languageserver/diagnostics/BadWordsDiagnostic.java Show resolved Hide resolved

nixel2007 approved these changes Nov 27, 2023

View reviewed changes

nixel2007 merged commit 782ef5e into 1c-syntax:develop Nov 27, 2023
19 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Доработка BadWords - опция поиска по комментариям + показ запрещенного слова в замечаниях #3190

Доработка BadWords - опция поиска по комментариям + показ запрещенного слова в замечаниях #3190

artbear commented Nov 25, 2023 •

edited

Loading

ghost commented Nov 25, 2023 •

edited by ghost

Loading

Legend

nixel2007 Nov 25, 2023

artbear Nov 26, 2023

nixel2007 commented Nov 25, 2023

nixel2007 Nov 25, 2023

nixel2007 Nov 25, 2023

artbear Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 27, 2023

Доработка BadWords - опция поиска по комментариям + показ запрещенного слова в замечаниях #3190

Доработка BadWords - опция поиска по комментариям + показ запрещенного слова в замечаниях #3190

Conversation

artbear commented Nov 25, 2023 • edited Loading

Описание

Связанные задачи

Чеклист

Общие

Для диагностик

Дополнительно

ghost commented Nov 25, 2023 • edited by ghost Loading

Legend

nixel2007 Nov 25, 2023

Choose a reason for hiding this comment

artbear Nov 26, 2023

Choose a reason for hiding this comment

nixel2007 commented Nov 25, 2023

nixel2007 Nov 25, 2023

Choose a reason for hiding this comment

nixel2007 Nov 25, 2023

Choose a reason for hiding this comment

artbear Nov 26, 2023

Choose a reason for hiding this comment

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 26, 2023

artbear commented Nov 26, 2023

nixel2007 commented Nov 27, 2023

artbear commented Nov 25, 2023 •

edited

Loading

ghost commented Nov 25, 2023 •

edited by ghost

Loading