シミュレーション大会のWebBeta版テストサポート

[taikitanaka3]

背景
今回のAIChallengeではWebの大型updateが入ります 👍

改善
後ほどのアナウンスとなります。ご期待ください！！！

お願い
この機能のテスターの方をイベント参加者の方から募集しました。
web環境に提出してみてKnown Issue and Work In Progressの項目にない違和感のある挙動や事象に関して報告いただけると大変助かります。

Done

• AWSIM のupdate。
• 車速が20km/h程度になってしまう。
• 空がビビッドに表示される。
• 距離点が0-100%で表示される。
• build開始時にページがまっさらになる
• 提出ボタンの注意書きの修正
  

Known Issue and Work In Progress

• 順位のバグ　https://github.com/AutomotiveAIChallenge/aichallenge2023-racing/issues#issuecomment-1848070194

Won't Fix

• NPCに後ろから追突される。
  • 追突されるリスクもあるのでそれも加味したマージンを考慮した走行計画をしていただく形になります。

[MasanoriSuda]

暫定順位表の2位のチームの距離点が最も低くなっています

[taikitanaka3]

@MasanoriSuda
ご報告ありがとうございます。
いままで0-5700点の距離点が0-100%として距離点が表示されるようになったものでスコアには問題はありませんが、タイムが短いほうが優先されない事象が気になっております。

@waterfallmouse
＃１，＃２ともに完走できているのでタイムが早いほうが優先されるため、AIチャレンジ事務局が test1よりも上位にいるものと思われます。

こちら12/11日くらいまでに対応いただけると助かります。

[taikitanaka3]

@MasanoriSuda
こちら解決されました。ご報告ありがとうございました。
@waterfallmouse
ご対応ありがとうございました。

距離点形式が変更された点に関しては14日まで対応いたしませんのでご了承ください。

[seigot]

遅くなってしまいましたがWebBeta版テストをしてみました

テスト内容/手順

• 以下アップロード手順を参照し、サンプルコードのアップロードを行う.
  https://automotiveaichallenge.github.io/aichallenge2023-racing/online/index.html
• サンプルコードは何回か提出する（1日上限3回）
• 一部サンプルコードを微修正してみる

結果

• アップロード手順を参照する事で特に詰まる事なくアップロードできた
• サンプルコードを1日上限3回提出できた、4回目は期待通り提出できなかった
• サンプルコードの変更が反映されているように見える（タイムが短くなる変更をしたらタイムが短くなった）

違和感（不具合か迷った）

• 最初の提出は順位表に反映されたが、2回目以降の結果は順位表に反映されていないような気がする。
  　もし1回目の提出がベストスコアなら正しい挙動だが、2~4回目の提出がハイスコアなら期待する挙動ではない、かもしれない（添付画像）

[taikitanaka3]

@seigot
ご報告ありがとうございます。
@waterfallmouse

2回目以降の結果は順位表に反映されていない

こちら提出の際のタイムが小さいほうが選択されているかなど、12/11日くらいまでに解析 or 対応いただけると助かります。

[MasanoriSuda]

アップロード履歴のタイムが345.43のときのAWSIMの結果をキャプチャします。
走行時間はほぼ4分のようですが、345秒とみなしても3分45秒とみなしても数値が合わなかったので
なぜこの値になるのか気になりました。

[seigot]

確かtimeは、output/result.jsonの結果を元に表示していたと思うのでそちらの出力の仕組みを確認すれば答えがわかるかもしれません。
例えば前回は走行開始（のtopicが飛ぶ）〜走行終了（のtopicが飛ぶ）までをtimeとしていたので、今回も同様であれば4分のうち開始／終了の区間をtimeとしているかもしれません、
これをどこかのnodeが担っていると思うのですがこれは探し中。。

[taikitanaka3]

@MasanoriSuda @seigot
正確な回答ができず申し訳ありませんが、こちら関係していますでしょうか？
https://automotiveaichallenge.github.io/aichallenge2023-racing/rule/index.html#%E7%B5%90%E6%9E%9C%E3%81%AE%E3%83%AD%E3%82%B0%E5%BD%A2%E5%BC%8F

[MasanoriSuda]

情報ありがとうございます。
Violations and Penaltiesのペナルティ時間の加算の見落としが関係していました。
生の走行時間＋ペナルティ時間がタイムとして表示されているようです。
生の走行時間が245秒、軽微ペナルティが10回(5秒)、重大ペナルティが5回(10秒)
という認識ですので、345秒は正しい結果のようです。
以下、result.jsonの参考
{
"rawLapTime": 245.428375,
"distanceScore": 100.0,
"lapTime": 345.428375,
"isLapCompleted": true,
"isTimeout": false,
"trackLimitsViolation": [
3,
6,
4,
1,
0
],
"collisionViolation": [
1,
0,
0,
0
]
}