-
Notifications
You must be signed in to change notification settings - Fork 89
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[database_talker] add database_talker #1388
base: master
Are you sure you want to change the base?
Conversation
all done, ready まではいくようになりました。 |
all done readyから先にもトラップが何重かありました. |
@k-okada どういうデモのプログラムか聞いてないんですが全体像としてはどういうものなのですか? |
@sktometometo hoge.pyで以下の画像のようなことができるようになります. メモ書き
やらなくていいことリスト
やったらいいことリスト
@mqcmd196 リスト
|
inputはチャット? |
チャットがinputになっています |
昨日の作業を簡単にまとめておくと
ことが必要でした.
常時Fetchで動かすには
あたりが必要かと思いました. すごく面白いシステムになりそうだと昨日デバグしながら思っていましたが,この仕組みをそのまま常時動かすのは,今後のデバグが結構面倒な気がするので,常時動かす際にはもう少しシンプルなシステムにできないものかとおもいました. cc: @a-ichikura @mqcmd196 |
database_talker/launch/demo.launch
Outdated
<include file="$(find jsk_perception)/launch/classification.launch"> | ||
<arg name="run_api" value="true"/> | ||
<arg name="CLASSIFICATION_INPUT_IMAGE" value="$(arg INPUT_IMAGE)"/> | ||
</include> |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
I think this and other nodes that need GPU should split launch file because those nodes are usually launched at remote PC such as dlbox.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Or another option, we may use something like machine tag
and these inference nodes automatically launches at remote PC.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@mqcmd196 will privde 24/7 API service at dlbox until 12:00 today, so we only set 'run_api' to false and add host
here.
database_talker/scripts/hoge.py
Outdated
return text | ||
|
||
def translate(self, text, dest): | ||
return Translated(text=text, dest=dest, src="en", origin="unknown", pronunciation="unknown") |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
https://gist.github.com/k-okada/a22cc574d398937d0f4726edef4cad77
で 18.04のgoogletrans 2.4.0 にパッチ充てると,この行を消せると思います.確認してみてください @tkmtnt7000
で,これで日本語ベースでやり取りするのが出来ると思います.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
ありがとうございます.確認してみます.
rosパッケージ化してしまえば,catkin_virtualenvを使ってpython3環境でgoogletrans==3.1.0a0
をバージョン指定して入れるような感じでもいいのかなと考えていました.
result = {'message': message, | ||
'message_translate': message_translate, | ||
'timestamp': timestamp, | ||
'similarity': difflib.SequenceMatcher(None, query, message_translate).ratio(), |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
保存されているchatのメッセージと,make_replyのqueryの類似性の計算方法がよく分かっていないので,
@a-ichikura に解説してもらいたいです.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
@a-ichikura kindly ping
関連するパッケージのPRがマージされているのでfetchのdevelopブランチにマージしてapp_chooserから起動できるようにしておこうと思います.パッケージの名前等変更したほうが良ければこのタイミングで変えておきます. |
|
@tkmtnt7000 Can you create new PR from this branch? |
この機能は全ロボットで常時動いたら良いので、fetch/develop としては、
|
そうなると思います.jsk_robotに出ているjsk-ros-pkg/jsk_robot#1792 と https://github.com/tkmtnt7000/jsk_robot/blob/cd0a897deb224038674e88ac7599502f7caf5d59/jsk_robot_common/jsk_robot_startup/launch/sample_database_talker.launch を使って追加で常時起ち上げられるようにします.
現状はは73B2に置かれているdlbox15で一時的に手動で起ち上げっぱなしにしています.GUIでポチポチできると嬉しいかなと思っています(イメージとしてはsystemdのseviceファイルを書いてcookpitのようなものを使う)が,このあたりは手を付けていません.
画像と音声の問い合わせに時間がかかっています.検索結果が空の場合はは指定した時間分すべてを走査するので特に返ってこない,という印象です.muscaのスペックの問題かこちらのQueryの投げ方が悪いのか,,,などまだ問題ごとに調べきれていないので調査中..というところです. |
message typeを指定しないと早いのはおそらくそうで,以下のスクリプトでタイプを指定しないで引っ張ってくるように検証するとおよそ5時間分/1400枚の画像をdumpするのに5分でした. robot_database_mongo_dump.py: https://gist.github.com/tkmtnt7000/11bdace2ff71354a65b42aa07b4c2f21
5分でもインタラクティブなやり取りには長いと感じているので,人間が夢を見ながら記憶整理をするように,ロボットも夜の間に記憶整理(夢を見る)と称してオフライン処理をしても良いかもしれないと思いました. |
環境構築には成功しましたがbson packageでエラーになりました。
bsonのversionは
です。 ちなみに、
になるのはaibo(karashi)が起動していないからですか? |
pymongoをとりあえずupgradeしてみましたが結果は変わらずです。
|
|
ありがとうございます。
pip である必要はないので、aptで入れ直したのですが同じエラーでした…
デスクトップで試していたので、webカメラを指したらエラーなくなりました。ありがとうございます。 |
ごめんなさい
で動くとおもいます.
としてみて下さい. |
したのですが、
どちらも同じエラー(mongodb_storeがない)になりました。
|
|
ありがとうございます。
|
あれ?カメラ変? |
変ですね‥webカメラ変えたら正常になったので、カメラが問題のような気がします。 プログラムは正常です。 |
エンコード関係かもしれないですね。Windowsとかでカメラつなげて、Zoom?か何かで見てみて、ちゃんと写っているなら、カメラ問題ではなくて、ソフトウェア側の問題だと切り分けられます。 https://github.com/sktometometo/jsk_demos/blob/c361fd491a22f9a52358f62b350c0b900a0a628b/database_talker/sample/sample.launch#L18-L19 |
… add missing imports
…estamp of VQA results
…ending chat is failed
…urred, also check similarity with past 10 sentences
…et_manager, start_mongodb
…om self.start_date
…ause data retrieval from Lovot is only supported on daily basis, so we must replacate them on the next day
@k-okada
hoge.py を追加し、スタンドアロンで動作するようにしているパッケージです。
現在動作確認中です.
CC: @tkmtnt7000