[SNU] 창의적통합설계 과제 진행

[myungjoo]

서울대 창의적통합설계 과제 진행을 위한 토론 및 정보 공유 페이지 입니다.

NNStreamer에 대한 기술적인 질문이나 제안은 Github Issue에 바로 올려주시면 되며,
과제 내용 논의는 본 페이지에서 해주시면 됩니다.

SLACK: nnstreamer.slack.com (nnstreamer 개발자들은 잘 쓰지 않으나, 과제원들끼리 channel 만들어 사용하셔도 됩니다.)

CC: @anyj0527 @jijoongmoon

[Jhuni0123]

안녕하세요, 진행상황 공유 및 질문을 위해 글 남깁니다.

현재 face mesh tensor decoder를 개발중입니다.
포크 브랜치에서 작업 중입니다. (임시 PR: Jhuni0123#1)

decoder는 아래와 같은 파이프라인을 통해 테스트 해보며 개발하고 있습니다.

gst-launch-1.0 v4l2src ! videoconvert ! video/x-raw,format=RGB,width=1280,height=720,framerate=30/1 \
        ! videocrop left=280 right=280 ! videoscale ! video/x-raw,format=RGB,width=720,height=720,framerate=30/1 \
        ! tee name=t \
    t. ! queue leaky=2 max-size-buffers=2 ! videoscale ! video/x-raw,format=RGB,width=192,height=192 \
       ! tensor_converter \
       ! tensor_transform mode=arithmetic option=typecast:float32,add:-127.5,div:127.5 \
       ! tensor_filter framework=tensorflow-lite model=models/face_landmark.tflite \
       ! tensor_decoder mode=face_mesh option1=mediapipe-face-mesh option2=720:720 option3=192:192 \
       ! compositor name=mix sink_0::zorder=2 sink_1::zorder=1 ! videoconvert ! autovideosink \
    t. ! queue leaky=2 max-size-buffers=10 ! mix.

이 decoder에서 지원할 계획인 모델은 mediapipe에서 제공하는 모델 2개였습니다. (https://google.github.io/mediapipe/solutions/models.html#face-mesh)
하나는 얼굴 표면에 점을 찍어주는 face mesh 모델 (face_landmark.tflite)
하나는 정확도를 높인 눈, 입술 등의 정보를 추가적으로 주는 attention mesh 모델 (face_landmark_with_attention.tflite) 입니다.

현재 첫번째 모델은 잘 실행되어서 문제없이 개발할 수 있을것으로 보입니다.
다만 두번째 모델은 custom op을 사용하고 있어서 그대로는 실행이 안 되는 것 같습니다.

ERROR: Encountered unresolved custom op: Landmarks2TransformMatrix.
See instructions: https://www.tensorflow.org/lite/guide/ops_custom
ERROR: Node number 192 (Landmarks2TransformMatrix) failed to prepare.

#3778 이 이슈와 관련이 있을 것 같은데 혹시 현재 해결방법이 있을까요?

그리고 이건 별개의 질문인데, 현재 테스트하고 있는 파이프라인에서는 인풋 비디오를 전체를 downscale 해서 모델에 넘겨주고 있는데, 이렇게 할 경우 얼굴이 화면 중앙에서 멀어지거나 뒤로 멀어져서 화면에서 차지하는 크기가 작아질 경우 정확도가 많이 떨어집니다. mediapipe에서는 face detection을 통해서 얼굴 위치를 특정한 다음 얼굴 부분을 crop 하여 face mesh 모델에 넘기는것으로 보이는데, nnstreamer (gstreamer) 에서 그런식으로 만드는 것이 가능할까요?

[anyj0527]

attention mesh 모델에서 발생하는 custom op의 경우 #3778 을 해결해야 nnstreamer 에서 사용할 수 있습니다. 아직 이를 해결하고 있지는 않아서 당장은 이 모델을 사용하기는 어려울 것 같습니다. 디코더가 다양한 모델을 지원함을 보여주려면 또 다른 모델을 찾아봐야할 수도 있을 것 같습니다. 혹은 #3778 을 일단 해결할 수도 있구요..

그리고 특정 부분을 crop 하는 부분은 tensor_crop 이라는 element 를 확인해보세요 (#3750). 하지만 실제 예제에 적용하기 어려울 수도 있습니다. 이 때는 어쩔 수 없이 bash 에서의 pipeline이 아니라 예제 앱을 작성하셔야할 것 같습니다. face detection 을 사용하는 pipeline 에서 나온 정보를 토대로 비디오 이미지를 crop 해서 face mesh 가 포함된 pipeline에 넘기는 형태로 앱이 동작할 것 같습니다.

[Jhuni0123]

답변 감사합니다! 우선은 tensor_crop 활용하여 예제 앱을 만드는 쪽으로 진행해보고, 여유가 된다면 custom op쪽도 한 번 건드려보는 방향으로 해보는게 좋겠네요

[myungjoo]

crop --> video/x-raw --> videoscale (일정한 크기로 재조정) --> tensor_converter
형태로 진행하시면 crop된 결과를 일정한 크기의 video로 만들어 쓰실 수 있지 않을까요?

[Jhuni0123]

현재 crop 까지는 완료한 상태인데, 결과로 나온 flexible tensor를 일정한 크기의 video/x-raw로 변환하려면 어떻게 하는게 좋을까요?
tensor_decoder mode=direct_video 는 flexible tensor에 대해서 정상적으로 실행되지 않는 것 같습니다.

** (main:117816): CRITICAL **: 22:22:51.050: dv_getOutCaps: assertion 'config->info.num_tensors >= 1' failed

애초에 video/x-raw가 flexible한 크기를 가질 수 있는지, 만약 그렇지 않다면 custom decoder를 이용해서 직접 구현해야 하는지 궁금합니다.

[gichan-jang]

현재는 custom decoder를 활용하여 변환해야 할 것 같습니다.
제 개인적인 생각으로는 구현하시는 flexible tensor (video)를 고정된 사이즈의 비디오로 변환하는 것은 다른 분들도 활용 하실일이 있을 것 같아 나중에 tensor decoder의 새로운 sub-plugin으로 추가하시는 것도 좋을 것 같습니다.

[ryul99]

안녕하세요,
진행 상황 공유드리면서 저희가 생각한 앞으로의 계획 중에 질문드릴 것이 있어서 글을 남깁니다.

현재까지 구현된 사항은 크게 변하지 않아서 MediaPipe의 Face Landmark의 점들을 눈, 코, 입의 구분선을 그리지 않고 그대로 찍고 있습니다.
여기에 더해서 구현해보려 생각했던 것이 다음과 같습니다.

1. Example App를 작성하여 face detection으로 crop 후 face landmark 모델 인퍼런스 하는 것
2. 눈, 코, 입 등 얼굴 주요 부위들의 구분선을 그리는 것
   • face landmark의 위치들이 얼굴의 정해진 위치들이라서 landmark의 Ground Truth 위치가 표현되어 있는 사진을 보고 이을 점들을 정해서 이으면 구현이 가능할 것으로 예상됨
3. threshold를 argument로 받아 얼굴이 아닌 것으로 예측되면 landmark를 그리지 않는 기능
4. MediaPipe외의 추가 모델 지원 (Optional하게 할 수 있으면 하는 식으로 진행해볼 예정)

이들 가운데 1번과 2번을 우선적으로 구현해보려 합니다.

---

4번 항목에 대해서 어떤 모델을 지원할 지 조사해보면서 다음 링크들을 찾았습니다.

• https://github.com/cunjian/pytorch_face_landmark
• https://paperswithcode.com/task/facial-landmark-detection

조사를 통해 알게된 것이 모델들이 어느정도 output양식이 데이터셋을 따라가서 비슷한 것을 발견할 수 있었습니다. (이미지는 첫번째 링크인 cunjian/pytorch_face_landmark 에서 가져온 것이고 MediaPipe는 여기에 나오지 않은 468개의 Landmark를 사용하고 있었습니다)

그렇다면 모델이 아니라 데이터셋을 argument로 전달받아 Tensor Decoder를 구현하면 좀 더 효율적이지 않을까? 라는 생각을 했습니다.
하지만 Object Detection쪽 Tensor Decoder 코드를 찾아보니 Dataset인 COCO를 argument로 받는 것이 아니라 모델인 YOLO를 받는 듯 했습니다.
추정하기로는 model checkpoint만 받아서 돌려서 model의 후처리도 Tensor Decoder에서 진행되어 model을 argument로 받는 것 같았습니다.

Face Mesh Tensor Decoder에서 Dataset을 argument로 받는 것과 Model을 argument로 받는 것 중에 어느 방식이 더 나을까요? Model의 Output양식이 Dataset을 따라가는 경향이 있어보여서 Dataset을 기준으로 구현하는 것이 나아보이지만 만약 model의 후처리가 Tensor Decoder에서 필요하다면 Dataset을 기준으로 하는 방식은 문제가 있을 듯 합니다.

---

요약하자면,

1. 저희가 생각해본 작업 목표에서 1. face detection적용과 2. 눈코입 구분선 그리기를 우선적으로 진행하려고 하는데 작업 목표와 우선순위에 대해서 조언이 있으시다면 부탁드리겠습니다.
2. Face Mesh Tensor Decoder를 Dataset을 기준으로 구현하는 방법에 대해서 생각해보았는데 Model을 기준으로 구현하는 것과 비교해서 어느 것이 더 나을지 조언이 필요합니다.

[Jhuni0123]

눈코입 구분선 그리기 부분에서 좀 더 자세히 질문을 드리자면, 디코더가 점 그리기, 눈코입 윤곽선 그리기, Face Mesh 모델에 대해선 mesh 선 그리기 등 여러가지 기능을 구현할 수 있을텐데, 이 Face mesh 디코더가 어떤 기능을 지원해야 한다고 생각하시는지, 어떤 기능을 예상하셨는지 궁금합니다.
MediaPipe 모델들이 다른 landmark 모델들에 비해 기능이 많은 편이라, 만약 모델에 dependant 한 option을 넣어서 MediaPipe 모델에만 mesh 기능을 넣고 다른 모델은 점만 찍어준다면 디코더 이름을 face landmark 디코더라고 불러야 하는지도 고민이 됩니다.

[anyj0527]

1. face detect가 되어야만 완성도 있는 예제를 만들 수 있을 것 같으니, 이를 포함한 예제 앱을 먼저 만드는 것이 좋을 것 같습니다. 일단 잘 돌아가는 예제 앱을 만들어두고 기능을 추가하면 될 것 같아요. 선 그리기는 pose estimation tensor decoder 의 코드를 참고하시면 좋을 것 같습니다.
2. bounding box decoder등 다른 decoder에서는 모델과 데이터셋의 label 등 필요한 모든 parameter를 모두 유저 옵션으로 받고 있습니다. bounding box의 경우 여러 모델들을 지원하려고 option1 .. option5 까지 여러 option 을 받게끔 구현되어 있습니다. face landmark decoder의 경우도 모델에 따라 정해지는 여러 옵션을 모두 고려해서 구현돼야할 것 같습니다.
3. Face Landmark가 많이 쓰이는 용어인 것 같으니 face landmark로 하는 것이 좋을 것 같네요. 처음에는 mediapipe의 예제와 동일한 수준의 기능을 예상했습니다. face landmark decoder의 mesh 모델 지원은 추후 item이 될 것 같네요.

[Jhuni0123]

안녕하세요.
현재 appsrc를 활용해서 tensor_crop 을 사용해보려고 구현을 시도해 보고 있는데요,

gst-launch-1.0  tensor_crop name=crop ! tensor_sink \
                v4l2src ! videoconvert ! tee name=t \
                t. ! queue ! videoconvert ! autovideosink \
                t. ! queue ! tensor_converter ! crop.raw \
                appsrc ! crop.info

이런 형태의 어플리케이션을 작성했을 때 (c로 구현했을때와 똑같이) pipeline이 playing이 되지 않고 멈추는 상태가 되는 문제에 막혀 있는 상태입니다.
tensor_sink element의 state가 ready 상태에 머물고 paused로 바뀌지 않는 것 까지 확인했습니다.
appsrc를 잘못 사용하고 있는건지, 다른 이유가 있는건지 모르겠어서 도움을 요청드립니다.

원래는 face detection 모델을 통과시킨 결과 tensor를 tensor_sink로 내보내서 crop info를 만들고 appsrc로 push 하는 앱을 만들고 있었는데 위 문제에 부딪혀서 문제범위를 좁히고 있었습니다.

[gichan-jang]

appsrc를 사용할 때 ready상태에 멈춰 있는 것은 tensor_sink에 async=false 옵션을 한번 줘보세요.

[Jhuni0123]

custom-filter 를 만드는건 https://github.com/GStreamer/gst-plugins-bad/blob/master/tools/gst-element-maker 같은 템플릿 툴을 쓰는게 가장 쉬운 방법인가요?

async=false를 하니까 일단 실행은 되네요. 감사합니다!

[gichan-jang]

custom filter 관련 내용은 여기를 참고해보세요.

Custom filter ( .so 파일을 로딩 , 파이프라인만으로 구현 가능)

• https://github.com/nnstreamer/nnstreamer/blob/main/gst/nnstreamer/include/tensor_filter_custom.h
• https://github.com/nnstreamer/nnstreamer/blob/main/tests/nnstreamer_example/custom_example_passthrough/nnstreamer_customfilter_example_passthrough.c
• https://github.com/nnstreamer/nnstreamer/blob/main/tests/nnstreamer_filter_custom/runTest.sh

custom-easy filter (application내에서 callback 형태로 구현)

• https://github.com/nnstreamer/nnstreamer/blob/main/gst/nnstreamer/include/tensor_filter_custom_easy.h

• nnstreamer/tests/nnstreamer_sink/unittest_sink.cc

  Line 6152 in 7a8d55a

  TEST (tensorFilterCustomEasy, inCodeFunc01)

• 이해를 위해 appsrc 관련 조금만 부연 설명을 드리면 appsrc를 사용할 때 async=false를 사용하는 이유는, preroll 과정에서 버퍼들이 전체 엘리먼트를 한번씩 통과해야 하는데, 입력이 없기 때문에 preroll 과정이 끝나지 않습니다. 반면 async=false를 하면 preroll을 생략하기에 playing 상태로 바로 변경됩니다.
  기존에 ready상태에 머물러 있을때에도 appsrc에 버퍼를 push하면 playing이 될거에요.

[myungjoo]

https://github.com/GStreamer/gst-plugins-bad/blob/master/tools/gst-element-maker 같은 템플릿 툴

이건 가능한 방법중에 가장 어려운 대신 가장 Free한 방법 (모든 방법론을 다 적용 가능) 입니다 ^^

[Jhuni0123]

아하 감사합니다!

[Jhuni0123]

예제 앱 구현에 성공했습니다. https://github.com/Jhuni0123/facemesh_example

• face detection 결과 파싱할 때 필요한 것들은 face_detect.c 에 모아두었습니다. bounding_box 디코더 코드를 참고했습니다.
• custom-easy-filter 를 이용하여 detection 결과를 crop info로 변환하였습니다.
  • mediapipe face mesh 모델 스펙상 25% 마진을 줘야해서 마진을 준 상태로 crop 하도록 했습니다.
• custom-decoder를 이용하여 정사각형으로 crop된 flexible tensor를 일정한 크기의 video로 변환하였습니다.
  • 여기서 custom-decoder srcpad의 caps가 video가 되어야 하는데 application/octet-straem으로 고정되도록 되어 있어서 이 커밋과 같이 nnstreamer 코드를 조금 수정하였습니다. application/octet-straem으로 고정된 이유는 무엇인가요?
• face mesh 디코더를 통과시키면 video frame이 나오는데, 이것의 소스 영상에서의 위치가 crop info에 따라 다르기 때문에 video를 crop info에 따라 스케일해서 위치하게 해주는 element를 만들었습니다. (gstcropscale.{c,h})
  • sink 2개, src 1개인 tensor_crop을 많이 참고했습니다.

카메라로 테스트를 해서 지금 영상을 못 보여드리는게 아쉽네요

아래는 전체 파이프라인입니다. 주황색 부분이 현재 nnstreamer에 없는 부분입니다.

[myungjoo]

원하는 gstcap을 포함해서 full feature를 쓰셔야 하는 경우는 decoder_custom과 같이 약식 (tensor_decoder_custom.h)으로 하는 것이 아니라 decoder subplugin을 다 쓰시면 됩니다. decoder_custom은 함수 하나만 정의해서 다 하자고 있는 것이라 output gstcap이 고정된 형태입니다. 물론.. 말씀하신 요구사항을 받아들이면서 제대로 만들자면 nnstreamer_decoder_custom_resiger가 outputcap을 추가 parameter로 받도록 하면 되겠지요 (하위호환성을 생각하자면 nnstreamer_decoder_custom_register_full 과 같이 추가 함수를 만드는게 좋겠지요. 앞으로의 확장성 까지 생각하면 그 함수는 key-value chain을 받도록 하면 좋고요.)

즉, 당장은 Cap을 꼭 지정하시려면 간단한 decoder_custom이 아닌 "nnstreamer_plugin_api_decoder.h"를 사용해서 GstTensorDecodderDef를 다 채워서 decoder subplugin을 만드시면 됩니다. 아주아주 간단한것 (decoder custom)과 모든것을 할수 있는 복잡한것 (decoder subplugin) 두가지를 현재 제공하는 셈입니다.

만약 현재의 스트림이 video/x-raw에 그대로 사용가능한 octet strema이라면 application/octet-stream을 video-xraw 포맷과 맞아떨어지는 형태의 dimension을 가진 tensor stream (tensor-converter)로 만들고 다시 video stream (decoder - direct video) 으로 변환하시면.. 그 과정에 tensor dimension을 알맞게 세팅하신다면 memcpy없이 그대로 video/x-raw로 나오도록 할 수 있습니다. (말씀하신 커밋없이)

[myungjoo]

binary-octet to tensors: https://github.com/nnstreamer/nnstreamer/blob/main/gst/nnstreamer/elements/gsttensor_converter.md#supported-features (Octet stream)

vidoe/x-raw formatted tensors --> video https://github.com/nnstreamer/nnstreamer/blob/main/gst/nnstreamer/elements/gsttensor_decoder.md#supported-features (directvideo)

[myungjoo]

nnstreamer_decoder_custom_register_full ( ... , const char *gstcaps) 
/**
    gstcaps : "application/octet-stream" if NULL
 */
nnstreamer_decoder_custom_register (...) {
  return nnstreamer_decoder_custom_register_full (..., NULL);
}

정도는 넣어볼만 합니다.

[Jhuni0123]

decoder를 통해 바로 고정된 사이즈의 video로 변환하는것보다 static tensor로 된 video로 변환하는 filter를 만들고, 그 후 tensor를 사용하거나 directvideo 를 사용하는게 더 나을것 같기도 하네요