청강/후기

[potea]

청강 주의사항

• "AI를 잘 활용하는 개발자로 성장하기 Part 2" 스터디는 DataCamp를 이용하여 수업을 듣고 내용을 공유하는 방식입니다.
• DataCamp의 수업을 요약 공유하는 방식으로 스터디가 진행되지 않습니다. 참고해주세요.

모임 참가 신청 방법

모임 공지 아래에 댓글로 양식에 맞추어 참가 신청하시면 됩니다.
신청하시고, 별다른 승인 절차 없이 모임 장소에 오시면 됩니다!

양식: 날짜 / 이름 / 역할 / n번째 참여 / 이메일 주소 (구글 캘린더용; 1번째 참여시에만 작성)
ex) 7월 25일 / 김찬란 / 러너(혹은 청강) / 1번째 참여 / [email protected]

[kim-edwin]

일시 및 강의 주제

2024-09-24 / MLOps concepts

이번 DataCamp 강의를 수강하면서 배운점

• MLOps에 대한 전반적인 개념과 컨셉을 이해할 수 있었음
• MLOps Lifecycle의 단계(설계, 개발, 배포)의 세부 개념을 알 수 있었음

강의 내용중 궁금했던점

• 강의 내용이 자세히 되어있어서 이해하기 어려운 내용은 없었지만, 개발을 직접 해보지 않았기 때문에 전반적으로 추상적으로 느껴졌습니다. 다음 챕터는 ML 모델 개발을 직접 해보는 것 같아서 기대가 많이 됩니다.

함께 이야기 나누며 얻은 것

• �학습한 내용을 어떻게 정리하시는지 각자의 경험을 알 수 있었고, 강의 외적인 내용을 어디서 구하시는지에 대한 내용을 공유했습니다.

정리 내용 공유

https://velog.io/@woo813625/Datacamp-MLOps-Concepts

[shkim1018]

이번 DataCamp 강의를 수강하면서 배운점

• ML의 system을 support해주는 MLflow라는 시스템이 있다는 사실을 처음 알았습니다!

강의 내용중 궁금했던점

CI/CD 개념이 사실 좀 와닿지 않습니다..

함께 이야기 나누며 얻은 것

공부한 것에 대한 다양한 정리 방법이 있는 것 같습니다. (ppt파일을 받을 수 있다는 것도 이제야 알았습니다.. 그래도 캡쳐는 이어나갈 것 같습니다.)

[potea]

이번 DataCamp 강의를 수강하면서 배운점

• DevOps와 비슷하면서도 다른 MLOps

강의 내용중 궁금했던점

• 다행스럽게도 조금 아는 내용이었습니다

함께 이야기 나누며 얻은 것

• 마인드맵과 옵시디언을 주로 사용하는데 노션도 좀 써봐야겠다는 생각
• 스터디 내용으로 블로그를 써봐도 좋겠다는 생각

[cjkangme]

이번 DataCamp 강의를 수강하면서 배운점

• 데이터 엔지니어와 데이터 사이언티스트의 역할 차이를 명확히 알게 되었습니다.
• 모델을 직접 배포하거나 운영해본 경험이 없어서 잘 몰랐는데, MLOps의 개념과 운영의 중요성을 알게 되었습니다.
• Data Drift 개념을 알게 되었습니다.
• Experiment Tracking 정도만 알고 있었는데, MLOps를 지원하는 다양한 툴들을 많이 배웠습니다.

강의 내용중 궁금했던점

• MLOps의 성숙도에서 ML 연구자와 운영팀과의 협업 수준이 포함되어있는데, 만약 연구와 배포를 한 담당자가 하는 경우의 수준은 어떻게 봐야할지 궁금해졌습니다. 아마 레벨 1이겠죠? 😂

함께 이야기 나누며 얻은 것

• 제가 지각을 해서 함께 이야기를 제대로 나누지 못했습니다. 다음주는 꼭 함께 이야기 할게요..

[sunohk]

이번 DataCamp 강의를 수강하면서 배운점

• MLOps가 단순히 머신러닝 모델 훈련을 넘어서서 비즈니스 프로세스의 자동화를 위한 것이라는 것을 배웠습니다.

강의 내용중 궁금했던점

• MLOps 단계별 과정(설계 -> 개발 -> 배포)에서 어떤 단계가 실제로 가장 오래 걸리는지, 단계별 인력은 몇 명정도 필요한지 궁금했습니다(뒷 부분 강의를 듣다보면 해결 될 것 같기도 합니다)

함께 이야기 나누며 얻은 것

• 강의 내용 정리를 블로그에도 해봐야겠다는 생각이 들었습니다.

[seaweedsoup98]

이번 DataCamp 강의를 수강하면서 배운점

• MLOps의 전반적인 개념과 트렌드
• MLOps 적용의 필요성
• ML Lifecycle의 단계별 업무와 직무별 역할
• MLOps 툴 및 프레임워크

강의 내용중 궁금했던점

• MLOps의 개념을 얇고넓게 소개하는 강의이다보니 실제 적용 시 어려운 점들이 잘 와닿지 않았습니다. 적용 경험이 필요할 것 같습니다.

함께 이야기 나누며 얻은 것

• velog, 마인드맵 소개

정리 내용 공유

• https://what-learning.tistory.com/7

[seaweedsoup98]

의견

• 다 같이 포스트로 올리니까 어디까지가 한 주 인지 구분이 어려운 것 같습니다. 매 주 출석용 포스트를 하나 올리고 코멘트를 다는건 어떤가요?

[seaweedsoup98]

실험결과 다행히 코멘트에도 markdown이 잘 적용되는 듯 합니다

[taylormason23]

2024-09-24 / 1번째 참여 / MLOps concepts / 길태호

이번 DataCamp 강의를 수강하면서 배운점

• MLOps 기본 개념 , 필요성
• ML Lifecycle의 단계별 업무와 직무별 역할

강의 내용중 궁금했던점

• MLOps의 개념을 얇고넓게 소개하는 강의이다보니 실제 적용 시 어려운 점들이 잘 와닿지 않았습니다. 적용 경험이 필요할 것 같습니다.

함께 이야기 나누며 얻은 것

• 마인드맵 소개

정리 내용 공유

• 이번 DataCamp 를 수강하면서 강의를 개인 원노트에 보관 및 시청만 진행하였는데 블로그 or 마인드맵을 사용하면 조금 더 정성스러운 기록물을 남길 수 있을꺼 같다는 점을 직접 느꼈습니다.

[shkim1018]

이번 DataCamp 강의를 수강하면서 배운점

-특히 docker의 개념을 아예 몰라서 애를 먹었던 경험이 있었는데, 이번 기회에 어떠한 느낌으로 작용하는지 알 수 있었다.

강의 내용중 궁금했던점

• 사실 EDA나 data전처리 부분은 예전의 기초수업에서도 들어본 적 있을 정도로 기초적인 내용인 것 같은데, 이정도의 기술만으로도 노하우를 발휘하면 충분히 business에서 정말 통하는지 궁금하다.

함께 이야기 나누며 얻은 것

• 궁금했던 것에 대한 내용 : outllier나 null값 관련 imputation은 다른 곳에서도 중요하더라. 한편, datacamp관련 수업내용은 기초를 다루기 때문에 실무와 살짝 연관성이 떨어질 수는 있다. 한편 태호님의 말씀으론,
  voc관련 일 도중 전처리 할 때 kobert 라는 모델이 도움이 되었다고 한다.

[potea]

2주차 스터디 후기

2024-10-01
End-to-End Machine Learning

이번 DataCamp 강의를 수강하면서 배운점

• ML pipeline을 단계적으로 배워보았음

강의 내용중 궁금했던점

• 간단하게 설명하는 부분이 많아서 전체 파이프라인의 개념만 짚고 넘어갔음

함께 이야기 나누며 얻은 것

• 다른 분이 궁금했던 부분에 대해 서로 설명해주면서 생각해 볼 것들을 얻었음

[Kingeun]

2주차 스터디 후기

2024-10-01
End-to-End Machine Learning

이번 DataCamp 강의를 수강하면서 배운점

• 데이터 수집부터 모델 배포와 모니터링까지 전체적인 과정을 배울 수 있었습니다.
• unittest 를 사용해서 모델 테스트 하는 방법을 알게 되었습니다.

강의 내용중 궁금했던점

• 모델 모니터링 하는 부분이 와닿지 않아서 직접 실습을 해보고 싶었습니다.

함께 이야기 나누며 얻은 것

• 아직 전체적인 프로세스의 개념만 공부해서 헷갈리지만 다음 주차에 함께 미니 프로젝트를 해보며 같이 적용시켜보면 훨씬 쉽게 이해할 수 있을 거라 생각되었습니다.

[cjkangme]

2주차 스터디 후기

2024-10-01
End-to-End Machine Learning

이번 DataCamp 강의를 수강하면서 배운점

• 전체적인 머신러닝 플로우를 복습하면서, 각 단계에서 중요한 내용을 상기할 수 있었습니다.
• SelectFromModel, mlflow, Feast와 같이 사용해본적 없는 라이브러리, 도구들을 직접 실습해보며 유용성을 알 수 있었습니다.
• 모델 배포 이후 모니터링, Feedback loop의 구체적인 방법에 대해 알게 되었습니다.

강의 내용중 궁금했던점

• 오컴의 면도날 원칙이 왜 중요할까?

함께 이야기 나누며 얻은 것

• task에 적합한 모델을 찾을 때, 무작정 실험하는 것이 아니라 해당 도메인의 논문들을 통해 SOTA를 찾아서 이를 기반으로 실험해볼 수 있다는 것을 알게 되었습니다.
• 오컴의 면도날 원칙이 필요한 구체적인 이유를 알 수 있었습니다.

[sunohk]

이번 DataCamp 강의를 수강하면서 배운점

• 모델 배포와 모니터링의 개념에 대해 새롭게 배울 수 있었습니다. 특히 Mlflow 를 통해 ML lifecycle을 관리 할 수 있다는 점이 신선했습니다.

강의 내용중 궁금했던점

• ML 평가 방식 중 unit test를 직접 사용해보지 않아서 실제로 얼마나 효과가 있는지 궁금했고 이후에 직접 테스트 해보면 좋겠다고 생각했습니다.

함께 이야기 나누며 얻은 것

• '오컴의 면도날' 원리가 전통적 ML 과 현대적 ML에서 미치는 의미를 생각해 볼 수 있었습니다.

정리 내용 공유

• https://fork-hawk-4ca.notion.site/End-to-End-Machine-Learning-10eaeb06382e819199a8dee9aa6df379?pvs=4

[kim-edwin]

2주차 스터디 후기
2024-10-01
End-to-End Machine Learning

이번 DataCamp 강의를 수강하면서 배운점

이번 주차에는 개인사정으로 집중해서는 하지 못한 것 같아서 다소 아쉽습니다.
차주때는 이번주차 복습까지 포함해서 공부 하도록 할게요.
+) 머신러닝을 부트캠프에서 배워본적이 있었는데, 이번 주차에 배운 여러가지 스킬들을 활용했더라면 좀 더 편하게 모델 성능을 트래킹할 수 있지 않았을까 생각했습니다. 이전 강의에서 언급된 적 있었는데 그 땐 스프레드 시트로 피처랑 hp 정리하고 스코어를 일일이 적어두었던 것 같아요 ...
++) Data drift 라는 개념 자체를 잘 모르고 있었는데 이걸 탐지하고 수정하는 과정을 간단하게 배워볼 수 있어서 흥미로웠습니다.

강의 내용중 궁금했던점

�개념에 대해서는 전반적으로 이해가 가는데, 실무 경험이 없어서 확 와닿지는 않은 것이 아쉬웠습니다.
+) CI/CD 부분에서 AWS Elastic Beanstalk 관련해서 언급된 부분은 정말 이해하기 어렵더라구요. 추가 공부를 해보겠습니다.

함께 이야기 나누며 얻은 것

우선, 참가하시는 분들 역량이 뛰어나신 것 같아서 제가 많이 배울 수 있을거라는 생각이 들었고, 열심히 해야겠다고 생각했습니다.
토이 프로젝트가 기대가 많이 되네요!

정리 내용 공유

blog

[taylormason23]

이번 DataCamp 강의를 수강하면서 배운점

• Mlflow 를 통해 ML cycle을 관리 할 수 있다는 점

강의 내용중 궁금했던점

• 어떤 모델을 선택해야하는지 고민되는 점

함께 이야기 나누며 얻은 것

• Task에 적합한 모델을 찾을때 해당 도메인의 논문들을 통해 SOTA를 찾아서 기반으로 실험한다는 점
• CI(지속적 통합): 코드 변경사항을 정기적으로 주앙 저장소에 병합
• CD(지속적 배포): 코드베이스의 업데ㅣ트나 변경사항을 자동으로 프로덕션에 배포

공유했었던 내용
VOC 유형분류를 Python, vba를 활용하여 분류를 진행을 하지만 타사의 지인이 게임 리뷰 여론을 파악할때 기존 모델 대신 kobert를 이용하여 정확도를 0.7 > 0.9까지 올렸던 경험내용 공유

추가로 다른 예시) https://github.com/myeonghak/kobert-multi-label-VOC-classifier

[seaweedsoup98]

2주차 스터디 후기

2024-10-01
End-to-End Machine Learning

이번 DataCamp 강의를 수강하면서 배운점

• 지난 주 배운 MLOps Concept를 실제 코드를 바탕으로 체험
• 데이터 EDA 및 전처리, 모델 학습 및 검증
• mlops를 위한 feature store 구축
• containerization 및 logging
• testing 및 CI/CD

강의 내용중 궁금했던점

• CI/CD 의 구체적인 implementation
• mlflow는 모델의 버전 관리도 가능하다고 했는데, pytorch 같은 형식의 모델도 아키텍쳐가 달라도 save&load가 가능한지

함께 이야기 나누며 얻은 것

• VBA로 VOC 분류와 키워드 추출 등을 한다는 점
• 다 같이 프로젝트를 하면서 얻을 수 있는 점이 많을 것 같아 기대됩니다!

배운 내용 정리

• Blog
• 최근 도전하고 있는 자격증이 있는데, 시간이 너무 없어서 최대한 chatGPT와 프롬프트 튜닝으로 작성했습니다.
• 다음 주 부터는 chatGPT인지 모를 정도로 만드는 것이 목표입니다.

[seaweedsoup98]

5주차 스터디 후기

2024-10-22
Introduction to MLflow

이번 DataCamp 강의를 수강하면서 배운점

• mlflow의 소개
• experiment 수행, 로깅 및 추적
• mlflow FLAVOR를 활용한 자동 저장, 로깅, 로드
• 모델 관리와 프로젝트 관리

강의 내용중 궁금했던점

• Custom Model의 작성과 원리
• 현재는 cloudpickle 모듈을 이용한 serialization이 아닌, Models From Code 방식으로 동작한다고 함

함께 이야기 나누며 얻은 것

• stage 부분이 배운 내용에서 tagging으로 변경된다는 점
• 다른 프로젝트들도 흥미로워 보인다는 점

토이 프로젝트로 생각중인 것

• 테크 블로그 글 자동 작성 프로그램
• Streamlit or Gradio, MLflow, LangChain 기반
  • LLM API 키는 일단 환경변수나 config로 작성해서 넣어두기

[kim-edwin]

2024-10-22
Introduction to MLflow

이번 DataCamp 강의를 수강하면서 배운점

• MLFlow에 어떤 기능이 있는지를 전반적으로 알았고, 모델을 학습/배포/버전관리하기에 굉장히 용이하겠다는 느낌을 받았습니다. (거의 막바지에 와서요)

강의 내용중 궁금했던점

• 개발 미경험자로써 항상 느끼는 부분이긴 한데 이런 유용한 툴이 어떻게 서비스에 적용되는 건지 한번 코드를 뜯어보고 싶어요. 뭔가 뿌옇게 그려지지 않는 부분들이 있습니다. 유저가 어떤 예측 기능을 요청을 하고, 그 요청을 받아서 사전에 학습된 evaluation이 시작되고, prediction 값이 적절한 형태로 가공되어 유저에게 적용된다. 그리고 가능하다면 유저가 Input한 데이터로 모델을 재학습을 시켜보고 유의미하면 새로운 모델을 배포한다. 이런 flow인 것 같긴한데 쉽지 않네요. 토이프로젝트를 한번 해보면서 부딪혀보면 좋을 것 같습니다. (글을 적다가 생각이 든건데 저도 CI/CD 쪽을 좀 더 궁금해 하는 것 같긴 하네요)

함께 이야기 나누며 얻은 것

MLflow에 deprecated된 기능들을 알려주셔서 감사했습니다.

토이 프로젝트로 생각중인 것

가능하면 실무와 맞닿아있는걸 해보고 싶어서 유저 이탈율 예측이나, 유저 만족도 예측을 해보고 싶은데요. 조언해주신대로 사전에 잘 정제된 Kaggle 데이터로 진행을 하는게 더 좋을 것 같습니다.

[taylormason23]

2024-10-22
Introduction to MLflow

이번 DataCamp 강의를 수강하면서 배운점
*mlflow 소개
*mlflow 모델

• 모델관리 및 프로젝트

강의 내용중 궁금했던점

• mlflow 를 진행할때 api를 활용하거나 전달할때 방법에대해서 궁금한점

함께 이야기 나누며 얻은 것
고객이탈 관련해서 인사이트

토이 프로젝트로 생각중인 것

• 캐글 - 관심있는 섹터나 의미있는 캐글대회 참여?
• 테크 블로그 - mlflow 관련된? ml관련된 내용
• 관심있는 섹터의 데이터를 크롤링 -> 전처리 -> 문제정의 -> 시각화 -> 시사점 도출

[potea]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

• 이번주 내용은 빠르게 따라가 보겠습니다.

강의 내용중 궁금했던점

• 음.. 아직은 없었습니다.

함께 이야기 나누며 얻은 것

• 다른 분들의 스터디 공유를 통해 대략 어떤 것들이 나왔는지 알 수 있었습니다.

토이 프로젝트 주제

• GPT API를 활용해서 서비스를 연동하고, CI/CD해보는 토이프로젝트

[cjkangme]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

• dict 객체의 get() 메서드를 자주 사용했었는데, 두번째 인자로 value를 전달하면 get()의 결과가 None일 경우 value를 반환한다는 사실을 처음 알게 되었습니다. 종종 유용하게 쓰일 것 같습니다.
• pytest 라이브러리를 통한 유닛 테스트 방법을 알게 되었습니다.

강의 내용중 궁금했던점

• logging 내장 모듈을 사용하여 로깅을 하는 내용이 나오는데, 실무에서도 logging을 사용하여 이러한 로그를 처리하는지, 아니면 조금 더 발전된 라이브러리를 사용하는지 궁금합니다.

함께 이야기 나누며 얻은 것

• 토이 프로젝트 관련해서 꼭 진행중인 kaggle 대회가 아니더라도, 종료된 대회에서 데이터를 가져다 사용하는 것도 고려하게 되었습니다.
• 로깅 관련해서 실무에서는 elasticsearch, 디버깅 용으로는 icecream 라이브러리가 유용하다는 것을 알게 되었습니다.

토이 프로젝트 주제

• Regional Prompter라는 2D 이미지 생성에 사용되는 플러그인을 diffuser 라이브러리로 사용할 수 있도록 포팅하는 프로젝트를 진행하려고 합니다.

이미 어느정도 구현된게 존재하긴 하는데 아직 제한적으로만 사용할 수 있어서 조금더 업그레이드 해서 diffuser community pipelines에 머지되는 것이 목표입니다.

[seaweedsoup98]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

• ETL & ELT 파이프라인의 전체적인 그림
• 데이터 검증과 단위테스트
• orchestration 소개

강의 내용중 궁금했던점

• Apache Airflow를 소개만 하고 넘어갔는데, 실제로 실습해보고 싶었습니다
• 지금까지 unittest와 pytest를 간략히 소개해줬는데 CI/CD와 연결되어 실제로 동작하는 과정이 궁금했습니다

함께 이야기 나누며 얻은 것

• 유튜브나 앱스토어 등 몇몇 사이트들은 크롤링하다 잘못 걸릴 시 IP가 차단된다
• parquet와 같이 column base DB들이 여럿 나와있음 (Snowflake 등)
• logging 시 데이터 관련으로 elastic search를 많이 사용함

토이 프로젝트 주제

• 로컬 환경에서 동작할 수 있는 간단한 서비스 형식의 블로그 작성 툴
  • 화면 구성은 Streamlit이나 Gradio 등으로 제작
  • 내부는 LangChain을 활용하여 작성
  • logging과 pytest를 도입
  • 문서화
• 추후 목표
  • GitHub Actions로 배포 자동화
  • 클라우드 배포 (AWS 등)

[Kingeun]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

ETL, ELT 파이프라인이 어떻게 다른지와 어떻게 데이터를 로드하고 추출하고 직접 과정을 자세히 배웠고 데이터 파이프라인 테스트와 검증 관련된 내용도 배움. airflow 오케스트레이션 관련한 것도 찾아봐야겠다.

강의 내용중 궁금했던점

없었습니다!

함께 이야기 나누며 얻은 것

토이 프로젝트 주제
모델 성능 모니터링
mlflow 를 사용하여 각 모델의 하이퍼파라미터, 학습 데이터, 성능 지표를 상세히 기록하여 비교분석하고 UI를 통해 성능을 비교하고 최적의 모델을 선택하는 프로젝트

[shkim1018]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

• ETL, ELT에 해당하는 데이터 파이프라인에 대해 알 수 있었습니다.

강의 내용중 궁금했던점

• SQL을 파이썬에서 이용하는 방법을 알려주셨는데, SQL자체를 쓰는 것과, 파이썬에서 사용하는
  것이 어떠한 차이가 있는지 궁금했습니다.

함께 이야기 나누며 얻은 것

• 데이터셋 제공 api는 파이썬과 자바스크립트가 제일 많이 쓰입니다.

토이 프로젝트 주제

• GRID에서 제공하는 데이터셋에 접근할 권한을 얻었습니다. 인게임데이터를 바탕으로 승패를 예측하는 모델을 위한 데이터셋 전처리를 목표로 할 것입니다.

[sunohk]

6주차 스터디 후기

2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점

• 데이터 파이프라인(ETL, ELT)의 기초적인 구축 방법
• 파케이 데이터 형식이 열기반 방식이라 행기반 압축률이 더 높고 필요한 열의 데이터만 처리하는 방식이라 자원 절약 가능함
• 데이터 파이프라인은 데이터가 기대한대로 추출, 변환,로드 되었는지 검증하는게 중요함(데이터 신뢰성과 직결)
• 오케스트레이션 도구 = 데이터 파이프라인의 효율적인 관리와 운영을 위한 도구
  • Apache Airflow가 가장 인기 있는 선택지로 부각(오픈소스)

강의 내용중 궁금했던점

• 배포 전 테스트를 하는 과정이 잘 이해가 안돼서 실제로 실습해보면 더 이해가 잘 될 것 같습니다

함께 이야기 나누며 얻은 것

• Apache Airflow는 데이터 파이프라인 관리를 위해 실무에서 유용하게 사용됨
• 데이터 로그를 위한 파이썬 라이브러리의 종류로 IceCream이 있음(효율적인 디버깅 가능)

토이 프로젝트 주제

• 캐글의 Bank Customer Churn Prediction 데이터를 활용하여 이탈 예측 모델링 및 배포

[taylormason23]

6주차 스터디 후기
2024-10-29
ETL and ELT in Python

이번 DataCamp 강의를 수강하면서 배운점
ETL, ELT 파이프라인이 어떻게 다른지
데이터를 로드하고 추출하고 직접 과정
데이터 파이프라인 테스트와 검증
airflow 오케스트레이션 관련한 것도 찾아봐야겠다.

강의 내용중 궁금했던점
없었습니다!

함께 이야기 나누며 얻은 것

몇몇 사이트들은 크롤링하다 잘못 걸릴 시 IP가 차단된다
logging 시 데이터 관련으로 elastic search를 주로 사용

토이 프로젝트 주제
이커머스 산업 앱스토어(구글) 리뷰 분석

세부 과제 고민중....
어떤 이커머스 앱? 쿠팡, 무신사, 11번가, G마켓, 올웨이즈

한글 긍부정 정확도에 대해 어떤 모델을 사용하하는게 더 높을지? 수치로 증명?

각 평점에 긍부정?

앱 서비스에 대한 평점 평가?

데이터셋이 너무 많아서 유형분류 불가능 하니 워드클라우드로 인사이트 도출?

이커머스 주요 불만이 무엇인지?

이커머스 주요 좋은 점이 무엇인지?

주요 불만 키워드 도출?

이커머스로만 해야하니 내용도 이커머스 관련해서? 앱서비스는 어떻게? 다른 불만은 어떻게? 전처리를 해야하나?...

대시보드는 어떻게? Streamlit? Power bi??? 그냥 excel?

분석과정 서비스 플로우차트 작성?

-------‐--- 생각 정리중... ---------------
Risk : time??

데이터 수집 및 전처리 파이프라인 구축
구글 플레이스토어 API를 활용해 주기적으로 리뷰 데이터 수집
수집된 데이터 전처리 (불용어 제거, 토큰화 등) 자동화

감성 분석 모델 개발 및 배포
BERT, KoBERT 등 한국어 감성 분석에 적합한 모델 선정
모델 학습 및 평가 파이프라인 구축
모델 버전 관리 및 배포 자동화 (MLflow 등 활용)

실시간 추론 시스템 구축
새로운 리뷰에 대해 실시간으로 감성 분석 수행
분석 결과 DB 저장 및 대시보드 업데이트 자동화

모니터링 및 재학습
모델 성능 모니터링 시스템 구축
성능 저하 시 자동으로 재학습 트리거

대시보드 구축
Streamlit을 활용해 분석 결과 시각화
워드클라우드, 긍/부정 비율, 주요 키워드 등 표시

CI/CD 파이프라인 구축
코드 변경 시 자동 테스트 및 배포

[shkim1018]

7주차 스터디 후기

2024-11-05
[Introduction to Data Versioning with DVC](https://app.datacamp.com/learn/courses/introduction-to-data-versioning-with-dvc)

이번 DataCamp 강의를 수강하면서 배운점

• DVC를 이용해 data versioning하는 방법을 알게 되었습니다. git과 상당히 유사하기 때문에 이를 들어놓으면 도움이 된다고 합니다.

강의 내용중 궁금했던점

• 내용 이해하는 것과 실습하는게 쉽지 않았습니다.

함께 이야기 나누며 얻은 것

• X

토이 프로젝트는 이렇게 하고 있어요

• 현재 api 관련하여 계속 만져보고 있습니다.

[cjkangme]

7주차 스터디 후기

2024-11-05
Introduction to Data Versioning with DVC

이번 DataCamp 강의를 수강하면서 배운점

• 데이터를 관리하는 dvc 툴에 대해 간략히 배울 수 있었습니다.

강의 내용중 궁금했던점

• 사실 너무 많습니다
• dvc의 전체적인 사용 흐름, 관리 방법, gitflow와 같은 관리 형식이 있는지 궁금합니다.

함께 이야기 나누며 얻은 것

• dvc가 데이터를 어떻게 적은 용량으로 관리하는지 보다 자세히 알아보게 되었습니다.

토이 프로젝트는 이렇게 하고 있어요

• 이미 존재하는 커뮤니티 플러그인에 고도화된 로직 및 오류 수정을 하여 빠르게 pull request를 넣어볼 예정입니다.
• 이후에는 고도화(ControlNet, IP-Adapter 지원 추가)를 하거나 적절한 캐글 및 DACON 컴페티션에 참여해 볼 예정입니다.

[sunohk]

7주차 스터디 후기

2024-11-05
Introduction to Data Versioning with DVC

이번 DataCamp 강의를 수강하면서 배운점

• 데이터 버저닝은 모델 품질에 영향을 미치는 중요한 요소
• DVC 를 통해 데이터 버저닝, 파이프라인 구축을 할 수 있음
• 프로토 타이핑 코드 : 초기 모델 개발 단계에 적합
• 프로덕션 코드 : 프로토 타이핑 코드에 비해 테스트 등이 개선되어 버그를 줄일 수 있음

강의 내용중 궁금했던점

• DVC를 통해 데이터 버전 관리를 한 후 모델 품질 개선에 어떻게 영향을 미치는지 확인하는 방법을 알아보고 싶습니다.

함께 이야기 나누며 얻은 것

• DB 전체보다는 파일화한 데이터가 관리에 더 유리함(DB는 새로운 데이터로 업데이트가 되면 내용이 변경됨)

토이 프로젝트는 이렇게 하고 있어요

• 분류 모델 테스트 중입니다 + MLflow 활용방법 탐색 중입니다

[seaweedsoup98]

7주차 스터디 후기

2024-11-05
Introduction to Data Versioning with DVC

이번 DataCamp 강의를 수강하면서 배운점

• DVC를 이용한 데이터 버전 관리

강의 내용중 궁금했던점

• 실무에서는 DB를 많이 이용하는 만큼, DB와 DVC를 연동하는 방법이 궁금했습니다

함께 이야기 나누며 얻은 것

• DVC가 binary 파일도 다룰 수 있음
  • DVC도 Git처럼 text base 툴이기 때문에, binary 파일들은 어느 정도 비효율을 감안해야 함
• 클라우드 기반의 CDN(Content Delivery Network)를 이용하면 timestamp 기준으로 버저닝 가능함
  • AWS S3, GCP 등
• DB에 timestamp를 찍어 query로 데이터 버전을 관리할 경우, DB 형식이나 데이터 내용에 변형이 있는 경우 대응이 힘듦

토이 프로젝트는 이렇게 하고 있어요

• Done
  • 프로젝트 문서 작성 (간단하게,,)
  • OpenAI, LangSmith API 키 발급
  • 개발환경 세팅 및 배포 위한 DockerFile 작성
  • LangChain 강의 수강 중
• Todo
  • LangGraph 내용까지 수강
  • markdown 문서의 수식을 이미지화 하는 기능 개발
  • Git repository 구성 및 .env 관리

[seaweedsoup98]

8주차 스터디 후기

2024-11-12
Monitoring Machine Learning Concepts

이번 DataCamp 강의를 수강하면서 배운점

• Monitoring의 필요성과 주의점
• Covariance & Concept Shift에 대한 구체적인 내용

강의 내용중 궁금했던점

• 구체적인 내용이라 할지라도 implementation이 없어 아쉬웠습니다.
• 다음 강의를 기대 중입니다.

함께 이야기 나누며 얻은 것

• amplitude data의 경우, 테이블 별 property가 달라 하나의 테이블로 join했을 때 null값이 많다면, RDB보다 NoSQL로 만들면 효율적임
• 비정형 데이터도 NoSQL로 먼저 처리하는게 효율적임

토이 프로젝트는 이렇게 하고 있어요

• 건강과 다른 스케쥴 이슈로 이번주와 다음주는 진행을 못 할 것 같습니다 (경우에 따라 다다음주까지,,,)