07/20 ~ 07/21 주말 간 해야할 일

[JuneParkCode]

@ss0ngcode @km2535 @limbaba1120 @JuneParkCode

해커톤 주말 일정

저희 팀에서 주말 간 Todo list 를 공유드립니다.

1. CSV -> DB 삽입 방법에 대한 이해 (MySQL)

• 저희 서비스의 경우 공공 데이터에서 제공하는 정적인 csv 데이터 (약 2만 건)을 DB 에 삽입해야합니다.
• 따라서 해당 방법에 대해서 이해를 할 수 있어야하며, 시도를 해보셨으면 합니다.

2. 공공 API 조사 (현재 API 조사가 빈약한 편인데, 서비스를 활용하기 위해서 더 적합한 API 를 탐색하고 제안합니다.)

• 기존에 도착정보 조회를 통해서 설계를 하고 있었습니다.
• 그러나, 이외에도 좌석 수를 획득 할 수 있는 방법을 찾아보고 보다 효율적인 API 를 활용하는 것을 검토합니다.
• 외부 API 정리 에서 필요한 API 가 있다면 정리합니다.

3. Spring Scheduling 기능 및 Batch 기능 학습

• 주기적으로 데이터를 수집해야하는 서비스입니다. 이를 위해서 활용할 수 있는 Spring 의 기술을 학습합니다.

4. 서비스 구현을 위한 클래스 다이어그램 그려보기

• 데이터 수집 서버 - 클라이언트단 서버에서의 실제 클래스 설계를 진행해봅니다.

5. Docker, Docker compose 에 학습

• 저희 서비스의 경우 최소 2개의 서버가 구동을 목표로하고 있습니다. 따라서 다른 사람들이 단순히 clone 하여 우리 서비스를 구동해볼 수 있도록 Docker 를 활용하고 Docker compose 를 통한 서비스 실행을 학습합니다.

6. Git fork - Pull Request 방법 이해

• 금요일에 Git 협업 전략에서 반영을 하지 못했던 부분입니다. (해커톤 필수사항)
• Fork 하여 작업하고 이를 PR 하여 merge 할 수 있는 방법에 대해 이해해야합니다.

7. XML -> JSON / XML -> DB 이해

• Open API 에서 넘어오는 형식이 주로 XML 입니다. XML / JSON 의 차이를 이해하고 이를 Java 내에서 변환하는 방법, DB 로 어떻게 저장시킬지 등을 이해합니다.

생각보다는 해야할 일이 많습니다. 단순 CRUD 서비스가 아니고 기존에 하지 않은 것들을 많이 배워두셔야합니다.
아이디어가 떠오른 것이 있으시다면 Discussion에 이 글처럼 모든 분들 멘션 다셔서 공유해주시면 감사드리겠습니다. (학습 내용 / 구현 / 시현)도 좋습니다.
결과적으로 월요일 오후에는 개발이 진행되었으면 합니다.

(확인하셨으면 따봉 이모지 하나 박아주시고, 궁금하신점 있으면 댓글 부탁드려요~)

[ss0ngcode]

1. Git fork - PR하여 merge 이해 (및 Git 학습)
2. CSV -> DB 삽입 방법 (MySQL)
3. XML -> JSON / XML -> DB 이해
4. 클래스 다이어그램 그리기
5. Spring Scheduling 및 Batch 기능 학습
6. Docker, Docker Compose 학습
7. 공공 API 조사

주말동안 위와 같은 순서로 학습 해보도록 하겠습니다.

제가 아직 부족한게 많은 점 양해 부탁드립니다.
학습 내용 공유 감사합니다!

[ss0ngcode]

@JuneParkCode @limbaba1120
버스 정류소 현황 csv 파일 utf-8로 변환하여 노션 api 위치에 업로드 하였습니다!

추가적인 질문으로는 저희 노선 정보는 csv파일을 db에 넣는 것이 아닌 api로 받아오는 걸로 수정된걸까요?
어제는 노선 인가정보.csv 파일로 db에 넣는 것으로 기억했는데 api로 변경된 것 같아 코멘트 남깁니다.

[JuneParkCode]

감사합니다!

외부 API (결국은 csv) 사용하는거라서 기록만 해뒀습니다~

[JuneParkCode]

https://data.gg.go.kr/portal/data/service/selectServicePage.do?page=1&rows=10&sortColumn=&sortDirection=&infId=GDKWAGWYRKJYIRVX110226832213&infSeq=1&order=&loc=

이거 바탕으로 해주셨는데, 시내버스 정류장만 지원되는 것 같아요.

https://data.gg.go.kr/portal/data/service/selectServicePage.do?infId=LSQV0RTU9NXPA8RCZLV933248158&infSeq=1
이

BMS 의 경우 서울시에 있는 정류장까지 반영하고 있는데, 한번 확인해보시고
월요일에 저희가 미리 정제 작업해뒀던 파일을 바탕으로 변환하는법 한번 보여주세요~

[ss0ngcode]

@JuneParkCode

해당 인코딩 변환 내용은 윈도우에서 진행한 것인데 맥 os에서는 아직 방법을 찾지 못했네요 ㅠㅠ..
일단 BMS 기준으로 파일은 다시 올렸습니다! (외부 API 링크 하단에 첨부)

[limbaba1120]

미리 정제 작업해뒀던 파일 (BMS 정류장) -> csv 파일 변환했는데 xlms 파일 밑에 올려둘게요
(utf-8 변환 방법 : 다른이름으로 저장 -> 그리고 밑에 있는 사진처럼 파일 형식 바꾸기 👍 )

그리고 csv 파일을 db에 저장을 하고있는데... InitDb 만들어서 스프링부트 실행되면 바로 저장하게 할려고 노력중인데 잘 안되네요 허허

[JuneParkCode]

모든 부분 너무 깊게 학습 안하셔도 되고 우선은 "이게 뭐다~" 요 정도만 알아오시면 됩니다 ㅎㅎㅎ;;

외부 API 같은 경우에는 따로 정리해뒀으니, 한번 쭉 훑어보시고 어떤건지 이해해보시면 될 것 같고,

4번의 경우에는 "어? 이렇게 하면 될 것 같은데?" 싶은거 있으시면 월요일 날 팀원분들하고 공유할 수 있을 정도로만 해주시면돼요 (생각 안나면 안해도 오키)

[ss0ngcode]

@JuneParkCode @limbaba1120 @km2535

CSV -> DB 삽입 방법에 대한 이해 (MySQL)을 진행 중 load data 이용 시 "노선인가 정보.csv" 파일에서 ','로 구분하여 넣는 중 에러가 발생하였습니다
문제점 : 파일의 2088 row에서 노선명 필드 안에 ','가 포함되어 있어 해당 row는 필드가 더 많다고 판단이 되는 것으로 보여집니다. (error code 1262)

이를 위한 해결책으로 파이썬 csv를 통해 모든 필드에 '"'로 감싸주어 해결하려 했지만 2088 row에서 이미 '"'까지 포함되어 있어 이 또한 필드가 많다는 에러가 발생하게 되었습니다.
파일을 열어 직접 '"'를 모두 제거해주고 다시 모든 필드에 '"'를 감싸준 뒤 mysql load data에서 ENCLOSED BY '"' 옵션을 추가해 진행했지만 여전히 동일한 에러코드가 발생하고 있습니다.

혹시 이에 대해 해결 방법을 아시는 분이 계시다면 공유해주시면 감사하겠습니다 ㅎㅎ...

[JuneParkCode]

@ss0ngcode 위에서 말씀하신대로 저희 크기정도면 작은 편이라서 아마 insert로 처리해도 금방 끝날거예요. (Constraint 걸려있으면 시간 많이 차이남)

Escape 문자열로 어느정도 처리할 수 있을 것 같은데 많이 귀찮은 일이 될 것 같다는 생각이 드네요.

[limbaba1120]

일단 스프링부트 처음에 실행하면 csv 파일 읽어서 db에 저장하도록 만들었습니다!

[km2535]

그럼 배포할때마다 실행되는거 아닌가영?
실행될 때 데이터가 존재하면 디비 요청하지 않는 로직도 필요할 거 같습니당

[limbaba1120]

1. DB에 저장한 후 InitDB를 사용하지 않는다..
2. 데이터가 존재하면 디비 요청 로직 호출 X -> 지금 하고 있는데 데이터가 많아서 select 문이 많이 돌아가네요

또 다른 방법을 찾고 있습니다

[JuneParkCode]

일단 LOAD DATA 이용해서 DB 올리는 스크립트까지는 만들어봤고, 정류장 / 노선 정보 잘 들어왔습니다.

그런데 노선 정보 받고 보니까 이름이 중복되는 노선이 있네요. 광역 버스는 겹치지는 않는 것 같아서 일단은 무시해도 괜찮을 것 같아요.

월요일에 공유해드릴게여~

[JuneParkCode]

공공 API 부분의 경우 노션 - 정보 공유 모음집 에 공유해두었습니다.
어제 엄청 삽질했네요 ... ㅠㅠ

저는 이제 XML -> Object 쪽을 좀 살펴보겠습니다.