"νν"μ νμ
μ€ν μ΄ λ°μ΄ν°λ₯Ό ν κ³³μ λͺ¨μ κ²μ λ° μ μ₯νκ³ , μ μ₯λ νμ
μ€ν μ΄λ₯Ό κΈ°λ°μΌλ‘ μλ‘μ΄ νμ
μ€ν μ΄λ₯Ό μΆμ²λ°μ μ μλ νμ
μ€ν μ΄ μ 보 μ μ₯ & μΆμ² λͺ¨λ°μΌ μΉ μλΉμ€
μ
λλ€
β‘οΈνν μ¬μ΄νΈ λ°λ‘κ°κΈ°
μ μ¬μ΄νΈλ λͺ¨λ°μΌμ μ΅μ νλμ΄μμ΅λλ€.
πκΉνμ° | πΊκ°ν¬λ¦Ό | π£μ₯κ²½λ―Ό | π°μ΄μ€μ | πμ΅λ―Όν |
---|---|---|---|---|
Full stack |
Data Analysis |
Back-end |
Modeler |
Modeler |
AWS , React , Django |
Python, MariaDB |
Python, Airflow |
|
Python, tensorflow, keras |
[νμ μ€ν μ΄λ?]
νμ μ€ν μ΄λ 짧μ κΈ°κ° μ΄μλλ μ€νλΌμΈ μ맀μ μ΄λ©°,
μμ¬ λΈλλλ₯Ό ν보
νκΈ° μν μλ¨μΌλ‘μ κ°μ€νλ κ²½μ°κ° λλΆλΆμ λλ€. λλ¬Έμ μνλ§ ν맀νλ κ²μ΄ μλλΌ μ μ곡κ°μ΄λ 체νκ΄ λ±μ νμ μ€ν μ΄ λ΄μ λ§λ ¨νλ λ± λΈλλμ μμλ₯Ό λ§μ΄ κ°λ―Ένμ¬ λ§λλλ€.
'λ νλ μμΈ', 'μ±μλ' λ± MZ μΈλλ€μ ν«νλ μ΄μ€λ₯Ό μ€μ¬μΌλ‘
μ΅κ·Ό νλ°μ μΌλ‘ μ±μ₯
νκ³ μμ΅λλ€.
[λ¬Έμ νμ]
λ§μ λΈλλλ€μ΄ μλ€ν¬μ΄ νμ μ€ν μ΄ μμ₯μ λ°μ΄λ€κ³ μμμλ λΆκ΅¬νκ³ ,
νμ μ€ν μ΄λ₯Ό ν보νλ μ±λμ κ°μΈμ΄ μ΄μνλ λΈλ‘κ·Έλ SNS νΌλμ μμ‘΄
νκ³ μμ΅λλ€. μ΄λ¬ν νμμ μΈ κ΅¬μ‘°μμλΈλλμ κ³ κ°κ°μ μ 보 λΆνλ±
μ΄ λ°μλκ³ μκ³ μλΉμκ°λ€μν νμ μ€ν μ΄λ₯Ό μ ν κΈ°νκ° μμ€
λκ³ μλ€λ μ μ μ ν¬λ μ£Όλͺ©νμμ΅λλ€.
[μ루μ ]
νμ μ€ν μ΄μ λν
μ’ ν©μ μΈ μ 보λ₯Ό μ 곡νκ³ μΆμ²νλ λͺ¨λ°μΌ μΉ μλΉμ€
λ₯Ό ꡬμΆν¨μΌλ‘μ¨, κ³ κ°λ€μ΄ μνλ νμ μ€ν μ΄λ₯Ό μμ½κ² μ°Ύμ μ μλλ‘ μ§μνλ©°, κ°μΈνλ μΆμ² μμ€ν μ ꡬμΆνμ¬ κ³ κ°λ€μ μ·¨ν₯κ³Ό κ΄μ¬μ¬μ λ§μΆ μλ‘μ΄ νμ μ€ν μ΄λ₯Ό λ°κ²¬ν μ μλλ‘ ν©λλ€. κΈ°μ λ€μκ²λν¨μ¨μ μΈ νμ μ€ν μ΄ ν보 μ±λμ μ 곡
νμ¬ κ³ κ°μκ² λ³΄λ€ μ§μ μ μΌλ‘ μ κ·Όν μ μλλ‘ νμ¬λ§μΌν ν¨κ³Όλ₯Ό κ·Ήλν
νλλ‘ ν©λλ€.
λ³Έ νλ‘μ νΈλ μνμ± λν μΌλμ λμμ΅λλ€.
λΈλλμμ μ ν΄λ₯Ό ν΅ν΄ κ΄κ³ μμ΅
μ μ»μ μ μμΌλ©°,λ°μ΄ν° μμ§ μ κ³Όμ μ μλν
λ₯Ό ν΅ν΄ μΈκ±΄λΉλ₯Ό μ κ°μν¬ μ μμ΅λλ€.
π©νμ μ€ν μ΄ μ 보
νμ¬ μ§νμ€/μμ μ€μΈ νμ
μ€ν μ΄
- νμ
μ€ν μ΄ μμΈ μ 보 (κΈ°κ°, μμΉ, ν΄μνκ·Έ)
- μ μ μ΄μ©νκΈ°
- URL 곡μ
πνμ μ€ν μ΄ κ²μ κΈ°λ₯
- ν€μλ κ²μ
- λ μ§ μ ν
- μ§μ μ ν
πνμ μ€ν μ΄ μΆμ² κΈ°λ₯
μμΉ κΈ°λ° μΆμ²
μ½ν
μΈ κΈ°λ° μΆμ² (μ°κ΄ νμ
μ€ν μ΄ μΆμ²)
μ¬μ©μ κΈ°λ° μΆμ² (μ νΈνλ νμ
μ€ν μ΄ κΈ°λ° μΆμ²)
πμ΅κ·Ό μ‘°νν μ€ν μ΄
μ΅κ·Ό μ‘°νν μ€ν μ΄ λͺ©λ‘
μ’μμν μ€ν μ΄ λͺ©λ‘
κΈ°ν, μ€κ³, λμμΈ, λ°±μλ, νλ‘ νΈμλ, νλ‘μ νΈ μ 리μ 6κ°μ§ μΉ΄ν κ³ λ¦¬λ‘ Taskλ₯Ό ꡬλΆμ§κ³ μΌμ μ ν λΉνμμ΅λλ€.
νλ‘μ νΈ κΈ°νμ νμΈνκΈ°
λ°±μλ μλ²λ Django Rest Frameworkλ₯Ό μ¬μ©νμκ³ μΉμ Reactλ‘ κ΅¬ννμμ΅λλ€.
λ°μ΄ν° μμ§ μλν λ° μ μ¬λ₯Ό μν΄ EC2 μΈμ€ν΄μ€λ₯Ό νμ©νμμ΅λλ€.
graph LR
N(News Archive) --> A[Crawling Service] --Daily batch / Contetns--> D((DataBase))
D --News contents--> ML(ML Service)
ML --Model--> API(API/Inference Server)
D --Contents--> API
D --Service info --> API
API --> W(Web Client)
νμ¬ λ³΄κ³ μλ νμ μ€ν μ΄μ μ μ¬ν νμ μ€ν μ΄λ₯Ό μΆμ²νκΈ° μν΄ FastTextμ Cosine Similarityλ₯Ό ν΅ν΄ 컨ν μΈ κΈ°λ° νν°λ§ λͺ¨λΈμ ꡬννμμ΅λλ€.
λν, μ¬μ©μμ νκΈ° λ° νμ μ κΈ°λ°μΌλ‘ νμ μ€ν μ΄λ₯Ό μΆμ²ν΄μ£ΌκΈ° μν΄ Kerasλ₯Ό μ¬μ©νμ¬ νμ νν°λ§ λͺ¨λΈμ ꡬννμμ΅λλ€.
β‘οΈ λͺ¨λΈ μ€κ³μ νμΈνκΈ°
μ΄κΈ°μλ pc μΉ κΈ°μ€μΌλ‘ ꡬννμμΌλ, λͺ¨λ°μΌ μ΄μ©μκ° λ λ§μ κ² κ°λ€λ νλ¨νμ λͺ¨λ°μΌ μΉ μ¬μ΄νΈλ‘ μ ννμμ΅λλ€.
React νκ²½μμ μ μ©μ΄ μ°μν Chakra UIλ₯Ό μ¬μ©νμ¬ κ΅¬ννμμ΅λλ€.
β‘οΈ νλ©΄ μ μμ νμΈνκΈ°
Django Rest Frameworkμ APIView λΌμ΄λΈλ¬λ¦¬λ₯Ό νμ©νμ¬ API μλ²λ₯Ό ꡬμΆνμκ³ Render μλΉμ€λ₯Ό μ΄μ©ν΄ λ°°ν¬νμμ΅λλ€.
β‘οΈ API μ μμ νμΈνκΈ°
ν νν_λ°νμλ£_μ΅μ’ .pdf