Skip to content

Commit

Permalink
dm
Browse files Browse the repository at this point in the history
  • Loading branch information
ngnquanq committed Apr 5, 2024
1 parent b40041f commit 39aae58
Show file tree
Hide file tree
Showing 2 changed files with 5 additions and 6 deletions.
6 changes: 1 addition & 5 deletions _config.yml
Original file line number Diff line number Diff line change
Expand Up @@ -172,11 +172,7 @@ kramdown:
smart_quotes: lsquo,rsquo,ldquo,rdquo
enable_coderay: false

# Mathjax
mathjax:
enable: true
packages: [ '[tex]/amsmath', '[tex]/amssymb' ]


# Collections
collections:
teaching:
Expand Down
5 changes: 4 additions & 1 deletion _posts/2024-04-19-blog-post-7.md
Original file line number Diff line number Diff line change
@@ -1,10 +1,12 @@
---
title: 'Paper Explained 6: Learning Diverse Image Colorization'
layout: single
date: 2024-04-19
permalink: /posts/2024/04/blog-post-7/
tags:
- Paper explained
published: true

---

**Image Colorization** 🖌️ là quá trình dự đoán màu cho các ảnh đen trắng, giúp tái tạo lại hình ảnh thực
Expand Down Expand Up @@ -38,6 +40,7 @@ Những bài toán tô màu ảnh có điểm chung trong code đó chính là c
Vấn đề nằm ở chỗ **một trường màu nào đó không chỉ phụ thuộc vào những giá trị lân cận, nó còn chịu ảnh hưởng bởi cấu trúc không gian (long-scale spatial structure)**, điều này khiến cho việc sampling chỉ duy nhất 1 điểm ảnh sẽ làm cho khu vực lân cận điểm ảnh đó không được ăn khớp với nhau, làm cho hình ảnh không được thực tế. Giải pháp là **tạo ra được nhiều màu khác nhau nhưng phải cân bằng được giữa ước lượng của điểm ảnh đó với cái cấu trúc không gian ảnh**.

## 2.1 Ý tưởng mô hình

Những cái ở trên đề cập có thể tái hiện dưới công thức toán, mô hình chúng ta mong muốn sẽ là một mô hình xác suất $P(\mathbf{C}|\mathbf{G})$ cho trường màu $\mathbf{C}$ dựa trên ảnh xám đầu vào $\mathbf{G}$ và sau đó để tạo ra, chẳng hạn N màu khác nhau đi, lúc này chúng ta sẽ thực hiện lấy mẫu có từ phân phối xác suất vừa đề cập ở trên:

$$
Expand Down Expand Up @@ -127,7 +130,7 @@ $$
## 2.3 MDN
Các tác giả mong muốn học được một mô hình xác suất có điều kiện ${P}(\mathbf{z}|\mathbf{G})$ giữa ảnh xám $\mathbf{G}$ với embedding vector $\mathbf{z}$. Do đó mà họ sẽ sử dụng Mixture Density Networks (MDN). Điều này cho phép ánh xạ 1-nhiều, điều này hỗ trợ objective của nhóm tác giả khi đề xuất ra paper này đó là MDN cho phép trả ra nhiều vector với nhiều điều kiện khác nhau mặc dù đầu vào cũng cùng là 1 input vector đó, cho phép sự đa dạng mà nhómt ác giả đề cập.
Các tác giả mong muốn học được một mô hình xác suất có điều kiện: ${P}(\mathbf{z}|\mathbf{G})$$ giữa ảnh xám $\mathbf{G}$ với embedding vector $\mathbf{z}$. Do đó mà họ sẽ sử dụng Mixture Density Networks (MDN). Điều này cho phép ánh xạ 1-nhiều, điều này hỗ trợ objective của nhóm tác giả khi đề xuất ra paper này đó là MDN cho phép trả ra nhiều vector với nhiều điều kiện khác nhau mặc dù đầu vào cũng cùng là 1 input vector đó, cho phép sự đa dạng mà nhómt ác giả đề cập.
Cụ thể hơn về MDN, đây là một dạng NDE (Neural Density Estimator). Cái NNE này cho phép chúng ta rút ra được cái phân phối dựa vào đầu vào, cụ thể hơn thì mọi người cứ liên tưởng tới bài toán supervised learning nhưng thay vì input là $x$ output là $y$, lúc này ta sẽ có output là phân phối của $y$ theo $x$, tức là $P(y|x)$. Cái NDE này theo mình tìm hiểu thì nó là một paper thuộc NIPS (1998), mọi người có thể tìm đọc ở [đây](https://papers.nips.cc/paper_files/paper/1998/file/9327969053c0068dd9e07c529866b94d-Paper.pdf).
Expand Down

0 comments on commit 39aae58

Please sign in to comment.