Skip to content

Commit

Permalink
du ma
Browse files Browse the repository at this point in the history
  • Loading branch information
ngnquanq committed Feb 2, 2024
1 parent b013f23 commit 840eebc
Showing 1 changed file with 3 additions and 1 deletion.
4 changes: 3 additions & 1 deletion _posts/2013-08-14-blog-post-2.md
Original file line number Diff line number Diff line change
Expand Up @@ -64,7 +64,9 @@ Hiểu đơn giản thì channel projection chỉ là một phép chiếu thôi

$$y = xA^T + b$$

Với x là ma trận đầu vào, A là ma trận giúp ánh xạ từ không gian có cái chiều đầu vào là $(*, H_{in} )$ sang $(*, H_{out} )$ còn $b$ là bias
Với x là ma trận đầu vào, A là ma trận giúp ánh xạ từ không gian có cái chiều đầu vào là
$(*, H_{in} )$ sang $(*, H_{out} )$
còn $b$ là bias

## Spatial Gating Unit
Spatial Gating Unit, hay gọi nhanh SGU là một khối cho phép mô hình gMLP này học được tương tácc giữa các token với nhau.
Expand Down

0 comments on commit 840eebc

Please sign in to comment.