Skip to content

Commit

Permalink
initial commit
Browse files Browse the repository at this point in the history
  • Loading branch information
ymcui committed Jun 20, 2019
1 parent b170b6e commit 0cb9748
Showing 1 changed file with 1 addition and 0 deletions.
1 change: 1 addition & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -24,6 +24,7 @@
同理,由于谷歌官方发布的`BERT-base , Chinese`中,中文是以****为粒度进行切分,没有考虑到传统NLP中的中文分词(CWS)。我们将全词Mask的方法应用在了中文中,使用了中文维基百科(包括简体和繁体)进行训练,并且使用了[哈工大LTP](http://ltp.ai)作为分词工具),即对组成同一个****的汉字全部进行[MASK]

下述文本展示了`全词Mask`的生成样例。

| 说明 | 样例 |
| :------- | :--------- |
| 原始文本 | 使用语言模型来预测下一个词的probability。 |
Expand Down

0 comments on commit 0cb9748

Please sign in to comment.