自然言語処理

ぐるなびの口コミデータをAPIで収集する

書いてる理由 NLPをやりたい 機械学習・深層学習よる自然言語処理入門をやってて、その内容で使えるものを残す。 やったこと ぐるなびの口コミをAPIでクローリング 参考 Amazon CAPTCHA 詳細 nlp_work/comment_get.py at nlp_intro · ys201810/nlp_work · Gi…

bertの分かち書きとmecabの分かち書きを比較してみる

書いてる理由 昨日pytorchでbertを使ってみて、分かち書きがあった。 mecabの分かち書きと比較したくなった。 やったこと bertの分かち書きとmecabの分かち書きを出力して比較。 詳細 [https://github.com/ys201810/bert_work/blob/master/src/compare_mecab…

PyTorchでBERTを少しやってみる

書いてる理由 NLPをこれまであんまりやってなかった pytorchをもうちょい使い慣れたい BERTの日本語のプレトレインが公開されたって記事をみた やったこと BERTのプレトレインを使って、文章を分かち書きして任意の単語をマスクして、マスクした場所に出てく…