これなーに カルマンフィルタのメモだよ。 参考のコードを元に、細かめにメモを取っていくよ。 参考 qiita.com カルマンフィルタとは カルマンフィルタは、第1回 カルマンフィルタとは | 地層科学研究所の言葉を借りると、以下。 状態空間モデルと呼ばれる数…
これなーに？ マハラノビス距離のメモだよ。 マハラノビス距離って？ 2次元以上のベクトル空間において、ある点とある点の距離を平均や分散を考慮して計算するよ。 異常検知などで、ある点とある点の距離から異常か正常かを判断したい場合に、ユークリッド距…
これなーに AdaptEx: a self-service contextual bandit platformのメモ。 論文：AdaptEx: a self-service contextual bandit platform 学会：Recsys(2023) 筆者：WILLIAM BLACK et al. 詳細 0. 論文概要 本論文では、Expedia Groupで広く使用されている自己…
これなーに Reciprocal Sequential Recommendationのメモ。 論文：Reciprocal Sequential Recommendation 学会：Recsys(2023) 筆者：Bowen Zheng et al. 詳細 0. 論文概要 Reciprocal Recommender System(RRS)は、オンラインデートや採用などのオンラインプ…
読書をこっちでやることにした。 zenn.dev はてブの編集画面で改行が半角スペース2個入れないといけないのがめんどくさい。 zennのgithub連携が楽そうだった。 技術とマネージメントは内容がだいぶ異なるので異なるプラットフォームで管理してみる。 この辺…
書籍情報 項目 内容 タイトル はじめての課長の教科書 発売年 2008 読んだ日 2023/9/6 おすすめ度 ⭐️⭐️⭐️⭐️⭐️ 読んだ理由 経緯 昔のバリバリエンジニアだった同僚が現在部長になっていて、おすすめしてくれた。 プレイヤーからマネージャーに移るので、ぴっ…
書籍情報 項目 内容 タイトル 勝負論 ウメハラの流儀 発売年 2013 読んだ日 2023/8/26 おすすめ度 読んだ理由 経緯 twitterで面白いと流れていた。 元々格闘ゲームが好きで、ウメハラの動画を見たことがあった。 最初なので肩肘張らない分野がいいと思った…
zennに移行しました〜 zenn.dev 背景 仕事上、手を動かすエキスパートとして仕事をしてきたけど、 最近、組織戦略を考え無いといけないフェーズに入ってきたと思う。 エキスパートとして個の力で突破することをこれまで考えてきて、 実際に成果も出してきた…
これなーに LightSANsのメモ。 論文：Lighter and Better: Low-Rank Decomposed Self-Attention Networks for Next-Item Recommendation 学会：Association for Computing Machinery(2021) 筆者：Xinyan Fan et al. 概要 詳細 1. 論文概要 Self-Attention Ne…
これなーに ChatGPTのfunction callingがなんだか良さそうな予感。 web browsingのように、内部でコールするファンクションをよしなに判断してくれるみたいです。 参考 toukei-lab.com コード github.com どんなことができる？ 以下のように、chatGPTのチャ…
これなーに pytestの利用方法をこちらで書いた。 raishi12.hatenablog.com 今回は、pytestを用いてcoverageを算出する方法をまとめる。 カバレッジとは システムテストにおけるカバレッジとは以下。 参考: テストカバレッジ（コードカバレッジ）とは - 意味…
これなーに chat-gpt3.5-turboのAPIは良いけど、日本語よりも英語の方が精度が良い。 そこで考えた。 日本語で入力→英語に翻訳→chatgpt-3.5-turboに投入→英語で帰ってくる→日本語に翻訳 これができれば良いのでは？！ そこで翻訳といえばdeeplなので、deepl…
これなーに chat-gpt凄い！APIも使えて便利！ だけどAPIって以前の会話覚えてくれない。。それを再現したいよね。 cha-gpt3.5-turboのAPI OpenAIにAPIの利用申請をするとAPI_KEYが発行される。 これを使うと簡単にAPIが利用できる。 例えばpythonで利用する…
これなーに レコメンドの評価指標としてrecallやprecisionなどがある。 どの指標が最もオフライン評価に適するのかを改めて考えたい。 混同行列 実際に興味がある or notを横軸に、 レコメンドの予測が興味がある or notを縦軸にすると 上のようになる。 pre…
これは？ 単体テストやりたいよね〜 pytestの書き方メモっとこうか pytestの準備 インストール pip install pytest toyコード作成 ディレクトリ構成 pytest_work/ data/ out.csv src/ work.py tests/ test_sample.py work.py # -*- coding: utf-8 -*- """ DF…
これなーに 正解率が偏らないように、lightGBMのweightを指定したくなった。 以下を参考に実施してみる。 qiita.com irisのデータで試す。notebookべたばりですいません。。 ここまでがノーマル。クラス2が苦手であることがわかる。 そこで、クラス2だけweig…
これなーに www.amazon.co.jp 上記書籍を読んだ。 面白かったポイントを列挙しておく。 不均衡データの評価指標はPR-AUCが良さそう 正例が1%、負例が99%のような2値分類におけるROC-AUCだと、True-Negative(負例を負として当てた)が多くなって正例が正しく当…
今更だけどkaggleの表データのチップスみたいなの調べていく。 完全にメモの殴り書きになる感じがするけど、とりあえずやってみよう。 気になるのは以下あたり。 この中からピックアップしつつ調べていこう。 https://www.kaggle.com/code/gpreda/santander-…
これなーに？ GCPを久しぶりに使うからメモしていく。 プロジェクト作成 VPCの作成 ダッシュボード→サイドバー→VPCネットワークを選択。 VPCネットワークを作成を押す。 ファイヤウォールの作成 サイドバー→ファイヤウォール。 ファイアウォールルールの作成…
結論 # 特定のコミットに戻りたいとき git checkout commit-id # 最新に戻ってきたいとき git checkout master 以下だらだらワーク 適当に以下のようなpushをした。 git log commit 7427ae19e41593e15f8030c8fe285fde8577c2b9 (HEAD -> master, origin/maste…
書いてる理由 転職サービスにおけるテキストデータの活用方法が知りたい。 参考 conSultantBERT: Fine-tuned Siamese Sentence-BERT for Matching Jobs and Job Seekers 目次 調べた理由詳細 conSultantBERTの論文の紹介 Abstruct Introduction Related Work…
書いてる理由 Graphを使ったニューラルネットに興味があったけど、これまでやってこなかったから勉強 + コード動かしてみたい。 参考 Knowledge Graph Convolutional Networks for Recommender Systems github(KGCN-pytorch) 概要 4 EXPERIMENTS 4.1 Dataset…
書いてる理由 Graphを使ったニューラルネットに興味があったけど、これまでやってこなかったから勉強 + コード動かしてみたい。 参考 Knowledge Graph Convolutional Networks for Recommender Systems github(KGCN-pytorch) 概要 やりたいことの概要 KGCNの…
またしても久しぶりに更新するんだけど、アクセス履歴を見るとtotal PVが3500超えていて、未だに毎日何らかのアクセスがあるのが嬉しい。 最近はレコメンドとかが周りでニーズが多いので、そっち系の話で。 書いてる理由 Graphを使ったニューラルネットに興…
久しぶりに更新するんだけど、アクセス履歴を見るとtotal PVが1200超えていて、未だに毎日何らかのアクセスがあるのがちょっと嬉しい。 今回は機械学習系じゃないが、今ちょうどBERTの亜種のSentence Bertを扱っているのでそのうち描こうかなーと思います。 …
書いてる理由 word2vec実践中 most_similarと平均ベクトルを作ってmost_similar_by_vectorした時の結果が違うので調べた 参考 無し 概要 gensimのword2vecでmodel.most_similarでの計算結果と、自分で平均ベクトルを作って計算したmost_similar_by_vectorの…
書いてる理由 二値分類問題を解く必要が出た 軽量で学習が早いlightGBMを使っとく 参考 lightgbmで二値分類の一連の流れをしたメモ - Qiita 概要 macにlightGBMをインストールして、skleranから適当なデータセットを利用して動作を確認する。 コード https:/…
書いてる理由 pytorchでbertやりたい 日本語を扱う方法を調べ中 参考 www.smartbowwow.com 詳細 ここまでやってきたBERTは英語の文章をメインで利用していて、文章を単語に分割するtokenizerが英語向け。 昔の記事で、BERT(BertJapaneseTokenizer)で日本語を…
やってる理由 BERTを日本語で使いたい ここまで英語だったので日本語のプレトレインは何があるか調べる 詳細 ちょいちょい存在するっぽい。調べるまでは東北大学のやつしか知らなかったけど、色々あった。 No 作成者 公開日 リンク 1 東北大学 2019/12/13 ht…
書いてる理由 自然言語処理やりたい BERTをpytorchで書く 参考 pytorchによる発展ディープラーニング 概要 ここまでで用意したネットワーク、プレトレインモデルで学習してポジネガ判定をする。 コード github.com 詳細 今回は学習部分。ここまで作ってきた…
