python, R, vimでデータマイニング

python, R, vim で疑問に思ったことなどを

2016-01-01から1年間の記事一覧

tm:言語処理とちょっとだけ嵌る

tm:言語処理とちょっとだけ嵌る 嵌ったこと 言言処理の前処理が必要でtmパッケージを使用しました。参考情報は下記 Basic Text Mining in R stemDocument関数で英単語が集計しやすい形で出力されるはずなのにされない。 参考情報に従って問題を確認 データは…

今更欠損値対応:mlr

今更欠損値対応:mlr 欠損値対応 TREEベースのアルゴリズムでモデルを構築することが多いので欠損値対応は必要ないと思っていた。 今回はモデルを構築する前にクラスタリングすることにしてkmeansのため欠損値対応が必要になった。 平均値に置換 難しいこと…

そろそろ最適化問題を勉強したい:optim

そろそろ最適化問題を勉強したい:optim 最適化問題をおろそかにしてきた 実務ではパラメータ推計やモデル構築で事足りて最適化問題をおろそかにしてきた。 最適化が必要な状況 順序予測を回帰でモデル構築した後に予測値を離散化して順序にしたい。離散化の…