第二十四回 日本語Wikipediaの全文書を母集合にして単語のIDFテーブルを作ってて（相変わらず一週間くらいかかるのだが），どうもUTF-8でエスケープしたURLがMySQLのvarchar(255)に入りきっていないようなので，migrationしてみると怒られたので，直接MySQL…

第二十三回 文書をMeCabを使って形態素解析していたが，名詞だけを抜き出したいとか，固有名詞だけが必要というときに，今までは品詞情報から正規表現でマッチさせて場合分けしていた．これがやっぱり処理としては遅いようだ． そこで，品詞情報から正規表現…