全文検索エンジンSennaインストール

Sennaは「センナ」ではなく「セナ」と読むらしい.という訳で以下の手順でインストール. cd /usr/local/src wget http://keihanna.dl.sourceforge.jp/senna/21716/senna-0.8.1.tar.gz tar xvfz senna-0.8.1.tar.gz cd senna-0.8.1 export CFLAGS='-I/usr/lo…

形態素解析器MeCabのインストール

以下の手順でインストールした. 必須ではないが,自分でMeCabをRubyから使うので品詞IDを利用できるようにしておいた. MeCab-0.96からは品詞IDの利用がデフォルトで有効になっているため,以下のうちMakefileの修正は不要です. cd /usr/local/src wget ht…

Ludiaインストールに必要なもの

データベース組み込み型全文検索エンジンなので,当然データベースのPostgreSQLが必要である.また,全文検索機能にはSennaを利用しているのでこれももちろん必要.あと,SennaはデフォルトでN-gramによるインデキシングを行うので,単語区切りによるインデ…

HyperEstraierとLudia(Senna)

第二十五回 多数の文書の中からあるキーワードを含む文書を見つけるための機構を検索という. この中で,オープンソースの全文検索エンジンではHyperEstraierを今まで使っていたが,最近出てきたLudiaを試してみたので,インストール方法のメモ. ちなみに,…

MySQLでmigrate時に『BLOB/TEXT column 'url' used in key specification without a key length』と怒られた

第二十四回 日本語Wikipediaの全文書を母集合にして単語のIDFテーブルを作ってて(相変わらず一週間くらいかかるのだが),どうもUTF-8でエスケープしたURLがMySQLのvarchar(255)に入りきっていないようなので,migrationしてみると怒られたので,直接MySQL…

MeCabの品詞ID(pos-id)を使う

第二十三回 文書をMeCabを使って形態素解析していたが,名詞だけを抜き出したいとか,固有名詞だけが必要というときに,今までは品詞情報から正規表現でマッチさせて場合分けしていた.これがやっぱり処理としては遅いようだ. そこで,品詞情報から正規表現…

Emacsでrails.elを使う

第二十二回 さて,約一ヶ月ぶりに更新. VMwareにインストールしたFedoraCore4でRailsをもてあそぶために,Emacsで使えるRails用modeをインストールした. WEBrick/Mongrelの管理 Ansiカラーを使ったログファイル表示 Action/View間のトグルスイッチ TextMat…

PDF文書からテキストを抽出する

第二十一回 論文PDFをHyper Estraierで検索できるようにするため,PDF文書をインデックスに登録する必要がある.しかし,Hyper Estraier付属のPDF文書用スクリプトはHTML文書に変換した後,インデックスに追加するという動作をしていた.さらに,タイトルにP…

Hyper Estraier Rubyクラスライブラリ

第二十回 全文検索エンジンHyper Estraierをインストールしたわけだが,これをRubyから操作できるようにRubyクラスライブラリもインストールする.Rubyクラスライブラリには二つあり,「RubyNativeAPI」はRubyからHyper Estraierのデータベースを読んだり書…

全文検索エンジンHyper Estraier導入

第十九回 さて,先日の続きである.研究室に論文PDFを閲覧できるWebサーバを設置したわけだが,その論文PDFは色々な学会ごとに分けられている.さらに,それぞれの学会のIndexページが存在し,そこから論文PDFへのリンクが張られているといった感じだ.これ…

IPアドレスでアクセス制御する

第十八回 先日の日記で書いたように,大学の研究室で研究の助けとなるように,過去に発表された論文を保存していつでも閲覧・検索が出来るようにしようと試みた. とりあえず,先生からお借りしたLink-Stationを設置し,Apacheで運用するWebサーバにネットワ…

SSHで暗号化してリモートログイン

第十六回 CUIにはまだ慣れておらず,Webをどうやって見るのかさえ分からない. そこで,Windows環境からリモートログインして使うことにした. 使ったのはPuTTYで,SSHを利用して通信を暗号化できるので, パスワード等が平文で流れてしまうtelnetとかよりも…

Sambaを使ってネットワークドライブを利用

第十七回 早速,サーバとは別に用意したネットワークストレージをサーバに マウントするためにSambaを使ってみた.というよりは,smbプロトコル を利用したという方が正しいか? rootになって以下のコマンドを入力する. # smbmount //[domain or IPadress]/…

CUIでサーバ構築

第十五回 研究室で使っていたサーバが動かなくなった. おそらくハードディスクドライブがダメなんだろう. 起動時に何度も止まったり,ちょっと操作せずに放っておくと止まる. なので,別の計算機をサーバとして使わせていただくことに. 以前は,GUIでサ…

CGIが動かない

第十四回 タイトルの通りである.orz Apache2.2.0を利用するとRubyで作ったスクリプトが動かない. 通常のHTMLからRubyをCGIとして呼び出しているのだが,ソースがそのまま表示されてしまう. Rubyスクリプトを直接閲覧しても,同じようにソースが表示されて…

mod_rubyインストール再挑戦

第十三回 さて、前回Apacheのapxsが無かったせいでインストールできなかったmod_rubyだったが、 Apache2.2.0をインストールした際DSOを有効にしたので再挑戦してみた。

erubyもインストールしてみよう

第十二回 今日は更新が多いな.という訳でこんばんは. Apache2.2.0はひとまず動いたようなので,次はerubyをインストールしよう. このerubyとは,スクリプト言語であるRubyのコードをテキストファイル(例えばHTMLページなど)に埋め込むための言語である…

Apache 設定ファイル httpd.conf

第十一回 先日インストールしたApache2.2.0の設定をしてみた.インストールされたディレクトリはデフォルトの/usr/local/apache2で,その設定ファイルは/usr/local/apache2/conf/httpd.confである. 変更したのは以下の部分. user apache group apache Serv…

Rubyコマンドラインリファレンス ReFe

第十回 Rubyはまつもとゆきひろ氏が作ったスクリプト言語である. そのリファレンスは様々あるが,今回はコマンドラインから使えるReFeをインストールした. インストール方法は以下の通り.gemsがあれば非常に簡単だ. $ gem install refe このReFe.読み方…

Apache2.2を入れてみる

第九回 2005年12月にHTTPサーバのApache 2.2.0がリリースされた. 自分は,FedoraCore4にはじめから入っていたApache 2.0.54を使っていたが, 先日mod_rubyをインストールしようとして失敗したように, DSOが有効になっていなかったので,これを機に入れ替え…

MySQL/Rubyをインストール

第七回 Ruby on Railsはデータベースと密接に関係している. 今回は,RDBMとしてMySQLを利用することにした. そこで,RubyとMySQLを繋げるライブラリとしてMySQL/Rubyを使ってみる. まず,We retire raa.ruby-lang.orgからダウンロード. # これを書いてい…

mod_rubyをインストール

第八回 Ruby on Railsで遊ぼうと思っていたが,まだまだ自分の力不足を感じたので, まずはRubyをうまく扱えるようになろう. という訳で,Rubyをサーバサイドで動かしてAjax的な動きのするなにかを作ることにした. まず,下準備としてApache上でRubyをCGI…

初詣!?

第六回 今日は,非常に遅い初詣に友人とともに行ってきた. 2006年になってからすでに2ヶ月以上経過しているが,気にしてはいけない. その年,初めて詣でることを初詣というのだ. 行ってきたのは,滋賀県近江八幡市にある苗村神社ということろだ. 国宝や…

rootの.bash各種ファイル

第四回 昨日の日記で書いたように,VMwareにFedoraCore4を入れてみた. 画面が少し小さいけど,プログラムいぢるくらいなら大丈夫そう. 今日は基本的な操作周りのカスタマイズをしよう. 自分は端末に GNOME端末を使っている.シェルはbashなのかな? とい…

Ruby on Railsをインストール

第五回 Ruby on Railsで遊んでみたい。 という訳で、早速VMware内のFedoraCore4上にインストールを試みる。 インストール方法として簡単なのがRubyGemsを利用する方法だ。 これは、Rubyで作られたパッケージ管理ソフトだ(と思う まずは、RubyGemsダウンロー…

アコースティックギター

第三回 実はアコースティックギターを弾き,歌うことが好きだ. 2回生の時には,大学のサークルの代表をしていたこともある. # 代表として役に立っていたかどうかは別問題 今度3月19日に卒業生追い出しライブが行われるらしい.なので,出演することにした…

はじめまして

第一回 はてなに登録はしていたが,ずっと放置していた. という訳で,今日から日記を書いていこうと思う. まずは,簡単に自己紹介. 名前(ハンドルネーム?) uchiuchiyama(適当に付けたらしい) 中の人の名前 内山 紀明 なにしてる人? 大学4回生→2006年4月…

VMware Player で Fedora Core 4 を使う

第二回 研究室から借りているノートPCにVMware Playerをインストールした. 目的は,この中にLinux環境を作ってそこでRubyをいじりまわしたいということ.以下のサイトを参考にさせていただいた.ありがとございます. μ memo: VMware Playerのみで新しいVir…