Djangoで書いた、Sennaを用いたWikipedia検索のデモを公開してみた。公開終了しました。 インデックスはN-gramで作ってみたよ。 http://wikipedia.suenaga.name/ にとりあえず置いてみた。動いているコード自体は、 http://svn.razil.jp/django-wikipedia/tr…

追記:以下の文書について 現在リリースされているSenna 1.0.7では、 N-gramで１文字の日本語を検索する場合は 直接部分一致検索を動作させるようにしました。というわけで、以下で説明している挙動は今現在当てはまりません。 １文字の単語について uchiuchi…

SennaのMySQLバインディングを高品質にする、Tritonnプロジェクトの成果物がリリースされました！ http://qwik.jp/tritonn/ 僕が覚えている範囲だと、今までのMySQLバインディングとの差異は以下のとおりです。 alter table/create index/drop indexなどでイ…

acts_as_ludiaという、RailsでLudiaが簡単に使えるプラグインが公開されています！！ http://d.hatena.ne.jp/uchiuchiyama/20070318/ludia_rails_plugin スニペットが簡単に取得できるのが嬉しい。 Ludia + Railsユーザはぜひぜひご利用を。 [追記] act_as_l…

http://slashdot.jp/askslashdot/article.pl?sid=07/03/10/0845225 文字コード問題は下手に首を突っ込むとコワイ人（？）が続々と議論に参加してきて触れづらい話題です。 SennaでUTF-8を使う場合、以下のような問題があります。 nfkc正規化で時間がかかる(e…

Django勉強会 Disc 3 http://www.djangoproject.jp/etude/3/ でお話させてもらってきた。 資料を以下のURLに置いておきます。嘘が混じってるかもしれないけど… http://qwik.jp/senna/publication.download/django-ja-disc3-senna.pdf 僕の発表内容を簡単にま…

2chのSennaスレッドがやけに伸びていると思ったら、 http://pc11.2ch.net/test/read.cgi/php/1118762053/ 荒れていた… dump→リビルド→データ流し込むの作業はいらない気がしますが、 まあ、ビルドはめんどくさいですよね…

http://pc11.2ch.net/test/read.cgi/db/1162621344/446 Sennaスレ http://pc8.2ch.net/test/read.cgi/php/1118762053/ に書き込むか迷ったけど、あっちはPHP板なのでここに書いてみる。 mecab の src/Makefile.msvc.in をそのまま使うと iconv-win32 が微妙…

(この記事は随時更新していきます) SennaのPHPバインディングのページに、PHPバインディングを希望する声が続々！ http://qwik.jp/senna/PHP_binding.html 実は、以前PHPバインディングを書いていたののの、 rm -rfですべてを消し去るというステキな行為をや…

Sennaの1.0.0がリリースされました！！！ 本当は金曜日にリリースしたんだけど、 MLのあて先を間違えていて…リリースメールが届いていなかったという… 恥ずかしい。 結局、スラドにだけリリースが伝わった形になってしまいました。 インデックス形式が変わっ…

前々からやりたいと思っていたSennaカンファレンスですが、 id:yappoさんがこんなページを作ってくれたよ！ http://soozy.org/index.cgi?SennaConference1 というわけで、参加希望者はじゃんじゃん登録してください！ 会場もプログラムも何も決まってないけ…

SigresでLudiaは使えるのかなぁ… http://sourceforge.jp/projects/sigres/ 現在LudiaがPg 8.1にしか対応していないので、 8.2に対応したら使えると予想。

SennaのSPARC対応のために借りたNetra X1。 LOMというLAN兼管理ポートみたいな奴に繋げるシリアルケーブルが 行方不明だったのだが、やっと発見された。 (訂正:LOMポートとシリアルポートは別でした)これでSPARC対応ができるど！！！ と思ったけど、シリアル…

http://qwik.jp/senna/PHP_binding.html より、 mojabi : お願いです。PHPでも使用できるようにしてください。 そうすればSennaがさらに普及するのも間違いないと思います。 な、なんと！ そういわれると作りたくなるじゃないか！ というわけで、実現可能性…

わーいわーいリリースリリース！

Ludiaのメーリングリストで、以下のような要望が出ていた。 http://lists.sourceforge.jp/mailman/archives/ludia-users/2006-December/000011.html SPARCかあ。 昔調べた結果が使えるぞｳﾋﾋ… 一応、Monoでの実装を見てみる。 static inline gint32 Interlock…

Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。

Sennaの部分一致検索時の挙動について、 ACM SIGMOD日本支部大会で質問が出ました。 傀儡師の館 - 組み込み型全文検索エンジン Senna を使ってみる http://plaza.rakuten.co.jp/kugutsushi/diary/200611120002/ のエントリでも、部分一致検索の挙動について…

ブックマーク件数が無限大倍。すすり泣く。 http://b.hatena.ne.jp/entry/http://qdbm.sourceforge.net/mikio/he-sigmodj.pdf http://b.hatena.ne.jp/entry/http://qwik.jp/senna/publication.download/senna-sigmod.pdf [追記] Yappoさんのおかげで無限大じ…

資料はこちら。 http://qwik.jp/senna/publication.download/senna-sigmod.pdf アガって失敗した。トホホ… 補足すると、 現在のMeCab 0.93+IPADIC 2.7.0では、 「東京都」は「東京/都」に分かち書きされるので、 Sennaの部分一致検索でも検索漏れを救えない…

Sennaでmallocに失敗した場合に、 落ちてしまうパスがいくつかあるようだ。 Failmallocで検査しようと思ったら、 そもそもMeCabの段階で落ちてしまう。 failmalloc (相当) のおもいで - Backnumbers: Steps to Phantasienでは、 "特定の関数の中でだけ"エラ…

わーいわーい！ Sennaの利用が広がってうれしい今日この頃ですよ。 全文検索ライブラリSennaのPythonバインディング with SWIG http://www.void.in/wiki/SWIG-senna SennaのRubyバインディング 非公式ドキュメント http://mono.kmc.gr.jp/~yhara/w/?RubySenn…

Ludia(TM) のいろいろ http://www.doblog.com/weblog/myblog/74336/ さて、Ludia は商用DBMS並みに早い、といってます。これは、マシンでの検証によるものです。平均4〜5ｋのテキストカラムを持つテーブルにLudiaを適用する評価を行いました。テーブルは、お…

職場で見る人は注意ね。 ｈttp：//analtimes.blog18.fc2.com/blog-entry-1165.html アナxが好きな方を対象にアナxネタを発信します。 とあるが、アナxは形容詞なので、 アヌxが好きな方を対象にアナxネタを発信します。 ではないか、と思ったりする昼下がり…

LudiaでPostgres上での利用の幅が広がったSennaですが、 Senna関係で他にも面白いことをやっている人がいるんです!!! SQLiteでSenna! http://www.dodgson.org/omo/t/?date=20061001 RailsでSenna! http://blog.masuidrive.jp/articles/2006/10/03/mysql-full…

MySQLのSpatial Extensions http://dev.mysql.com/doc/refman/5.0/en/spatial-extensions.html を使って、 以下のブログで実現していることをMySQL + Sennaで実現できるのかな？ http://lucene.jugem.jp/?eid=92

Sennaのパッチを当てたMySQLのdebianパッケージを作る話の続き。 http://qwik.jp/senna/debian_package.html に記載した方法で、おそらくパッケージングはOK。 ただし、SennaのMySQLパッチにちょっとだけ修正が必要のようだ。 というのも、configureを--with…

mysql-dfsg-5.0(5.0.22-4)には、Makefile.inを修正するパッチが入っている NULL文字入れたら、その後がクエリログが残らないバグの修正のための my_memmem関数の導入・テスト用のパッチ http://bugs.mysql.com/bug.php?id=17667&error=no Sennaの導入のため…

mysql-5.0.22-sennaでSennaのコンパイルを一度通す。 mysql-5.0.22-winにWindows用ソースディストリを展開。 以下のコマンドを実行。 cp mysql-5.0.22-senna/include/my_pthread.h mysql-5.0.22-win/include/my_pthread.h cp mysql-5.0.22-senna/include/myi…

MySQL with SennaのWindowsでのコンパイル方法の文書を書き直した。 パッチなどは全てLinux上で当ててもらうことにする。 うーん、こっちのほうが楽チン、かな。。。