技術メモ

SVMライブラリの調査

知能システム科学専攻というものの博士課程まで行っておきながら、 ずーっと触ってなかったSVM。 まあ、使われているから調べないと。アルゴリズム本も買うかな。http://www.kernel-machines.org/index.html でちょこちょこ。

ひらがな、カタカナ、漢字以外を落とす正規表現

s/[^\p{Hiragana}\p{Katakana}\p{Han}]//sg; これでうまくいくかと思いきやうまくいかず。http://homepage1.nifty.com/ton_b/intro/regex03/ によると、 否定はpを大文字にして\P{Property}とするか、\p{^Property}と否定のメタ文字を入れます。 ということ…

遅い主原因判明

http://www.pure.ne.jp/~learner/program/Perl_unicode.html ここを早めに読むべきだった。use utf8とuse encoding 'utf8'、どっち使えばええねん! ってわけでuse encoding 'utf8'をしていたわけですが、 それのせいでuseしただけでdecode_xsがいっぱい呼ば…

522,779

DB_Fileで読んでいるハッシュの件数をカウントしてみた。 それぞれ、 522779,158563,12848,1250,315603,27 そりゃ遅いわ。しかもキーも長め(日本語で20文字くらい)だし。 うーん、なんかいい方法ないのかしら…

UTF-8フラグと戦いまくっていますよ

このblogのeditページを見てみると、 1位がやねうらおさん、2位がnaoyaさんと漏らす布陣に。で、naoyaさんのblogを見てみると、 UTF-8 フラグと戦う人へ http://blog.livedoor.jp/nipotan/archives/50228106.html が紹介されていた。これまた漏らす。CPAN …

Cabocha

CabochaではUTF-8扱えないのかしら… ちゃんと追ってないけど、マニュアル見る限りUTF-8については言及してないな。あとは、-I1の入力、ChaSen方式じゃないとダメなのかしら? Mecab対応って、Mecabを-Ochasenで呼び出してるってことかしら?せっかくEUCからU…

おそい・・・

新しいモジュールの移植に取り組む。使っているモジュールを洗い出すために、 モジュール群をuseしてみただけのスクリプトを動かす。 で、適宜CPANからインストールとか、 ファイルパスの依存性修正とか。で、なんとかコンパイルとおるようになったんだけど…

TinySVMのperlバインディングがうまくいかない件

TinySVM 0.09、perlバインディングがうまくいきましぇん。http://www.nesugi.net/diary/20050612.html から。 TinySVMのVer. 0.09を解凍 TinySVMのVer. 0.04を解凍 0.09の方のperlディレクトリを削除して、 そこに0.04のperlディレクトリをコピーして持って…

うーん、svはsegvのコトじゃないらしいぞ

#0 0x080df04b in Perl_sv_2cv (my_perl=0x816c008, sv=0x88c1174, st=0xbfffee90, gvp=0xbfffee94, lref=0) at sv.c:7273 #1 0x080c817e in Perl_pp_entersub (my_perl=0x816c008) at pp_hot.c:2651 #2 0x080ae789 in Perl_runops_debug (my_perl=0x816c008…

Perl_sv_2cv

gdb上でperl動かすと、Perl_sv_2cvって関数で止まった。 sv.cっていうソース名からしても、おそらくSEGVをcatchするようなところなんだろう。 backtraceは #0 0xffffffff in Perl_sv_2cv at sv.c:7273 #1 0xffffffff in Perl_pp_entersub at pp_hot.c:2651 #…

Inactive Perl...

Active Perlは実装が違いすぎて、 use encoding 'utf8'; の挙動がいろいろおかしいようです。むにょ〜!!!よってActive Perlの採用はやめ! gdb上でPerl動かしてやるぜ!へへへ… 覚悟決めましたよ。

不可思議なSEGVを解決するために

Active Perl、Linux版なんて誰が使ってるんだろう、 と思っていたけど、 Perlで不可思議なSEGVが出る問題の回避のためにインストール。で、いろんなモジュールをppmやらperl -MCPANで突っ込んでいったわけだけど、 なんかコンパイルエラーが出る。 Scalar fo…

なんだろうなにかしら。

use diagnostics;を入れたらエラー無しで終了。 use diagnostics;を入れなかったら「不正な命令」といわれて異常終了。 なぜだー!

utf8::SWASHGET問題ふたたび解決?

ホッツエンポロッツふたたびあらわる。 まあ、それはどうでもいいとして、 dprofpp -Sした結果をみたところ、 Omoi::Logic::Omosugiru x 1 18.36s = (0.41 + 17.95)s XML::Clean::clean x 1 5.29s = (4.28 + 1.01)s Encode::utf8::decode_xs x 2152 0.11s = …

utf8::SWASHGET問題やっぱ未解決

DProfやりなおしたらCALL回数もあんまり変わってないでやんの。 use encoding 'utf8'を指定していると。 ソースコード自体を読むときに呼ばれるのかしら? 謎。

utf8::SWASHGET問題解決

s/^.*?$val.*?$//o って式が重いらしく。 確かに重そうだ。これを全行やるっていうのは。$valが存在したら行全体消しまっせ、いひひ、 ってことでしょ。

utf8::SWASHGETが重い

なんか動かしてるプログラムのとある関数がやたら重い。 DProfセンセ〜イ!! %Time ExclSec CumulS #Calls sec/call Csec/c Name 59.3 36.62 38.237 1 36.621 38.236 Omokute::Tamaran::Function 19.6 12.10 15.161 15223 0.0008 0.0010 utf8::SWASHGET ぎ…

ChaSen利用部をMeCab利用に変更

今、とあるプログラミングのパフォーマンス向上を目指している。 というわけで、ChaSen使っている部分をMeCab利用に変えてみよう。 -Ochasenで適当に変更。

謎diff

MySQL 5.0.12-beta + sennna rev.49のpatchをsenna-devに投稿しようと思って diffを取った。diff -Nurで取ったんだけど、 ディレクトリを指定したらdiffの容量がおかしいほど大きくなる。 中身見るとほぼ全文+になっていたり。 でも、個々のファイルでdiffを…

HTML::RSSAutodiscoveryクンも

HTML::RSSAutodiscovery、 入れようとしたらwww.syndic8.comにつながらないでエラー。 で、またforce install。

TidyでHTMLの根性を叩き直す。

世の中に溢れる、だらけたHTML。 こいつらの腐りきった根性を叩き直してやる!で、Tidyクンなわけです。 http://tidy.sourceforge.net/ からダウンロードできる、んですが、 正式ダウンロード版は古い。 cvsから自動でアーカイブされたものは必要なファイル…

で、デバッグオプションつけたら

SEGV出さないでやんの。 まあ、ありがちな話だな。デバッグオプションなしで自前ビルドだとどうなるんだろう。

Perl自前コンパイル

Perlをコンパイルして入れてみる。初めて。 デバッグ情報が欲しかったので。http://www.perl.com/download.csp ここからダウンロードして、 rm -f config.sh Policy.sh sh Configure -Dusethreads -Dprefix=/usr -Duseshrplib -DDEBUGGING -Doptimize='-g' L…

Windows+Apache2+WebDAV+Kerberos認証+Subversion

http://d.hatena.ne.jp/tasukuchan/20050908/1126198290 で書いたように、 Windows+Apache2+WebDAV+LDAP+Subversion をやろうとしたらApache2が落ちてしまうという現象。で、LDAPで認証しなくても、Kerberos認証を直にやりゃあええやん、 ってことで Windows…

MySQL5でmysqlhotcopyをしてrestoreするとき、 ストアドは復元されなかった。 何かミスったかな。

チャート作成コンポーネント

サーバ側で利用可能で、 Perl/PHPで使えるChart作成コンポーネントについて、 ライセンス料も含めて調査。 情報間違ってたらごめん。日本語通らなかったらごめん。 超えろGD::Graph。PHPだとJpGraphとかもあるんだっけ・・・●ChartDirector(Perl/PHP) 出力形…

Windows+Apache2+WebDAV+LDAP+Subversion

記憶だけで書いているが、 WindowsなApache2でmod_authz_svn経由でLDAP認証でWindows2000ServerなDCで… って環境で認証かけようとすると即Apacheが落ちる。しょうがないからDigest認証だけをかけた。 遅いけど認証データはテキストに。 パスワードの変更やユ…

Senna Unicode 正規化サポート

エラく容量増えてるな、と思ってSubversionの履歴見たら、 SennaでUnicode正規化@utf8サポートだそうで。 うーむ。DBをujisからutf8に変えておくか。ところで、ネットワークドライブの割り当てをしたドライブで TortoiseSVNのオーバーレイアイコンが出ないん…

MySQL 5.0.12-beta + senna(20050906) on SUSE Linux 9.3 Pro.

試しにコンパイルしてみたらあっさり通った。 起動も検索もうまくいっているようだ。 こっちに乗り換えよっと。 僕はチャレンジャーなのです! チャレンジャーで難易度を最低にすると、実は難しくなるのです!

MySQL 5系に上げたくなる

スキーマをきちんと正規化して、かつ、非同期でいろいろ投げていると VIEWとストアドが欲しくなる今日このごろ。 でもSenna先生が… MySQL 5系にパッチ当てるか・・・でも、5系ってデータベースエンジンから派生してごにゃごにゃできる、 ってsennaのMLに書い…