Xangoでいろいろやろうとするときには robots.txtを自前で処理しなきゃいけません。 POE::Component::Client::HTTPを派生していろいろやるのが一番かと思うけど、 Xangoから呼ばれるイベントの中で、 WWW::RobotUAを参考に（ほぼコピぺ）、 RobotRules::Any_…