Scribeでログの集約・収集【追記】
あとがきでログを取る際の負荷が高いということを書いたのですが、もう一つのWebサーバ(lighttpd)でもログを取るようにしたところ、あまりにもレスポンスが遅くなってしまったので、Pythonで書き直してみました。といってもサンプルファイルをちょっといじっただけ・・・。 ## /usr/local/bin/scribe_httpd2 #!/usr/bin/python import sys fr…
Scribeでログの集約・収集【後編】
いよいよWebサーバのログをScribeを通して処理してみます。examplesディレクトリに入っていた、scribe_catとscribe_ctrlはそのまま使えそうなのでこれを利用してみます。 # cp examples/{scribe_cat,scribe_ctrl} /usr/local/bin/ まず、ログサーバ(ログを集約するサーバ)の設定をします。このサーバに各Webサーバのログが書…
Scribeでログの集約・収集【中編】
前編ではScribeのインストールと動作確認までおこないました。実際にWebサーバのログをScribeで処理していくわけですが、その前にネットワークを経由して正常にログの受け渡しができるかどうかを調べていきます。 別のサーバにもScribeをインストールして試したほうがいいのですが、今回はローカル内にポートを変えて二つのscribedを起動して検証します。 ## ログサーバ側と仮定 ### ## …
Scribeでログの集約・収集【前編】
前回の記事で静的ファイルを別サーバから配信することにしましたが、今度はアクセスログがサーバ毎に分散してしまうので、少々やっかいだなと思いました。 出来るだけ正確でリアルタイムに近い形でログを収集できればいいなという感じです。 まず、考えていたのは一定期間毎に一つのサーバにログを収集していく方法です。せっかくlsyncdも入れているので、rsyncで収集するのが一番簡単そうです。しかし、lsyncd…
MovableTypeのインポートに注意
MovableTypeに他のブログからのバックアップデータを復元しようとしたところ、ファイルが大きすぎるというエラーが発生しました・・・。 確かに20MB近くあるのでけっこうデカイです。 mt-config.cgiを下記のように変更してみました。 ## とりあえず50MBくらいにした CGIMaxUpload 50000000 しかしまだインポートできません。今度はちゃんとアップロードは出来ている…
lsyncdで簡単サーバー間ミラーリング
サーバ間のデータミラーリングについて調べてみました。 僕がやりたかったのは「別のサーバにデータをコピーしたい」ということでした。 もう一つ条件があります。「簡単」にやりたい。 データのバックアップのためとか、冗長化という意味合いもあると思うのですが、画像などの静的ファイルのみ別のサーバから配信することにします。 ちょっとやっかいなことが、静的ファイルを生成するタイミングがバラバラということです。そ…
SQLiteの日付にハマる
この前初めてSQLiteを使ってみたのですが思わぬところでハマってしまいました。 SQLiteではよくある話のようで日付処理に関する問題です。 型の概念がほとんどないらしく、数値と文字列の二つで管理されている？ようです。テーブルを見てみるとDATE型とか表示されるので一見、型があるように思うのですが・・・。 当然日付に関しても数値か文字列でしか管理されないというわけです。 なので、挿入する際に数値…
ひかりoneギガ得プランの性能とかメールサーバ
前回の記事で無事？に接続出来たわけなので、さっそく回線速度を測ってみました。画像は・・・キャプするの忘れました；； 上りが300Mbps 下りが500Mbps 計測したサイトの限界が500Mbpsと書いてあったので、500Mbps以上出るのかもしれません。予想以上の速度におどろきを隠せません！かなり地域差がでるのでしょうか？ 付属のCat5eUTPケーブルを使うと速度が出ないと書いてありましたが、…
ひかりoneギガ得プランでRTX1200
ひかりoneギガ得プランというのが登場していました。 すごいです・・・家庭でギガですよ！ ということで、さっそく契約してみました。 ひかりoneホームで、プロバイダはauoneというのにしました。旧dionらしい。 それで色々調べてみたわけですが、ルータを指定のものから替えたいという方がけっこう多いらしくて、ちょっと試してみます。 ついでに気になっていたYamaha RTX1200も購入してみまし…
はじめてのSQLite
はじめてSQLiteさわってみました。 さくらのワンコイン共有サーバ使っているのですがMySQLのDBは一つしか作れないのですね・・・。 不安定で遅い！というイメージだったので敬遠していたところがあったのですがMySQLより速い？らしい。よく考えたら軽い実装なのだから当たり前なのかな？ サーバの設定ではデフォで使えるようになっていた(PHP)ので、さっそくDBを作ってみよう！と思ったのだけど、よく…