2009/07/26(日)便利そうだが使えない― milter-manager/dovecot-sieve
2017/10/11 7:28
今の事業形態になる前を含め、本格稼動から9年経過し、2003年8月に大幅なシステム改良を顧客のご協力を得て行ったのが現行のシステムな訳ですが、一部ソフトウェアにサポート継続が出来るかどうかの問題が出てきたため、将来的な費用対効果もあって、一部を変更する検討をしていたのですが、、
現在は、
SMTP: Postfix
IMAP/POP: Courier-IMAP
LDA:Courier-maildrop
Virus/Spamscan: ClamAV/SpamAssassin/Amavisd-new
Auth:Cyrus-SASL/Courier Authlib/OpenLDAP
という布陣です。
メールサーバというのは、サービス特性上、１つのソフトウェアのみで構成不能なのが通常で、弊社の場合は９つのソフトウェアを組み合わせて構築しています。更に稼動させるために基本ＯＳ含め５つの主なソフトウェア（うち３つが自社開発）を使う必要があり、合計14のソフトウェアで構成していることになります。
Web サーバより、はるかに複雑なのです。
そのうち、稼動負荷の高い Amavisd-new と、将来的なメンテナンスに不安材料を抱える Courier-IMAP,Cyrus-SASL と、メンテナンスコストを大幅低減を狙うため、加えて Courier-maildrop, Courier-Authlib,Cyrus-SASL の代替を探していたところ、候補にしたのは、
・dovecot (Courier-IMAP と Cyrus-SASL を置き換える)
・dovecot-sieve (Courier-maildrop を置き換える)
・既存 ClamAV の milter 対応 (Amavisd-new を取り除く)
・既存 SpamAssassin の milter 対応 (Amavisd-new を取り除く)
・milter-manager (Amavisd-new の代替)
そしてこの５つが実現できることで、 Courier Authlib も不要になり、Courier シリーズ全廃＆管理コスト削減という算段だったのですが、、
dovecot-sieve は、Courier-maidrop のように、外部プログラムを呼び出して、フィルタする、ということが、現状ではできません。
これはかなり致命的。
milter-manager で消化することを試みることにしました。milter-manager は ruby 1.8とC の混在環境で稼動するよ うです。
が、設定までは何とか出来るのですが、SMTP コネクションを接続し、milter-manager を呼び出したところで、どういう訳かサーバそのものが I/O デッドロック状態のようになります 。
リセット・再起動しないと、キーボード入力すら受け付けないのです。
ruby のバージョンを 1.8.7 の最新にしてみたり、依存ライブラリ等を最新にしてみたり、上書きインストールをしてみたり、と色々試したのですが、どうもマルチスレッド絡みで根深そうなので、今回は、milter-manager の採用は見送りざるを得ませんでした。
結局置き換え出来たのは、
Courier-IMAP → dovecot
Cyrus-SASL → dovecot
Amavisd-new → ClamAV-milter (ClamAV 標準配布)
の３つで、運用管理するべきソフトが３つ減り、新たに dovecot が加わった形。
dovecot-sieve で外部コマンドが実行可能だと、Courier-maildrop と Courier-Authlib も廃止できて、更に２つ減らせたのだけれど、、
さもなければ、dovecot-deliver で maildrop と同様の機能を提供して頂くとか。現状は外部コマンド実行不可なので、この時点で当環境では dovecot-deliver の採用はできないことが判明。
dovecot-sieve は機能不足で、当環境では採用時期が早過ぎたようです。振り分けだけなら出来るのですけどね。。
2009/05/04(月)FreeBSD 7.2R リリース
2017/10/11 7:37
- support for fully transparent use of superpages for application memory
- support for multiple IPv4 and IPv6 addresses for jails
- csup(1) now supports CVSMode to fetch a complete CVS repository
- Gnome updated to 2.26, KDE updated to 4.2.2
- sparc64 now supports UltraSparc-III processors
良く判らんが・・・
- アプリケーションメモリ領域確保にて、スーパーページを完全に利用可能になった
- Jail 環境にて、複数のIPv4,IPv6 アドレスが利用可能になった
- csup コマンドを新規に追加。CVSモードにてコード取得し、コンパイル可能になった
- Gnome を 2.26 に、KDE を 4.2.2 に更新
- sparc64 ディストリビューションにて、UltraSparc-III プロセッサを新たにサポートした
他にも細かな改良があるようです。
先ずは実験サーバにて検証作業。。
2009/01/05(月)FreeBSD 7.1R リリース
2017/10/11 7:40
アップデートの為には、FreeBSD 6.2R かそれ以降がインストールされていないといけません。
2008/12/30(火)サーバやネットワークトラフィックの管理ツール― Munin 【後編】
2017/10/11 7:42
root で以下のコマンドを実行します。
# /usr/local/munin/sbin/munin-node-configure --shell | sh
そうすると、/usr/local/etc/munin/plugins 配下にシンボリックリンクの形で取得できそうな情報がプラグインの形で設定されます。
次に /usr/local/etc/munin/munin-node.conf を編集。
変更箇所は、
user munin
group munin
allow ^127\.0\.0\.1$
allow ^172\.16\.1\.20$ ← 他ホストで情報収集する場合、そのホストのＩＰアドレスを追加。
この程度で良いはず。
その次に /usr/local/etc/munin/munin.conf を編集。
変更箇所は、
dbdir /db/munin
htmldir /home/webroot/hankakusai.basekernel.co.jp/htdocs/munin
logdir /var/log/munin
rundir /var/run/munin
[hankakusai.basekernel.co.jp]
address 127.0.0.1
use_node_name yes
こんな感じです。
情報取得対象ホストがそれ自身の場合は、 address に 127.0.0.1 を指定します。そうでない場合は、該当ホストの IP アドレスを指定します。そのとき、対象ホスト上で munin を稼動させ、munin-node.conf の allow ディレクティブにて、アクセス許可しておく必要があります。
dbdir は、取得情報を保存するディレクトリ
htmldir は、生成する html ファイルを保存するディレクトリ
（このディレクトリは外部からＷｅｂブラウザで閲覧できる位置にする必要あり）
logdir は、munin の動作ログ格納ディレクトリ
rundir は、pid などを格納するディレクトリ
で、全て UID munin で書き込みできるようにディレクトリパーミッションを設定しておく必要があります。
最後に crontab -u munin -e で、
*/5 * * * * /usr/local/munin/bin/munin-cron
として、５分毎に実行するようにして、設定完了です。
５分ごとにグラフが描画され、更新しているのが確認できれば、正常稼動できています。
ということで、２０台ほどのサーバを munin で集中管理する環境が構築できました。
2008/12/13(土)サーバやネットワークトラフィックの管理ツール― Munin 【前編】
2017/10/11 7:44
一度、採用候補にしていたのですが、日本語の情報が少ないので、Zabbix導入の際、ボツにしたこの Munin を何とかインストールしたのです。
Munin は、「ムーニン」と言うのでしょうか？ どうしても「ムーミン」と読んでしまうのは、自分だけでは無い
と思うのだが、、左記のような感じで、いろいろな情報を表示できるようです。
Munin は、perl スクリプトの集合体です。
入手場所はこちら → [トップページ] [ダウンロード]
ダウンロードの際は、最初は stable版で。
インストールの際は、予め以下のものが必要です。
・RRDTool 1.2.x
・Net::SNMP (Perl モジュール)
・Net::Server(perl モジュール)
・Crypt::DES(perl モジュール/ Net::SNMP が依存)
・Digest::HMAC(perl モジュール/ Net::SNMP が依存)
・Digest::SHA1(perl モジュール/ Net::SNMP が依存)
・HTML::Template(perl モジュール)
インストールの際は、更にいくつか前作業が必要。
・ユーザ名 munin, グループ名 munin を作成。UID,GID は 4949 あたりで良い。
・tar.gz ファイルを解凍し、作成されたディレクトリの中の Makefiie.config をインストールしたい対象マシンに合わせて編集。
・環境変数 PATH の中に './' (カレントパス) が入っていたら、削除したものを再設定しておく。
カレントディレクトリが環境変数 PATH に入っていると、perl の環境汚染チェック(-T スイッチ) に引っかかり、動作に支障が出る。← これに填まりました。。
準備が出来たら、
gmake install-main
gmake install-node install-node-plugins
で本体をインストール。
インストール自体はこれで完了ですが、利用できるようにするためには、更に設定が必要。
2008/11/29(土)FreeBSD 6.4R リリース
2017/10/11 7:48
6.x系はあと１～２回リリースあると思います。（一応、6.x 系最後とされてはいる）
6.3R → 6.4R の主な変更点は、リリース案内によると以下のような感じです：
- 新しくて大きく改良されたNFS Lockマネージャ(NLM)クライアント
- Camellia暗号サポート
- ブートローダの変更。USBとGPTによってラベルされ、BIOSにて有効になっている場合、それらのデバイスからのブートを可能にします。
＃ちょっと意味解らない部分が...orz
- amd64/i386のための DVD用インストールISOイメージが利用可能です。
- KDE を 3.5.10にアップデート。 GNOME を 2.22.3 にアップデートしました。
- BIND、sendmail、OpenPAM、など色々アップデート
ウチは既にメインが 7.x系なので、直接関係ない情報ですが、6.xR をご利用のユーザはＯＳアップデートをしましょう。
2008/11/25(火)ProFTPD 1.3.1 LDAP サポート構築時の注意点
2017/10/11 7:50
現在、ProFTPD のStable バーションは 1.3.1 ですが、これに同梱されている LDAP サポートは localhost 以外だと、LDAP 認証する時点でSegmentation halt(Signal 11) でプロセスごとダウンします。
これは、同梱の mod_ldap.c に問題があり、最新版にすることで対処可能です。
最新版の mod_ldap.c は http://horde.net/~jwm/software/mod_ldap から取得できます。
上記サイトの下のほうに、現在の最新版 mod_ldap 2.8.19 のダウンロードリンクがあるのでそこから取得します。
取得した mod_ldap.c を ソースコードツリーの contrib ディレクトリ配下へ上書きコピーし、通常どおりコンパイル・インストールします。
2008/05/11(日)PostgreSQL－32bit CPU環境から 64bit CPU環境への移行
2017/10/11 8:13
amd64 環境へ移行したサーバは、まる４年稼動。もう１台は約10年稼動していました。
蛇足ですが、昔のハードウェアの方が発熱量も消費電力も少なく、長持ちします。
FreeBSD の場合、amd64 環境でも 32bit アプリケーションは一応動作するものもありますが、基本的には再構築した方が無難に決まっています。
PostgreSQL は、本体バイナリは 32bit ものでも lib32 互換ライブラリのお陰で動作するようですが、やはり起動しません。
「checksum error」
これが出てしまって起動しません。
データベース自体がクラッシュしていると、この表示になりますが、32bit環境で構築したデータベースをそのまま 64bit 環境で動作させようとしてもこの表示が出て使えないです。
いくつか検索してみると、同じようなことで、填まっている管理者が結構多いようです。
いったん、32bit 環境にて SQL 形式でdb_dump を行ってから、64bit 環境構築後にリストアする形を取るのが最も確実な手段と言えます。
2008/03/30(日)「ＬＡＭＰ環境が一般的」と思い込む日本人偽技術者
2017/10/11 8:16
西欧、特に米国あたりでは「ＬＡＭＰ環境」が一番普及しており、それ以外は商用ベースにならないかのような扱いに言われてることも珍しくない。
これは経験の浅いソフトウェアしか知らない技術屋か、商売勘定にしか興味が無いような商業市場主義者が現状を知らずに言いふらしているだけである。だが、発言の影響は大きいので間違った現状が認識されているのです。
「ＬＡＭＰ環境」とは、 Linux、Apache、MySQL、PHP で構成した、主にＷｅｂサーバのことを指す。
この環境は、アメリカあたりでは一般的な安価（今風にいうと、サブプライムな）レンタルサーバでの構成。ところが、日本ではアホとしか言いようが無いくらい何でも「アメリカに右に倣え」で、とにかく「LAMP環境」といって過言ではない。
＃Java にも同じことが言える。
そういうことは、我々のようなサーバ運用に永年関わっている人種には知れ渡っているようなもので、レンタルではない業務用サーバ、となると、やはり FreeBSD か Solaris が使われることが多い。それは、「他でも使っているから」ではなく、「高負荷に強いから」「メンテナンスの自由が利くから」「ライセンスが利用環境に適するから」というような積極的な理由の方が多いわけで。
当方は、「ＬＡＭＰ環境」に関しては否定的な方で、特にライセンスやメンテナンスに責任を持つことが困難であれば、「ＬＡＭＰ環境」は選択肢から外した方が懸命。特にメンテナンス環境とライセンス問題はこの構成ではかなり不安です。
先ず、Linux だが、色々なディストリビューションが乱立しており、更にディストリビューション同士で考え方が全く違うので、どれが良い？なんて質問されても答えようが無いか、自分が使っているディストリビューションをとりあえず使ってみたら？程度の回答しか出来ない。加えて独自の改良が仇となって、メンテナンスがバイナリ更新で簡単な一方で、ソースコードからのインストールなど、細かいことがすぐにできないことが結構あるので、運用には今ひとつかな、という感じです、
Apache は特に問題は無い。
次に、MySQL。これがなかなか曲者で、ライセンスがころころ変わり良く判らない。知らず知らずのうちにライセンス違反を犯してしまうと、システムとして使えなくなるので、「ライセンスに責任持つ」（そして、そういう顧客は少ない）という顧客でないと使わせることは怖くて出来ない。更に日本語環境を含めたマルチバイト文字環境は使えるとはいっても、正直今ひとつである。使ったことあるが正直言って「かなり使いにくい」。ただ、西欧圏のような１バイト文字圏を想定すると、確かに手っ取り早い感はある。
MySQLに関しては、他にも技術的な問題があるが、ここでは割愛。
最後に、PHP。日本語ドキュメントが早くから整備されていたこともあって、大きな欠点はあるが、今でも結構多用されている。当方も当初は PHP メインで開発案件をこなしていたが、PHP3 から PHP4 へ移行しだした数年前の時点で、この路線は危険だと見切ってPerl に移行した。
それは以下の理由が大きい：
・下位互換性を考慮しないため、バージョン上がる度に検証、テスト、修正といった膨大なメンテナンス工数がかかる。この工数にかかる費用（金銭的なものだけではありません）を誰が負担するのか？ サーバ運用だけにしわ寄せ行く現状なら使えない。
・文字列操作が弱い。
・メモリを大量に食う。だから、はっきり言って高負荷なサイト運用に向かない。潤沢な設備を用意できる大手業者ならたいした問題でもないのだろうが・・・
上記のような考え(遭遇した欠点を克服する手段の選定)もあって、当方は「ＢＡＰＰ環境」である。
FreeBSD、Apache、PostgreSQL、Perl で「ＢＡＰＰ」。
（勝手に作った造語です）
ところで、最近は FreeBSD とか PostgreSQL とか Perl とか判る技術者がいない、という話を聞く。
それは、絶対的な数が減っているというよりは、まともな技術者が他へ取られていることの証そのもの。
絶対的な数もそう増えていないのも事実でしょう。FreeBSD や PostgreSQL や Perl を色眼鏡で見るからです。
資金を出す方々はいつも正しい判断をするとは限りません。
むしろ、この業界の特徴でもあるが、周囲に流されて間違った判断をすることが多い。それが実態であることを認識することだけで、だいぶ違うと思うのですけれどね。
「ＬＡＭＰ環境」にこだわる技術者が近くにいたら、その技術者はスキル的に要注意です。
早いはなし、FreeBSD をいじれる技術者は Linux もなんとかいじれるのですが、逆は大抵当てはまりません。
2008/03/19(水)余計なつまらない設定はしない方が、、( /etc/ttys の設定 )
2017/10/11 8:21
これは、以下のような感じで、現在ログインしているリアルユーザのアカウント一覧を表示するものだったりします：
1:19AM up 4 mins, 1 user, load averages: 0.06, 0.20, 0.10 USER TTY FROM LOGIN@ IDLE WHAT lifekrnl p0 northwall 1:18AM - w
主に一番最初の行の右側にある小数点2桁の３つの数字を見るのに使っています。
上記の例だと 0.06 0.20 0.10 とある数字列です。
順に1分間,5分間,15分間の平均実行プロセス数。
数値が 1を超えなければ、このサーバはそんなに忙しい状態ではないことを意味します。
とあるサーバを FreeBSD 7.0 にしたら、このコマンドが機能しなくなってしまって、
代わりに /var/log/messages に以下のメッセージを延々と吐いていた模様：
Mar 19 01:02:05 **** init: can't exec getty 'none' for port /dev/ttyp1: No such file or directory
Mar 19 01:02:35 **** init: can't exec getty 'none' for port /dev/ttyp0: No such file or directory
原因は /etc/ttys の以下の赤い文字の部分：
# Pseudo terminals ttyp0 none network on secure ttyp1 none network on secure ttyp2 none network
赤い文字の部分を削除して再起動したら、あっさりと解決。。orz
どうも設定間違えたみたいです。
下手すると、場合によってはリモートログインが出来なくなったりする可能性あるので、注意するにこしたことありません。