2014/06/20(金)再度 FreeBSD10.0 で clang 環境構築検証(3) ~ mod_perl2.0.9 は Apache 2.4対応

2017/10/12 17:31 サーバ運営・管理
mod_perlは、2.0.9 から Apache 2.4 対応になるようです。
つい最近の 6/12 に Apache2.4 対応のコードが本流にまとめられたようなので、早速入手してみました。正式提供ではないので、開発元から、subversion で取得するしか入手方法がありません。
〔入手方法〕
svn checkout https://svn.apache.org/repos/asf/perl/modperl/trunk ローカルdir
問題なく、 Apache 2.4.9 に組み込まれ、動作するようです。
20140619.JPG
# Windows 対応でリリースが1年以上遅延している模様・・・

mod_perl 2.0.9-dev は、ソースコードの修正が2箇所必要です。
○1つ目
ERROR from evaluation of Apache-Reload/Makefile.PL:
Use of uninitialized value in substitution (s///) at
Apache-Test/lib/Apache/TestRun.pm line 1100.
このエラーはかなり前から出ていて、一向に対処されないのですが、
以下のようないつもの暫定対処で対応です。
(Apache-Test/lib/Apache/TestRun.pm 1100行目付近)
    while (my($k, $v) = each %args) {
+     if (defined $v) {
        $v =~ s/\|/\\|/g;
        $body .= "\n\$Apache::TestConfig::Argv{'$k'} = q|$v|;\n";
+     }
    }
(2013/09/26(木)の拙作記事 Apache 2.4.6 + mod_perl2 でも紹介済み)

○2つ目
コンパイルが順調に進んでいるかのように思えるところで、最終段階(オブジェクトファイルリンク処理)で、
/usr/local/src/mod_perl-2.0.9-dev/src/modules/perl/mod_perl.a(mod_perl.o):
In function `modperl_startup':
mod_perl.c:(.text+0xe6): undefined reference to `modperl_io_apache_init'

/usr/local/src/mod_perl-2.0.9-dev/src/modules/perl/modperl_io_apache.h:37:16:
 warning: inline function
      'modperl_io_apache_init' is not defined [-Wundefined-inline]
MP_INLINE void modperl_io_apache_init(pTHX);
               ^
mod_perl.c:252:5: note: used here
    modperl_io_apache_init(aTHX);
のようなメッセージがかなり大量に出て、エラー終了してしまいます。
これは clang 環境固有のもので、gcc 環境では出ません。

原因はやや難しい話ですが、 __inline__ 属性を与えているC言語関数の取り扱いの問題になります。
__inline__ 属性を与えた場合、 clang ではコンパイル時の最適化処理途上でその属性を適用しないと決めたときに、外部シンボルとして登録しない仕様のため、リンクすると「シンボルが見当たりません」的な不可 解なエラーになるということです。

こちらの後半のほうに簡単な説明があります → [C++11対応記念] clang/LLVMのインストールとGMPを使って円周率ベンチ。 〔ぞうさんの何でもノート〕

具体的には、__inline__ 属性を外してしまうことで対処してしまいます。
(src/modules/perl/modperl_common_util.h 22行目付近)
-  #ifdef MP_DEBUG
+  // #ifdef MP_DEBUG
   #define MP_INLINE
-  #else
-  #define MP_INLINE APR_INLINE
-  #endif
+  // #else
+  // #define MP_INLINE APR_INLINE
+  // #endif
この件は、バグ報告したほうがいいかも・・・ですね。
当方は英語がダメダメなので、他力本願で誰かお願い・・・というところですが。。

これらの対処を行ってから、コンパイルを行うことで、問題なく Apache 2.4.9 + mod_perl 2.0.9-dev 環境が構築できます。

2014/06/19(木)再度 FreeBSD10.0 で clang 環境構築検証(2)

2017/10/12 17:28 サーバ運営・管理
OpenLDAP 2.4.39 と PHP 5.5.13 の configfure スクリプトは、FreeBSD 10 上では、基本的に誤認識します。具体的には、
『共有ライブラリ .so が作成されない』
という現象になります。

原因は、FreeBSD 10.x を configure スクリプト側で FreeBSD 1.x と認識することにあります。
こちらがズバリです → FreeBSD 10-Releaseで共有ライブラリが生成されない問題 解決
PHP 5.5.13 の場合は、上記で示しているとおり、
sed -e 's/freebsd1\*/freebsd1\.\*/g' -i .bak aclocal.m4 configure /build/libtool.m4
として、FreeBSD 10.x を FreeBSD 1.x として取り違えないようにすることでこの問題はあっさり回避できます。

また、OpenLDAP 2.4.39 の場合は、
sed -e 's/freebsd1\*/freebsd1\.\*/g' -i .bak aclocal.m4 build/openldap.m4
sed -e 's/freebsd1\*/freebsd1\.\*/g' -i .bak contrib/ldapc++/aclocal.m4
とやれば、同様にこの問題は回避されます。

ですが、これは gcc 環境では、どういうわけか出たり出なかったりで、正直今までよく判っていなかったというのが真相。。orz
前回は、PHP5.5 の .so ファイルを手動で作ったし、、

PHP 5.5.13 の場合、これでも いざ configure を実行すると、

checking for DB4 major version... Header contains different version

と出て、途中で止まってしまう場合がある。

これは、FreeBSD ports にて BerkeleyDB をインストールした場合に、ディレクトリ構成が、configure スクリプトが意図していない構造であるのが原因です。
この問題を解決するために、configure スクリプトに下記の追加を行います。
(BerkeleyDB 4.8.30 を ports でインストールした場合・31,287行目付近~)
     elif test -f "$i/include/db4.8/db.h"; then
       THIS_PREFIX=$i
       THIS_INCLUDE=$i/include/db4.8/db.h
       break
+    elif test -f "$i/include/db48/db.h"; then
+      THIS_PREFIX=$i
+      THIS_INCLUDE=$i/include/db48/db.h
+      break
     elif test -f "$i/include/db4.7/db.h"; then
       THIS_PREFIX=$i
       THIS_INCLUDE=$i/include/db4.7/db.h
       break

これらの対策をコンパイル前に講じることが、現時点でのリリースバージョンでは必要です。

2014/06/18(水)再度 FreeBSD10.0 で clang 環境構築検証(1)

2017/10/12 17:27 サーバ運営・管理
以前、こんな記事こんな記事 で、clang 環境構築検証した記事をもっともらしく載せましたが、実は旧環境が温存された状態。
したがって、検証の質としては低いのです。

20140617.JPG
ということで、今度は FreeBSD 10.0 をクリーンインストールしてやってみました。
今回から、BerkeleyDB 4.8.30 をPorts から入れることにしました。

特に問題が無かった(従来と同じ手順にて構築出来る)のは
・SpamAssassin 3.4.0
・ProFTPD 1.3.5
・PostgreSQL 9.3.4

BerkeleyDB 4.8.30 を Ports からインストールしたために手順の変更が必要なのは
・Courier-Authentication Library 0.66.1
・Maildrop 2.7.1
・dovecot 2.2.13

構築環境が FreeBSD10 に対応していないため、ソースコードなどの変更が必要なのは
・OpenLDAP 2.4.39
・mod_perl 2.0.9-dev
・Apache 2.4.9
・PHP 5.5.13
・postfix 2.11.1

といった状況になりました。

FreeBSD10 にて、BerkelayDB をports からインストールした場合、そのディレクトリ構成が標準と異なりますので、Ports以外でアプリケーションをソースコードから構築する際、環境変数でその旨をコンパイラに教 え込む必要があります。

具体的には、アプリケーションのうち、ソースコードから構築する際、configure スクリプトを最初に実行させるタイプのものは、環境変数 CPPFLAGS に include ファイルパスを列挙する必要があります。こんな感じです:
setenv CPPFLAGS '-I/usr/local/include -I/usr/local/include/db48 -I/usr/include'
また、Courier-Authentication Library 0.66.1 と maildrop 2.7.1 は、環境変数 LIBS に -lssl を指定する必要があります。こんな感じ:
setenv LIBS -lssl
こうしないと、どういうわけか、SSL ライブラリがまともにリンクできず、コンパイルが見かけ上成功してように見えても実際は失敗していた、という羽目になります。

2014/02/17(月)FreeBSD 9.1/9.2 における ports/packages 管理に異変

2017/10/12 17:08 サーバ運営・管理
まだ、運用サービスに FreeBSD 10 を入れるのは多少早い感があるので、
当方管轄で FreeBSD 10 を突っ込むのは 2台だけにして、残りは FreeBSD 9.1/8.4 を従来どおり稼動させています。

ですが、ports にてアプリケーションソフトウェアの更新をしていると、
/!\ WARNING /!\
pkg_install EOL is scheduled for 2014-09-01. Please consider migrating to pkgng
http://blogs.freebsdish.org/portmgr/2014/02/03/time-to-bid-farewell-to-the-old-pkg_-tools/
If you do not want to see this message again set NO_WARNING_PKG_INSTALL_EOL=yes in your make.conf
というメッセージが時折出てくるようになりました。

要するに
・ pkg_install ユーティリティは 2014/09/01 には使えなくなる予定です。
・ だから pkgng に切り替えることを検討して欲しいです。
・ このメッセージがウザい場合は、貴方のマシンの /etc/make.conf に
  NO_WARNING_PKG_INSTALL_EOL=yes という設定を追加してください。

というメッセージです。
FreeBSD 9.1/9.2 にて pkgng に切り替えるには、
まず、
/usr/sbin/pkg
を、コマンドラインで実行し、更に、
rehash
pkg2ng
と順番にコマンドラインで実行して、管理データを変換し、最後に /etc/make.conf に
WITH_PKGNG=yes
を追加することで、使用できます。
筆者は、/etc/make.conf への設定追加を忘れて、しばし嵌りました・・orz

(引用:http://www.freebsd.org/doc/ja/books/handbook/pkgng-intro.html 〔5.5. pkgng によるバイナリ package の管理〕)

2014/02/15(土)FreeBSD 10 上で Apache 2.4.7 やPHP は動作しない?

2017/10/12 17:06 サーバ運営・管理
clang 検証作業で最も嵌ったのはこれでした。orz
20140215_2.png

具体的には Apache 2.4.7 + mod_perl 2.0.8(スタティックリンク) + PHP 5.5.9
という組み合わせ。
Apache 2.4 において、mod_perl は公式には使えないですが、Apache 2.4 用にパッチを充てているため、使用可能にしております。

FreeBSD 10.0R の openssl バージョンは 1.0.1e が組み込まれています。
蛇足ですが、openssl のこのバージョンではブラウザ側さえ対応すれば、ネームベースのバーチャルセキュアSSLサーバが提供できるようになります。(普及の足を引っ張っているのは IE なわけだが・・)

まず、clang 環境で構築すると、mod_perl ライブラリをリンクするところで、原因不明の「シンボルが未定義っす。。」みたいなメッセージをかなり大量に吐いてコケます。つまり、「使えそうに無い」のです。
Apache 2.4.7 単体、あるいは動的リンクだと clang 環境でも構築可能かもしれませんが、こちらでは未検証です。

ならば、gcc 環境を強制すればいいのですが、環境変数 CC を gcc に設定するだけでは駄目で、mod_perl 側の Makefile をコンパイル前に書き換える必要があります。

mod_perl のトップディレクトリにて、
 perl -pi -e 's/CC = cc/CC = gcc/' Makefile
 perl -pi -e 's/CC = cc/CC = gcc/' */Makefile
 perl -pi -e 's/CC = cc/CC = gcc/' */*/Makefile
 perl -pi -e 's/CC = cc/CC = gcc/' */*/*/Makefile
 perl -pi -e 's/LD = cc/LD = gcc/' */Makefile
 perl -pi -e 's/LD = cc/LD = gcc/' */*/Makefile
 perl -pi -e 's/LD = cc/LD = gcc/' */*/*/Makefile
 perl -pi -e 's/\tcc \-E/\tgcc \-E/' Makefile
 perl -pi -e 's/\tcc \-E/\tgcc \-E/' */Makefile
 perl -pi -e 's/\tcc \-E/\tgcc \-E/' */*/Makefile
 perl -pi -e 's/\tcc \-E/\tgcc \-E/' */*/*/Makefile
のようにして、コンパイラ gcc 使用を強制させる必要があります。
(このままでは、デフォルトコンパイラ clang 使用が強制されるため)

ところがこのようにして構築しても、Apache 2.4.7 + mod_perl を起動させても、
表示はハングしてしまい、まともに使えません。
Apache 2.4.6 まで使えていた mod_perl の Apache 2.4 パッチが利用できない状況になったのかもしれません。

Apache 2.4.6 であれば、上記の手法にて FreeBSD 10 上で運用できます。

もうひとつの問題は、PHP 5.5.9。
どういうわけか libphp5.so が作成されません。
configure でも shered Library Support は no とされてしまいます。。

原因は判らないが、構築環境の問題であることは確か。
下記ページを参考に、手動で .so ファイルを作成しました。
Permanent Link to How to compile PHP5 on 64bit Linux (CentOS) [hiro345]

ところで、提起ページでいう「かなり長いコマンド」は、実に20000文字近い長さがあり、通常環境では、上手くいきません。こんなときは、バイナリエディトするのです。
unix 環境では、hexedit とかあるのですが、インストールが面倒なので以下で示すようにして、「かなり長いコマンド」をファイルにして、編集しました。こんな感じです:
vimでバイナリを表示し、値を変更したい [rdera ブログ]

これで、こんな感じで構築できました。
20140215_3.png

2014/02/15(土)FreeBSD10 でアプリケーションを構築してみる

2017/10/12 17:04 サーバ運営・管理
freebsd-update だと、named.conf 設定ファイルが消えるとかの報告が入っているので、subversion によるソースコード取得をして、自力構築でやってみました。
この方法だと、構築に要する時間はかかりますが、旧環境は温存できます。

それはさておき、FreeBSD 10 はどんなものか、を把握するために、ちょっとやってみたところが・・・
20140215_1.png

正直、嵌ったので・・・orz
情報で得る内容と、実際に実務作業して得る内容は概して異なることが多いので、こうして経験することが重要なのです。

まず、ports の内部管理方法が変わり、portupgrade コマンドでアプリケーションの更新をしようとすると、「pkgng をインストールしろ」みたいなメッセージが出て怒られてしまい、以下のような手順が表示される :
- switch to pkgng:
    1) Add WITHOUT_PKGNG to /etc/make.conf
    2) Install ports-mgmt/pkg
    3) Convert your package database by running pkg2ng
    4) Remove WITHOUT_PKGNG from /etc/make.conf
提示されたとおりにして、再び portupgrade コマンドでアプリケーションの更新を行うことができました。
portsnap コマンド、portversion コマンドなどは、画面表示が若干変更されていますが、従来どおり使用できます。

気になる(ここからが本題)のが、デフォルトのコンパイラが clang に変わったことによる影響です。
当方では、痒いところに手が届くよう、一部の主要ソフトウェアをソースコードから構築しています。それらソフトウェアに対する影響です。
結果、これに嵌りました・・・ 以下、こちらで判明した内容です。
ただ、十分な確認はしていません。
筆者の通常環境である、環境変数 CC を未定義にしておいたときの状態です。

・Postfix  : clang 環境でも問題無さそう
・dovecot  : clang 環境でも問題無さそう
・PostgreSQL : configure が gcc を強制する。
・OpenLDAP  : clang 環境でも問題無さそう
・Courier-Authlib: configure が gcc を強制する。
・Maildrop  : configure が gcc を強制する。
・ClamAV   : configure が gcc を強制する。
・Apache 2.4 : clang 環境では構築不可。 環境変数 CC で gcc を強制要。
・PHP 5.5  : clang 環境では構築不可。 環境変数 CC で gcc を強制要。
・mod_perl  : clang 環境では構築不可。 環境変数 CC で gcc を強制要。
・rsyncd   : configure が gcc を強制する。
・proftpd  : configure が gcc を強制する。

筆者の環境では、Web サーバにて Apache 2.4 + mod_perl + PHP 5.5 という組み合わせと、 Apache 2.2 + mod_perl + PHP 5.4 という組み合わせで運用しています。

実は、この組み合わせでも嵌ったのですが、別記事にします。

2014/01/28(火)FreeBSD 10.0R リリース

2017/10/12 05:56 サーバ運営・管理
今月20日にリリースされていました。
思っていたよりも早く、また忘れていたというのが実情でしょうか。。orz

今回のバージョンは、既存ユーザ目線で見ても結構変わっています。
従来バージョンからのアップデートは可能ですが、freebsd-update(8) を使ってアップデートする場合、以下のバージョン相当以上である必要があります:
FreeBSD 8.3R-p13
FreeBSD 8.4R-p6
FreeBSD 9.1R-p9
FreeBSD 9.2R-p2  (以上 FreeBSD-EN-13:04,FreeBSD-EN-13:05 より)

大きな変更点としては、

・ デフォルトで使用する(C言語)コンパイラを GCC から clang(1) に変更した。
・ ベースシステムのDNSリゾルバを Unbound に変更した。 BIND はベースシステムから外した。
・ make(1) を NetBSD Projectで運用実績のある bmake(1) に置き換えた。
・ 新たに pkg(7) をデフォルトで使用するインストールソフトウェア管理ユーティリティとして提供した。
  pkg_add(1), pkg_delete(1) は上記で対応できるので削除した。
・ 仮想環境の改良。 bhyve(8), virtio(4), Microsoft Hyper-V を guest 環境で使用できるようにした(?) #ちょっと意味不明・・
・ ZFS ファイルシステム TRIM サポートにSSDドライブを追加対応した.
・ ZFS ファイルシステムに high-performance LZ4 圧縮アルゴリズムを追加。
とアナウンスされているようです。

今般でサポート期限は以下のようになっています:


FreeBSD 8.3 は、今年(2014年)4月末でサポート終了になります。

2013/10/07(月)FreeBSD 9.2R リリース

2017/10/12 05:42 サーバ運営・管理
掲載が遅れましたが、9/30 にリリースされました。
FreeBSD 9.1R または FreeBSD 8.3R/8.4R からのアップデートが可能のようです。
また、FreeBSD 10のα版がお目見えしています。

アナウンスによれば(適当な意訳です):
・ZFS ファイルシステムは、TRIM をサポートした.
・virtio(4) ドライバを amd64とi386 アーキテクチャー向け GENERICカーネルコンフィギュレーションに追加した.
・ZFS ファイルシステムは、lz4 圧縮を新たにサポートした.
・OpenSSL のバージョンを 0.9.8y に更新した.
・DTrace を GENERIC カーネルコンフィギュレーションにてデフォルト有効に変更した.
・DTrace のバージョンを1.9.0 に更新した.
・Sendmail のバージョンを 8.14.7 に更新した.
・OpenSSH のバージョンを 6.2p2 に更新した.
・headブランチ(先進開発チームの意)から、unmapped I/O サポートを組み込んだ.
#ちょっと、最後だけ具体的な内容がわかりません・・・

となっています。
新たに設定されたサポート期限は、以下の通りです。
20131007.png

2013/09/30(月)サーバ監視ツール munin 1.4.x → 2.0.x

2017/10/12 05:40 サーバ運営・管理
この手のツールには、zabbix や Nagios などあるのですが、どちらかといえば大規模向けであり、実際は専用の監視サーバを用意しないと使い物にならない代物で、中小規模には不向き感が強い。

筆者は munin 1.2 の頃から使ってはいますが、アップデート作業の負担が大きい感があり、久々に重い腰を上げて対応してみたというところです。

まだ蓄積を始めたばかり(以前の監視データは思い切って削除・・・)なので、観るべきデータはスカスカですが。。。こんな感じで各種情報がグラフの形で得られます。
20130930_1.png

全体の感じはこんな感じ。目の前のディスプレイはまだワイドタイプではないので、横が切れています。
20130930_2.png

というか、最近はワイドタイプディスプレイ前提のWebアプリケーションやWebサイトが当たり前になってきたのです・・・あぁ。。orz

今回から、FreeBSD の Ports にて構築することにしました。
/usr/ports/sysutils/munin-node ・・・ 監視対象のサーバにインストール
/usr/ports/sysutils/munin-master ・・ 監視を行うサーバにインストール

監視を行うサーバには、当然のことながら Apache などの Web サーバが稼動していなければなりません。munin は、監視を行うサーバにて、監視対象のサーバから独自プロトコルで情報を取得し、統計情報の蓄積と HTML・グラフ生成を行うような仕組みになっています。

詳しい構築方法は、各所で紹介されているのでとりあえずそちらに任せるとして、
忘れがちなのは、監視対象のサーバにて、具体的な監視対象を設定する操作。

FreeBSD にて munin-node をインストールすると、/usr/local/etc/munin 配下に設定ファイルが作成されています。ここの munin-node.conf を適宜変更するのですが、これだけでは駄目で、 /usr/local/etc/munin/plugins 配下に具体的な監視対象をシンボリックリンクの形で設定する必要があります。

まず、/usr/local/etc/munin/plugins にディレクトリを移動しておいて、
rootユーザ にて、
munin-node-configure --suggest
を実行。そうすると、監視対象サーバにおいて、実際に監視対象にできる内容などが表示されます。
Plugin                     | Used | Suggestions
------                     | ---- | -----------
amavis                     | no   | no
apache_accesses            | no   | yes
apache_processes           | no   | yes
apache_volume              | no   | yes
利用可能はものは、Suggestions のところに yes が表示されます。
ここで、
munin-node-configure --shell
とすると、設定するための unix コマンドが表示されます。
上記の例とは合いませんが、こんな感じ:
root# munin-node-configure --shell
ln -s '/usr/local/share/munin/plugins/if_' '/usr/local/etc/munin/plugins/if_usbus'
ln -s '/usr/local/share/munin/plugins/if_errcoll_' '/usr/local/etc/munin/plugins/if_errcoll_usbus'
ln -s '/usr/local/share/munin/plugins/munin_stats' '/usr/local/etc/munin/plugins/munin_stats'
この部分をカレントディレクトリ(/usr/local/etc/munin/plugins) にて、コマンドラインにて実行すれば設定完了。
このあと、監視対象サーバをリブートすれば設定完了。
以前のバージョンより動作も軽いです。

2013/09/26(木)Apache 2.4.6 + mod_perl2

2017/10/12 05:38 サーバ運営・管理
記事が消えてしまったので、再度書き直し...orz
Apache は有名な Web サーバアプリケーションで、当方でも多用しています。
現行バージョンは 2.0.65(Ver 2.0系)、2.2.25(Ver 2.2系)、2.4.6(Ver 2.4系) の3つ。
現時点で最も普及しているのは、おそらく 上記のVer2.2系でしょう。

ですが、Ver 2.4系への以降が始まっています。
Linux の Debian や Fedora あたりはサポートの主力を Ver 2.4系に移行したとか。
当方でも FreeBSD ではありますが、このブログを含むWebサーバを Apache 2.4に移行しました。
20130926.png

題名の Apache 2.4.6 + mod_perl2 ですが、この組み合わせではそのままではインストール自体ができません。正式対応もしていません。
Apache 2.4 に対応したパッチを mod_perl2 に施す必要があります。
#mod_perl 2.0.8 用のパッチはありませんが、mod_perl 2.0.7用のパッチを一部変更で対応できます。

また、Perl 5.18 で mod_perl2 を動作させるには、 mod_perl 2.0.8 を導入する必要があります。
公式サイト(?)には掲載がありません)

特に新規案件で Apache 2.4 に移行しようか否か迷っているサーバ管理者も居られると思いますが、まだ時期尚早だと思います。ソフトウェア対応でまだ苦労しますので、、
mod_perl2 が Apache 2.4 対応になれば検討してもいいでしょう。

mod_perl2 は現在、Apache 2.4 対応作業が進められていますが、提供形態の検討を経て、作業が始まったのは先月くらいからのようです。

また、最近の mod_perl2 は、ソースコードから構築作業の際、
uninitialized value $v in concatenation (.) or string at
Apache-Test/lib/Apache/TestRun.pm line 1100
のようなエラーが出て、構築処理が中断してしまいます。
# mod_perl 2.0.5 あたりからこの現象は確認できるが、何故か一向に対処されない。

これの対処は、上記ファイルの 1100行目付近を
    while (my($k, $v) = each %args) {
      if (defined $v) {
        $v =~ s/\|/\\|/g;
        $body .= "\n\$Apache::TestConfig::Argv{'$k'} = q|$v|;\n";
      }
    }
のように変更して、再度構築作業をやり直せば大丈夫です。