プロフィール

kosaki

Author:kosaki
連絡先はコチラ

ブログ検索
最近の記事
最近のコメント
最近のトラックバック
リンク
カテゴリー
月別アーカイブ
RSSフィード
FC2ブログランキング

スポンサーサイト このエントリーをはてなブックマークに追加

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。


スポンサー広告 | 【--------(--) --:--:--】 | Trackback(-) | Comments(-)

libhugetlbfs を解析してみた このエントリーをはてなブックマークに追加

最近のFedoraにはアプリケーションを自動的にHugetlbで動かしてスピードアップしてくれる、libhugetlbfsというパッケージがある。
という極秘情報をKAMEさんから入手して特派員は調査に向かった!!


うーん、おいらが作ってたライブラリとそっくり!

・mallocの乗っ取りはglibc mallocの__morecoreシンボルを乗っ取っている。
・mallocの乗っ取りはコンパイル済みのアプリにも有効
・text/data/bssの乗っ取りはld という名前の独自スクリプトを用意して、リンカオプションに --hugetlbfs-link= という文字列が現れたら、libhugetlbfsが用意した独自リンカスクリプトを引数文字列に追加して本物のldをinvokeしている
・つまりtext/data/bssのhugetlbfs化は再コンパイルが必要
・このリンカスクリプトでは以下の処理をおこなう
 ELFのセグメントヘッダのflagsに 0x100000を足す
・で、libhugetlbfs.soのコンストラクタで、flagsで0x100000 ビットが立っているセグメントをunmapしてHugetlbfsでもう一度mapする

うーん、この超すくない行数でここまでやるとは立派。
あえて欠点を指摘するなら以下だけど、たいした欠点じゃないような

・glibc mallocはメインスレッド以外の領域はmmapで確保するのだけど___morecore(よーするにsbrk)しかhookしてないので、メインスレッド以外のmallocはHugetlbにならない
・ELFの規格を無視したアヤシゲなフラグを勝手に導入している
・text/data/bssの処理は一度カーネルとld.soがマップしたトコロをもう一度アンマップしているので若干無駄
・あと、libhugetlbfs.so のコンストラクタが、他のコンストラクタよりも先に走る事を前提に決めうってアンマップしているので、LD_PRELOAD以外でlibhugetlbfs.soをリンクすると悲惨
・hugetlbfsにファイル作る、すぐさまunlinkする。という手法でプロセス終了とともに消えるファイルをつくっているので、変なタイミングでプロセスが終了するとhugetlbメモリが解放されない


まあ、課金やらジョブ毎のメモリ量制限とかの、ジョブ運用の要件は満たせないんで、結局大規模センター系はこれじゃダメなんだけど。。

てゆーか、2.6.16 を仮定(hugetlbfsのMAP_PRIVATEを仮定)してる時点でずるいよな!!


とりあえずアレだ
・マシン全体で特定のアプリしか動かしていなようなサーバーであり
・当該プロセスが落ちることはまず考えられず
・当該プロセスがforkとかせず
・当該プロセスがTLB missが性能にインパクトを与えるぐらい、すごくでかいデータへのアクセスが発生しており
・シングルスレッドアプリケーションである
場合はお手軽な高速化としていいんじゃないでしょうか。


追記:
そうそう、スタックのラージページ化も出来ないよ


キ○キス.jpg
そっくり! ランキング!


関連記事
スポンサーサイト
linux | 【2007-02-28(Wed) 17:08:45】 | Trackback:(0) | Comments:(0)

クソ書評との戦い このエントリーをはてなブックマークに追加

http://d.hatena.ne.jp/hira_sosuke/20070224/1172325597

べつにその本に限った事ではない。最近、アフィリエイトと絡んでか、こうしたクソ書評が多い。あきらかに、ちゃんと読んでなかったり
そもそも評価するだけの知識が無いのに書いてたり。

きっと、著者は自分の本の評判が気になり検索し、そしてこうしたクソ書評を目にするだろう。その時の著者の気分を考えれば、気の毒で仕方ない。



う、身につまされるな・・・
元々、このブログは自分用備忘録の側面が強いからボロクソに書きたい砲台の時あるっすな

で、自分なりに原因を分析してみると、たぶんアフィリエイトいくないね。
アフィリエイトありで、褒めちぎると自分の大嫌いなちょうちん記事を書いている気になってきて、絶対どこかにケチョンケチョンな文言を入れたくなってしまう。
うーん、この葛藤をどう表現すればいいのか。。。

気をつけよう・・・




関連記事
雑談 | 【2007-02-25(Sun) 09:46:38】 | Trackback:(0) | Comments:(3)

Amazonのアフィリエイト決算北 このエントリーをはてなブックマークに追加

1年で、2000円ちょっとか。
うーむ、副業としてなりたつ人が存在してる事自体が信じられなくなる値段やな

googleのほうは1年で30ドルちょいだから、もう少しマシか。

関連記事
blog | 【2007-02-17(Sat) 00:44:25】 | Trackback:(0) | Comments:(3)

HD DVDとBlu-rayの暗号化がついに完全突破されたらしい このエントリーをはてなブックマークに追加

http://gigazine.net/index.php?/news/comments/hd_dvdblu_ray/

Doom9というその筋の人々には有名な海外のフォーラム(いわゆる掲示板みたいなもの)にて、「arnezami」という名前のハッカーがHD DVDとBlu-rayに使われているAACS DRMの復号過程で使用されるキーを発見してしまいました。そのため、これまでは個別に複合化していた今までの過程が全部ぶっ飛ぶことになり、あっという間に暗号化の解除が可能になりました。

ハックしたわけでもなく、クラックしたわけでもなく、リバースエンジニアリングでもなく、「arnezami」はHD DVDとBlu-rayがメモリに読み込まれて再生される際の、そのメモリ上の動きを目で追うことでキーを見つけだしたというのがポイント。




もうね。鍵を素直にメモリ上にロードしてる時点でアホか、バカかと。
どのメーカの機器で解読したのかしらんが。
普通は暗号チップ内で全部処理するようにして、簡単に読み取れるような普通のDRAMにはロードしないものなんだよ。
いくらハッカーだって、チップの殻を叩き割ってプローブするとか出来ないんだから。。。。
耐タンパ性でぐぐりやがれ。

とか思った。


そういえば、デジタルテレビのB-CAS廃止議論でも
・B-CASなしでもまっとうな暗号強度は可能
・アホメーカが1社でも、くそハードを作ったら鍵がだだ漏れなのはいかがなものか

って意見が対立してたような遠い記憶を思い出した。

しかし、詳細が良く分からんので、続報をウォッチだぜ



最低な一台です
最低な一台だ! ランキング!


関連記事
テクノロジー | 【2007-02-14(Wed) 09:24:17】 | Trackback:(2) | Comments:(4)

風邪引いた このエントリーをはてなブックマークに追加

くしゃみ、鼻水が止まらない


失敗した
風邪の治療! ランキング!



関連記事
雑談 | 【2007-02-13(Tue) 01:18:36】 | Trackback:(0) | Comments:(0)

コメント欄を大きくした このエントリーをはてなブックマークに追加

流行にのって自分のCSSにも

#comment {
width: 48em;
height: 30em;
}



という記述を追加した。
うむ、見やすい

関連記事
blog | 【2007-02-09(Fri) 09:10:21】 | Trackback:(0) | Comments:(2)

しかしアレだ このエントリーをはてなブックマークに追加

名古屋のランドセルはとんでもないな。
ゴクリ・・・



by愛知出身の管理人

関連記事
ねた | 【2007-02-08(Thu) 21:25:27】 | Trackback:(0) | Comments:(4)

ランドセルとCell Computingが関係なかった件について このエントリーをはてなブックマークに追加

突然MMR魂に目覚めてランドセルとPS3のCell Computingの関係を調べるプロジェクトを脳内で発足させたのだが、どうやらまるで関係ないらしい。
ショボーン(´・ω・`)

wikipediaによると

江戸時代に幕府が洋式軍隊を導入する際に、兵士の背嚢(はいのう)として輸入したもののオランダ語の呼び名「ランセル」(ransel)がなまって「ランドセル」になったものだといわれる。日清戦争、日露戦争などの間も、軍隊では同様のものが使われ続けた。

通学かばんとしての利用は、明治に入って官立の模範小学校として開校した学習院で、これが使われるようになり、徐々に浸透して今のような形になったという説が有力である。



とのこと。
そもそも綴りがCellじゃねーし。
てゆーか、英語ちゃうやんけ。

というわけで、裏に隠された陰謀を暴く前に挫折した


ランドセル
名古屋のランドセル! ランキング!




関連記事
ねた | 【2007-02-08(Thu) 10:52:06】 | Trackback:(2) | Comments:(0)

岡山のイメージ このエントリーをはてなブックマークに追加

最近、読学のススメの影響でなんとなく、岡山=ハレの国というイメージを持っていた。

とんでもない間違い。

岡山はあの「津山30人殺し」を生んだ国ですぞ!!

と、さっき寝ていてふと思い出したことを備忘録代わりにメモ

関連記事
雑談 | 【2007-02-06(Tue) 22:07:19】 | Trackback:(0) | Comments:(5)
  1. 無料アクセス解析
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。