プロフィール

kosaki

Author:kosaki
連絡先はコチラ

ブログ検索
最近の記事
最近のコメント
最近のトラックバック
リンク
カテゴリー
月別アーカイブ
RSSフィード
FC2ブログランキング

スポンサーサイト このエントリーをはてなブックマークに追加

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。


スポンサー広告 | 【--------(--) --:--:--】 | Trackback(-) | Comments(-)

linuxのmlockが凶悪な件について このエントリーをはてなブックマークに追加

諸卿もご存知の通り、Linuxのメモリアロケーションはmalloc(), mmap()した段階ではメモリ割付をせず、最初にメモリにアクセスしたときに行うという俗に「first touch」と呼ばれるアロケーションポリシーを採用している。

さて、んでは、このmmap()したけどまだ実際にはメモリ割付されているないアドレスにたいしてmlock()したらどうなるか。
というと、この時点でメモリ割付が走る。

走るのはいいんだが、これがまたベラボーに遅い。
別にLinuxカーネルのアルゴリズムが悪いわけではなくて、メモリ割付をする=そのページを0クリアするという事なので、DRAMのアクセス速度が超えられない壁となって立ちはだかるわけだ。

じゃあ、どのくらい時間がかかるか計算してみよう。
まず、DRAMをDDR2 PC5300と仮定しよう。イマドキ、こんなもんよね。
これでアクセス速度理論値 5300/2=2650MB/s(=2.65GB/s).

mlockするサイズを150GBと仮定すると150 / 2.65 =~ 56.6 sec
うむ、約1分かかるな。

ただ、この1分はただの1分ではなくカーネル空間での1分であるので、
Linuxのつくりの問題で

・CPUが何個あろうと1分かかる
(mlockをcallしたCPUで全処理走るから)
・その間、スケジューラは一切走らず別のプロセスは動作できない
 (CONFIG_PREEMPT無効の場合。Redhat Enterprise Linuxとかは無効)

という事態になる。


ところで、世の中にはサーバーが無反応になったら自動的にリブートが走るという便利なサービスを提供しているソフトがいっぱいあってな・・・

かつ、Linuxではevent/n スレッドはper CPUなスレッドであるから、
あるスレッドが動けない状態になっても別スレッドは助けてくれない仕組みになっておってな・・・

まあ、このevent/nスレッドはwork queueとか使うと勝手に使われる仕組みなので、知らない間につかってしまっている事も多いのだが。


・・・・


あとは・・・分かるな? ・゚・(ノД`)・゚・



PS. 計算式にメモリのデュアルチャンネルありなしが入っていないのはおいらが詳しくないから。あれって、シーケンシャルアクセスにも効果あるんだっけ?


普通のロリコン
ロック! ランキング!

関連記事


linux | 【2007-05-02(Wed) 11:38:43】 | Trackback:(0) | Comments:(6)
コメント
超人ロックなつかしいですね~^^
ていうかまだ続いてるのですね。すごい!!!
読んでみたくなりましたよ(わたしはアニメ版のしか知らないけど^^;)
2007-05-02 水 00:03:27 | URL | よう #- [ 編集]
噴いたwww
2007-05-06 日 07:29:13 | URL | rna #i0SzwAZI [ 編集]

> デュアルチャンネル
連続したアドレスにアクセスする場合は効くんじゃないでしょうか。
1バイトずつ書き込む処理でもキャッシュから書き戻す時にがつんとやってくれるのでは…
2007-05-06 日 07:33:51 | URL | rna #i0SzwAZI [ 編集]

ようさん>
いやいや、SMPで死活監視をするのに、特定のCPUにバインドされたスレッドでやってはいけないのは常識で、なんだけど、work queueとかを使うと知らない間にそれが簡単に起こってしまうので、気をつけなくちゃね。
というお話なのです。
死活監視はあくまで、生死を監視しているのであって、負荷があがったぐらいでリブートしてちゃあきまへん(´・ω・`)

だいたい、使うメモリをmmapしまくるデーモンは世の中に腐るほどいて、かつ、搭載メモリを増やすと勝手に消費メモリが増えていくプログラムなんていくらでもあるのに、そんなの気をつけれないですよ。
自分でつくったプログラムじゃないんで。

rnaさん>
おおお、こやつはrnaさんの作品でしたか。ぐぐる画像検索でみつかったのを適当にひっぱってきてるので、全然気が付きませんでした。未承諾で使ってしまい申し訳ありませぬ。
相変わらずいいセンスをお持ちですね(⌒▽⌒)
2007-05-06 日 22:08:35 | URL | kosaki #- [ 編集]

ちなみに新しいカーネルだと直ってました。cond_resched()はいっとる
2007-05-07 月 10:03:29 | URL | KAME #- [ 編集]

がーん、なんか最近見つける問題がほとんど100%ストックカーネルでは直っているので、ある意味つまらないっす(´・ω・`)
2007-05-07 月 11:27:01 | URL | kosaki #- [ 編集]
  1. 無料アクセス解析
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。