プロフィール

kosaki

Author:kosaki
連絡先はコチラ

ブログ検索
最近の記事
最近のコメント
最近のトラックバック
リンク
カテゴリー
月別アーカイブ
RSSフィード
FC2ブログランキング

スポンサーサイト このエントリーをはてなブックマークに追加

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。


スポンサー広告 | 【--------(--) --:--:--】 | Trackback(-) | Comments(-)

OOM killerとの危険な関係に終止符は打てません このエントリーをはてなブックマークに追加

http://www.atmarkit.co.jp/flinux/rensai/watch2008/watch02a.html


とゆーわけで、なにやらWeb記事にのったようです。
よく考えたらこのblogは匿名blogのはずだったのだが、なんか事実上周知の事実らしいので
もはやどうでもいい。

関連記事
スポンサーサイト
linux | 【2008-02-29(Fri) 22:04:19】 | Trackback:(0) | Comments:(2)

ぐぎゃーん このエントリーをはてなブックマークに追加

諸般の手違いで3月はインターネットできなくなりそう。
まりおんさんに謝らねばなるまいて・・・

関連記事
雑談 | 【2008-02-29(Fri) 00:23:49】 | Trackback:(0) | Comments:(3)

英語で「だが断る」とやんわり言うのが難しいという話 このエントリーをはてなブックマークに追加

先日のnumactlのバグ問題で、結局Leeのパッチがmainlineに入ったにもかかわらず、今日Greg KHからドライバコアのパッチセットにあんたのパッチをいれといたよーん。とメールが飛んできた。
あわてて、だが断るだが断るだが断ると連呼したが、最初むこうはなんでそんなにマージをいやがるのか理解できなかったようだ。

うーむ、たしかに見るからに副作用がないパッチなので、mmかっとばして2.6.26に入っても誰かがギャッーと叫ぶ事はないと思うのだが。

上手な断り方をもっと勉強する必要があるよね、向こうはすごい親切な人なんだし(´・ω・`)

関連記事
雑談 | 【2008-02-20(Wed) 15:49:55】 | Trackback:(0) | Comments:(0)

beckyでスペルチェック このエントリーをはてなブックマークに追加

今日始めてbeckyにスペルチェック機能があることに気づいた。
おおお・・・

しかし、単語のカバー率がやたら低いのであった・・・

関連記事
プログラミング | 【2008-02-20(Wed) 10:52:23】 | Trackback:(0) | Comments:(2)

CELF Technical Jamboree #19 このエントリーをはてなブックマークに追加

に顔を出そうかと思っています。

http://www.celinuxforum.org/

見かけたら声をかけてくださいませ >各位




関連記事
linux | 【2008-02-19(Tue) 21:56:32】 | Trackback:(0) | Comments:(0)

hackbenchが1000% 速くなるパッチをLKMLに投げた このエントリーをはてなブックマークに追加

英語が色々と間違っているのは気にしない方向で :-p
絶対反対すると思っていたNick Pigginが

Yeah this is definitely needed and a nice result.



とか言い出したので、かなりいい流れ。




background
========================================
current VM implementation doesn't has limit of # of parallel reclaim.
when heavy workload, it bring to 2 bad things
- heavy lock contention
- unnecessary swap out

abount 2 month ago, KAMEZA Hiroyuki proposed the patch of page
reclaim throttle and explain it improve reclaim time.
http://marc.info/?l=linux-mm&m=119667465917215&w=2

but unfortunately it works only memcgroup reclaim.
Today, I implement it again for support global reclaim and mesure it.


test machine, method and result
==================================================

CPU: IA64 x8
MEM: 8GB
SWAP: 2GB


got hackbench from
http://people.redhat.com/mingo/cfs-scheduler/tools/hackbench.c

$ /usr/bin/time hackbench 120 process 1000

this parameter mean consume all physical memory and
1GB swap space on my test environment.



before:
hackbench result: 282.30
/usr/bin/time result
user: 14.16
sys: 1248.47
elapse: 432.93
major fault: 29026
max parallel reclaim tasks: 1298
max consumption time of
try_to_free_pages(): 70394

after:
hackbench result: 30.36
/usr/bin/time result
user: 14.26
sys: 294.44
elapse: 118.01
major fault: 3064
max parallel reclaim tasks: 4
max consumption time of
try_to_free_pages(): 12234


conclusion
=========================================
this patch improve 3 things.
1. reduce unnecessary swap
(see above major fault. about 90% reduced)
2. improve throughput performance
(see above hackbench result. about 90% reduced)
3. improve interactive performance.
(see above max consumption of try_to_free_pages.
about 80% reduced)
4. reduce lock contention.
(see above sys time. about 80% reduced)


Now, we got about 1000% performance improvement of hackbench :)



foture works
==========================================================
- more discussion with memory controller guys.



Signed-off-by: KOSAKI Motohiro
CC: KAMEZAWA Hiroyuki
CC: Balbir Singh
CC: Rik van Riel
CC: Lee Schermerhorn

---
include/linux/nodemask.h | 1
mm/vmscan.c | 49 +++++++++++++++++++++++++++++++++++++++++++++--
2 files changed, 48 insertions(+), 2 deletions(-)

Index: b/include/linux/nodemask.h
===================================================================
--- a/include/linux/nodemask.h 2008-02-19 13:58:05.000000000 +0900
+++ b/include/linux/nodemask.h 2008-02-19 13:58:23.000000000 +0900
@@ -431,6 +431,7 @@ static inline int num_node_state(enum no

#define num_online_nodes() num_node_state(N_ONLINE)
#define num_possible_nodes() num_node_state(N_POSSIBLE)
+#define num_highmem_nodes() num_node_state(N_HIGH_MEMORY)
#define node_online(node) node_state((node), N_ONLINE)
#define node_possible(node) node_state((node), N_POSSIBLE)

Index: b/mm/vmscan.c
===================================================================
--- a/mm/vmscan.c 2008-02-19 13:58:05.000000000 +0900
+++ b/mm/vmscan.c 2008-02-19 14:04:06.000000000 +0900
@@ -127,6 +127,11 @@ long vm_total_pages; /* The total number
static LIST_HEAD(shrinker_list);
static DECLARE_RWSEM(shrinker_rwsem);

+static atomic_t nr_reclaimers = ATOMIC_INIT(0);
+static DECLARE_WAIT_QUEUE_HEAD(reclaim_throttle_waitq);
+#define RECLAIM_LIMIT (2 * num_highmem_nodes())
+
+
#ifdef CONFIG_CGROUP_MEM_CONT
#define scan_global_lru(sc) (!(sc)->mem_cgroup)
#else
@@ -1421,6 +1426,46 @@ out:
return ret;
}

+static unsigned long try_to_free_pages_throttled(struct zone **zones,
+ int order,
+ gfp_t gfp_mask,
+ struct scan_control *sc)
+{
+ unsigned long nr_reclaimed = 0;
+ unsigned long start_time;
+ int i;
+
+ start_time = jiffies;
+
+ wait_event(reclaim_throttle_waitq,
+ atomic_add_unless(&nr_reclaimers, 1, RECLAIM_LIMIT));
+
+ /* more reclaim until needed? */
+ if (unlikely(time_after(jiffies, start_time + HZ))) {
+ for (i = 0; zones[i] != NULL; i++) {
+ struct zone *zone = zones[i];
+ int classzone_idx = zone_idx(zones[0]);
+
+ if (!populated_zone(zone))
+ continue;
+
+ if (zone_watermark_ok(zone, order, 4*zone->pages_high,
+ classzone_idx, 0)) {
+ nr_reclaimed = 1;
+ goto out;
+ }
+ }
+ }
+
+ nr_reclaimed = do_try_to_free_pages(zones, gfp_mask, sc);
+
+out:
+ atomic_dec(&nr_reclaimers);
+ wake_up_all(&reclaim_throttle_waitq);
+
+ return nr_reclaimed;
+}
+
unsigned long try_to_free_pages(struct zone **zones, int order, gfp_t gfp_mask)
{
struct scan_control sc = {
@@ -1434,7 +1479,7 @@ unsigned long try_to_free_pages(struct z
.isolate_pages = isolate_pages_global,
};

- return do_try_to_free_pages(zones, gfp_mask, &sc);
+ return try_to_free_pages_throttled(zones, order, gfp_mask, &sc);
}

#ifdef CONFIG_CGROUP_MEM_CONT
@@ -1456,7 +1501,7 @@ unsigned long try_to_free_mem_cgroup_pag
int target_zone = gfp_zone(GFP_HIGHUSER_MOVABLE);

zones = NODE_DATA(numa_node_id())->node_zonelists[target_zone].zones;
- if (do_try_to_free_pages(zones, sc.gfp_mask, &sc))
+ if (try_to_free_pages_throttled(zones, 0, sc.gfp_mask, &sc))
return 1;
return 0;
}



関連記事
linux | 【2008-02-19(Tue) 16:54:35】 | Trackback:(0) | Comments:(2)

うむ このエントリーをはてなブックマークに追加

hackbenchが3倍速くなった。これはコミュニティに投稿しよう。

関連記事
linux | 【2008-02-18(Mon) 17:10:50】 | Trackback:(0) | Comments:(0)

出身大学が変態だった件について このエントリーをはてなブックマークに追加

近畿大は「“異常趣味”大学」じゃない! 英語表記の変更検討
http://headlines.yahoo.co.jp/hl?a=20080216-00000918-san-soci

なんか、こんな記事があるらしい。
2chでも結構スレッドが立っている模様。

今度海外で講演する機会があったら、ぜったいKinki University出身です。からプレゼンを始めるよ(゚∀゚)

 近大生から近大職員となったアテネ五輪競泳バタフライ200メートル銀メダリスト、山本貴司選手は、海外遠征で大学名入りTシャツを着ていると、外国人選手から交換してくれと毎回のように頼まれるという。

 また、左胸に「KINKI UNIVERSITY」と書かれたオリジナルTシャツを送ってほしい、と海外から近大にメールが寄せられることも。米人気歌手、ビヨンセのバックバンドでベースを担当している女性から「世界ツアーで近大Tシャツを着たいので送ってほしい」と問い合わせもあったという。



バカに国境はない(´・ω・`)


関連記事
雑談 | 【2008-02-16(Sat) 16:34:47】 | Trackback:(0) | Comments:(4)

2.6.25-rc2 このエントリーをはてなブックマークに追加

なぜかChangelogに自分の名前を発見。どうやらLinusが間違えたっぽい。
被害者(Lee)に黙祷・・・

関連記事
linux | 【2008-02-16(Sat) 14:31:46】 | Trackback:(0) | Comments:(0)

LWNのコメント多すぎ このエントリーをはてなブックマークに追加

週末に、Linux Todayにmem_notifyが載ったとうかれていたらLWNに編集長のcorbetさんに、それは元々はLWNの記事の転載だ。ばかもん。と怒られてしまった。
んで、一生懸命LWNのアドレスをさがしたら、あった、あった

http://lwn.net/Articles/267013/

なんか、コメントが50個ちかく、印刷すると10ページを超えるぐらいついてる。
お、おまいら。。
LKMLでは誰もコメントくれないくせに、こんな所で・・・・

とりあえず、がんがって読むぜ (`・ω・´)

関連記事
linux | 【2008-02-12(Tue) 13:27:47】 | Trackback:(0) | Comments:(0)

きになるー このエントリーをはてなブックマークに追加

LWNの正体がきになるー。ニュースサイトなのは間違いないんだが

関連記事
linux | 【2008-02-12(Tue) 01:30:28】 | Trackback:(0) | Comments:(0)

福井市の小学生が驚くべき発見 このエントリーをはてなブックマークに追加

http://d.hatena.ne.jp/m-hiyama/20080207/1202372497

というエントリを檜山さんがblogで書いたんだけど、めずらしく答えは次回で発表方式になっていて話題を呼んでいる。
てゆーか、みんなはてブのコメント欄で答えの予想を書きまくっている。

一番笑ったのはこれ↓

外周は面積を裏切らない 面積も外周を裏切ってはならない



関連記事
雑談 | 【2008-02-11(Mon) 18:55:13】 | Trackback:(0) | Comments:(0)

Linux Today記念リリース このエントリーをはてなブックマークに追加

をついさっき、LKMLにポストしてきた。
だんだんメンドくなってきたので、今回からはRFCをとった。

あと、コメントがあまりに少ないと色々と具合が悪いので、今までコメントをくれた関係者をCCしまくってやった。

関連記事
linux | 【2008-02-10(Sun) 00:58:07】 | Trackback:(0) | Comments:(0)

Linux Todayにmem_notifyが載りました このエントリーをはてなブックマークに追加

http://www.linuxworld.com/news/2008/020508-kernel.html

Linux Todayって知らないんだけど、たぶん、Linuxをウォッチしているニュースサイト。
ありがたいことに、パッチの紹介がとてもよくまとまっているので、次からのパッチ投稿では
いただきだぜ!ww

でも

it would seem to be getting close to being merged.


は誇張にもほどがある、とかオモタ

ところで、こういうニュースサイトって掲載するときに関係者に連絡はこんもんなのね。
運よく気づいたけど、普通だったら、ぜってー気づかねー


そして、予想通りコメント欄は「こんなんイラネー」「OOM killerサイコー」という声で荒れるであった


追記:
親切な人から、あれはLWNの記事であって、Linux Todayとは関係ないよーと指摘をいただいた。
うーむ、記事が載っているサイトを調べようとしてリンクを見まくっているうちに、あらぬ誤解をしてしまったようだ。
これは恥ずかしい。

しかしLWNがなんなのかはやっぱり分からないのであった(^_^;
たぶん、Linux関係のニュースなんだろうけど・・・

関連記事
linux | 【2008-02-09(Sat) 19:04:02】 | Trackback:(0) | Comments:(0)

ページマイグレーションのデバッグ このエントリーをはてなブックマークに追加

split LRUパッチでランニング試験をしているとリークで落ちるとLeeがいうので、一緒にデバッグ。
切り分けの結果ページマイグレーションを契機にリークしていることを突き止める。
彼はまじめなので自分のコードを疑いまくっていたようだが、結局原因はRik van Rielのコードであった。
しかも超単純に明らかに不要なget_page()を呼び出しのせいで、参照カウンタが0にならなくなっていただけという・・・・

Rikよ。。。


追記: 訂正。元になったnick pigginのパッチからしてまちがっとるわ( ゚д゚)、ペッ

追追記: すまんnick。あんたのパッチはやっぱあってるわ。悪いのはrebaseするときにエンバグさせたLee ←結局1周しとるね

関連記事
linux | 【2008-02-05(Tue) 21:24:00】 | Trackback:(0) | Comments:(0)

Zijilstra と Jrsutela このエントリーをはてなブックマークに追加

LKMLでPeter Zijilstraさんが投稿するたびにジルステラと空目するので、正直困る。

関連記事
雑談 | 【2008-02-04(Mon) 02:23:32】 | Trackback:(0) | Comments:(0)

ううむ このエントリーをはてなブックマークに追加

またしてもmem_notify関係のスレッドが伸びているのに気がつかなかった orz
ext4のメールなんて追ってないものなー

関連記事
linux | 【2008-02-03(Sun) 22:54:34】 | Trackback:(0) | Comments:(0)

3DMark このエントリーをはてなブックマークに追加

某所で3DMarkの新作が出たというのでインストールしてみる。
もちろん最新版ではなく1つ古い3DMark06をである。
あのベンチの最新版がまっとうなPCで動くわけないでしょ(暴論)

2年も前のソフトを買ったばかりのハードで動かすので楽勝かと思いきやFPS3とか出る。
3Dmarkテラオソロシス( ゚Д゚)。。。

関連記事
テクノロジー | 【2008-02-03(Sun) 01:15:22】 | Trackback:(0) | Comments:(0)

Linux VM scalability effort メンバーになってしまった件について このエントリーをはてなブックマークに追加

Rik van Rielと Lee Schermerhornが中心となって開発しているsplit LRUパッチについて、ちょっといじったらVanillaカーネルに比べてベンチ結果が約1000%改善されたよ。とメールをかいたら、結構うけた。

でもって、今日は朝からLeeからLKML外で一緒に開発しようメールをばんばん受け取る。
まったくイヤではないので、まあいいのだが。


(1) $ ./hackbench 150 process 1000
(2) # sync; echo 3 > /proc/sys/vm/drop_caches
$ dd if=tmp10G of=/dev/null
$ ./hackbench 150 process 1000

vanilla 2.6.24-rc8-mm1
(1) 127.540 (単位:秒)
(2) 727.548

B. 2.6.24-rc8-mm1 + split-lru-patch-series
(1) 92.730
(2) 758.369

2.6.24-rc8-mm1 + rvr-split-lru + kosakiパッチ
(1) 61.965 (Vanillaから約2倍の改善)
(2) 85.444 (Vanillaから約10倍の改善)


関連記事
linux | 【2008-02-01(Fri) 14:41:28】 | Trackback:(0) | Comments:(0)
  1. 無料アクセス解析
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。