数十万件
http://itpro.nikkeibp.co.jp/article/OPINION/20071031/286028/?P=2&ST=oss
また行政システムでは，大量データのバッチ処理が発生する。住民当たり平均10件程度，数十万件のデータを処理しなければならない。「バッチ処理は朝の始業時までに終わらせなければならない。いかにI/Oを少なくするか，ミリ秒単位で競ってきた」(テクノプロジェクト 吉岡氏)。
数十万件程度のデータ処理でそんな大袈裟な、と思うのだけど・・・
-
-
- -
-
ちなみに、開発時のようなデータベースを独占できる環境の場合は、データベースを使った処理速度が、ファイルシステムを使った処理速度と比較して十分な速度が出ていないような場合は、プログラムの書き方を考え直した方がいいと思う。
例えば、手元で100万行のテストデータを作って、これをsedで処理したら10秒くらいだったので、データベースで100万件のレコードに同じような処理を行って1分以上かかってたら、原因を考えた方がいいと思う。
-
-
- -
-
誤解を受けそうなので追記しておくと、上の例は、sedと同様の処理を行った場合に1分と言っているのであって、処理内容が異なれば処理時間の目安は異なるということです。
