Tag Archives: I/O

Linux下查看进程的I/O占用情况

又一台服务器出现疑似I/O瓶颈:CPU占用0,系0负载却到了4,而且进程基本停滞了。。

iotop什么挺麻烦的,推荐一下iopp:

https://github.com/markwkm/iopp/

直接下载那个iopp.c编译就好了:
gcc ./iopp.c -o ./iopp
看一下用法:
usage: iopp -h|--help
usage: iopp [-ci] [-k|-m] [delay [count]]
-c, --command display f[......]

继续阅读

Hadoop: The Definitive Guide 第四章 Hadoop I/O

1、为了HDFS中的保证数据完整性,Hadoop使用Checksum的方法,每io.bytes.per.checksum个字节计算一个CRC-32的CheckSum。默认是512字节,生成4字节的checksum,所以在空间开销上

2、Hadoop/HDFS支持压缩,当数据规模很大的时候,不仅可以节省空间,还可以减少网络I/O等的消耗。

3、在支持的压缩算法中,压缩比:bzip2 > gzip > lzo,速度:lzo > gzip > bzip2。

解[......]

继续阅读

Python Essential Reference 4th – 第9章 – 读书笔记

本章主要是关于各种I/O操作,包括File-Objec及其操作、Unicode字符串相关的I/O函数以及对象的序列化和持久化。

1、从cmd读取传入参数:sys.argv。其中sys.argv[0]是当前的程序名称。

2、想要退出系统时,出了exit和return外,还可以raise SystemExit(1)

3、解析命令行参数,可以使用optparse模块。
不过从2.7之后,Python将废弃optparse,转而支持argparse,话说开源的东西变动太大。。。
o[......]

继续阅读