Category Archives: Linux

Linux Note – cgroup

cgroups(control groups)是Linux内核2.6.24引入的一个新特性 ,用来限制、分离和报告一个进程组的资源(CPU、内存、磁盘输入输出等)。常用的ulimit只能基于用户或者用户组来进行资源限制,不能够针对某一进程作出详细限制,缺乏灵活度。
cgroups的一个设计目标是为不同的应用情况提供资源限制的统一接口:
内存资源限制:可以对于一个组设置内存上限;
CPU和I/O的优先级:可以使一些组得到更高的CPU或磁盘I/O使用权;
报告:可以用来衡量系统确实把多少资源用到合适的目标;
分离:分离组的命名空间,这样一个组内不会看到另一个组的进程、网络连接和文件。
控制:冻结组或检查点和重启动
Continue reading

Posted in Linux.

Linux Note – auditd

Linux的审计系统包括内核审计子系统和一些进程,auditd服务则是Linux审计子系统的用户空间进程。内核的审计模块将收集的审计消息发送给用户空间的后台进程auditd进行处理。在默认的情况下,审计结果会发送到/var/log/audit/audit.log文件中。如果auditd没有运行,审计消息会发送给rsyslog。
audit_components
(图片来源:http://doc.opensuse.org)
审计消息的来源主要有两方面:
a).内核、应用程序(audit-libs-devel提供的API)。
b).系统管理员添加的审计规则,匹配规则的事件都将被记录下来。
Continue reading

Posted in C|C++, Linux.

为HDFS添加新的存储

继续上一篇的配置,由于PC Server自带了6块600G的磁盘,可以加入集群中。首先检查磁盘:
Continue reading

Posted in BigData, Hadoop, Linux.

Hadoop 2.3 集群配置

Hadoop 2.3.0版在2014年2月20日正式发布了,新增了很多不错的新特性。(董大神对这些特性的介绍:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-3-0-new-features )。下面是Hadoop 2.3版搭建分布式集群的全部过程。
Continue reading

Posted in BigData, Hadoop, Linux.

Linux Note – File Security

1. 文件属性

通过lsattr命令可以查看Linux(list file attributes on a Linux second extended file system, 兼容ext3和ext4)的特殊属性。

相应的,chattr命令可以修改文件属性。
+ 操作符“+”用来在文件已有属性的基础上增加被选定的属性
– 操作符“-”用来去掉文件上的选定属性
= 操作符“=”表示将文件属性设置为现在选择的属性
-R recursive 递归改变目录及其内容的属性
-V 详细输出
Continue reading

Posted in Linux.

Linux Note – rsyslog

syslog 日志可以帮我们主动的收集到设备的各种信息,并保存在syslog服务器上,当某些设备出现故障的时候,我们可以省去手动收集信息的麻烦,方便快捷的从syslog服务器中读取设备的各种信息来进行分析排错。rsyslog在RHEL6的时代取代了syslog,使用了多线程来优化性能、较少磁盘I/O次数、支持TCP传输协议等,而且管理起来更加简单有效(comparison: http://www.balabit.com/syslog-ng-rsyslog-comparison )。 版本基于RHEL6.4:
[root@debugo01 ~]# rsyslogd -version
rsyslogd 5.8.10, compiled with:
FEATURE_REGEXP: Yes
FEATURE_LARGEFILE: No
GSSAPI Kerberos 5 support: Yes
FEATURE_DEBUG (debug build, slow code): No
32bit Atomic operations supported: Yes
64bit Atomic operations supported: Yes
Runtime Instrumentation (slow code): No
Continue reading

Posted in Linux.

Linux使用ACL来管理文件权限

文件访问控制列表实现了文件更细致的权限管理,目前redhat的发行版本都默认启用了这个功能。
1. getfacl 获得文件的ACL访问权限信息

# getfacl somefile

# file: somefile
# owner: root
# group: root
user::rw-
group::r–
other::r–
Continue reading

Posted in Linux.

在Linux下查看CPU的方法

物理机是一台4颗CPU的刀片服务器,可以用下面信息查看CPU信息.
Continue reading

Posted in Linux.

Netbackup 7.5常用命令

查看后台进程
/usr/openv/netbackup/bin/bpps -x

起停
/usr/openv/netbackup/bin/goodies/netbackup stop
/usr/openv/netbackup/bin/goodies/netbackup start
/usr/openv/netbackup/bin/bp.kill_all #强制关闭

创建Oracle链接(备份Oracle必备)
/usr/openv/netbackup/bin/oracle_link

查看带库配置、删除配置并重新配置
/usr/openv/volmgr/bin/tpconfig
/usr/openv/volmgr/bin/tpautoconf -a
/usr/openv/volmgr/bin/tpconfig -delete

类似lsdev。确认NBU能识别的设备信息。
/usr/openv/volmgr/bin/scan

显示本机中,已配置的NBU设备信息
/usr/openv/volmgr/bin/vmoprcmd -d

显示emm库中media server的相关信息
/usr/openv/netbackup/bin/admincmd/nbemmcmd -listhosts -verbose

查看license
/usr/openv/netbackup/bin/admincmd/bpminlicense
/usr/openv/netbackup/bin/admincmd/get_license_key

添加license
/usr/openv/netbackup/bin/admincmd/bpminlicense -add_keys 0000-0000-0000-0000-0000-0000-0000-0000-0000

Posted in Database, Linux, Oracle.

Linux下常见代理设置

1. 系统级
export http_proxy=username:password@my_proxy_hostname:8080

2. yum
vim /etc/yum.conf
proxy=http://my_proxy_hostname:8080
proxy_username=username
proxy_password=passwd

3. git(http://stackoverflow.com/questions/783811/getting-git-to-work-with-a-proxy-server)
git config –global http.proxy http://my_proxy_hostname:8008
or
git config –global http.proxy http://username:passwd@my_proxy_hostname:8080
此时配置会写入:
$ vim $HOME/.gitconfig
[http]
proxy = http://my_proxy_hostname:8080

unset the proxy:
git config –global –unset http.proxy
or
git config –global http.proxy “”

4. svn(http://hittyt.iteye.com/blog/889181)
vim $HOME/.subversion/servers
[global]
http-proxy-exceptions = *.exception.com, www.internal-site.org
http-proxy-host = my_proxy_hostname
http-proxy-port = 8080
# http-proxy-username = username
# http-proxy-password = password

5. maven
在$MAVEN_HOME/conf/settings.xml中可以找到,取消注释设置即可。

optional
true

http proxyuser

proxypass my_proxy_hostname

8080 local.net|some.host.com

————————————————————

6. Windows下一个比较好用的代理服务器kangle
安装之后服务已经启动,浏览器打开本机80端口,输入admin/kangle可以进行设置。
停止服务:
net stop kangle
打开服务:
net start kangle

Posted in Java|Scala, Linux.