shirley.ren的博客
shirley.ren · 共 7 篇文章
Hadoop配置文件配置项定义说明
hadoop的集群配置中,大部分都用的默认设置,如果想要提高整个集群的性能,可以考虑通过修改配置的方法实现,配置项大部分都配置在这三个文件里:core_site.xml, hdfs_site.xml, mapred_site.xml, 下面将经常会用到的配置项总结如下:(待补充) core_site.xml fs.default.name 说明: Name Node的URI value: hdfs://hostname:port/ 备注:hostname要用主机名或域名,不能使用ip fs.trash.interval 说明:hadoop垃圾回收机制,每隔多长时间清理一次垃圾 value:1…
2012-05-15 16:59 · hadoop学习 · 评论(0)
配置vim基于python的编程环境
以前不管在window还是linux下都是在eclipse中编码,在IDE中编码的一个好处就是IDE集成了很多会插件,提供了很多好用的功能,比如自动补全,比如拼写、引用错误检查等等,使用这些功能,可以避免很多由于拼写或引用带来的低级错误,且这些插件安装配置简单,但是现在的公司要求在服务器的个人账号下直接使用vim编码,如果此时想要在vim下使用这些检查功能,就需要对vim进行“个性化”设置了,之前我并不十分熟悉使用vim的编码,在配置vim基于python的编码环境时,做了以下总结,希望对初次使用vim编程的朋友有所帮助 配置自己“个性化”的vim,只需修改自己帐号根目录下的.vimrc文件…
2012-05-14 16:09 · Python基础 · 评论(0)
Hadoop集群的配置及常见问题总结
Hadoop集群配置 建立一个三台服务器的hadoop集群,三台服务器ip和对应的主机名分别为: 192.168.0.100:shirleyren100, 192.168.0.101:shirleyren101, 192.168.0.102:shirleyren102, 其中192.168.0.100为namenode,另外两台为datanode。在三台服务器上创建hadoop账号 1,在namenode上创建hadoop账号的无密码公钥方式登录 ssh-keygen \-t dsa \-P '' \-f \~/.ssh/id_dsa 将namenode的上生成的id_dsa.pub和id_…
2011-09-19 14:06 · hadoop学习 · 评论(0)
Python中else语句整理
if-else语句: 和各种语言相同的用法,在条件语句中,与if语句搭配使用的else语句。如果if语句的条件表达式的结果布尔值为假,那么程序将执行else语句后的代码。它的语法是大家最为熟知的: if expression: expr_true_suite else: expr_false_suite elif(else-if)语句: elif是python提供的else-if语句,它检查多个条件表达式的值是否为真,并在为真时执行特定代码块中的代码。和else一样,elif是可选的,但是要注意的是,一个if语句可以跟多个elif语句,但最后只能有一个else语句: if expressio…
2011-05-23 14:58 · Python基础 · 评论(0)
python 常用模块
os: 这个模块包含普遍的操作系统功能。利用这个模块可以写出与平台无关的程序,比如就是使用os.sep可以取代操作系统特定的路径分割符。 列举一些os模块中常用的方法: os.name:获取当前系统平台,Windows下返回'nt',Linux下返回'posix'。 os.linesep:获取当前平台使用的行终止符。Windows下返回'/r/n',Linux使用'/n'。 os.getcwd(): 获取当前工作目录,即当前python脚本工作的目录路径。 os.listdir(path):返回指定目录下的所有文件和目录名。 例如: >>> os.listdir('/home/shirley…
2011-04-26 17:20 · Python基础 · 评论(1)
Python 设置系统默认编码
python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式。 查询系统默认编码可以在解释器中输入以下命令: >>>sys.getdefaultencoding() 设置默认编码时使用: >>>sys.setdefaultencoding…
2011-04-26 17:20 · Python基础 · 评论(2)
python入门基础整理--数据类型
基本数据类型: 1,数值:主要包括int, float, bool等类型。 2,字符串 单独把str作为一类是因为str具有一些容器的性质,它包含了字符(虽然python没有字符类型),可以随机访问其中的部分元素,在脚本解析器里执行dir(string)可以看到字符串的所有方法及属性,介绍几个常用的方法。 >>> string='string,String,STRING' >>> string[3:9] 'ing,St' >>> string.startswith('str') True >>> string.split(',') ['string', 'string', 'string']…
2011-03-16 17:20 · Python基础 · 评论(0)