做开发的时候要做Mysql的数据库同步,两台安装一样的系统,都是FreeBSD5.4,安装了Apache 2.0.55和PHP 4.4.0,Mysql的版本是4.1.15,都是目前最新的版本。
1. 安装配置
两台服务器,分别安装好Mysql,都安装在 /usr/local/Mysql 目录下(安装步骤省略,请参考相关文档),两台服务器的IP分别是192.168.0.1和192.168.0.2,我们把192.168.0.1作为master数据库,把192.168.0.2作为slave服务器,我们采用单向同步的方式,就是master的数据是主的数据,然后slave主动去master哪儿同步数据回来。
两台服务器的配置一样,我们把关键的配置文件拷贝一下,默认的配置文件是在 /usr/local/Mysql/share/Mysql目录下,分别有 my-large.cnf, my-medium.cnf, my-small.cnf等几个文家,我们只是测试,使用my-medium.cnf就行了。Mysql安装完后,默认的配置文件是指定在数据库存放目录下的,我们用的是4.1.X的,所以配置文件就应该在 /usr/local/Mysql/var 目录下,于是把配置文件拷贝过去:
cp /usr/local/Mysql/share/Mysql/my-medium.cnf /usr/local/Mysql/var/my.cnf
两台服务器做相同的拷贝配置文件操作。
2. 配置Master服务器
我们要把192.168.0.1配置为主Mysql服务器(master),那么我们就要考虑我们需要同步那个数据库,使用那个用户同步,我们这里为了简单起见,就使用root用户进行同步,并且只需要同步数据库abc。
打开配置文件:
vi /usr/local/Mysql/var/my.cnf
找到一下信息:
# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
server-id = 1 //1为master,2为salve
添加两行:
sql-bin-update-same //同步形式
binlog-do-db = abc //要同步的数据库
重启192.168.0.1的Mysql服务器:
/usr/local/Mysql/bin/Mysqladmin shutdown
/usr/local/Mysql/bin/Mysqld_safe --user=Mysql &
3. 配置Slave服务器
我们的slave服务器主要是主动去master服务器同步数据回来,我们编辑配置文件:
vi /usr/local/Mysql/var/my.cnf
找到下面类似的信息:
# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
server-id = 1
把上面的server-id修改为2,同时添加一些信息:
server-id = 2 //本Mysql是slave服务器
master-host = 192.168.0.1 //master服务器的IP
master-user = root //连接master服务器的用户
master-password = "" //连接master服务器的密码
master-port = 3306 //连接端口
master-connect-retry = 10 //重试次数
replicate-do-db = abc //要同步的数据库
log-slave-updates //同步的形式
重启192.168.0.2的Mysql服务器:
/usr/local/Mysql/bin/Mysqladmin shutdown
/usr/local/Mysql/bin/Mysqld_safe --user=Mysql &
4. 测试安装
首先查看一下slave的主机日志:
cat /usr/local/Mysql/var/xxxxx_err (xxx是主机名)
检查是否连接正常, 看到类似这样的信息就成功了
051031 11:42:40 Mysqld started
051031 11:42:41 InnoDB: Started; log sequence number 0 43634
/usr/local/Mysql/libexec/Mysqld: ready for connections.
Version: "4.1.15-log" socket: "/tmp/Mysql.sock" port: 3306 Source distribution
051031 11:42:41 [Note] Slave SQL thread initialized, starting replication in log "FIRST" at position 0, relay log "./new4-relay-bin.000001" position: 4
051031 11:43:21 [Note] Slave I/O thread: connected to master "root@192.168.0.1:3306", replication started in log "FIRST" at position 4
在Master查看信息
/usr/local/Mysql/bin/Mysql -u root
查看master状态:
Mysql> show master status;
查看Master下Mysql进程信息:
Mysql> show processlist;
在slave上查看信息:
/usr/local/Mysql/bin/Mysql -u root
查看slave状态:
Mysql> show slave status;
查看slave下Mysql进程信息:
Mysql> show processlist;
你再在master的abc库里建立表结构并且插入数据,然后检查slave有没有同步这些数据,就能够检查出是否设置成功。
1.show master status 时没有数据显示
确保my.cnf
log-bin=mysql-bin
2.'Could not find first log file name in binary log index file'的解决办法
数据库主从出错:
Slave_IO_Running: No 一方面原因是因为网络通信的问题也有可能是日志读取错误的问题。以下是日志出错问题的解决方案:
Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in
binary log index file'
解决办法:
从机器停止slave
mysql> slave stop;
到master机器登陆mysql:
记录master的bin的位置,例如:mysql> show mster status;
+-------------------+----------+--------------+-------------------------------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB
|
+-------------------+----------+--------------+-------------------------------------------+
| mysqld-bin.000010 | 106 | | information_schema,mysql |
+-------------------+----------+--------------+-------------------------------------------+
日志为mysqld-bin.000010
刷新日志:mysql> flush logs;
因为刷新日志file的位置会+1,即File变成为:mysqld-bin.000011
马上到slave执行
mysql> CHANGE MASTER TO MASTER_LOG_FILE='mysqld-bin.000011',MASTER_LOG_POS=106;
mysql> slave start;
mysql> show slave status\G;
http://juliusdavies.ca/logging.html
http://juliusdavies.ca/logging/llclc.html
最好的日志:
精确地描述发生了哪些事情:何时、何地、怎样发生的(When, Where, How)
易于手工、半自动、自动化处理
可以在不查看源码的情况下分析
不会降低系统性能
可靠
Events to Log
登录、授权
访问系统、访问某敏感数据
权限变动
数据变动:添加数据、修改数据、删除数据
不合法的输入
资源占用情况(RAM、磁盘、带宽、或者其它限额)
健康信息/可用性:开机/关机、故障、延迟、备份
What to Log
Timestamp + TZ (毫秒)
系统名、应用名、组件名
用户名
操作名
状态
优先级
理由
Greppable Log
将信息尽量展现在一行日志里
traceback 是唯一的例外,其它日志都不应该以多行的形式展现
每当应用程序报告出现问题时,总是记录一条日志
避免的问题:1. 信息不足以 grep; 2. 含有冗余信息;3. 信息分散在多行日志中;4. 没有为错误处理记录日志
将日志分离在不同文件中,允许冗余地将同一行日志记录在多个文件中
记录毫秒级别的 timestamp:日志的写入允许乱序,毫秒可以区分正确的发生次序
避免直接将日志打到网络上,因为网络不可靠;先存储到本地,然后再同步日志做集中收集,在本地保存几天的日志;
使用 log4j,不用其它日志库
每个类都要提供一个静态成员: private static Logger log = Logger.getLogger( MyClass.class )
不要造一个自己的 com.foo.app.Log 类来封装所有日志操作,这是对 log4j 的灵活性的浪费
log4j 中每个 logger 对象都有一个名字,其中名字可以按 "." 组织层次
log4j 会默认装载 classpath 下的 log4j.properties 的配置文件
rotation 和 archive
log4j 的 rotation 并不并发安全,当多个 jvm 同时尝试 rotate 同一个文件时,可能会导致文件丢失;这通常原因是同一个程序使用同样的 log4j.properties 启动了两次
日志应该按时间 rotate(比如一天),而不应该按大小(比如 100Mb)
日志应该定期 archive,压缩、移动到集中的机器上;
日志允许乱序写入,archive 时可以执行 sort 使它们归序
压缩格式推荐 gzip,虽然它的压缩比例不如 bzip2,但它要快一些,而且允许使用 zgrep, bzgrep, zcat, zdiff, zcmp, zless 这种工具
不要解压日志文件到磁盘,解压到 stdout 走管道 grep 即可
将日志中开头的重要信息对齐
这份指南诞生于我们公司内部的 Ruby 编程准则(由值得你信赖的同志们编写),我做正在做的工作基于这样的出发点: Ruby 社区的大多数成员会对我正在做的有兴趣这样的发点,并且这个世界上不需要一个公司内部的(编程)准则。一个面向 Ruby 编程的由社区驱动和社区认可一系列的实践,原则和风格形式是有益于大家的。
自从这个 guide(发表)以来,我收到了很多来自世界范围内 Ruby 社区的优秀的成员的回馈。感谢所有的建议和支持!集众家之力,我们可以创作出对每一个 Ruby 开发人员有益的资源。
转自:https://ruby-china.org/wiki/coding-style
推荐一个很不错的博客(http://www.RDataMining.com), 博主致力于研究R语言在数据挖掘方面的应用,下面列出了可用于数据挖掘的R包和函数的集合。其中一些不是专门为了数据挖掘而开发,但数据挖掘过程中这些包能帮我们不少忙,所以也包含进来。
1、聚类
常用的包: fpc,cluster,pvclust,mclust
基于划分的方法: kmeans, pam, pamk, clara
基于层次的方法: hclust, pvclust, agnes, diana
基于模型的方法: mclust
基于密度的方法: dbscan
基于画图的方法: plotcluster, plot.hclust
基于验证的方法: cluster.stats
2、分类
常用的包:
rpart,party,randomForest,rpartOrdinal,tree,marginTree,
maptree,survival
决策树: rpart, ctree
随机森林: cforest, randomForest
回归, Logistic回归, Poisson回归: glm, predict, residuals
生存分析: survfit, survdiff, coxph
3、关联规则与频繁项集
常用的包:
arules:支持挖掘频繁项集,最大频繁项集,频繁闭项目集和关联规则
DRM:回归和分类数据的重复关联模型
APRIORI算法,广度RST算法:apriori, drm
ECLAT算法: 采用等价类,RST深度搜索和集合的交集: eclat
4、序列模式
常用的包: arulesSequences
SPADE算法: cSPADE
5、时间序列
常用的包: timsac
时间序列构建函数: ts
成分分解: decomp, decompose, stl, tsr
6、统计
常用的包: Base R, nlme
方差分析: aov, anova
密度分析: density
假设检验: t.test, prop.test, anova, aov
线性混合模型:lme
主成分分析和因子分析:princomp
7、图表
条形图: barplot
饼图: pie
散点图: dotchart
直方图: hist
密度图: densityplot
蜡烛图, 箱形图 boxplot
QQ (quantile-quantile) 图: qqnorm, qqplot, qqline
Bi-variate plot: coplot
树: rpart
Parallel coordinates: parallel, paracoor, parcoord
热图, contour: contour, filled.contour
其他图: stripplot, sunflowerplot, interaction.plot, matplot, fourfoldplot,
assocplot, mosaicplot
保存的图表格式: pdf, postscript, win.metafile, jpeg, bmp, png
8、数据操作
缺失值:na.omit
变量标准化:scale
变量转置:t
抽样:sample
堆栈:stack, unstack
其他:aggregate, merge, reshape
9、与数据挖掘软件Weka做接口
RWeka: 通过这个接口,可以在R中使用Weka的所有算法。
教学网的firefox浏览器中的flash插件式11.2版本的,以后也不会升级,所以不能看网易的云课程,这是必然的。
解决办法就是安装Google的Chrome浏览器,用Chrome浏览器来看网易云课程,方法如下:
1、将附件中的文件下载到U盘内,比如U盘的目录1里面。重启机器,进入维护模式;
2、插入U盘,弹出U盘文件窗口,进入目录1,在空白处鼠标右键,“在终端中打开”
3、在终端窗口内输入下列命令:
sudo dpkg -i libxss1_1.2.2-1_i386.deb
sudo dpkg -i google-chrome-stable_current_i386.deb
注意,sudo需要超级用户口令,请输入正确的超级用户口令
4、运行Google Chrome浏览器:
google-chrome
将会启动浏览器。可以设置为缺省的浏览器
5、在屏幕左侧的快捷栏的chrome图标上,点击右键,选择“锁定到启动器”。这样以后就可以从快捷栏选择了!
6、重启机器,进入外部资源模式。安装成功。
app下载
苹果app https://itunes.apple.com/app/redmine-mobile/id680505406?ls=1&mt=8
安卓app http://m.163.com/android/software/324d5m.html
一个完全免费的Redmine 客户端现在开源了!用手机管理你的redmine项目。Redmine是一款基于web的项目管理软件。这款App能够让你在手机中进行基于Redmine的项目管理操作。
源码见附件
链接挖掘(Linking Mining)是数据挖掘在社交网络中的一个应用。
LM将社交网络看成由若干实体构成,实体间的交互通过链接完成,对彼此链接信息的挖掘构成链接挖掘。
这份PPT以几种常见的挖掘模式为依据展开介绍,可以作为初步接触LM的入门材料。
附PPT大纲:
基本概念
数据表示
基于链接的节点排序(Link-Based Object Ranking)
基于链接的节点分类(Link-Based Object Classification)
节点聚类(Object Clustering)
链接预测(Link Prediction)
子图发现(Subgraph Discovery)
图分类(Graph Classification)
我们以主干中已修复的Rails 3问题来开始。修复这些问题时,Rails团队功不可没,但是仍然值得注意,因为很多程序将在Rails 2和3上运行多年。 1. 通过#match路由泄漏进行CSRF攻击这里有一个例子,直接来自Rails 3生成的config/routes.rb文件:
这样做的结果,对于任何HTTP方法(GET,POST等),都将/products/:id/purchases路由到CatelogController#purchase方法。问题是,Rails的跨站请求伪造(CSRF)防护对GET请求无效。从执行CSRF防护的方法中看到:
第二行跳过了CSRF检查:意味着如果request.get?为true,请求被认为是“verified”,CSRF检查被跳过。实际上,Rails源代码里,在该方法的前面就有注释:
|
![]() Lax 1人顶
|
在程序里,你可以一直使用POST方法来访问/products/:id/purchase。但是因为路由器也允许GET请求,对于任何由#match路由的方法,攻击者都可以绕过CSRF保护。如果你的程序使用旧的通配符路由(已经不推荐),CSRF保护完全无效。 最佳实践: 对于不安全行为,不要使用GET。不要使用#match来添加路由(而应该用#post,#put等代替)。确保没有通配符路由。 解决方法: 现在,如果使用#match来添加路由,Rails需要你指定HTTP方法或via: :all。自动生成的config/routes.rb不再包含注释掉的#match路由。(通配符路由也被删除。) |
|
2. 正则表达式中进行格式验证的锚点观察下面的验证代码:
这是一个不明显的bug。开发者可能想强制要求整个name属性仅仅包含字母和空格。然而,它仅仅强制name属性至少一行由字母和空格组成。再看几个正则表达式匹配的例子来澄清一下:
你可能会说开发者错了,而你做对了。然而,正则表达式锚点的行为并不显而易见,尤其对于没考虑多行输入的开发者。(也许该属性仅仅漏出一个文本输入区input field,而不是文本框textararea) Rails在保护开发者方面考虑的不错,这也是在Rails 4中所做到的。 最佳实践:在任何情况下,使用\A和\z作为正则表达式锚点,代替^和$。 修复方法: Rails 4为validates_format_of引入了支持多行的选项。如果你的正则表达式使用^和$而不是\A和\z,且不传递multiline: true,则Rails将抛出异常。这是创建安全默认行为的例子,且仍然在必要的场合提供控制选项来覆盖它。 |
3. 点击劫持点击劫持或“UI纠正攻击”包括在一个可视框架内渲染目标站点,当受害者点击时就能欺骗他采取意想不到的行动。如果一个站点易受点击劫持攻击,一个攻击者可能欺骗用户采取非预期的行动,像一键购买,在Twitter上关注某人或改变他们的隐私设置。 为了抵御点击劫持攻击,一个站点必须防止自己被呈现在一个框架或它不能控制的iframe中。老的浏览器需要丑陋的“框架破坏”JavaScripts,而现代的浏览器支持可以指示浏览器是否应该允许该网站被加框的X-Frame-Options HTTP头。这个头很容易被包含,并且不可能破坏大部分网站,因此Rails应该默认包含了它。 最佳实践: 通过Twitter使用安全头RubyGem添加一个值为SAMEORIGIN或DENY的X-Fram-Options头。 修复方法: Rails4默认将X-Frame-Options头的值设为SAMEORIGIN。
|
|
4. 用户可读回话默认的Rails 3会话存储使用署名的、未加密的cookies。虽然这可以包含会话不被篡改,对于攻击者来说,解码一个会话cookie的内容是轻而易举的事:
在一个会话中存储任何敏感信息都是不安全的。希望这是众所周知的,但即使一个用户的会话不包含敏感信息,也还是会带来奉献。通过解码会话数据,一个攻击者能够获取一些关于程序的内部结构的、有利于攻击的信息。例如,他可能知道系统用的是什么认证(Authlogic,Devise等待)。 虽然不会创建一个自身的弱点,但它可以帮助攻击者。任何有关应用程序如何工作的信息都可用来磨练功绩,有时也用来避免触发那些会给开发人员预警攻击正在进行的异常或绊网。 用户可读会话违反最小特权原则,因为即使会话数据必须传给访问者的浏览器,他也不需要能够读取这些数据。 最佳实践: 不要将任何你不想让攻击者访问的信息放到一个会话中。 修复方法: Rails 4将默认会话存储改为加密的。在没有解密密钥的情况下,用户在客户端无法解码会话的内容。 |
未解决的问题这篇文章剩下的部分会讲一下在出版的时候Rails还存在的的安全风险。希望最少这里的一些会被修复,同时我将会在修复了的情况下更新这篇文章。 1. VerboseServerHeaders默认的Rails服务器是WEBrick(部分是Ruby标准库),虽然它很少在产品模式下运行WEBrick。作为默认的选择,WEBrick返回在每个HTTP回复一个verboseServerHeader。
这暴露的WEBrick的版本,同时也包括正在运行的特定的Ruby的补丁级别(因为发布日期与补丁级别匹配)。使用这些信息,spray和prey扫描者更有效地针对你的服务器,同时可以定制他们的攻击让其变得更有效了。 最好的实践: 避免在产品模式运行WEBrick。有其他更好的服务器,如Passenger,Unicorn,Thin和Puma。 修复: 虽然这个问题是起源于WEBrick的源代码,Rails应该配置WEBrick来使用更小的verboseServerHeader。简单点就“Ruby”似乎更好。 |
2. 绑定到0.0.0.0如果你启动一个Rails服务器,你会看到一些像下面的东西:
Rails在绑定到0.0.0.0(所以网卡)而不是127.0.0.1(仅本地网卡)。这会在开发模式和产品模式的上下文上都会产生安全风险。 在开发模式,Rails并不安全(举例来说,它渲染诊断500个页面)。此外,开发者可能加载一个混合了产品数据和测试数据的东西(例如用户名:admin/密码:admin)。在三藩市的咖啡店里扫描web服务器的3000端口将可能收到很好的目标。 |
在生产环境下,Rails必须通过代理服务器来运行。如果没有代理,IP欺骗攻击就会时常发生。如果Rails绑定了0.0.0.0,攻击者就可以轻松绕过代理服务器,直接攻击Rails服务器。 所以,绑定到127.0.0.1比默认的0.0.0.0会更安全。 最佳实践:保证生产环境仲的web服务器进程绑定了最小的一组接口。不要为了调试,而把生产环境数据导入到你的手提电脑。如果你必须这样做,尽可能少的导入数据,并且当它没用的时候立刻删除。 修复:Rails已经提供了一个绑定选项来修改服务器监听的IP地址。我们必须把默认的0.0.0.0修改为127.0.0.1。开发人员如果需要修改生产环境的绑定接口,可以通过修改部署配置来实现。 |
3. 记录Secret Tokens的版本每一个Rails app都会获取一个很长,而且是随机生成的secret token,当使用rails new的时候,它会被生成并保存在config/initializers/secret_token.rb。里面的内容类似这样:
因为rails自动创建secret token,所以很多开发者会忽略掉它。但是这个secret token就像是你的应用的管理员钥匙。如果你拥有了secret token,那样伪造会话和提升权限就会变得很容易。这是其中一个十分重要而且敏感的数据需要去保护的。加密是保护你的钥匙的最佳办法。 但是很不幸,rails并不能很好的处理这些secret token。secret_token.rb文件会被加入到版本控制当中,复制到GitHub,CI服务器和每一个开发人员的电脑。 |
![]() enixyu 0人顶 顶 翻译的不错哦! |
最佳实践:在不同的环境中使用不同secret token。在应用中插入ENV变量就可以实现这个目的。另外一个替代方法是,在部署过程中把secret token作为符号链接。 修复:至少,rails必须通过.gitignore来忽略config/initializers/secret_token.rb文件。开发人员在部署的时候,用一个符号链接来替代生产环境的token,或者把初始化器转变为使用ENV 变量来初始化(例如Heroku) 我将会进一步提出rails创建一个保存serect token的机制方案。我们有大量的库提供安装指引如何把secret token加入到初始化器中,但是这并不是一个好的实践。同时,至少还有俩个解决方案来处理这个问题:ENV变量和初始化器的符号链接。 rails提供一个简单的API给开发人员来管理secret token,而且后台还是可插拔的(就像缓存和会话存储)。 |
4. 在SQL语句里记录值Rails提供的config.filter_paramters是阻止累计在产品日志文件的敏感信息的有用方法,例如密码。但它不影响记录在SQL语句的值。
|
|
最佳实践: 要对产品级日志记录了什么保持清醒。如果你临时增加日志级别,记录下敏感数据,一旦它不再需要了请立刻删除那些数据。 修复:Rails能改变config.filter_parameters成为config.filter_logs的样子,并且将其同时应用到参数和SQL语句。它可能不能在所有情形下正确的过滤SQL语句(因为它需要一个SQL解析器),但对于标准的插入与更新可能有80/20的解决方案。 作为一个备选方案,如果它包含有对过滤数值的引用,Rails可以编辑整个SQL语句(例如,编辑所有包含“password”的语句),至少在产品模式是如此。 |
5. 离线重定向 许多应用包含一个action控制器,它根据上下文将用户带到一个不同地址。最常见的例子是Session控制器,引导最近验证的用户到他们想到的目的地址,或者引导到一个默认的目的地址:
这引起了风险,攻击者可以创建一个URL,导致在信任用户登陆以后被引导到恶意网站:
未验证的重定向可以被用作钓鱼,或者摧毁用户对你的信任,因为看起来是你带他们到一个恶意网站的。即使一个警惕的用户,在他们第一次页面加载以后,也可能不会检查URL地址栏来确认没有被钓鱼。这个问题非常严重,以致它被加入了最新一版的OWASP 十大应用安全威胁。 |
最佳实践:通过一个hash#转向时,使用选项 only_path:true 去限制转向到当前站点。
修复方法:默认情况下,Rails应该只允许转向同一域名或在白名单上的域名。在少数情况下,外部转向的地方是有计划的。开发者应该要求通过anexternal:true选项到redirect_to 按顺序去决定加入更多危险的行为。 |
|
6. 利用link_to的跨站脚本 (XSS) 许多开发者没有意识到link_to助手的HREF属性可以被用来注入JavaScript脚本。这里是一个不安全代码的例子:
假设用户可以通过更新他们的注册信息修改homepage_url的值,这就引起了XSS风险。像这样:
将会生成这个HTML:
点击此链接将会执行攻击者提供的脚本。Rails的XSS保护不能阻止它。在社区转移到低调的JavaScript技术以前,这曾经是必要而且常见的,但现在成为一个残留的弱点。 最佳实践: 避免在HREF中使用不信任的输入。当你必须允许用户控制HREF时,先将输入通过URI.parse转换,并且清醒的检查协议与主机地址。 修复: Rails 应该默认在link_to助手中只允许目录,HTTP, HTTPS 和mailto:href 值。开发者应该通过传入link_to助手选项,选择进入不安全的行为,或者只是简单的link_to不支持这些,而开发者可以手工修改链接。 |
|
7. SQL注入Rails做了个相当好的工作来阻止常见的SQL注入(SQLi)攻击,所以开发者会认为Rails是免疫SQLi的,并不是这样的。设想一个开发者需要基于参数拉取订单表的小计或者总计。他们可能这样写:
|
Rails-SQLi.org 详细讲述哪些ActiveRecord方法和选项允许使用SQL,而且提供例子说明它们是会遭到什么样的攻击。 最佳实践:了解你使用的APIs,同时要知道它们在什么情况下会允许超乎你预期的危险的操作,还有接受输入的白名单。 修复:很难找到解决所有问题的方案,因为不同的环境有不同的解决方案。通常,ActiveRecord APIs只允许经常使用的SQL片段,方法column_name的参数一般只接受列名。如果开发者想自己控制的更多,需要使用其他APIs。 点击Justin Collins的Twitter关于编写rails-sqli.org的信息,了解更多详情。 |
8. YAML 反序列化就如大多数ruby开发人员在一月所学到的,使用YAML反序列化不信任的数据会带来安全隐患。网上已经有很多关于使用YAML的攻击的文章,所以我不会在这里阐述了,但是总的来说,如果攻击者可以入侵YAML,它们就可以随意的在服务器上运行代码。我们的应用无需做任何事情,只需有序的载入YAML,就会变得脆弱不堪。 虽然rails已经打了补丁,来避免转换的YAML通过HTTP请求发送到服务器。但是仍使用YAML作为#serialize功能和#store功能的默认的序列化格式,以下是存在风险的代码:
|
尤其当自认为YAML看起来起来安全时,实际上很危险。YAML格式是在远程代码执行漏洞爆发前,由数百名熟练的开发者所确定的。然而如今他是Ruby社区的重点之一,Rails的新开发者显然不会再经历YAML远程攻击之祸。 最佳实践:使用JSOM序列化格式而不是YAML序列化
修复:Rails应该改变默认序列化格式,从YAML转到JSON。YAML应该作为Gem中的一个选择。 |
9. 批量赋值Rails 4改用strong_parameters方式来处理批量赋值的漏洞,代替attr_accessible。params对象现在是ActionController::Parameters的实例。strong_parameters工作的方式是检查那个Parameters实例为“允许的”——开发者指定了哪个键(及类型)是可接受的。 总之这是一个积极的变化,却引入了attr_accessible体系中没有的新攻击方式。看下面的代码:
JSON.parse返回一个常规的Ruby Hash,而不是ActionController::Parameters的实例。用了strong_parameters,默认行为是允许Hash实例通过批量赋值来设置任何属性。同样的问题发生在sinatra,在Sinatra程序中通过params访问ActiveRecord模型时——Sinatra不会把这个Hash包装为ActionController::Parameters实例。 |
最佳实践: 当使用ActiveRecord模型和其它web框架时(或从缓存、队列中反序列化数据时),尽可能使用Rails自带的解析。将输入数据包装到ActionController::Parameters,这样strong_parameters可以生效。 修复方式: 还不明确什么是最好的处理方式。Rails可以重写反序列化方法,比如JSON.parse,返回ActionController::Parameters实例,但这相对有侵入性且可能导致兼容问题。 相关的开发者可以在敏感区域(比如User#admin)结合采用strong_parameters和attr_accessible来得到额外的保护,但对于多数情况可能矫枉过正。这只是一个需要心中有数的问题,期待能尽快解决。 |
出于防范跨站脚本攻击的同源安全策略,浏览器禁止客户端脚本(如Javascript)对不同域名的服务进行跨域调用。
同源策略(Same Origin)中的源有着严格的定义,参见RFC6454,第4章节。一般而言,Origin由{protocol, host, port}三部分组成。
下面是同源检查的一些实例:
可能有点意外的是,一般我们会认为不同的子域名应该被当做同域名,是安全的调用,但实际上浏览器同源策略甚至禁止了不同子域名和端口的服务之间的调用。
有时候上述限制过于严格,为了在两个不同Origin的网页(服务)之间进行通讯,我们可以采用如下的一些技术方法:
1、服务代理模式
即在web服务器上封装第三方服务,然后给自己同源的web页面调用。
2、跨子域名的调用
如果想从www.example.com调用api.example.com的html/xml数据服务,那么可以通过使用iframe,并在document和iframe中均设置相同的document.domain属性,那么document和iframe所对应的页面直接就可以通信而不会有任何安全冲突(security violation),注意必须设置相同的一级域名(document.domain="example.com"),不要设置子域名。代码示例如下:
t.html
[html] view plaincopyprint?
<html> <head> <script type="text/javascript"> document.domain = "example.com"; function update_me(result) { document.getElementById('update-me').innerHTML = "Result: " + result; } function load() { var c = document.createElement('iframe'); c.style.display = "none"; c.src = "http://api.example.com/cross-subdomains-ajax/t-frame.html#" + document.domain; document.body.appendChild(c); } </script> </head> <body onload="load();"> <div id="update-me"></div> </body> </html>
t-frame.html
[html] view plaincopyprint?
<html> <head> <script type="text/javascript"> function spoof(status, headers, result) { var old_domain = document.domain; document.domain = example.com; window.parent.update_me("Ok, got it from the frame !"); try { document.domain = old_domain; } catch (e) { } } spoof(); </script> </head> </html>
3、跨源资源共享
这是已经标准化的技术方法,参见W3规范文档Cross Origin Resouce Sharing:http://www.w3.org/TR/cors/
通过在服务端设置Access-Control-Allow-Origin
响应头(一般回填$_SERVER['HTTP_ORIGIN']),
header('Access-Control-Allow-Origin: '.$_SERVER['HTTP_ORIGIN']);
来告诉浏览器该服务允许来自特定源的访问或者允许所有人访问。
尽管该规范支持使用origin list的形式,但实际浏览器实现只支持了单个origin、*、null,如果要配置多个访问源,可以在代码中处理如下(PHP):
[php] view plaincopyprint?
$allowed_origins = array( "http://www.example.com" , "http://app.example.com" , "http://cms.example.com" , ); if (in_array($_SERVER['HTTP_ORIGIN'], $allowed_origins)){ @header("Access-Control-Allow-Origin: " . $_SERVER['HTTP_ORIGIN']); }
或者在httpd配置或.htaccess文件(如果使用的是Apache服务器)中添加如下语句:
[plain] view plaincopyprint?
SetEnvIf Origin "^(.*\.example\.com)$" ORIGIN_SUB_DOMAIN=$1 Header set Access-Control-Allow-Origin "%{ORIGIN_SUB_DOMAIN}e" env=ORIGIN_SUB_DOMAIN
如用的是nginx,配置类似如下:
[plain] view plaincopyprint?
location / { # this will echo back the origin header if ($http_origin ~ "example.com$") { add_header "Access-Control-Allow-Origin" $http_origin; } }
4、使用JSONP协议
出于同源策略,HTML禁止在两个页面之间进行通讯,但<script>元素是个例外,JSONP利用这个开放特性来实现跨域调用,
在客户端调用提供JSONP支持的URL Service,获取JSONP格式数据,然后在callback函数中处理返回的json协议数据:
[html] view plaincopyprint?
<script type="text/javascript" src="http://api.example.com/getdata?jsonp=callback"></script>
如使用jQuery的ajax调用方式,示范代码如下:
[javascript] view plaincopyprint?
$.ajax({ dataType: 'jsonp', data: 'id=10', jsonp: 'jsonp_callback', url: 'http://api.example.com/getdata', success: function () { // do stuff }, });
5、跨文档消息(Cross-document Messaging)
这个是HTML5引入的一个在跨域页面之间通讯的方法,参见W3规范 http://dev.w3.org/html5/postmsg/
postMessage API应用范围主要有2个,1是文档和内嵌frame之间的消息通信,2是文档和自身通过脚本打开的windows之间的消息通信
Redmine 2.5.0 发布,此版本包括了许多改进和新特性,现已提供下载。此版本主要改进了自定义字段格式:
支持文本格式
支持 HTTP 链接
提供给用户基于角色和版本状态的细粒度的选择
完全重写了自定义字段格式的 API ;如果用户需要运行一些相关的插件(比如,添加非标准的字段格式),用户需要在升级之前更新
此版本同时还引入了对 Markdown 格式的支持,这是个非常流行的文本格式语法编辑。更多内容请查看Changelog。
Redmine 2.4.4 版本是个维护版本,主要包括了一些缺陷修复和升级了 Rails 到 3.2.17 版本。
Redmine 是一个开源的、基于Web的项目管理和缺陷跟踪工具。它用日历和甘特图辅助项目及进度可视化显示。同时它又支持多项目管理。Redmine是一个自由开放 源码软件解决方案,它提供集成的项目管理功能,问题跟踪,并为多个版本控制选项的支持。
虽说像IBM Rational Team Concert的商业项目调查工具已经很强大了,但想坚持一个自由和开放源码的解决方案,可能会发现Redmine是一个有用的Scrum和敏捷的选择。 由于Redmine的设计受到Rrac的较大影响,所以它们的软件包有很多相似的特征。
Redmine建立在Ruby on Rails的框架之上,支持跨平台和多种数据库。。