我们和业内一些知名公司实践验证的方案:
架构:HDFS + HBASE 比较容易做到P级。对于提供云存储服务的单位,访问上可以考虑前端再做热点缓存(SSD+服务化)。
软件选型:Cloudera CDH4
技术要求:高
另外可以考虑:GlusterFS + Cassandra:技术要求高。
灵活集群: FastDFS直接封装服务可以做到数百T,合理架设优化可以做到P级。文件大小不超过500M(概数)。技术要求较低。
混合集群:多种存储服务整合,上层使用统一服务,上层服务负责路由等工作。技术要求:很高。
更多系统信息,参见我在Qcon的演讲:
/cn/presentations/jingdong-cloud-storage-services-applications-explore
ppt已经上传:/detail/doliu6/6439741(可以做到比较大的中型)