分类
美国队长

美国队长

动态

更智能&更大的数据中心架构与传统的数据仓库架构有何不同?

美国队长 美国队长 研发工程师,Alibaba
传统的数据仓库,可能通过一些传统数据库比如oracle mysql等,这些数据库做成超大型的数据中心,可谓存在很多地方都得自己手动去维护,比如说oracle,oracle其实是没有集群这个概念的,你硬是要通过多个实例构成一个大型数据仓库查看全文
Hadoop ambari 美国队长美国队长 回答了问题 4 天前

ambari服务注册失败

美国队长 美国队长 研发工程师,Alibaba
Caused by: org.apache.ambari.server.HostNotFoundException: Host not found, hostname= , 这是个很明显的错误,是你配置host没有配置好,先看一下ambari的配置需要配置host的地方,在看一下你的/etc/hosts下面的host查看全文
spark 美国队长美国队长 回答了问题 4 天前

Spark本地提交应用主节点无响应有人知道问题的原因吗?

美国队长 美国队长 研发工程师,Alibaba
主节点没连接上去,不知道你本地有没有搭建spark的开发环境查看全文
hdfs 对象存储 ceph 美国队长美国队长 回答了问题 4 天前

HDFS与CEPH的存储类型对比

美国队长 美国队长 研发工程师,Alibaba
从hdfs角度来看,他都是以块的形式存储,也就是其最小存储单元,其次你可以指定存储对象是二进制的视频还是普通字符的文本等,在他眼里都是block,然后这些block通过namenode进行管理就行了查看全文
hdfs ceph 性能对比 美国队长美国队长 回答了问题 4 天前

关于HDFS与CEPH的性能对比

美国队长 美国队长 研发工程师,Alibaba
我个人的观点是,首先hdfs是因为有了上次mapreduce的计算才衍生出的一个存储数据的模式,而ceph可以理解为 一个操作系统型的文件系统升级版,查看全文
hbase 数据冗余 数据查询 美国队长美国队长 回复了回答 4 天前

数据冗余到hbase还是hive比较好

美国队长 美国队长 研发工程师,Alibaba
单纯说如何提高数据查询效率,我觉得哪个说出来的都不靠谱,因为数据的查询效率归根结底还是跟你的业务有关,你的业务模型建的好,可能都不需要优化,但是如果模型建的不好,那得分情况而定,所以我不好一下子给你一些建议查看全文
高可用 Hadoop 美国队长美国队长 回答了问题 4 天前

有没有高可用的hadoop的架构图

美国队长 美国队长 研发工程师,Alibaba
这个网上很多,但是我觉得重要的是要理解怎么实现高可用的,比如引进nameservice让不同的block可以属于不同的nameservice,这样一个namenode可以划定一个nameservice,其次有journalnode,将namenode上的源数据基本信息同步到查看全文
实施 灾备 数据同步 美国队长美国队长 回答了问题 4 天前

hadoop的灾备建设

美国队长 美国队长 研发工程师,Alibaba
hadoop灾备,应该先从namenode的单节点瓶颈,可以考虑使用两组namenode,一组含有两个namenode,然后两组之外再做个Failover,做个HA,至于存储的灾备,那就是把数据定时导出来,存放在不同的集群中查看全文
数据库 Hadoop 事务 美国队长美国队长 回答了问题 4 天前

Hadoop没有事务,那如果有需求是否还是要用传统数据库

美国队长 美国队长 研发工程师,Alibaba
hadoop是大部分用在进行数据仓库构造中,数据仓库的数据应该不是经常变化的,经常变化的应该还是用传统的数据库,所以按照这个逻辑,使用hadoop的时候就不应该出现要求事务的情况查看全文

最近来访

  • cwcw2828
  • IBM_liuchao
  • hchao
  • 请稍候...