分类
美国队长

美国队长

动态

数据备份 数据泄露 Hadoop 美国队长美国队长 回答了问题 2 天前

全球Hadoop服务器因配置不安全导致大量数据泄漏,针对这种情况该如何进行防范和补救?

美国队长 美国队长 研发工程师,Alibaba
首先最基本的查看hadoop自带默认的一些监听端口,比如50070,10020等一般配置在hdfs-site.xml,mapred-site.xml,yarn-site.xml这几个文件中,修改成另外的端口,另外对hadoop集群的访问要设置ip过滤等措施 其次是hadoop的job查看全文
Hadoop spark hive 美国队长美国队长 回答了问题 2017-06-20

请教spark on hive的安装问题

美国队长 美国队长 研发工程师,Alibaba
题目应该是hive on spark 另外你这个异常可能是hive跟spark的版本不一致的原因,建议你看一下你的hive源码中的pom.xml里面依赖的spark是什么版本的查看全文
大数据开发平台 美国队长美国队长 回答了问题 2017-05-17

大数据平台元数据管理问题

美国队长 美国队长 研发工程师,Alibaba
很高兴你能提到元数据问题,其实很多企业只关注大数据,对元数据的管理方面很不到位,同样指标几十个不同名称,带来数据质量问题跟沟通问题。简单的管理可以基于业务,纬度方面给表字段命名,查看全文
数据库 Mysql Hadoop 美国队长美国队长 回答了问题 2017-05-05

互联网企业使用分布式存储的探讨?

美国队长 美国队长 研发工程师,Alibaba
尝试使用阿里的tair进行存储,hadoop只适合大文件,小文件会造成很多碎片,浪费空间浪费效率,我个人觉得是不是可以考虑对热点小文件进行单独存储,定时同步到分布式文件系统中查看全文
Hadoop 数据仓库 数据中心架构 美国队长美国队长 回答了问题 2017-04-25

更智能&更大的数据中心架构与传统的数据仓库架构有何不同?

美国队长 美国队长 研发工程师,Alibaba
传统的数据仓库,可能通过一些传统数据库比如oracle mysql等,这些数据库做成超大型的数据中心,可谓存在很多地方都得自己手动去维护,比如说oracle,oracle其实是没有集群这个概念的,你硬是要通过多个实例构成一个大型数据仓库查看全文
Hadoop ambari 美国队长美国队长 回答了问题 2017-04-25

ambari服务注册失败

美国队长 美国队长 研发工程师,Alibaba
Caused by: org.apache.ambari.server.HostNotFoundException: Host not found, hostname= , 这是个很明显的错误,是你配置host没有配置好,先看一下ambari的配置需要配置host的地方,在看一下你的/etc/hosts下面的host查看全文
spark 美国队长美国队长 回答了问题 2017-04-25

Spark本地提交应用主节点无响应有人知道问题的原因吗?

美国队长 美国队长 研发工程师,Alibaba
主节点没连接上去,不知道你本地有没有搭建spark的开发环境查看全文
hdfs 对象存储 ceph 美国队长美国队长 回答了问题 2017-04-25

HDFS与CEPH的存储类型对比

美国队长 美国队长 研发工程师,Alibaba
从hdfs角度来看,他都是以块的形式存储,也就是其最小存储单元,其次你可以指定存储对象是二进制的视频还是普通字符的文本等,在他眼里都是block,然后这些block通过namenode进行管理就行了查看全文
hdfs ceph 性能对比 美国队长美国队长 回答了问题 2017-04-25

关于HDFS与CEPH的性能对比

美国队长 美国队长 研发工程师,Alibaba
我个人的观点是,首先hdfs是因为有了上次mapreduce的计算才衍生出的一个存储数据的模式,而ceph可以理解为 一个操作系统型的文件系统升级版,查看全文

最近来访

  • IBM_liuchao
  • liuchao6926
  • 晓黎
  • Finger99
  • cwcw2828
  • hchao
  • 请稍候...