大数据技术原理与应用林子雨课后习题答案 联系客服

发布时间 : 星期三 文章大数据技术原理与应用林子雨课后习题答案更新完毕开始阅读1cf6883efe4ffe4733687e21af45b307e871f9ef

“com.cnn.wwwT5 ” T3 Anchor:cnnsi.com=”CNN” Anchor:my.look.ca=”CNN” “com.cnn.www” T3 Content:html=”...” T2 Content:html=”...” T1 Content:html=”...” HBase数据物理视图

行键 时间戳 列族anchor Anchor:cnnsi.com=”CNN” “com.cnn.wwwT5 ” T4 Anchor:my.look.ca=”CNN” 行键 “com.cnn.www” 时间戳 T3 列族contents Content:html=”...” T2 Content:html=”...” T1 Content:html=”...” 在HBase的概念视图中,一个表可以视为一个稀疏、多维的映射关系。 在物理视图中,一个表会按照属于同一列族的数据保存在一起 8. 试述HBase各功能组建及其作用 (1)库函数:链接到每个客户端;

(2)一个Master主服务器:主服务器Master主要负责表和Region的管理工作; (3)许多个Region服务器:Region服务器是HBase中最核心的模块,负责维护分配给自己的Region,并响应用户的读写请求 9. 请阐述HBase的数据分区机制。

答: HBase采用分区存储,一个大的表会被分拆许多个Region,这些Region会被分发到不同的服务器上实现分布式存储。 10. HBase中的分区是如何定位的。

通过构建的映射表的每个条目包含两项内容,一个是Regionde 标识符,另一个是Region服务器标识,这个条目就标识Region和Region服务器之间的对应关系,从而就可以知道某个Region被保存在哪个Region服务器中。 11. 试述HBase的三层结构中各层次的名称和作用。

层次 名称 作用 第一层 Zookeeper文件 记录了-ROOT-表的位置信息 第二层 -ROOT-表 记录了.META.表的Region位置信息 -ROOT-表只能有一个Region。通过-ROOT-表,就可以访问.META.表中的数据 第三层 .META.表 记录了用户数据表的Region位置信息,.META.表可以有多个Region,保存了HBase中所有用户数据表的Region位置信息 12. 请阐述HBase的三层结构下,客户端是如何访问到数据的。

答:首先访问Zookeeper,获取-ROOT表的位置信息,然后访问-Root-表,获得.MATA.表的信息,接着访问.MATA.表,找到所需的Region具体位于哪个Region服务器,最后才会到该Region服务器读取数据。

13. 试述HBase系统基本架构以及每个组成部分的作用。 (1)客户端

客户端包含访问HBase的接口,同时在缓存中维护着已经访问过的Region位置信息,用来加快后续数据访问过程 (2)Zookeeper服务器

Zookeeper可以帮助选举出一个Master作为集群的总管,并保证在任何时刻总有唯一一个Master在运行,这就避免了Master的“单点失效”问题 (3)Master

主服务器Master主要负责表和Region的管理工作:管理用户对表的增加、删除、修改、查询等操作;实现不同Region服务器之间的负载均衡;在Region分裂或合并后,负责重新调整Region的分布;对发生故障失效的Region服务器上的Region进行迁移 (4)Region服务器

Region服务器是HBase中最核心的模块,负责维护分配给自己的Region,并响应用户的读写请求

14. 请阐述Region服务器向HDFS文件系统中读写数据的基本原理

Region服务器内部管理一系列Region对象和一个HLog文件,其中,HLog是磁盘上面的记录文件,它记录着所有的更新操作。每个Region对象又是由多个Store组成的,每个Store对象了表中的一个列族的存储。每个Store又包含了MemStore和若干个StoreFile,其中,MemStore是在内存中的缓存。 15. 试述HStore的工作原理

每个Store对应了表中的一个列族的存储。每个Store包括一个MenStore缓存和若干个StoreFile文件。MenStore是排序的内存缓冲区,当用户写入数据时,系统首先把数据放入MenStore缓存,当MemStore缓存满时,就会刷新到磁盘中的一个StoreFile文件中,当单个StoreFile文件大小超过一定阈值时,就会触发文件分裂操作。 16. 试述HLog的工作原理

答:HBase系统为每个Region服务器配置了一个HLog文件,它是一种预写式日志(Write Ahead Log),用户更新数据必须首先写入日志后,才能写入MemStore缓存,并且,直到MemStore缓存内容对应的日志已经写入磁盘,该缓存内容才能被刷写到磁盘。