简述HDFS的数据存放和数据读取策略?
HDFS的数据存放和数据读取策略如下:
数据存放策略:
1.数据分块:HDFS将文件分为若干个数据块,每个数据块的大小默认为128MB,可以根据需求进行调整。
2.数据复制:每个数据块会被复制多份,以保证数据的可靠性。默认情况下,每个数据块会被复制三份(即有三个副本),可以根据需求进行调整。
3.数据存储:数据块会存储在不同的节点上,以分散存储和读取负载。HDFS默认采用了数据本地性原则,即尽量将数据块存储在距离计算节点最近的物理节点上,以减少数据传输的开销。
数据读取策略:
1.就近原则:HDFS会优先从距离计算节点最近的物理节点读取数据块,以减少数据传输的开销。
2.并行读取:HDFS会将数据块分为若干个子块,然后并行读取这些子块,以加快读取速度。
3.数据复制:如果某个物理节点上的数据块不可用,HDFS会自动从其它物理节点上的副本中读取数据块,以保证数据的可靠性。
原文地址: https://www.cveoy.top/t/topic/gSgX 著作权归作者所有。请勿转载和采集!