Azure Data Lake Storage Gen2 简介,azurestorage系列-ESG跨境

Azure Data Lake Storage Gen2 简介,azurestorage系列

Azure数据湖存储第二代简介

Azure Data Lake Storage Gen2是一组专用于大数据分析的功能，以Azure Blob storage as 基础构建。

专为企业大数据分析而设计

数据湖存储Gen2使Azure storage成为在Azure上构建企业数据湖的基础。Data Lake Storage Gen2从一开始就被设计为存储数百亿字节的信息，同时保持数百亿字节的吞吐量，使您可以轻松管理大量数据。

Data Lake Storage Gen2的一个基本部分是向Blob存储添加一个分层的名称空间。分层命名空间将对象/文件组织到目录层次结构中，以实现有效的数据访问。常见的对象存储命名约定在名称中使用斜杠来模拟分层目录结构。这种结构是在数据湖存储Gen2中真正实现的。重命名或删除目录等操作将成为对目录的单个原子元数据操作。没有必要枚举和处理共享目录名前缀的所有对象。

Data Lake Storage Gen2构建于基础Blob存储之上，其性能、管理和安全性通过以下方式得到增强:

优化的性能，因为您不需要将复制或转换数据作为分析的先决条件。与Blob存储上的平面命名空间相比，分层命名空间大大提高了目录管理操作的性能，从而提高了整体作业性能。

管理更容易，因为您可以通过目录和子目录来组织和操作文件。

因为POSIX权限可以在目录或单个文件上定义，所以可以加强安全性。

此外，Data Lake Storage Gen2非常具有成本是多少，因为它建立在低成本的Azure Blob存储之上。这些新功能进一步降低了在Azure上运行大数据分析的总拥有成本。

第二代数据湖存储的主要功能

Hadoop兼容访问:借助Data Lake Storage Gen2，您可以像Hadoop分布式文件系统(HDFS)一样管理和访问数据。用于访问数据的新ABFS驱动程序在所有Apache Hadoop环境中都可用。这些环境包括Azure HDInsight、Azure Databricks和Azure Synapse Analytics。

POSIX权限的超集:Data Lake Gen2的安全模型支持ACL和POSIX权限，以及一些特定于Data Lake Storage Gen2的额外粒度。可以通过storage explorer或Hive和Spark等框架来配置设置。

经济高效:Data Lake Storage Gen2提供低成本的存储容量和交易。Azure Blob存储生命周期等功能可以在数据在其生命周期中进行转换时优化成本。

优化的驱动程序:ABFS驱动程序已经专门针对大数据分析进行了优化。相应的REST API通过端点dfs.core.chinacloudapi.cn显示。

可伸缩性

根据设计，无论是通过数据湖存储Gen2还是Blob存储接口访问，Azure存储都可以自由伸缩。它可以存储和处理数十亿字节的数据。此存储量可用于在每秒高级输入/输出操作(IOPS)下以每秒千兆位(Gbps)测量的吞吐量。它将根据在服务、帐户和文件级别测量的近乎恒定的延迟进行处理。

成本是多少

因为数据湖存储Gen2是建立在Azure Blob storage 基础之上的，所以存储容量和交易成本较低。与其他云存储服务不同，在分析数据之前，不需要移动或转换数据。有关定价的更多信息，请参见Azure存储定价。

此外，分层命名空间等功能可以显著提高许多分析作业的整体性能。这种性能上的提高意味着处理相同数量的数据需要更少的计算能力，从而降低了端到端分析作业的总拥有成本(TCO)。

一种服务，多种概念

因为Data Lake Storage Gen2构建在Azure Blob storage 基础之上，所以可以使用多个概念来描述相同的共享内容。

以下是由不同概念描述的等效实体。除非另有说明，否则这些实体是同义的:

一种服务，多种概念

支持的Blob存储函数

您的帐户现在可以使用Blob存储功能，如诊断日志记录、访问层和Blob存储生命周期管理策略。

有关受支持的Blob存储函数的列表，请参考Azure Data Lake storage Gen2中提供的Blob存储函数。

支持Azure服务集成

数据湖存储gen2支持多种Azure服务。您可以使用它们来引入数据、执行分析和创建可视化表示。有关受支持的Azure服务的列表，请参见支持Azure数据湖存储Gen2的Azure服务。

支持的开源平台

多个开源平台支持数据湖存储Gen2。有关完整的列表，请参见支持Azure数据湖存储Gen2的开源平台。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。