50个大数据面试题第四篇:Hadoop开发人员新手面试问题

在之前的文章中，我们总结了10个大数据面试入门级问题以及大数据面试中级问题，大家是否有收获呢？如果还没有看的小伙伴，可以在

《50个大数据面试题第一篇：10个大数据面试入门级问题》

《50个大数据面试题第二篇：10个大数据面试中级问题》

《50个大数据面试题第三篇：10个大数据Hadoop面试问题》

复习功课哦！

本篇是10个Hadoop开发人员新手面试问题及建议答案，话不多说，赶紧开始今天的学习。

Hadoop开发人员面试并不容易。如果您是一个新人，请学习Hadoop概念并做好准备。熟悉不同的文件系统，Hadoop版本，命令，系统安全性等。以下几个问题将帮助您通过Hadoop开发人员面试。

31.Hadoop中有哪些不同的配置文件？

Hadoop中的不同配置文件是：

core-site.xml -此配置文件包含Hadoop核心配置设置，例如I / O设置，对于MapReduce和HDFS非常常见。它使用主机名端口。

mapred-site.xml -此配置文件通过设置mapreduce.framework.name指定MapReduce的框架名称

hdfs-site.xml -此配置文件包含HDFS守护程序配置设置。它还指定HDFS上的默认阻止权限和复制检查。

yarn-site.xml -此配置文件指定ResourceManager和NodeManager的配置设置。

32. Hadoop 2和Hadoop 3有什么区别？

以下是Hadoop 2和Hadoop 3之间的区别如图

33. 如何在Hadoop中实现安全性？

Kerberos用于在Hadoop中实现安全性。在高级别使用Kerberos时，有3个步骤来访问服务。每个步骤都涉及与服务器的消息交换。

身份验证 -第一步是将客户端身份验证到身份验证服务器，然后向客户端提供带时间戳的TGT（票证授予票证）。

授权 -在此步骤中，客户端使用收到的TGT从TGS（票证授予服务器）请求服务票证。

服务请求 -这是在Hadoop中实现安全性的最后一步。然后，客户端使用服务票证向服务器验证自己。

34. 什么是商品硬件？

商品硬件是一种低成本系统，由可用性较低和质量较差的系统识别。商品硬件包括RAM，因为它执行许多需要RAM执行的服务。一个不需要高端硬件配置或超级计算机来运行Hadoop，它可以在任何商用硬件上运行。

35. NFS如何与HDFS不同？

有许多分布式文件系统以自己的方式工作。

NFS（网络文件系统）是最古老和最流行的分布式文件存储系统之一，而HDFS（Hadoop分布式文件系统）是最近使用和流行的处理大数据的系统。 NFS和HDFS之间的主要区别如下 -

36. Hadoop MapReduce如何工作？

MapReduce操作分为两个阶段：

映射阶段 - 在此阶段，输入数据由映射任务分割。地图任务并行运行。这些拆分数据用于分析目的。

减少阶段 - 在此阶段，类似的拆分数据将从整个集合中聚合并显示结果。

37. 什么是MapReduce？用于运行MapReduce程序的语法是什么？

MapReduce是Hadoop中的一种编程模型，用于处理计算机集群上的大型数据集，通常称为HDFS。它是一种并行编程模型。

运行MapReduce程序的语法是 - hadoop_jar_file.jar / input_path / output_path 。

38. NameNode，任务跟踪器和作业跟踪器的端口号是什么？

NameNode - 端口50070

任务跟踪器- 端口50060

工作追踪- 港口50030

39. HDFS中文件或目录级别的不同文件权限是什么？

Hadoop分布式文件系统（HDFS）使用特定的文件和目录权限模型。

以下用户级别用于HDFS ：

Owner

Group

Others

对于上面提到的每个用户，以下权限适用 ：

读（r）

写（w）

执行（x）

上述权限对文件和目录的工作方式不同。

对于文件：

在（r） 权限是用于读取文件

该（w） 许可是写一个文件。

对于目录：

在（r）权限列出内容的特定目录。

该（w） 权限创建或删除一个目录。

该（x） 许可是用于访问子目录。

40. Mapper的基本参数是什么？

Mapper的基本参数是：

LongWritable和Text

文本和IntWritable