零门槛搭建本地大数据档案培训教学实操实验环境

一、实验环境准备：前置依赖全搞定

本次培训环境基于Windows 10/11 或 Linux Ubuntu 22.04 LTS，优先推荐Ubuntu，大数据组件兼容性最优。

1.1 Ubuntu环境快速部署（可选）

如果是Windows用户，可直接通过Hyper-V虚拟机或WSL2部署，WSL2更轻量化，操作步骤如下：

• 开启WSL2功能：以管理员身份打开PowerShell，执行以下两条命令： ```powershell dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart ``` 重启电脑后，在Microsoft Store搜索“Ubuntu 22.04 LTS”，点击“获取”“安装”，首次启动设置用户名和密码（均为自定义，无需复杂字符）。
• Linux纯系统用户：直接使用Ubuntu 22.04 LTS的默认配置即可。

1.2 统一安装Java 8

大数据核心组件（Hadoop、Hive、Spark）均依赖Java 8，执行以下命令一键安装：

```bash 1. 更新apt源 sudo apt update 2. 安装OpenJDK 8 sudo apt install openjdk-8-jdk -y 3. 验证安装 java -version ```

若终端输出“openjdk version \"1.8.0_\"”开头的内容，说明安装成功。

1.3 配置SSH免密登录

Hadoop需要SSH免密访问本地节点，执行以下步骤：

• 生成SSH密钥对： ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ``` 按三次回车跳过所有提示。
• 将公钥添加到授权列表： ```bash cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ```
• 验证免密登录： ```bash ssh localhost ``` 首次登录输入“yes”按回车，若无需密码直接进入终端，说明免密成功，执行exit退出。

二、核心组件安装：单节点集群快速上线

本次采用单节点伪分布式模式，满足档案采集、存储、处理、查询的完整培训需求。

2.1 安装Hadoop 3.3.4

• 下载并解压： ```bash 1. 进入用户主目录 cd ~ 2. 下载Hadoop（国内镜像加速） wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 3. 解压到当前目录 tar -zxvf hadoop-3.3.4.tar.gz ```
• 配置环境变量：编辑~/.bashrc文件，添加以下内容： ```bash 打开文件 nano ~/.bashrc 添加到文件末尾 export HADOOP_HOME=/home/$(whoami)/hadoop-3.3.4 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 按Ctrl+O保存，Enter确认文件名，Ctrl+X退出，执行source ~/.bashrc生效。
• 修改Hadoop配置文件：
  • hadoop-env.sh：指定Java路径 ```bash 打开文件 nano $HADOOP_CONF_DIR/hadoop-env.sh 找到 export JAVA_HOME=这一行，删除注释并修改为 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 保存退出。
  • core-site.xml：配置默认文件系统 ```bash nano $HADOOP_CONF_DIR/core-site.xml ``` 替换标签内的内容为： ```xml fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /home/$(whoami)/hadoop_data/tmp ``` 保存退出。
  • hdfs-site.xml：配置HDFS副本数（单节点设为1） ```bash nano $HADOOP_CONF_DIR/hdfs-site.xml ``` 替换为： ```xml dfs.replication 1 dfs.namenode.name.dir /home/$(whoami)/hadoop_data/namenode dfs.datanode.data.dir /home/$(whoami)/hadoop_data/datanode ``` 保存退出。
  • mapred-site.xml：配置MapReduce框架为YARN ```bash 先复制模板 cp $HADOOP_CONF_DIR/mapred-site.xml.template $HADOOP_CONF_DIR/mapred-site.xml 打开文件 nano $HADOOP_CONF_DIR/mapred-site.xml ``` 替换为： ```xml mapreduce.framework.name yarn ``` 保存退出。
  • yarn-site.xml：配置YARN资源管理器 ```bash nano $HADOOP_CONF_DIR/yarn-site.xml ``` 替换为： ```xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME ``` 保存退出。
• 格式化NameNode并启动集群： ```bash 1. 首次必须格式化（仅执行一次） hdfs namenode -format 2. 启动HDFS start-dfs.sh 3. 启动YARN start-yarn.sh 4. 验证启动 jps ```

  若终端输出NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager5个进程，说明集群启动成功。

2.2 安装Hive 3.1.3

Hive作为数据仓库工具，用于结构化档案的SQL查询，操作步骤如下：

• 下载并解压： ```bash cd ~ wget https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -zxvf apache-hive-3.1.3-bin.tar.gz ```
• 配置环境变量：编辑~/.bashrc，添加： ```bash export HIVE_HOME=/home/$(whoami)/apache-hive-3.1.3-bin export PATH=$PATH:$HIVE_HOME/bin ``` 保存后执行source ~/.bashrc。
• 配置Hive元数据存储（使用内置Derby，单节点足够）： ```bash 1. 创建hive工作目录 mkdir -p /home/$(whoami)/hive_data/warehouse 2. 复制模板配置 cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml 3. 编辑hive-site.xml，仅保留以下内容（删除所有注释和多余配置） nano $HIVE_HOME/conf/hive-site.xml ``` 替换为： ```xml hive.metastore.warehouse.dir /home/$(whoami)/hive_data/warehouse hive.metastore.db.type derby hive.exec.scratchdir /tmp/hive javax.jdo.option.ConnectionURL jdbc:derby:;databaseName=metastore_db;create=true ``` 保存退出。
• 初始化元数据并启动Hive： ```bash 1. 初始化元数据（仅执行一次） schematool -dbType derby -initSchema 2. 启动Hive CLI hive ```

  若终端出现hive>提示符，说明Hive启动成功。

三、培训实操演练：从采集到查询全流程

模拟档案数据为“干部档案表”，完成采集（上传HDFS）、存储（创建Hive表）、查询（SQL统计）三个核心培训环节。

3.1 准备测试档案数据

在本地创建CSV格式的测试数据，执行：

```bash 1. 创建测试文件 nano ~/test_cadre_archives.csv ``` 写入以下内容（可复制）： ```csv 001,张三,男,1985-03-15,2007-07-01,技术部,高级工程师 002,李四,女,1988-09-20,2010-09-01,人事部,主管 003,王五,男,1979-12-05,2002-06-01,财务部,经理 004,赵六,女,1992-05-30,2015-07-01,技术部,工程师 ``` 保存退出。

3.2 上传档案数据到HDFS

• 创建HDFS存储目录： ```bash hdfs dfs -mkdir -p /user/$(whoami)/archives ```
• 上传测试文件： ```bash hdfs dfs -put ~/test_cadre_archives.csv /user/$(whoami)/archives/ ```
• 验证上传： ```bash hdfs dfs -cat /user/$(whoami)/archives/test_cadre_archives.csv ``` 若终端输出刚才写入的CSV内容，说明上传成功。

3.3 创建Hive表并查询统计

在hive>提示符下执行以下命令：

• 创建内部表： ```sql CREATE TABLE cadre_archives ( id STRING COMMENT '档案编号', name STRING COMMENT '姓名', gender STRING COMMENT '性别', birth_date STRING COMMENT '出生日期', join_date STRING COMMENT '入职日期', department STRING COMMENT '部门', position STRING COMMENT '职位' ) COMMENT '干部档案表' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ```
• 加载HDFS数据到表： ```sql LOAD DATA INPATH '/user/$(whoami)/archives/test_cadre_archives.csv' INTO TABLE cadre_archives; ``` 注意：INPATH会将HDFS文件移动到Hive仓库，若需保留原文件使用LOCAL INPATH（上传本地文件到表）。
• 执行培训常用查询：
  • 查询所有档案：SELECT FROM cadre_archives;
  • 统计各部门人数：SELECT department, COUNT() AS count FROM cadre_archives GROUP BY department;
  • 查询技术部高级工程师：SELECT FROM cadre_archives WHERE department='技术部' AND position='高级工程师';

四、环境停止与清理

培训结束后可停止集群释放资源，执行：

```bash 1. 停止YARN stop-yarn.sh 2. 停止HDFS stop-dfs.sh 3. 若需完全清理环境（谨慎操作） rm -rf ~/hadoop-3.3.4 ~/apache-hive-3.1.3-bin ~/hadoop_data ~/hive_data ~/test_cadre_archives.csv ~/.bashrc.bak ```