Hive的复杂数据类型、内置函数与自定义函数 1 实验准备 1.1 启动Hadoop集群 首先按照顺序启动四个Docker容器 docker start master docker start slave1 docker start slave2 docker start slave3 接着使用以下命令，进入到master环境内： docker exec -it --privi...

Hive安装部署及常用命令 1 实验准备 1.1 启动Hadoop集群 首先按照顺序启动四个Docker容器 docker start master docker start slave1 docker start slave2 docker start slave3 接着使用以下命令，进入到master环境内： docker exec -it --privileged mas...

Docker 仓库管理 使用仓库（Repository）可以集中存放和管理镜像。 本实验包含三部分内容： 如何使用公共的 Docker 仓库。 如何使用 Registry 搭建 Docker 仓库。 如何使用 VMWare Harbor 搭建自己的Docker仓库。 1 Docker Hub 目前 Docker 官方维护了一个公共仓库 Docker Hub 大部分...

实验四 Docker 容器互联 1 网络端口映射 首先，创建了一个 Python Web 应用的容器。 cd ~/course/docker/webapp/webapp docker run -d -P training/webapp python app.py docker ps -l 通过 -P 参数创建一个容器，使用 docker ps 可以看到容器端口 5000 绑定主...

1 实验原理 1.1 MapReduce组成原理 最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输入（input）和输出（output）。main 函数将作业控制和文件输...

1 贝叶斯分类器内容总结 1.1 各种概率分布有什么区别？ 概率分布函数 特点 MultinomialNB（多项式分布） 适用于具有离散特征的分类（例如，用于文本分类的字数统计）。 GaussianNB（高斯分布） 假设特征的可能性(即概率)为高斯...

实验3：HDFS编程 1 HDFS文件系统编程框架 以下代码为HDFS文件系统的编程框架： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; public class FileExist { public static void main(String[] a...

实验2：HDFS操作 1 启动Docker和Hadoop服务 首先按照顺序启动四个Docker容器 docker start master docker start slave1 docker start slave2 docker start slave3 接着使用以下命令，进入到master环境内： docker exec -it --privileged master /b...

1 启动Docker容器 1.1 加载镜像 实验使用的Docker镜像保存在/cg/images/hadoop_node.tar.gz文件中，执行如下命令加载该镜像: docker load < /cg/images/hadoop_node.tar.gz 1.2 启动实验容器 执行如下四个命令，启动四个名称分别为master、slave1、slave2、slave3的d...

1 环境检测 要在WSL2环境下安装Docker，需要先安装WSL2，而WSL2有系统环境的要求，需要监测自己的系统版本是否符合环境要求。 根据官方的要求：You must be running Windows 10 version 2004 and higher (Build 19041 and higher) or Windows 11.，您的系统必须是Windows 10的2004...