(大数据开发随笔7)Hadoop 3.3.x分布式环境部署——伪分布式模式

news/2024/12/4 16:47:41/

伪分布式模式

前戏

  • jdk和hadoop环境变量配置

  • 确保防火墙关闭:systemctl status firewalld ;返回 inactive ;关闭命令 systemctl stop firewalld ;防止自启动命令 systemctl disable firewalld

    • 报错:-bash: /usr/bin/systemctl: Permission denied
    • 解决:sudo chmod -R 750 /usr/bin/systemctl
    • 报错:ERROR:systemctl:Unit firewalld.service could not be found.
    • 解决:yum install firewalld firewall-config
  • 确保NAT模式和静态IP的确定(参考:centos7虚拟机静态ip设置详细教程(超全超详细亲测有效))

    • vim /etc/sysconfig/network-scripts/ifcfg-ens33

    • BOOTPROTO="dhcp"改为BOOTPROTO="static"

  • 确保/etc/hosts文件里,ip和hostname的映射关系

    • vim /etc/hosts
    • 在最后添加192.168.211.101 主机名
    • (重启网络 systemctl restart network)可选
  • 确保免密登录localhost有效

    • ssh-keygen -t rsa ;后直接enter
    • cd ~/.ssh/
    • ssh-copy-id 主机名——yes——密码
    • 验证:ssh 主机名——无密码登录——exit退出
    • (ssh操作命令:systemctl restart/start/status/stop sshd
  • 确保JDK与Hadoop的环境、变量配置

中戏

  • 配置文件修改(未完待续):

    • core-site.xml

      • cd $HADOOP_HOME/etc/hadoop/——vim core-site.xml
      <configuration><property><name>fs.defaultFS</name><value>hdfs://lanr:9820</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.3.1/tmp</value></property>
      </configuration>
    • hdfs-site.xml

      <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.secondary.http-address</name><value>lanr:9868</value></property><property><name>dfs.namenode.http-address</name><value>lanr:9870</value></property>
      </configuration>
    • hadoop-env.sh

      export JAVA_HOME=/usr/local/jdk1.8.0_321export HDFS_NAMENODE_USER=root
      export HDFS_DATANODE_USER=root
      export HDFS_SECONDARYNAMENODE_USER=root
      
  • 格式化集群

    • 首先确保hadoop-3.3.1目录下没有tmp这个文件夹
    • hdfs namenode -format
  • 启动集群

    • start-dfs.sh——jps查看进程
  • WebUI查看集群状态

    • 192.168.211.101:9870

案例演示:wordcount

  • 数据准备

    cd ~
    mkdir input && cd input
    echo "hello world hadoop linux hadoop" >> file1
    echo "hadoop linux world hadoop linux hadoop" >> file1
    echo "hello world hadoop linux hadoop" >> file1
    echo "hello world hadoop linux hadoop" >> file1
    echo "hello good programmer hadoop linux hadoop" >> file2
    echo "hello world hadoop linux hadoop ok nice" >> file2
    
  • 上传到集群

    cd ~
    hdfs dfs -put input/ /
    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output  # 该input、output文件夹是在hdfs上的,不是linux本地的 且输出路径不能已存在
    hdfs dfs -cat /output/*  # 查看结果
    

http://www.ppmy.cn/news/42728.html

相关文章

代码随想录算法训练营day57|647.回文子串516.最长回文子序列 剑指offer39、66

647.回文子串 题目链接 本题主要是确定如何定义合适的dp数组&#xff0c;如果定义一维的数组不好找到递推关系&#xff0c;如果定义二维的&#xff0c;向两边拓展来判断回文子串是比较合适的&#xff0c;所以dp[i][j]表示[i,j]的子串是否是回文子串&#xff0c;注意这里是是否…

【Android -- 软技能】聊聊高效开发的一些套路与实践

前言 在开发中&#xff0c;编码我们有分层架构、设计模式做为套路来高效开发&#xff0c;但你也知道编码不是开发的全部&#xff0c;一个完全的开发流程用面向对象思想来概括&#xff0c;它分为OOA&#xff08;面向对象分析&#xff09;、OOD&#xff08;面向对象设计&#xf…

梦中情树---二叉树

前言&#xff1a; 今天就来讲树的一种特殊结构---二叉树 当然先来给大家看一张图片 看到这棵树了吗&#xff1f;它从根开始&#xff0c;每个结点都有且仅有两个分支&#xff0c;这个结构就是我们的二叉树。 其实我们上次讲的堆也可以看成一棵二叉树&#xff0c;但是人家的本质…

联想集团ESG与社会价值论坛召开,首次发布《联想集团2022社会价值报告》

对企业而言&#xff0c;ESG不再是选择题&#xff0c;而是必答题。 联想集团是ESG的先行者、领军者。 2023年4月11日&#xff0c;“联想集团ESG与社会价值论坛暨《联想集团2022社会价值报告》发布会”在京召开&#xff0c;会议由中国社会责任百人论坛、联想集团联合主办&#xf…

mysql 建表约束

主键约束 -- 主键约束 -- 使某个字段不重复且不得为空&#xff0c;确保表内所有数据的唯一性。 CREATE TABLE user (id INT PRIMARY KEY,name VARCHAR(20) );-- 联合主键 -- 联合主键中的每个字段都不能为空&#xff0c;并且加起来不能和已设置的联合主键重复。 CREATE TABLE …

SQL 逗号分隔将一行拆成多行

有表tb, 如下: id value ----------- ----------- 1 aa,bb 2 aaa,bbb,ccc 欲按id,分拆value列, 分拆后结果如下: id value ----------- -------- 1 aa 1 bb 2 aaa 2 bbb 2 ccc */--方…

比较好的文档翻译软件-哪个翻译软件最精准

免费语言翻译软件可以帮助用户快速准确地翻译语言&#xff0c;其主要作用如下&#xff1a; 辅助语言学习&#xff1a;语言翻译软件可以帮助用户学习语言&#xff0c;让用户更好地理解在不同语言之间的差异&#xff0c;从而使语言学习更加高效。 翻译外语内容&#xff1a;语言翻…

反欺诈(羊毛盾)API 实现用户行为分析的思路分析

简介 反欺诈&#xff08;羊毛盾&#xff09;API 是一种用于识别和防范各种欺诈行为的技术解决方案。它可集成到各种应用程序和平台中&#xff0c;通过手机号码、手机IP进行异常检测&#xff0c;达到防范恶意注册、虚假评论、虚假交易等欺诈行为的目的。 本文主要介绍反欺诈&a…