(大数据开发随笔7)Hadoop 3.3.x分布式环境部署——伪分布式模式

news/2023/12/9 15:50:36

伪分布式模式

前戏

  • jdk和hadoop环境变量配置

  • 确保防火墙关闭:systemctl status firewalld ;返回 inactive ;关闭命令 systemctl stop firewalld ;防止自启动命令 systemctl disable firewalld

    • 报错:-bash: /usr/bin/systemctl: Permission denied
    • 解决:sudo chmod -R 750 /usr/bin/systemctl
    • 报错:ERROR:systemctl:Unit firewalld.service could not be found.
    • 解决:yum install firewalld firewall-config
  • 确保NAT模式和静态IP的确定(参考:centos7虚拟机静态ip设置详细教程(超全超详细亲测有效))

    • vim /etc/sysconfig/network-scripts/ifcfg-ens33

    • BOOTPROTO="dhcp"改为BOOTPROTO="static"

  • 确保/etc/hosts文件里,ip和hostname的映射关系

    • vim /etc/hosts
    • 在最后添加192.168.211.101 主机名
    • (重启网络 systemctl restart network)可选
  • 确保免密登录localhost有效

    • ssh-keygen -t rsa ;后直接enter
    • cd ~/.ssh/
    • ssh-copy-id 主机名——yes——密码
    • 验证:ssh 主机名——无密码登录——exit退出
    • (ssh操作命令:systemctl restart/start/status/stop sshd
  • 确保JDK与Hadoop的环境、变量配置

中戏

  • 配置文件修改(未完待续):

    • core-site.xml

      • cd $HADOOP_HOME/etc/hadoop/——vim core-site.xml
      <configuration><property><name>fs.defaultFS</name><value>hdfs://lanr:9820</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.3.1/tmp</value></property>
      </configuration>
    • hdfs-site.xml

      <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.secondary.http-address</name><value>lanr:9868</value></property><property><name>dfs.namenode.http-address</name><value>lanr:9870</value></property>
      </configuration>
    • hadoop-env.sh

      export JAVA_HOME=/usr/local/jdk1.8.0_321export HDFS_NAMENODE_USER=root
      export HDFS_DATANODE_USER=root
      export HDFS_SECONDARYNAMENODE_USER=root
      
  • 格式化集群

    • 首先确保hadoop-3.3.1目录下没有tmp这个文件夹
    • hdfs namenode -format
  • 启动集群

    • start-dfs.sh——jps查看进程
  • WebUI查看集群状态

    • 192.168.211.101:9870

案例演示:wordcount

  • 数据准备

    cd ~
    mkdir input && cd input
    echo "hello world hadoop linux hadoop" >> file1
    echo "hadoop linux world hadoop linux hadoop" >> file1
    echo "hello world hadoop linux hadoop" >> file1
    echo "hello world hadoop linux hadoop" >> file1
    echo "hello good programmer hadoop linux hadoop" >> file2
    echo "hello world hadoop linux hadoop ok nice" >> file2
    
  • 上传到集群

    cd ~
    hdfs dfs -put input/ /
    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output  # 该input、output文件夹是在hdfs上的,不是linux本地的 且输出路径不能已存在
    hdfs dfs -cat /output/*  # 查看结果
    

http://www.ppmy.cn/news/42728.html

相关文章

代码随想录算法训练营day57|647.回文子串516.最长回文子序列 剑指offer39、66

647.回文子串 题目链接 本题主要是确定如何定义合适的dp数组&#xff0c;如果定义一维的数组不好找到递推关系&#xff0c;如果定义二维的&#xff0c;向两边拓展来判断回文子串是比较合适的&#xff0c;所以dp[i][j]表示[i,j]的子串是否是回文子串&#xff0c;注意这里是是否…

【Android -- 软技能】聊聊高效开发的一些套路与实践

前言 在开发中&#xff0c;编码我们有分层架构、设计模式做为套路来高效开发&#xff0c;但你也知道编码不是开发的全部&#xff0c;一个完全的开发流程用面向对象思想来概括&#xff0c;它分为OOA&#xff08;面向对象分析&#xff09;、OOD&#xff08;面向对象设计&#xf…

梦中情树---二叉树

前言&#xff1a; 今天就来讲树的一种特殊结构---二叉树 当然先来给大家看一张图片 看到这棵树了吗&#xff1f;它从根开始&#xff0c;每个结点都有且仅有两个分支&#xff0c;这个结构就是我们的二叉树。 其实我们上次讲的堆也可以看成一棵二叉树&#xff0c;但是人家的本质…

联想集团ESG与社会价值论坛召开,首次发布《联想集团2022社会价值报告》

对企业而言&#xff0c;ESG不再是选择题&#xff0c;而是必答题。 联想集团是ESG的先行者、领军者。 2023年4月11日&#xff0c;“联想集团ESG与社会价值论坛暨《联想集团2022社会价值报告》发布会”在京召开&#xff0c;会议由中国社会责任百人论坛、联想集团联合主办&#xf…

mysql 建表约束

主键约束 -- 主键约束 -- 使某个字段不重复且不得为空&#xff0c;确保表内所有数据的唯一性。 CREATE TABLE user (id INT PRIMARY KEY,name VARCHAR(20) );-- 联合主键 -- 联合主键中的每个字段都不能为空&#xff0c;并且加起来不能和已设置的联合主键重复。 CREATE TABLE …

SQL 逗号分隔将一行拆成多行

有表tb, 如下: id value ----------- ----------- 1 aa,bb 2 aaa,bbb,ccc 欲按id,分拆value列, 分拆后结果如下: id value ----------- -------- 1 aa 1 bb 2 aaa 2 bbb 2 ccc */--方…

比较好的文档翻译软件-哪个翻译软件最精准

免费语言翻译软件可以帮助用户快速准确地翻译语言&#xff0c;其主要作用如下&#xff1a; 辅助语言学习&#xff1a;语言翻译软件可以帮助用户学习语言&#xff0c;让用户更好地理解在不同语言之间的差异&#xff0c;从而使语言学习更加高效。 翻译外语内容&#xff1a;语言翻…

反欺诈(羊毛盾)API 实现用户行为分析的思路分析

简介 反欺诈&#xff08;羊毛盾&#xff09;API 是一种用于识别和防范各种欺诈行为的技术解决方案。它可集成到各种应用程序和平台中&#xff0c;通过手机号码、手机IP进行异常检测&#xff0c;达到防范恶意注册、虚假评论、虚假交易等欺诈行为的目的。 本文主要介绍反欺诈&a…

python中峰值识别算法find_peak原理介绍

find_peak原理介绍 引用原文https://www.zealseeker.com/archives/find-peak/&#xff0c;全文借鉴引用&#xff0c;如有侵权&#xff0c;私信马上删 1、波峰本质 波峰(英语&#xff1a;Wave crest)&#xff1a;是指波在一个波长的范围内&#xff0c;波幅的最大值&#xff0…

快速排序详解

一、定义 快速排序&#xff08;英语&#xff1a;Quicksort&#xff09;&#xff0c;又称分区交换排序&#xff08;英语&#xff1a;partition-exchange sort&#xff09;&#xff0c;简称「快排」&#xff0c;是一种被广泛运用的排序算法。 二、基本原理 快速排序是一个基于 分…

wsl下安装cuda各种踩坑记录.assets

执行nvcc -V, cuda版本位11.5 删除cuda sudo apt-get --purge remove "*cublas*" "*cufft*" "*curand*" \"*cusolver*" "*cusparse*" "*npp*" "*nvjpeg*" "cuda*" "nsight*"选择对…

Linux网络编程 第七天

目录 网络编程阶段项目 项目目标 Web服务器开发准备 Html语言基础 Html简介 Html标签介绍 题目标签 文本标签 列表标签 图片标签 超链接标签 http请求消息 请求类型 http响应消息 http常见状态码 http常见文件类型分…

文字描述登入界面到个人界面

登入界面&#xff1a; 创建 src/views/login/index.vue 写入基本框架 然后在 src/router/index.js 中配置登录页的路由表 最后&#xff0c;访问 /login 查看是否能访问到登录页面。 布局结构&#xff1a;导航栏需要用到vant里面的导航栏 、 登入的表单需要用到vant里面的表…

车载之-自定义系统服务

源码梳理 SystemServer的启动,SystemServer是由Zygote启动的。 /*** The main entry point from zygote.*/public static void main(String[] args) {new SystemServer().run();}继续看run()方法,看关键代码&#xff0c;开启服务。 startBootstrapServices主要是针对底层相关的…

Spring-Retry

Spring-Retry 引入Maven依赖 <dependency><groupId>org.springframework.retry</groupId><artifactId>spring-retry</artifactId></dependency><dependency><groupId>org.aspectj</groupId><artifactId>aspectjw…

技术+商业“双轮”驱动,量旋科技加速推进全方位的量子计算解决方案

【中国&#xff0c;深圳】4月14日&#xff0c;在第三个“世界量子日”&#xff0c;以“‘双轮’驱动 加速未来”为主题的量旋科技2023战略发布会在线上举办。 本次发布会&#xff0c;量旋科技全线升级了三大业务线产品&#xff1a;其中重点布局的超导量子计算体系产品&#xf…

优先级队列

目录 前言&#xff1a; 1、PriorityQueue的特性 .2 PriorityQueue常用接口介绍 Ⅰ、PriorityQueue常见的构造方法 Ⅱ、常用的方法 Ⅲ、PriorityQueue的扩容方式&#xff1a; 3、应用 前言&#xff1a; 普通的队列是一种先进先出的数据结构&#xff0c;元素在队列尾追加&…

Ajax简介、axios异步提交

一、Ajax简介 Ajax全称为&#xff1a;“Asynchronous JavaScript and XML”&#xff08;异步JavaScript 和 XML&#xff09; 使用ajax&#xff0c;可以无刷新状态更新页面&#xff0c;并且实现异步提交&#xff0c;提升了用户体验。Ajax其实质是利用浏览器提供的一个特殊的对象…

redis中的持久化操作AOF与RDB区别

通过阅读Redis官网&#xff1a; 持久性&#xff1a;是指将数据写入持久存储&#xff0c;例如固态磁盘 &#xff08;SSD&#xff09; 包括&#xff1a; RDB&#xff08;Redis数据库&#xff09;&#xff1a;RDB持久性按指定的时间间隔执行数据集的时间点快照AOF &#xff08;…

掌握这些“学习方法和工具”,让你事半功倍!

在中国这个高竞争的社会环境下&#xff0c;学习成为了每个人都需要掌握的技能。然而&#xff0c;学习并不仅仅是读书和听课&#xff0c;更是需要一系列高效的方法和习惯来提高效率。本文将介绍一些实用的学习经验和方法&#xff0c;以及推荐一些国内好的学习工具和平台&#xf…
最新文章