📓
Study
  • README
  • Application
    • Contest
      • 竞赛trick
  • Basic Know
    • 半监督学习
    • 贝叶斯
      • 朴素贝叶斯分类器
    • 对抗训练
    • 概率图模型
      • CRF
      • HMM
      • 概率图模型
    • 关联分析
    • 归纳偏置
      • [什么是 Inductive bias(归纳偏置)?](BasicKnow/归纳偏置/什么是 Inductive bias(归纳偏置)?.md)
    • 聚类
    • 决策树
    • 绿色深度学习
    • 树模型&集成学习
      • 提升树
      • Ada Boost
      • [集成学习]
    • 特征工程
      • 数据分桶
      • 特征工程概述
      • 特征选择
      • LDA
      • PCA
    • 线性模型
      • 感知机
      • 最大熵模型
      • SVM
        • SVM支持向量机
      • 逻辑回归
      • 线性回归
    • 优化算法
      • 拉格朗日对偶性
      • 牛顿法
        • 牛顿法&拟牛顿法
      • 梯度下降法
        • 梯度下降算法
      • 优化算法
    • 预处理
      • [1-1]正则表达式
      • [1-2]文本预处理
      • [1-3]词性
      • [1-4]语法分析
      • [1-6]文本分类
      • [1-7]网络爬取
      • 【备用】正则表达式
      • 7.re模块
      • 词典匹配
      • 分词
      • 子表达式
      • Todo
    • 主题模型
      • LDA
    • Deep Learning
      • 反向传播
      • 梯度消失&梯度爆炸
      • Batch Size
      • 1.DLbasis
      • 小概念
      • MLstrategy
      • CNN
      • RNN及其应用
      • 关于深度学习实践
      • 神经网络概述
      • Batch Normalization
      • Program CNN
      • Program D Lbasis
      • Program DN Nimprove
      • Program Neural Style Transfer
      • Summer DL
    • EM算法
    • GAN
      • Gans In Action Master
    • GNN
      • 搜广推之GNN
      • Representation Learning
        • Anomalydetection
        • Conclusion
        • Others
        • Papernotes
        • Recommadation
    • k近邻法
      • K近邻
    • Language Model
      • 语言模型解码采样策略
      • [1-1][语言模型]从N-gram模型讲起
      • [1-2][语言模型]NNLM(神经网络语言模型)
      • [1-3][语言模型]基于RNN的语言模型
      • [1-4][语言模型]用N-gram来做完形填空
      • [1-5][语言模型]用KenLM来做完形填空
    • Loss Function
      • 常用损失函数
      • Focal Loss
      • softmax+交叉熵
    • Machine Learning
      • [基础]概念
      • 待整合
      • 交叉验证
      • 无监督学习
      • 优缺点
      • ML Yearning
      • SVD
    • Statistics Math
      • 程序员的数学基础课
      • 数学基础
      • 统计&高数
      • 统计题目
      • 线性代数
      • 组合数学
      • Discrete Choice Model
      • Nested Choice Model
  • Course Note
    • 基于TensorFlow的机器学习速成课程
      • [Key ML Terminology](CourseNote/基于TensorFlow的机器学习速成课程/Key ML Terminology.md)
    • 集训营
      • 任务说明
      • 算法实践1.1模型构建
      • 算法实践1.2模型构建之集成模型
      • 算法实践2.1数据预处理
    • 李宏毅机器学习
      • 10DNN训练Tips
        • Chapter 18
      • 16无监督学习
        • Chapter 25
    • 贪心NLP
      • 贪心NLP笔记
    • Cs 224 N 2019
      • [A Simple But Tough To Beat Baseline For Sentence Embeddings](CourseNote/cs224n2019/A Simple but Tough-to-beat Baseline for Sentence Embeddings.md)
      • [Lecture 01 Introduction And Word Vectors](CourseNote/cs224n2019/Lecture 01 Introduction and Word Vectors.md)
      • [Lecture 02 Word Vectors 2 And Word Senses](CourseNote/cs224n2019/Lecture 02 Word Vectors 2 and Word Senses.md)
      • [Lecture 03 Word Window Classification Neural Networks And Matrix Calculus](CourseNote/cs224n2019/Lecture 03 Word Window Classification, Neural Networks, and Matrix Calculus.md)
      • [Lecture 04 Backpropagation And Computation Graphs](CourseNote/cs224n2019/Lecture 04 Backpropagation and Computation Graphs.md)
      • [Lecture 05 Linguistic Structure Dependency Parsing](CourseNote/cs224n2019/Lecture 05 Linguistic Structure Dependency Parsing.md)
      • [Lecture 06 The Probability Of A Sentence Recurrent Neural Networks And Language Models](CourseNote/cs224n2019/Lecture 06 The probability of a sentence Recurrent Neural Networks and Language Models.md)
      • Stanford NLP
    • Deep Learning Book Goodfellow
      • Books
        • Deep Learning Book Chapter Summaries Master
      • 提纲
      • C 5
      • C 6
      • [Part I Applied Math And Machine Learning Basics](CourseNote/Deep-Learning-Book-Goodfellow/Part I - Applied Math and Machine Learning basics.md)
    • Lihang
    • NLP实战高手课
      • 极客时间_NLP实战高手课
    • 工具&资料
    • 机器学习、深度学习面试知识点汇总
    • 七月kaggle课程
    • 算法工程师
    • 贪心科技机器学习必修知识点特训营
    • 唐宇迪机器学习
    • 语言及工具
    • AI技术内参
    • Suggestions
  • Data Related
    • 数据质量
      • 置信学习
    • 自然语言处理中的数据增广_车万翔
      • 自然语言处理中的数据增广
    • Mixup
    • 数据不均衡问题
    • 数据增强的方法
  • Knowledge Graph
    • Information Extraction
      • 联合抽取
        • PRGC
      • Code
        • BERT微调
      • NER
        • 阅读理解做NER
          • MRC
        • FLAT
        • Global Pointer
        • 命名实体识别NER
    • Keyword Extraction
      • 关键词抽取
    • 小米在知识表示学习的探索与实践
    • KG
  • Multi Task
    • EXT 5
      • Ex T 5
  • NLG
    • Dailogue
      • 比赛
        • 对话评估比赛
          • [simpread-DSTC10 开放领域对话评估比赛冠军方法总结](NLG/Dailogue/比赛/对话评估比赛/simpread-DSTC10 开放领域对话评估比赛冠军方法总结.md)
      • 任务型对话
        • DST
          • DST概述
        • NLG
          • NLG概述
        • NLU
          • NLU概述
        • 任务型对话概述
        • simpread-任务型对话系统预训练最新研究进展
      • 问答型对话
        • 检索式问答
          • 基于预训练模型的检索式对话系统
          • 检索式文本问答
        • 业界分享
          • 低资源场景下的知识图谱表示学习和问答_阿里_李杨
          • QQ浏览器搜索智能问答
        • 问答型对话系统概述
      • 闲聊型对话
        • 闲聊型对话系统概述
      • 业界分享
        • 人工智能与心理咨询
        • 腾讯多轮对话机器人
        • 微软小冰
        • 小布助手闲聊生成式算法
        • 美团智能客服实践_江会星
        • 去哪儿智能客服探索和实践
        • 实时语音对话场景下的算法实践_阿里_陈克寒
        • 智能语音交互中的无效query识别_小米_崔世起
        • UNIT智能对话
      • 主动对话
      • EVA
        • EVA分享
        • EVA模型
      • PLATO
      • RASA
    • Machine Translation
      • 业界分享
        • 爱奇艺台词翻译分享
      • Paper
        • Deep Encoder Shallow Decoder
    • RAGRelated
    • Text 2 SQL
      • M SQL
        • [M SQL 2](NLG/Text2SQL/M-SQL/M-SQL (2).md)
      • [Text2SQL Baseline解析](NLG/Text2SQL/Text2SQL Baseline解析.md)
      • Text 2 SQL
    • Text Summarization
      • [文本摘要][paper]CTRLSUM
      • 文本摘要
  • Pre Training
    • 业界分享
      • 超大语言模型与语言理解_黄民烈
        • 超大语言模型与语言理解
      • 大模型的加速算法_腾讯微信
        • 大模型的加速算法
      • 孟子轻量化预训练模型
      • 悟道文汇文图生成模型
      • 悟道文澜图文多模态大模型
      • 语义驱动可视化内容创造_微软
        • 语义驱动可视化内容创造
    • Base
      • Attention
      • Mask
        • NLP中的Mask
      • Position Encoding
        • 位置编码
    • BERT
      • ALBERT
      • Bert
        • Venv
          • Lib
            • Site Packages
              • idna-3.2.dist-info
                • LICENSE
              • Markdown-3.3.4.dist-info
                • LICENSE
              • Tensorflow
                • Include
                  • External
                    • Libjpeg Turbo
                      • LICENSE
                  • Unsupported
                    • Eigen
                      • CXX 11
                        • Src
                          • Tensor
              • Werkzeug
                • Debug
                  • Shared
                    • ICON LICENSE
        • CONTRIBUTING
        • Multilingual
      • Ro BER Ta
      • BERT
      • BERT面试问答
      • BERT源码解析
      • NSP BERT
    • BERT Flow
    • BERT Zip
      • Distilling The Knowledge In A Neural Network
      • TINYBERT
      • 模型压缩
    • CPM
    • CPT
      • 兼顾理解和生成的中文预训练模型CPT
    • ELECTRA
    • EL Mo
    • ERNIE系列语言模型
    • GPT
    • MBART
    • NEZHA
    • NLG Sum
      • [simpread-预训练时代下的文本生成|模型 & 技巧](Pre-training/NLGSum/simpread-预训练时代下的文本生成|模型 & 技巧.md)
    • Prompt
      • 预训练模型的提示学习方法_刘知远
        • 预训练模型的提示学习方法
    • T 5
      • Unified SKG
      • T 5
    • Transformer
    • Uni LM
    • XL Net
    • 预训练语言模型
    • BERT变种
  • Recsys
    • 多任务Multi-task&推荐
    • 推荐介绍
    • 推荐系统之召回与精排
      • 代码
        • Python
          • Recall
            • Deep Match Master
              • Docs
                • Source
                  • Examples
                  • FAQ
                  • Features
                  • History
                  • Model Methods
                  • Quick Start
    • 业界分享
      • 腾讯基于知识图谱长视频推荐
    • 召回
    • Sparrow Rec Sys
    • 深度学习推荐系统实战
    • 推荐模型
    • Deep FM
  • Search
    • 搜索
    • 业界分享
      • 爱奇艺搜索排序算法实践
      • 语义搜索技术和应用
    • 查询关键字理解
    • 搜索排序
    • BM 25
    • KDD21-淘宝搜索中语义向量检索技术
    • query理解
    • TFIDF
  • Self Supervised Learning
    • Contrastive Learning
      • 业界分享
        • 对比学习在微博内容表示的应用_张俊林
      • Paper
      • R Drop
      • Sim CSE
    • 自监督学习
  • Text Classification
    • [多标签分类(Multi-label Classification)](TextClassification/多标签分类(Multi-label Classification)/多标签分类(Multi-label Classification).md)
    • Fast Text
    • Text CNN
    • 文本分类
  • Text Matching
    • 文本匹配和多轮检索
    • CNN SIM
    • Word Embedding
      • Skip Gram
      • Glove
      • Word 2 Vec
    • 文本匹配概述
  • Tool
    • 埋点
    • 向量检索(Faiss等)
    • Bigdata
      • 大数据基础task1_创建虚拟机+熟悉linux
      • 任务链接
      • Mr
      • Task1参考答案
      • Task2参考答案
      • Task3参考答案
      • Task4参考答案
      • Task5参考答案
    • Docker
    • Elasticsearch
    • Keras
    • Numpy
    • Python
      • 可视化
        • Interactivegraphics
        • Matplotlib
        • Tkinter
        • Turtle
      • 数据类型
        • Datatype
      • python爬虫
        • Python Scraping Master
          • phantomjs-2.1.1-windows
        • Regularexp
        • Scrapying
        • Selenium
      • 代码优化
      • 一行代码
      • 用python进行语言检测
      • Debug
      • Exception
      • [Features Tricks](Tool/python/Features & Tricks.md)
      • Fileprocess
      • Format
      • Functional Programming
      • I Python
      • Magic
      • Math
      • Os
      • Others
      • Pandas
      • Python Datastructure
      • Python操作数据库
      • Streamlit
      • Time
    • Pytorch
      • Dive Into DL Py Torch
        • 02 Softmax And Classification
        • 03 Mlp
        • 04 Underfit Overfit
        • 05 Gradient Vanishing Exploding
        • 06 Text Preprocess
        • 07 Language Model
        • 08 Rnn Basics
        • 09 Machine Translation
        • 10 Attention Seq 2 Seq
        • 11 Transformer
        • 12 Cnn
        • 14 Batchnorm Resnet
        • 15 Convexoptim
        • 16 Gradientdescent
        • 17 Optim Advance
    • Spark
      • Pyspark
        • pyspark之填充缺失的时间数据
      • Spark
    • SQL
      • 数据库
      • Hive Sql
      • MySQL实战45讲
    • Tensor Flow
      • TensorFlow入门
  • Common
  • NLP知识体系
Powered by GitBook
On this page

Was this helpful?

  1. Tool
  2. Bigdata

大数据基础task1_创建虚拟机+熟悉linux

PreviousBigdataNext任务链接

Last updated 3 years ago

Was this helpful?

任务:

  1. 在本机使用Xshell连接虚拟机

  2. 安装jdk

  3. 熟悉linux 常用命令

  4. 熟悉,shell 变量/循环/条件判断/函数等

shell小练习1: 编写函数,实现将1-100追加到output.txt中,其中若模10等于0,则再追加输出一次。即10,20...100在这个文件中会出现两次。

注意:

  • 电脑系统需要64位(4g+)

  • 三台虚拟机的运行内存不能超过电脑的运行内存

  • 三台虚拟机ip不能一样,否则会有冲突、

参考资料:

  1. linux系统下载ssh服务

  2. 大数据软件 : 提取码:finf

时间:2天

好的,任务开始!我的电脑是win10系统,64G,内存8G,满足条件。

先安装virtualBox,一直点击下一步即可,可以修改想要安装的位置。之后按照上述链接里的基本步骤执行,不过对于我的电脑有几个不同之处:

(1)在虚拟机的设置——网络——界面名称处,教程里选择的是Realtek选项,而我的电脑网卡型号是Intel,因此需要改成自己电脑的网卡型号。查看电脑网卡型号的方式是:所有设置——网络和Internet——状态——更改适配器选项——右键查看自己正在连接的网络的属性即可。如果这一步设置不正确,后续无法连接网络。

(2)在安装centos系统时,教程中有一步设置网络的configure,需要更改IPv4 Settings和General中的一些默认设置,不知道为什么我安装时无法编辑configure中的内容,即进入configure后鼠标失效,键盘的上下左右键可用,但仍旧无法更改和保存。这一步还不清楚其左右,先跳过,后续如果出问题了再看。

(上述过程花了约1.5小时——第一天晚上)

\2. 在本机使用Xshell连接虚拟机

因为在第一步没有设置网络的configure选项,意味着虚拟机的IP是默认动态的,XShell远程操作虚拟机时,需要虚拟机的IP地址,动态的IP地址显然很不方便,因此我们需要把虚拟机的IP设置为静态的。具体过程如下:

1)查看网卡文件名:

ll /etc/sysconfig/network-scripts/|grep ifcfg-en

可以看到下方出现了一个ifcfg开头的文件名,就是你的网卡文件名。

2)打开网卡文件,比如我的网卡文件名是ifcfg-enp0s3,因此输入:

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

就打开了文件,在键盘上按"i"就可以进行文件的修改,修改后的内容大致是这样的:

TYPE=Ethernet
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s3
UUID=23b2b3e7-e6d5-4a6d-83b4-f6949392a486
DEVICE=enp0s3

#static assignment
ONBOOT=yes #开机启动
BOOTPROTO=static #静态IP
IPADDR=192.168.1.151 #本机地址,注意这里的地址的192.168.1是与你的本机(windows)的IP地址前三个字段保持一致的,可以在本机进入cmd界面输入ipconfig查看
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.1.1 #默认网关

最重要的是最后面五个,后三个都是文件中本来没有的,需要添加,前两项在文件中更改即可。

我还设置了下面两个字段,虽然不知道有什么用(⊙o⊙)…:

DNS1=192.168.1.1
DNS2=8.8.8.8

设置好之后。按esc键退出编辑模式,再输入":wq"即可退出vim界面。

3)重启网络服务,输入命令

systemctl restart network

即可。

4)开启sshd服务。

service sshd start

5)静态IP设置好了,可以通过ip addr命令查看自己的虚拟机IP地址,也就是刚刚设置好的地址。

可以"ping www.baidu.com"命令来检查能否顺利连接网络(ping的过程较长,可按ctrl+c停止)。

尝试虚拟机ping主机(主机IP通过ipconfig命令获取),以及主机ping虚拟机

ping 你的虚拟机IP地址或主机IP地址

上面是我的主机ping虚拟机的结果。

如果虚拟机无法ping通主机的话(比如输入命令后长时间没有进展),可以尝试关闭主机的防火墙(所有设置——更新和安全——Windows安全——防火墙和网络保护——关闭防火墙)。但是一直关闭防火墙也不好呀,可以按照如下方法设置入站规则:

所有设置——更新和安全——Windows安全——防火墙和网络保护——高级设置——点击入站规则——找到“文件和打印共享(回显请求 – ICMPv4-In)”——右键启用规则

安装好后在Xshell中新建会话,输入虚拟机IP。在用户身份验证处,输入用户名和密码,点击确定。选择想要的会话,点击连接即可。

参考资料:

其实安装好Xshell之后,之后的操作都可以通过Xshell远程操作虚拟机,这样比较方便,而且可以直接复制粘贴各种命令,哈哈哈!

1)首先要安装wget,即输入命令yum -y install wget。

2)然后按照教程来就可以,没有遇到什么问题。

注意:如果你在执行“mv *.repo repo_bak/”命令之后才install wget,会出现“There are no enabled repos”错误,只需要把刚刚move过去的文件再move回来即可。

\4. 安装jdk

我是在windows中下载好jdk文件,通过xshell传输文件到虚拟机。

1)在windows下通过Xshell连接虚拟机,输入下列命令,在linux虚拟机中安装上传下载工具包rz及sz:

yum install -y lrzsz

2)上传文件到虚拟机。输入命令

rz

后,会弹出一个对话框,选择需要上传到虚拟机的文件即可,默认保存在当前目录下。

3)下面开始安装jdk。

在usr/local下创建目录java并进入目录下:

cd /usr/local/
mkdir java
cd java

将jdk文件移动(mv)或复制(cp)到创建的目录下:

mv /root/jdk-8u131-linux-x64.tar.gz /usr/local/java/

其中/root/是我一开始传输文件到虚拟机所保存的位置,jdk-8u131-linux-x64.tar.gz是文件名。

解压文件到当前目录

tar -zxvf jdk-8u131-linux-x64.tar.gz

编辑配置文件:

vi /etc/profile

设置好环境变量(注意不要有空格之类的):

JAVA_HOME=/usr/local/java/jdk1.8.0_131
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

执行命令使得更改生效:

source /etc/profile

检查是否安装成功

java -version

参考资料:

\5. 熟悉linux 常用命令

其实通过前面几个步骤,已经差不多熟悉linux的常用命令了。

ls   # 列出当前目录下的文件
cd A  # 切换到目录A
mv A B  # 移动文件A到B目录下
tar -zxvf *.tar.gz     # 解压压缩包
mkdir    # 创建目录
...

6.熟悉shell 变量/循环/条件判断/函数等

vi test_func.sh

在文件里写入(按“i”进入编辑模式):

#! /bin/bash

echo "测试写入output.txt文件"
for((i=1;i<=100;i++));
do
echo $i >> output.txt
b=$(( $i % 10 ))
if [ $b = 0 ];then
echo $i >> output.txt
fi
done

注意if语句后面的"["后是有空格的,光这个就折腾了我好长时间.....对shell脚本还是不熟啊!

按esc键退出编辑模式,输入:wq保存文件,然后执行bash test_func.sh即可。

ls后会发现当前目录下多了一个output.txt文件,vi output.txt可以查看文件内容。

参考资料:

以上是第二天的学习内容。其中2、3、4是需要在三台虚拟机上运行的。

虽然现在回看每个步骤都挺简单的,但在做的过程中还是会遇到各种问题,比如我在安装jdk的时候,环境变量的写法一开始是类似于这样的:

export JAVA_HOME=/usr/java/jdk1.8.0_131/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH

但是怎么都不成功,找不到java。网上找了别的写法,一改,居然就好了。

另外就是shell脚本真的写了很久。。。我连for循环都要去查一下怎么写(⊙o⊙)…

从晚上10点做到第二天2点。。。emmm希望明天不要瞌睡!

img

6)Xshell的安装比较简单,从下载好软件,正常安装即可。

img
img

\3.

img

通过xshell传输文件的教程:

安装jdk的教程:

创建三台虚拟机
CentOS7配置阿里云yum源和EPEL源
安装ifconfig
bash: wget: command not found的两种解决方法
关闭windows的防火墙!如果不关闭防火墙的话,可能和虚拟机直接无法ping通!
链接
创建三台虚拟机
官网
https://blog.csdn.net/ZZY1078689276/article/details/77280814
https://blog.csdn.net/qq_25908611/article/details/79077532
CentOS7配置阿里云yum源和EPEL源
https://blog.csdn.net/love666666shen/article/details/75742077
https://blog.csdn.net/szxiaohe/article/details/76650266
https://blog.csdn.net/liuxizhen2009/article/details/22472297
写入文件,追加内容,修改内容;shell,sed - 陳聽溪 - 博客园