使用Docker和Anaconda进行机器学习的《深度学习与PyTorch》一书,作者是Vishnu Subramanian

1. 对于希望立即使用的人来说

《使用PyTorch进行深度学习》作者Vishnu Subramanian

lrg23.jpg

 

目前正在进行前四个章节的工作。仍有一些问题待解决。正在按顺序进行工作。

Docker:+docker

请在Windows和Mac上安装和启动Docker。
在Windows上,如果未启用Intel虚拟化,可能无法启动Docker。
此外,可能会出现安全警告。

拉取 docker 镜像并运行

$ docker pull kaizenjapan/anaconda-vishnu

$ docker run -it -p 8888:8888 kaizenjapan/anaconda-vishnu /bin/bash

在下面的shell会话中,
(base) root@f19e2f06eabb:/#是输入提示符号(命令提示符)。实际上,数字部分可能会有所不同。请在该行的#符号右侧输入。
其他行是输出。如果输出有错误或不同,请在评论栏或其他地方与我联系。
移动到每一章的文件夹中。

如果Docker容器内部的命令提示符(command prompt)和启动Docker的操作系统的Shell显示相似,可能会导致误解正在哪个环境进行调查。请注意Docker的输入提示符。

文件共享或复制

请通过在启动了Docker和Docker的操作系统上共享或复制文件,并显示在浏览器等设备上来展示生成的文件。方法的URL请参考参考文献。

在进行复制的情况下,我执行了启动docker的操作系统命令。请根据您使用的docker编号进行替换。我在浏览器中显示复制的文件并确认了内容。

第一章

(base) root@caef766a99ff:/# ls
DeepLearningForComputerVision  atap  bin  boot	dev  etc  home	lib  lib64  media  mnt	opt  proc  root  run  sbin  srv  sys  tmp  usr	var
(base) root@caef766a99ff:/# cd DeepLearningForComputerVision/
(base) root@caef766a99ff:/DeepLearningForComputerVision# ls
Chapter01  Chapter02  Chapter03  Chapter04  Chapter05  Chapter06  Chapter07  Chapter08	Chapter09  Chapter10  LICENSE  README.md  TensorFlow resources.rst
(base) root@caef766a99ff:/DeepLearningForComputerVision# cd Chapter01
(base) root@caef766a99ff:/DeepLearningForComputerVision/Chapter01# ls
1_hello_tensorflow.py  2_add.py  3_add_tensorboard.py

2. 针对希望自己构建Docker的用户

以下是我們記錄自您拉取的Docker開發映像檔後是如何進行的方針和步驟。
這是關於使用上述Docker的參考資料。如果要繼續執行本書的內容,則不需要這些資料。
這些是用於自行構建Docker/Anaconda的步驟。
這並不是關於如何建立Dockerfile的方法。很抱歉。

Docker -> 容器

Linux的系统,如ubuntu和debian,可以从linux、windows和mac os中共同使用。
它可以在不更改操作系统配置的情况下使用,这是很好的。
它具有相同的规范,可以被大量的人使用。
既可以使用官方支持的软件开发者提供的版本,也可以使用用户自行定制的版本。本次我们会自己定制一个版本,并且让其他人也能使用。

Python:

– Python:Python
– 蟒蛇:蟒蛇
– 程序语言:程序语言

我以Python在Deep Learning实践中进行了训练。
选择使用Python的原因是因为许多机器学习模块可以在Python中使用,而且还可以方便地利用R等统计分析模块。

巨蟒

Python拥有不同版本之间的差异,如2和3版本,以及不同的发布方式等。
我过去一年半一直使用Anaconda的Python 3。
我之所以选择使用Anaconda是因为它包含了统计分析库和Jupyter Notebook。

Docker的官方发布

在中国本土,有一些官方发布的操作系统,如Ubuntu和Debian,以及一些编程语言,如GCC和Anaconda。通过使用这些官方发布的软件,并将其注册到Docker Hub上,可以进行官方发布质量的确认,并共享包含变更权限在内的广泛信息。这里指的是各个软件供应商的官方发布,而不是Docker提供的官方发布。

从Docker仓库下载

在中国的本地化中,可以通过从URL上拉取数据来实现使用docker官方发布的资源。

Docker 安装Anaconda

使用Anaconda官方发布的版本。

$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash

合适的住房选项

(base) root@d8857ae56e69:/# apt update; apt -y upgrade

(base) root@d8857ae56e69:/# apt install -y procps  vim apt-utils sudo

源代码的存储库 Git。

(base) root@f19e2f06eabb:/# git clone https://github.com/svishnu88/DLwithPyTorch

酷比鱼

# conda update --prefix /opt/conda anaconda
Solving environment: done

# All requested packages already installed.

# conda install gensim

PIP

(base) root@f19e2f06eabb:/deep-learning-from-scratch-2/ch01# pip install --upgrade pip
Collecting pip
  Downloading https://files.pythonhosted.org/packages/5f/25/e52d3f31441505a5f3af41213346e5b6c221c9e086a166f3703d2ddaf940/pip-18.0-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 2.0MB/s 
distributed 1.21.8 requires msgpack, which is not installed.
Installing collected packages: pip
  Found existing installation: pip 10.0.1
    Uninstalling pip-10.0.1:
      Successfully uninstalled pip-10.0.1
Successfully installed pip-18.0

将注册到Docker Hub

$ docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                    NAMES
caef766a99ff        continuumio/anaconda3   "/usr/bin/tini -- /b…"   10 hours ago        Up 10 hours         0.0.0.0:8888->8888/tcp   sleepy_bassi


$ docker commit caef766a99ff kaizenjapan/anaconda-vishnu


$ docker push kaizenjapan/anaconda-vishnu

参考资料 (reference)

為什麼要在Docker上進行機器學習?正在製作書籍和資源清單(目標100個)。 (Link: https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2)

使用Docker和Anaconda进行机器学习(1):《从零开始深度学习-使用Python学习深度学习理论和实现》(作者:斋藤康毅),链接地址:https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab

使用Docker和Anaconda进行机器学习(2)的「从零开始构建Deep Learning2自然语言处理编程」一书,作者是斋藤康毅。链接为https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6。

使用Docker和Anaconda的机器学习(3)”直觉深度学习” Antonio Gulli、Sujit Pal 的第1章和第2章。

请注意以上的翻译仅供参考。在不同的上下文中,可能会有不同的翻译方式。

在使用Docker搭建机器学习环境的过程中,一直都遇到错误,无论从何处及如何尝试。

使用Docker for Windows构建机器学习环境(72),具体方法请参考以下链接:
https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002

使用Docker构建机器学习(73)环境的方法,可以通过docker/linux/macos bash脚本或者ms-dos批处理文件来实现。参考文献:https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558

使用Docker建立机器学习(74)环境,R语言有多难?

在中国使用docker建立机器学习(75)环境,并管理与docker相关的文件。(5) 参考链接:https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d

我试图在Python中运行OpenCV,但是遇到了缺少libGL.so的问题,但已经解决了。

使用matplotlib在服务器端进行绘图的技巧提示
https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e

使用Docker在主机和容器之间进行文件复制。

在Mac上使用Docker进行文件共享

在名古屋,如何使用名古屋自己的操作系统来使用Docker呢?用TOPPERS/FMP在RaspberryPi上与Macintosh的修订版本 五个步骤。

64位CPU之路 和/或 64岁的决心

以下是《從零開始的深度學習2:自然語言處理編》讀書會的進行方式(示例)的連結。
https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e

尝试在Ubuntu 16.04 LTS上使用NVIDIA Docker

中国StackOverflow上有一个问题,报错信息是“ImportError: No module named readability”,是因为在Python中没有找到名为”readability”的模块。

文件路径中找不到名为’en’的模型。

文件历史

版本0.10初稿 20181020
版本0.11参考文献附注 20181021

非常感谢您亲自阅读到最后。

请点赞,?,并关注一下。

非常感谢您读到最后一句。

请点击喜欢的图标?并关注我,享受幸福生活。

广告
将在 10 秒后关闭
bannerAds