使用Docker和Anaconda进行机器学习的《深度学习与PyTorch》一书,作者是Vishnu Subramanian
1. 对于希望立即使用的人来说
《使用PyTorch进行深度学习》作者Vishnu Subramanian
目前正在进行前四个章节的工作。仍有一些问题待解决。正在按顺序进行工作。
Docker:+docker
请在Windows和Mac上安装和启动Docker。
在Windows上,如果未启用Intel虚拟化,可能无法启动Docker。
此外,可能会出现安全警告。
拉取 docker 镜像并运行
$ docker pull kaizenjapan/anaconda-vishnu
$ docker run -it -p 8888:8888 kaizenjapan/anaconda-vishnu /bin/bash
在下面的shell会话中,
(base) root@f19e2f06eabb:/#是输入提示符号(命令提示符)。实际上,数字部分可能会有所不同。请在该行的#符号右侧输入。
其他行是输出。如果输出有错误或不同,请在评论栏或其他地方与我联系。
移动到每一章的文件夹中。
如果Docker容器内部的命令提示符(command prompt)和启动Docker的操作系统的Shell显示相似,可能会导致误解正在哪个环境进行调查。请注意Docker的输入提示符。
文件共享或复制
请通过在启动了Docker和Docker的操作系统上共享或复制文件,并显示在浏览器等设备上来展示生成的文件。方法的URL请参考参考文献。
在进行复制的情况下,我执行了启动docker的操作系统命令。请根据您使用的docker编号进行替换。我在浏览器中显示复制的文件并确认了内容。
第一章
(base) root@caef766a99ff:/# ls
DeepLearningForComputerVision atap bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var
(base) root@caef766a99ff:/# cd DeepLearningForComputerVision/
(base) root@caef766a99ff:/DeepLearningForComputerVision# ls
Chapter01 Chapter02 Chapter03 Chapter04 Chapter05 Chapter06 Chapter07 Chapter08 Chapter09 Chapter10 LICENSE README.md TensorFlow resources.rst
(base) root@caef766a99ff:/DeepLearningForComputerVision# cd Chapter01
(base) root@caef766a99ff:/DeepLearningForComputerVision/Chapter01# ls
1_hello_tensorflow.py 2_add.py 3_add_tensorboard.py
2. 针对希望自己构建Docker的用户
以下是我們記錄自您拉取的Docker開發映像檔後是如何進行的方針和步驟。
這是關於使用上述Docker的參考資料。如果要繼續執行本書的內容,則不需要這些資料。
這些是用於自行構建Docker/Anaconda的步驟。
這並不是關於如何建立Dockerfile的方法。很抱歉。
Docker -> 容器
Linux的系统,如ubuntu和debian,可以从linux、windows和mac os中共同使用。
它可以在不更改操作系统配置的情况下使用,这是很好的。
它具有相同的规范,可以被大量的人使用。
既可以使用官方支持的软件开发者提供的版本,也可以使用用户自行定制的版本。本次我们会自己定制一个版本,并且让其他人也能使用。
Python:
– Python:Python
– 蟒蛇:蟒蛇
– 程序语言:程序语言
我以Python在Deep Learning实践中进行了训练。
选择使用Python的原因是因为许多机器学习模块可以在Python中使用,而且还可以方便地利用R等统计分析模块。
巨蟒
Python拥有不同版本之间的差异,如2和3版本,以及不同的发布方式等。
我过去一年半一直使用Anaconda的Python 3。
我之所以选择使用Anaconda是因为它包含了统计分析库和Jupyter Notebook。
Docker的官方发布
在中国本土,有一些官方发布的操作系统,如Ubuntu和Debian,以及一些编程语言,如GCC和Anaconda。通过使用这些官方发布的软件,并将其注册到Docker Hub上,可以进行官方发布质量的确认,并共享包含变更权限在内的广泛信息。这里指的是各个软件供应商的官方发布,而不是Docker提供的官方发布。
从Docker仓库下载
在中国的本地化中,可以通过从URL上拉取数据来实现使用docker官方发布的资源。
Docker 安装Anaconda
使用Anaconda官方发布的版本。
$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash
合适的住房选项
(base) root@d8857ae56e69:/# apt update; apt -y upgrade
(base) root@d8857ae56e69:/# apt install -y procps vim apt-utils sudo
源代码的存储库 Git。
(base) root@f19e2f06eabb:/# git clone https://github.com/svishnu88/DLwithPyTorch
酷比鱼
# conda update --prefix /opt/conda anaconda
Solving environment: done
# All requested packages already installed.
# conda install gensim
PIP
(base) root@f19e2f06eabb:/deep-learning-from-scratch-2/ch01# pip install --upgrade pip
Collecting pip
Downloading https://files.pythonhosted.org/packages/5f/25/e52d3f31441505a5f3af41213346e5b6c221c9e086a166f3703d2ddaf940/pip-18.0-py2.py3-none-any.whl (1.3MB)
100% |████████████████████████████████| 1.3MB 2.0MB/s
distributed 1.21.8 requires msgpack, which is not installed.
Installing collected packages: pip
Found existing installation: pip 10.0.1
Uninstalling pip-10.0.1:
Successfully uninstalled pip-10.0.1
Successfully installed pip-18.0
将注册到Docker Hub
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
caef766a99ff continuumio/anaconda3 "/usr/bin/tini -- /b…" 10 hours ago Up 10 hours 0.0.0.0:8888->8888/tcp sleepy_bassi
$ docker commit caef766a99ff kaizenjapan/anaconda-vishnu
$ docker push kaizenjapan/anaconda-vishnu
参考资料 (reference)
為什麼要在Docker上進行機器學習?正在製作書籍和資源清單(目標100個)。 (Link: https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2)
使用Docker和Anaconda进行机器学习(1):《从零开始深度学习-使用Python学习深度学习理论和实现》(作者:斋藤康毅),链接地址:https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab
使用Docker和Anaconda进行机器学习(2)的「从零开始构建Deep Learning2自然语言处理编程」一书,作者是斋藤康毅。链接为https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6。
使用Docker和Anaconda的机器学习(3)”直觉深度学习” Antonio Gulli、Sujit Pal 的第1章和第2章。
请注意以上的翻译仅供参考。在不同的上下文中,可能会有不同的翻译方式。
在使用Docker搭建机器学习环境的过程中,一直都遇到错误,无论从何处及如何尝试。
使用Docker for Windows构建机器学习环境(72),具体方法请参考以下链接:
https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002
使用Docker构建机器学习(73)环境的方法,可以通过docker/linux/macos bash脚本或者ms-dos批处理文件来实现。参考文献:https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558
使用Docker建立机器学习(74)环境,R语言有多难?
在中国使用docker建立机器学习(75)环境,并管理与docker相关的文件。(5) 参考链接:https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d
我试图在Python中运行OpenCV,但是遇到了缺少libGL.so的问题,但已经解决了。
使用matplotlib在服务器端进行绘图的技巧提示
https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e
使用Docker在主机和容器之间进行文件复制。
在Mac上使用Docker进行文件共享
在名古屋,如何使用名古屋自己的操作系统来使用Docker呢?用TOPPERS/FMP在RaspberryPi上与Macintosh的修订版本 五个步骤。
64位CPU之路 和/或 64岁的决心
以下是《從零開始的深度學習2:自然語言處理編》讀書會的進行方式(示例)的連結。
https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e
尝试在Ubuntu 16.04 LTS上使用NVIDIA Docker
中国StackOverflow上有一个问题,报错信息是“ImportError: No module named readability”,是因为在Python中没有找到名为”readability”的模块。
文件路径中找不到名为’en’的模型。
文件历史
版本0.10初稿 20181020
版本0.11参考文献附注 20181021
非常感谢您亲自阅读到最后。
请点赞,?,并关注一下。
非常感谢您读到最后一句。
请点击喜欢的图标?并关注我,享受幸福生活。