Yandex自然语言处理课程Docker环境构建指南

概述

本文详细解析了为自然语言处理(NLP)课程准备的Docker镜像构建过程。该Dockerfile精心配置了一个完整的NLP开发环境，包含了Python 2和Python 3双版本支持，以及深度学习框架TensorFlow和PyTorch等核心工具。

基础镜像选择

FROM ubuntu:16.04

选择Ubuntu 16.04作为基础镜像，这是一个长期支持(LTS)版本，在稳定性和兼容性方面表现良好，特别适合教学环境使用。

系统依赖安装

构建过程首先配置了Ubuntu软件源并安装了一系列系统级依赖：

RUN echo "deb http://archive.ubuntu.com/ubuntu trusty-backports main restricted universe multiverse" >> /etc/apt/sources.list && \
    apt-get -qq update && \
    apt-get install -y cmake \
                       wget \
                       unzip \
                       git \
                       zlib1g-dev \
                       libjpeg-dev \
                       xvfb \
                       xorg-dev \
                       python-opengl \
                       python-dev \
                       python3-dev \
                       python-pip \
                       python3-pip \
                       graphviz \
                       gcc \
                       g++ && \
    ln -s /usr/bin/swig3.0 /usr/bin/swig

这些依赖包括：

• 编译工具链(gcc, g++, cmake)
• 开发工具(wget, unzip, git)
• Python开发环境(python-dev, python3-dev)
• 图形相关库(xvfb, xorg-dev, python-opengl)
• 其他必要库(zlib, libjpeg等)

Python 2环境配置

RUN pip install --upgrade pip==9.0.3 && \
    pip install --upgrade numpy scipy && \
    pip install --upgrade sklearn \
                           jupyter \
                           tqdm \
                           graphviz \
                           nltk \
                           gensim \
                           bokeh \
                           editdistance \
                           matplotlib \
                           seaborn && \
    pip install --upgrade  tensorflow \
                           http://download.pytorch.org/whl/cpu/torch-0.4.0-cp27-cp27mu-linux_x86_64.whl \
                           torchvision \
                           keras

Python 2环境安装了以下关键包：

1. 基础科学计算库：numpy, scipy
2. 机器学习工具：scikit-learn
3. NLP专用库：nltk, gensim, editdistance
4. 可视化工具：matplotlib, seaborn, bokeh, graphviz
5. 深度学习框架：TensorFlow, PyTorch 0.4.0(CPU版本), Keras

Python 3环境配置

RUN pip3 install --upgrade pip==9.0.3 && \
    pip3 install --upgrade numpy scipy && \
    pip3 install --upgrade sklearn \
                           jupyter \
                           tqdm \
                           graphviz \
                           nltk \
                           gensim \
                           bokeh \
                           editdistance \
                           matplotlib \
                           seaborn && \
    pip3 install --upgrade http://download.pytorch.org/whl/cpu/torch-0.4.0-cp35-cp35m-linux_x86_64.whl \
                           torchvision \
                           tensorflow \
                           keras && \                           
    python3 -m ipykernel.kernelspec

Python 3环境与Python 2保持基本一致，但特别注意：

• 安装了PyTorch的Python 3.5兼容版本
• 注册了Python 3的Jupyter内核

容器运行时配置

EXPOSE 8888
VOLUME /notebooks
WORKDIR /notebooks

COPY run_jupyter.sh /
CMD ["/run_jupyter.sh"]

容器配置包括：

• 暴露8888端口(Jupyter Notebook默认端口)
• 创建/notebooks卷用于持久化存储
• 设置工作目录
• 复制并执行启动脚本

环境特点分析

1. 双Python版本支持：同时支持Python 2.7和Python 3.5，满足不同教学需求
2. 完整的NLP工具链：从文本处理(nltk)到词向量(gensim)一应俱全
3. 主流深度学习框架：包含TensorFlow和PyTorch两大框架
4. 可视化支持：配置了多种可视化工具，便于教学演示
5. 轻量级设计：仅包含必要组件，保持镜像精简

使用建议

1. 构建镜像前，建议检查各软件包版本是否需要更新
2. 根据实际需求，可以调整PyTorch版本或添加其他NLP工具包
3. 对于GPU支持，需要修改TensorFlow和PyTorch的安装方式
4. 教学环境中建议固定关键软件包版本以保证稳定性

这个Docker镜像为NLP课程提供了一个开箱即用的开发环境，极大简化了环境配置过程，使学生可以专注于课程内容本身。