編譯容器

⑴ 如何編譯Docker源碼

本文根據docker官方給出的docker代碼編譯環境搭建指南做更深入的分析。官方給出的指導比較簡單，但是由於國內的網路問題經常會編譯失敗，了解了編譯步驟後，也可以結合自身遇到的網路問題進行「規避」。
docker的編譯環境實際上是創建一個docker容器，在容器中對代碼進行編譯。 如果想快速的查看編譯環境搭建指導，而不關注環境搭建的機制和細節，可以直接跳到最後一章「總結」。

前提
機器上已經安裝了docker，因為編譯環境是個docker容器，所以要事先有docker（daemon），後面會創建個編譯環境容器，在容器裡面編譯代碼。本文中使用物理機，物理機上運行著docker （daemon）。
機器（物理機）上安裝了git 。 後續使用git下載docker源碼
機器（物理機）上安裝了make。
下載ubuntu 14.04的docker鏡像

下載docker源碼
git clone
會把代碼下載到當前目錄下，後面會把代碼拷貝到容器中。

編譯前分析
官方給的編譯方法是make build 和 make binary等。下面先分析Makefile，看懂Makefile後，編譯環境的准備流程就比較清楚了。

Makefile
在下載的docker源碼中可以看到它的Makefile，Makefile中比較關鍵的幾個參數：
DOCKER_MOUNT := $(if $(BIND_DIR),-v "$(CURDIR)/$(BIND_DIR):/go/src/github.com/docker/docker/$(BIND_DIR)") DOCKER_MOUNT 表示創建容器時的mount參數。因為編譯環境是一個容器，在後續的步驟中啟動容器時使用DOCKER_MOUNT參數，會將物理機上的目錄mount給容器容器，容器中該目錄是編譯生成docker二進制文件的目錄。
DOCKER_FLAGS := docker run --rm -i --privileged $(DOCKER_ENVS) $(DOCKER_MOUNT) 這是後面創建docker容器時的命令行的一部分，其中包含了前面的DOCKER_MOUNT參數。
DOCKER_IMAGE := docker-dev$(if $(GIT_BRANCH),:$(GIT_BRANCH)) 這是docker image參數，鏡像的名字是docker-dev，以當前git中docker版本作為tag名。這個鏡像是在make build一步做出來的。
DOCKER_RUN_DOCKER := $(DOCKER_FLAGS) "$(DOCKER_IMAGE)" 創建docker容器的命令行，組合了前面的DOCKER_FLAGS 和 DOCKER_IMAGE 。 從命令行中可以看出，啟動容器使用的參數有 --rm -i --privileged，使用了一些環境變數，還有使用了-v參數把物理機上目錄mount給容器，在容器中編譯好二進制文件後放到該目錄中，在物理機上就能獲得docker二進制文件。啟動的的docker 容器鏡像名字是docker-dev。下文會介紹docker-dev鏡像是怎麼來的。
由於官方給出的「構建編譯環境」的方法是執行 make build，下面在Makefile中看到build分支是這樣的：

make build時會調用 docker build -t "$(DOCKER_IMAGE)" . 去製作一個叫做DOCKER_IMAGE的鏡像。
進行源碼編譯的方式是執行 make binary來編譯代碼，在Makefile中make binary的分支如下：

make binary除了進行 make build以外，會執行$(DOCKER_RUN_DOCKER)，即上文提到的docker run命令行。由於執行過了build，會build出來docker-dev鏡像，所以在docker run時直接使用前面build出來的鏡像。docker run時的命令行參數是hack/make.sh binary。make binary的過程實際上是創建一個容器，在容器中執行hack/make.sh binary腳本。接下來會詳細介紹make build和make binary所做的內容。
make build
根據官方的指導，先執行make build來搭建編譯環境。上面分析了，make build實際上是製作了一個鏡像，這個鏡像里會包含編譯代碼所需的環境。下面來介紹下這個鏡像。

Dockerfile
在和Makefile相同的目錄下（源碼的根目錄），有Dockerfile。執行make build 相當於調用docker build，使用的就是該Dockerfile。Dockerfile中的幾個主要步驟（有些步驟這里略過）：
FROM ubuntu:14.04 使用ubuntu 14.04作為基礎鏡像；在宿主機上，要事先下載好ubuntu 14.04鏡像。
安裝一些編譯需要的軟體；
用git下載lvm2源碼，並編譯安裝；
下載並安裝GO 1.5.1；
安裝GO相關的tools 可以做code coverage test 、 go lint等代碼檢查
安裝registry和notary server；
安裝docker-py 後面跑集成測試用的
將物理機的contrib/download-frozen-image.sh 腳本拷貝到鏡像中/go/src/github.com/docker/docker/contrib/
運行contrib/download-frozen-image.sh 製作鏡像 實際上這一步只是下載了3個鏡像的tar文件。注意：docker build相當於創建一個臨時的容器（在臨時的容器中執行Dockerfile中的每一步，最後在保存成鏡像），「運行contrib/download-frozen-image.sh 製作鏡像」這個動作出現在Dockerfile中，相當於在docker build所創建的臨時的容器中下載docker鏡像，有docker-in-docker容器嵌套的概念。下一小節會對download-frozen-image.sh腳本做詳細分析。
ENTRYPOINT ["hack/dind"] 做出來的鏡像，使用它啟動的容器可以自動運行源碼目錄中的hack/dind腳本。 dind這個腳本是a wrapper script which allows docker to be run inside a docker container 。後面的小節會對hack/dind腳本做詳細的分析。
COPY . /go/src/github.com/docker/docker 把物理機上的docker源碼文件打入到鏡像中
download-frozen-image.sh腳本
上一小節里提到，在Dockerfile中，有一步會調用contrib/download-frozen-image.sh ，它主要作用是下載3個鏡像的tar包，供後續docker load。在Dockerfile中的調用方式如下：

download-frozen-image.sh腳本中會依次解析參數，其中/docker-frozen-images作為base dir，後面下載的東西全放到這里。之後的3個參數是鏡像，裡麵包含了鏡像名（例如busybox）、鏡像tag（例如latest）、鏡像id（例如），後面會在循環中依次下載這3個鏡像的tar文件。
download-frozen-image.sh腳本中會通過curl從registry上獲取如下信息：
token：獲取token，後面curl獲取的其他信息時都需要使用token。例如本例中 token='signature=,repository="library/busybox",access=read'
ancestryJson：把鏡像相關聯的歷史層次的id也都獲取到，因為每一層的tar都需要下載。本例中 ancestryJson='["", ""]'
這里可以看到這個鏡像只有2層，兩層的id這里都列了出來。 每個鏡像包含的層數不同，例如。第三個鏡像jess/unshare共有10層。
VERSION、json、tar: 每一層鏡像id的目錄下，都下載這3個文件，其中VERSION文件內容目前都是「1.0」，json文件是該層鏡像的json文件，tar文件是該層鏡像的真正內容，以.tar保存。
下載好的各層鏡像目錄結構如下：
$ls

$tree

hack/dind腳本
在Dockerfile中，ENTRYPOINT ["hack/dind"] ，表示在鏡像啟動後，運行該腳本，下面分析一下這個腳本的功能。
腳本在代碼根目錄下的hack目錄中，作者對腳本的描述是 DinD: a wrapper script which allows docker to be run inside a docker container.
就是可以在docker容器中創建docker容器。它就做了一個事，那就是在容器中創建好cgroup目錄，並把各個cgroup子系統mount上來。
為了方便理解，我們可以先看看物理機。在宿主機上如果創建docker容器，需要宿主機上必須事先mount cgroup子系統，因為cgroup是docker容器的一個依賴。同理docker-in-docker也要求外層的docker容器中有cgroup子系統，dind腳本在容器啟動後，先去/proc/1/cgroup中獲取cgroup子系統，然後依次使用mount命令，將cgroup mount上來，例如mount -n -t cgroup -o "cpuset" cgroup "/cgroup/cpuset"
最終在運行make build後，會製作出一個叫docker-dev的鏡像。
make binary
執行make binary 就可以編譯出docker二進制文件。編譯出來的二進制文件在源碼目錄下的bundles/1.10.0-dev/binary/docker-1.10.0-dev ，其中還包含md5和sha256文件。

Makefile中的binary
Makefile中關於make binary流程是

先執行build，即上一節介紹的，製作docker-dev編譯環境鏡像。
再執行DOCKER_RUN_DOCKER，創建容器，DOCKER_RUN_DOCKER就是執行docker run，使用docker-dev鏡像啟動容器，並且會mount -v 將容器生成二進制文件的路徑與宿主機共享。DOCKER_RUN_DOCKER在「編譯前分析」一章中有介紹。啟動的容器運行的命令行是 hack/make.sh binary 。docker run完整的形式如下：
docker run --rm -i --privileged -e BUILDFLAGS -e DOCKER_CLIENTONLY -e DOCKER_DEBUG -e DOCKER_EXECDRIVER -e DOCKER_EXPERIMENTAL -e DOCKER_REMAP_ROOT -e DOCKER_GRAPHDRIVER -e DOCKER_STORAGE_OPTS -e DOCKER_USERLANDPROXY -e TESTDIRS -e TESTFLAGS -e TIMEOUT -v "/home/mu/src/docker/docker/bundles:/go/src/github.com/docker/docker/bundles" -t "docker-dev:master" hack/make.sh binary
hack/make.sh腳本
上一節提到的make binary中創建的容器啟動命令是hack/make.sh binary，運行容器中的（docker源碼目錄下的）hack/make.sh腳本，參數為binary。
make.sh中根據傳入的參數組裝後續編譯用的flags（BUILDFLAGS），最後根據傳入的參數依次調用 hack/make/目錄下對應的腳本。例如我們的操作中傳入的參數只有一個binary。那麼在make.sh的最後，會調用hack/make/binary腳本。
hack/make/binary腳本中，就是直接調用go build進行編譯了，其中會使用BUILDFLAGS LDFLAGS LDFLAGS_STATIC_DOCKER等編譯選項。
如果最終生成的docker二進制文件不在bundles/1.10.0-dev/binary/目錄下，那麼可能是編譯參數BINDDIR設置的不正確，可以在執行make binary時增加BINDDIR參數，例如
make BINDDIR=. binary , 將BINDDIR設置為當前目錄。
總結
編譯步驟總結：
1、編譯前在物理機上安裝好make、git，並下載好docker代碼。下載好ubuntu:14.04鏡像
2、執行make build 。這步執行完會在物理機上創建出一個docker-dev的鏡像。
3、執行make binary 。 這步會使用docker-dev鏡像啟動一個容器，在容器中編譯docker代碼。編譯完成後在物理機上直接可以看到二進制文件。默認二進制文件在 bundles/1.10.0-dev/binary/目錄下
4、docker代碼里有很多test，可以使用此套編譯環境執行test，例如 make test 。 更多參數可以看Makefile
搭建環境心得：
1、在make build時，使用Dockerfile創建製作鏡像，這個鏡像有40多層，其中一層失敗就會導致整個build過程失敗。由於Dockerfile中很多步驟是要連到國外的網站去下載東西，很容易失敗。好在docker build有cache機制，如果前面的層成功了，下次重新build時會使用cache跳過，節省了很多時間。所以如果make build中途失敗（一般是由於國內連國外的網路原因），只要重新執行make build就會在上次失敗的地方繼續，多試幾次可以成功。
2、如果其他人已經build出了docker-dev鏡像，可以把它下載到自己的環境上。這樣在自己make build時，會跳過那些已經在本地存在的層，可以節省時間。
3、每一次編譯會自動刪除掉前面已經生成的二進制文件，所以不用擔心二進制文件不是最新的問題。

⑵ Golang項目部署3，容器部署

容器部署即使用 docker 化部署 golang 應用程序，這是在雲服務時代最流行的部署方式，也是最推薦的部署方式。

跨平台交叉編譯是 golang 的特點之一，可以非常方便地編譯出我們需要的目標伺服器平台的版本，而且是靜態編譯，非常容易地解決了運行依賴問題。

使用以下指令可以靜態編譯 Linux 平台 amd64 架構的可執行文件：

生成的 main 便是我們靜態編譯的，可部署於 Linux amd64 上的可執行文件。

我們需要將該可執行文件 main 編譯生成 docker 鏡像，以便於分發及部署。 Golang 的運行環境推薦使用 alpine 基礎系統鏡像，編譯出的容器鏡像約為 20MB 左右。

一個參考的 Dockerfile 文件如下：

其中，我們的基礎鏡像使用了 loads/alpine:3.8 ，中國國內的用戶推薦使用該基礎鏡像，基礎鏡像的 Dockerfile 地址： https://github.com/johngcn/dockerfiles ，倉庫地址： https://hub.docker.com/u/loads

隨後使用 " docker build -t main . " 指令編譯生成名為 main 的 docker 鏡像。

需要注意的是，在某些項目的架構設計中， 靜態文件 和 配置文件 可能不會隨著鏡像進行編譯發布，而是分開進行管理和發布。

例如，使用 MVVM 模式的項目中(例如使用 vue 框架)，往往是前後端非常獨立的，因此在鏡像中往往並不會包含 public 目錄。而使用了 配置管理中心 (例如使用 consul / etcd / zookeeper )的項目中，也往往並不需要 config 目錄。

因此對於以上示例的 Dockerfile 的使用，僅作參考，根據實際情況請進行必要的調整。

使用以下指令可直接運行剛才編譯成的鏡像：

容器的分發可以使用 docker 官方的平台： https://hub.docker.com/ ，國內也可以考慮使用阿里雲： https://www.aliyun.com/proct/acr 。

在企業級生產環境中， docker 容器往往需要結合 kubernetes 或者 docker swarm 容器編排工具一起使用。
容器編排涉及到的內容比較多，感興趣的同學可以參考以下資料：

⑶ jsp文件需要編譯嗎如果需要，那麼編譯過程是怎麼樣的

jsp文件需要編譯成servlet在web容器中運行的。

編譯過程如下：

1、用戶訪問jsp頁面時，jsp的處理過程如下圖所示：

2、編譯階段

預處理階段把jsp文件解析為java代碼，編譯階段jsp引擎把java代碼編譯成servlet類文件，對於Tomcat，生成的class文件默認情況下存放在<Tomcat>/work目錄下。