Contents

Ansible Advent Calendar 2019の初日を担当させて頂きます！
よろしくお願いします。

さて、今回はAWXにマージされたWebhook機能を使ってGitHubと連携しAWXのワークフローを実行してみたいと思います。
ワークフローの実行結果もGitHub上のステータスに反映できるようにします。

Webhook receivers by jbradberry · Pull Request #4436 · ansible/awx

SUMMARYProvide API endpoints that can receive and understand webhook events from some common services we might want to handle.ISSUE TYPEFeature Pull RequestCOMPONENT NAMEAPIAWX VERSION...

やりたいこと

ざっくり言うとこんな感じです。

GitHubのリポジトリへのプッシュをトリガーにwebhookが登録されたAWXに送信されworkflowの実行をします。
workflowでGitHubへのステータスアップデートや目的の処理(CIなど)を実行します。

構成

今回はAWS上にCentOS7の環境を構築します。
ドメインはパブリックDNSを使用します。
また、インターネット上に作成するのでAWXもSSL対応にします。

ここでは、既にAWS上にCentOS7のインスタンスが起動している前提で進めていきます。
ちなみにインスタンスのサイズは t2.medium を使っています。

AWX構築

まずは、AWX環境を構築します。

必要なパッケージのインストール

構築に必要なパッケージをインストールします。

# yum -y install git epel-release python2-devel gcc docker
# yum -y install ansible python2-pip

# yum -y install git epel-release python2-devel gcc docker

# yum -y install ansible python2-pip

モジュールのインストール

構築で必要なモジュールをインストールをします。

# pip install docker docker-compose more-itertools==5.0.0

1 2	# pip install docker docker-compose more-itertools==5.0.0

python2.7を使う場合は more-itertools が必要です。(以下を参照)

GitHub

k8s_facts fails with error · Issue #65158 · ansible/ansible

SUMMARY I'm trying to use the k8s_facts module, but it is returning an error. ISSUE TYPE Bug Report COMPONENT NAME k8s_facts ANSIBLE VERSION ansible 2.8.4 config file = /etc/ansible/ansible.cfg...

証明書の作成

AWXで使用する自己証明書を作成します。
以下のPlaybookを使う事でAnsibleからサクッと証明書の自動生成ができます。

# vi create_server_certificate.yml

1 2	# vi create_server_certificate.yml

---
- name: Create Server Certificate
  hosts: localhost
  gather_facts: false
  vars:
    certificate_path: "certs"
    private_pass: "change me"
  tasks:
    - name: Create Directory.
      file:
        path: "{{ certificate_path }}"
        state: directory

    - name: Generate an OpenSSL private key.
      openssl_privatekey:
        path: "{{ certificate_path }}/server.key"
        passphrase: "{{ private_pass }}"
        cipher: auto
        size: 4096

    - name: Generate an OpenSSL certificate signing request.
      openssl_csr:
        path: "{{ certificate_path }}/server.csr"
        privatekey_passphrase: "{{ private_pass }}"
        privatekey_path: "{{ certificate_path }}/server.key"
        common_name: "example.local"
        key_usage:
          - digitalSignature
          - keyEncipherment
        extended_key_usage:
          - clientAuth
          - serverAuth

    - name: Generate a self signed OpenSSL certificate.
      openssl_certificate:
        path: "{{ certificate_path }}/server.crt"
        privatekey_passphrase: "{{ private_pass }}"
        privatekey_path: "{{ certificate_path }}/server.key"
        csr_path: "{{ certificate_path }}/server.csr"
        provider: selfsigned
        selfsigned_not_after: "+3650d"
        ownca_not_after: "+3650d"

    - name: Writing RSA key pass to private key.
      shell: "openssl rsa -in {{ certificate_path }}/server.key -out {{ certificate_path }}/server.key -passin pass:{{ private_pass }}"

    - name: Create certificate file for AWX.
      copy:
        content: "{{ lookup('file', certificate_path + '/server.key') + '\n' + lookup('file', certificate_path + '/server.crt') }}"
        dest: "{{ certificate_path }}/awx.pem"

---

- name: Create Server Certificate

hosts: localhost

gather_facts: false

vars:

certificate_path: "certs"

private_pass: "change me"

tasks:

- name: Create Directory.

file:

path: "{{ certificate_path }}"

state: directory

- name: Generate an OpenSSL private key.

openssl_privatekey:

path: "{{ certificate_path }}/server.key"

passphrase: "{{ private_pass }}"

cipher: auto

size: 4096

- name: Generate an OpenSSL certificate signing request.

openssl_csr:

path: "{{ certificate_path }}/server.csr"

privatekey_passphrase: "{{ private_pass }}"

privatekey_path: "{{ certificate_path }}/server.key"

common_name: "example.local"

key_usage:

- digitalSignature

- keyEncipherment

extended_key_usage:

- clientAuth

- serverAuth

- name: Generate a self signed OpenSSL certificate.

openssl_certificate:

path: "{{ certificate_path }}/server.crt"

privatekey_passphrase: "{{ private_pass }}"

privatekey_path: "{{ certificate_path }}/server.key"

csr_path: "{{ certificate_path }}/server.csr"

provider: selfsigned

selfsigned_not_after: "+3650d"

ownca_not_after: "+3650d"

- name: Writing RSA key pass to private key.

shell: "openssl rsa -in {{ certificate_path }}/server.key -out {{ certificate_path }}/server.key -passin pass:{{ private_pass }}"

- name: Create certificate file for AWX.

copy:

content: "{{ lookup('file', certificate_path + '/server.key') + '\n' + lookup('file', certificate_path + '/server.crt') }}"

dest: "{{ certificate_path }}/awx.pem"

change me のところは秘密鍵のパスワードに変更してください。
例えば以下のようにパスワードをランダムに生成することも可能です。

# cat /dev/urandom | tr -dc 'a-zA-Z0-9' | head -c 20 ; echo
lnlngP5UfioadfZmlRJK

# cat /dev/urandom | tr -dc 'a-zA-Z0-9' | head -c 20 ; echo

lnlngP5UfioadfZmlRJK

Playbookを実行します。

# ansible-playbook create_server_certificate.yml

1 2	# ansible-playbook create_server_certificate.yml

AWXの起動

AWXのリポジトリをクローンします。

# git clone https://github.com/ansible/awx.git

1 2	# git clone https://github.com/ansible/awx.git

AWXの installer ディレクトリへ移動します。

# cd awx/installer/

1 2	# cd awx/installer/

インベントリファイルを修正します。

# vi inventory
(snip)
#ssl_certificate=
↓ 変更
ssl_certificate=/root/certs/awx.pem
(snip)
#project_data_dir=/var/lib/awx/projects
↓ 変更
project_data_dir=/var/lib/awx/projects
(snip)

# vi inventory

(snip)

#ssl_certificate=

↓ 変更

ssl_certificate=/root/certs/awx.pem

(snip)

#project_data_dir=/var/lib/awx/projects

↓ 変更

project_data_dir=/var/lib/awx/projects

(snip)

dockerを起動します。

# systemctl start docker
# systemctl enable docker

# systemctl start docker

# systemctl enable docker

インストールPlaybookを実行します。

# ansible-playbook -i inventory install.yml

1 2	# ansible-playbook -i inventory install.yml

接続確認

パブリックDNSまたはパブリックIPでアクセスできることを確認します。

スクリーンショット 2019-11-30 16.32.31.png

GitHubのToken生成

リポジトリのステータスを変更するためのトークンを発行します。
次のドキュメントの手順に従ってトークンを発行してください。

help.github.com

コマンドライン用の個人アクセストークンを作成する - GitHub ヘルプ

個人用アクセストークンを作成し、コマンドラインか API で Git を使用して HTTPS を介し Git の処理を実行するとき、パスワードの代わりに使用することができます。

今回はステータスを変更するだけをするので許可する操作は repo:status のみチェックを入れて生成します。

生成されたTokenをどこか安全な場所にメモっておきます。

ワークフローテンプレート作成

プロジェクト作成

今回はGitHubのステータスをアップデートするPlaybookがあるリポジトリと実際に動きを確認するPlaybookがあるリポジトリを使用するためプロジェクトは2つ作成します。

GitHubステータスアップデート用

GitHub

sky-joker/ansible-github-status-operation

This playbook changes the status of the GitHub repository - sky-joker/ansible-github-status-operation

動作を確認する用

動作確認ではCentOS7イメージを使ってコンテナを起動してApacheのインストール及び起動、接続確認をするPlaybookを使用します。

GitHub

sky-joker/github-status-test

This repository is for checking AWX Webhoo operation. - sky-joker/github-status-test

テンプレート作成

GitHubステータス用のテンプレートは以下のように作成しています。
ジョブタグの 起動プロンプト にチェックを入れているのはステータスの処理をタグで分けているためです。
Webhookはワークフローテンプレート側で有効化するのでテンプレートでは設定しません。

動作を確認する用のテンプレートは以下のように作成しています。
centosユーザーでログインした後にrootにスイッチしてPlaybookを実行するため 権限昇格の有効化 にチェックを入れています。
ここでのインベントリーはAWXが動作しているAWSのインスタンスを指定しています。

ワークフロージョブテンプレート作成

ワークフローは以下のように作成しました。

最初の Githus Status Operation には pending タグを設定しています。

最後に成功した場合は success タグが設定されたジョブが実行されます。

失敗した場合は failure タグが設定されたジョブが実行されます。

Surveyは以下のように設定しています。

GitHub Token

これは、GitHub上で作成したTokenを設定します。

AWX NAME

これはAWXへアクセスするためのFQDNまたはIPを設定します。

そして最後に ENABLE WEBHOOK にチェックを入れて GitHub を選択します。
WEBHOOK URL と WEBHOOK KEY はGitHubリポジトリに設定するため、どこか安全な場所にメモっておきます。

GitHubリポジトリのWebhook設定

リポジトリのWebhook設定をします。
対象のリポジトリの Settings をクリックします。

次に Webhooks をクリックします。

Add webhook をクリックします。

以下の部分を変更します。

項目	変更内容
Payload URL	WEBHOOK URLを入力
Content type	application/json
Secret	WEBHOOK KEYを入力
SSL verification	自己証明書のためDisable

変更したら Add webhook をクリックします。
Webhookを追加するとAWXへワークフロー実行のリクエストが飛びます。そのため、最初の登録時はワークフローが実行されます。ちなみに、今回作成したワークフローは最初の処理で発生したリクエストに必要なキーが存在しないためエラーが発生して止まります。

デモ

実際に動かしたときのデモ動画です。

AWX Webhook demo for Ansible advent calendar 2019 from sky_joker on Vimeo.

最後に

今回はAWXでWebhook機能の検証をしましたが、この前リリースされたAnsible Tower 3.6でもこの機能が使えます。
また、この機能が実装されたばかりの時はSurveyの処理に不具合がありましたが解決されていました。

GitHub

500 error occurs when Webhook is executed with SURVEY set in Template or Workflow · Issue #5062 · ansible/awx

ISSUE TYPE Bug Report SUMMARY If I set the URL of AWX Template or Workflow (SURVEY added) to GitHub Webhook and execute it, a 500 error will occur. Error Response Body {"detail":"A s...

Webhook機能を使えば、テンプレートやワークフローの自動実行が可能なのでAWX/Ansible Tower側でのオペレーションが不要になるのはいいですね 🙂
この機能はCIちっくにも使えそうですが、既存のCIツールの置き換えにはならないと思っています。
例えば、既存のCIツールはYAMLでステージやコマンドをつらつらと書けば自動で解釈してフローや依存関係を形成してくれますが、この機能だとPlaybookを一つずつ書いてワークフローで組み合わせるという作業が発生するのでちょっとめんどいです。
なので適材適所で使っていく感じかなと思います。

以上！Ansible Advent Calendar 2019の1日目でした！
それでは2日目の rluisr さんへバトンを繋ぎたいと思います！よろしくお願いします！