bookmark_border監視/モニタリングで抑えておきたい記事

あの記事どこだっけ?を避けるためのメモです.

監視やログ,可観測性の一般的な話からKubernetesでの話までわかりやすく解説しています.

Kubernetes & Observability 入門 – Speaker Deck

Getting Started with Kubernetes Observability – Speaker Deck

外形監視を入門する人におすすめな資料です.

より意味のある監視を目指して、外形監視の有効活用 – Speaker Deck

監視設計に入門する人におすすめな資料です.

Re: ゼロから始める監視設計

*書籍「入門監視」がおすすめです.

bookmark_borderELKスタックでDNSサーバ(Unbound)のクエリログを解析する

ElasticSearch + Logstash + FileBeat + KibanaでUnboundのクエリログを解析してみました。UnboundはキャッシュDNSサーバなので、DHCPで配布するDNSサーバをこれに向けることでログを収集します。

※細かなコマンドやファイアウォールの設定手順は他のサイトにも書いてあるので省略します。

環境

  • キャッシュDNSサーバ
    • Ubuntu 18.04.2 LTS
    • unbound 1.6.7
    • rsyslogd 8.32.0
    • logrotate 3.11.0
  • ElasticSearchサーバ

キャッシュDNSサーバのセットアップ

Unboundの設定

Unboundはパフォーマンスの観点からか、デフォルトではクエリログを出力しません。そのため、設定にuse-syslog: yesを追加します。

unbound.confの例

server:
    username: unbound
    use-syslog: yes
    # verbosity: 1      # uncomment and increase to get more logging.
    log-queries: yes
    interface: 0.0.0.0
    interface: ::0
    access-control: 192.168.254.0/24 allow
    access-control: eeee:eeee:eeee:1::/64 allow

forward-zone:
    name: "."
    forward-addr: 8.8.8.8
    forward-addr: 8.8.4.4

Rsyslogの設定

このままでは/var/log/syslogがUnboundのクエリログで肥大化するためsyslogの設定を変更します。rsyslogでunboundの出力するログを別ファイルへ保存するよう設定します。

以下の設定ファイル(30-unbound.conf)を/etc/rsyslog.dに設置します。

if $syslogfacility-text == 'daemon' and $programname contains 'unbound' then 
  -/var/log/unbound
& ~

Logrotateの設定

ログの出力先を分けることができるものの、ログのローテーションがされていません。そのため、ログファイルのサイズが巨大に成長してしまいます。そこで、ログのローテーションを設定します。

以下のファイル(unbound)を/etc/logorate.dへ配置します。

/var/log/unbound
{
        rotate 30
        daily
        copytruncate
        nocompress
        olddir unbound.old
        su syslog adm
        postrotate
                /usr/lib/rsyslog/rsyslog-rotate
        endscript
}

FileBeatの設定

ログ・ファイルを監視してLogstashへ送るためにFileBeatを導入します。インストールは公式のドキュメントを見ながら行います。

Repositories for APT and YUM | Filebeat Reference [6.6] | Elastic

以下はFilebeat設定ファイル(filebeat.yml)の例です。ElasticSearchのIPアドレスを 192.168.254.200 に設定しています。

#=========================== Filebeat inputs =============================

filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /var/log/unbound
    - /var/log/unbound.old/*
  exclude_lines: ['message repeated']

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

#==================== Elasticsearch template setting ==========================

setup.template.settings:
  index.number_of_shards: 3

#============================== Kibana =====================================

setup.kibana:
  host: "192.168.254.200:5601"

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

#================================ Processors =====================================

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

LogStashの設定

LogstashではFilebeatから受け取ったデータをパースしてElasticSearchへ送ります。以下のガイドを見ながらインストールを行います。

Installing Logstash | Logstash Reference [6.6] | Elastic

以下は/etc/logstash/conf.dに配置したLogstashの設定ファイル(unbound.conf)の例です。inputとoutputをそれぞれ stdin, stdoutにするとデバッグ時に便利です。

input {
  beats {
    port => "5044"
    type => "beats"
  }
  # stdin {}
}
filter {
  grok {
    patterns_dir => ["/etc/logstash/patterns.d"]
    match => { "message" => "%{PATTERN}" }
  }
}
output {
  if "_grokparsefailure" not in [tags] {
    elasticsearch {
      hosts => ["192.168.254.200:9200"]
      index => "unbound-%{+YYYY.MM.dd}"
    }
    # stdout {}
  }
}

クエリログ用のパターンファイル(unbound)を作成して/etc/logstash/patterns.dへ配置します。以下はその設定ファイルの例です。

PATTERN %{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:logsource} %{SYSLOGPROG:prog}: [%{INT:pid}:%{INT:tid}] %{LOGLEVEL:loglevel}: %{IP:ip_src} %{HOSTNAME:domain} %{WORD:record} %{GREEDYDATA}

ElasticSearchサーバのセットアップ

DockerでElasticSearchとKibanaを導入

ElasticSearchとKibanaはDockerを使って構築します。

Docker-CEをインストールします。aptでそのまま入れるとバージョンが古いので注意が必要です。docker-composeもインストールします。

以下のdocker-copose.yml(例)を作成しました。ulimitsでファイルディスクリプタの設定を変更しないと起動しないため注意が必要です。

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.6.0
    ports:
      - 9200:9200
      - 9300:9300
        #volumes:
        #   - ./elasticsearch/data:/usr/share/elasticsearch/data
    ulimits:
      nproc: 65535
      nofile:
        soft: 65536
        hard: 65536
  kibana:
    image: docker.elastic.co/kibana/kibana:6.6.0
    ports:
      - 5601:5601
    links:
      - elasticsearch
    environment:
      - ELASTICSEARCH_URL=http://elasticsearch:9200/

KibanaにWebからアクセス

ElasticSearchをインストールしたホストの5601/tcpへアクセスします。

Discoverの様子

DashBoardを作り込むとドメインのトップ100を表示することもできます。

Dashboardの様子

これを見るとAWS S3が顕著なことがよくわかります。

今回はElasticSearchへログの投入を行いました。この他にログ解析に特化したGraylogもあるので、余裕があれば試してみたいと思います。

Industry Leading Log Management | Graylog

bookmark_borderVPSにDockerでレンタルスペースを自作する

この記事はセキュリティキャンプ 修了生進捗 #seccamp OB/OG Advent Calendar 2018 – Adventarの23日目です。進捗を出していきたいと思います。

TL;DR

docker-composeでsftp/scpコンテナとsyslogコンテナを起動することでレンタルスペースをVPS上につくりました。

はじめに

VPSになぜレンタルスペースを作ることになった背景について簡単に書いてみます。私の所属するサークルでは他のサークルのWebサイトをホスティングしています。そのシステムは数年前に構築され、CentOS 6.10のまま動き続けている状態でした。具体的な環境としてはユーザーがSFTP/SCPでファイルをアップロードできるようchrootでsshdを起動してありました。 そんな古いシステムをリプレイスしようと思い、新たにDockerを使ったレンタルスペースを構築しようと考えました。

設計

従来のシステムを参考に要件を定義してみました。
  • 管理者がサークルのサーバ管理者であるため、複雑な技術や難易度の高い技術の導入は難しい。
  • 各サークルのスペースを独立させたい。
  • サーバー本体にはアクセスできないよう独立させたい。
  • 容易に環境を追加、削除、復元したい。
  • ログを残しトラブルシューティングやサポートで利用可能にする。
  • サークルごとにリソースの制限(CPU,メモリ)、ネットワークのアクセス制御を行いたい。
こうした要件からDockerによるレンタルスペースを設計しました。アーキテクチャ図が以下です。
architecture
DockerのオーケストレーションツールとしてKubernetesやDocker Swarmなどの利用も検討したものの、引き継ぐことを考え断念しました。

構築

OpenSSHサーバのDockerイメージはdockerhubにあったものの、カスタマイズが必要だったため自作しました。
FROM alpine:3.8

MAINTAINER Tomoyuki KOYAMA <webmaster@koyama.me>

ENV SSH_USER          guest22
ENV SSH_PASSWORD      L1nuxCLU8
ENV SSH_PORT          22
ENV MAX_SESSION       3
ENV PERMIT_ROOT_LOGIN no
ENV SYSLOG_SERVER     172.17.0.2
ENV SYSLOG_PORT       514

RUN apk add --update --no-cache openssh openssh-sftp-server bash tzdata rsyslog && 
    : "Configure timezone" && 
    cp /usr/share/zoneinfo/Asia/Tokyo /etc/localtime && 
    echo "Asia/Tokyo" > /etc/timezone && 
    apk del tzdata && 
    rm -rf /var/cache/apk/* 

EXPOSE $SSH_PORT

VOLUME /www-data
VOLUME /var/log

ADD ./entrypoint.sh /
ADD ./motd /etc
# ADD ./sshd_banner /etc/ssh

CMD /bin/bash /entrypoint.sh && 
    /bin/rm -f /entrypoint.sh && 
    /usr/sbin/sshd -4 -f /etc/ssh/sshd_config && 
    /usr/sbin/rsyslogd -f /etc/rsyslog.conf -n
その他のコードはGitHubにあります。 tomoyk/ssh-rental-space: Dockerfileを書く時に、環境変数で実行時に後からポート番号やユーザ名などを変更できるように工夫しました。また、コンテナ内のタイムゾーン設定に配慮しました。ベースイメージをalpineにすることでイメージサイズが軽量になるよう注意しました。 実行 次のdocker-compose.ymlファイルを作成し、複数のコンテナを同時起動しています。
version: '3'
services:
  
  ssh-server1:
    container_name: circleA
    hostname: circleA
    image: ssh-server:latest
    restart: always
    environment:
      - SSH_USER=sshuser
      - SSH_PASSWORD=Password1
      - SSH_PORT=10022
      - SYSLOG_SERVER=syslog-server
    volumes:
      - ./www-data:/www-data/public_html
    depends_on:
      - syslog-server
    deploy:
      resources:
        limits:
          cpus: '0.50'
          memory: 50M
        reservations:
          cpus: '0.25'
          memory: 20M

    # cpu_percent: 50
    # cpu_shares: 73
    # cpu_quota: 50000
    # cpuset: 0,1

    ports:
      - 10022

  syslog-server:
    container_name: common-syslog
    image: syslog-server:latest
    restart: always
    volumes:
      - ./log:/var/log

動作状況

図の左上で docker-compose up -dを実行しています。図の右のコンテナからssh接続を行っています。左中央がsyslogコンテナのログです。図の下が watch docker psの実行結果です。
docker起動時

課題

リソース制限

リソース制限の設定をdocker-composeから入れたが、forkbomb :(){ :| :& };:を実行したところフリーズしてしまいました。ファイルディスクリプタやI/Oなどの制限についてカーネル周りを中心に改めて調べてみる必要がありそうです。Wikipediaのforkbombに書かれたいた /etc/security/limits.confなども確認してみようと思います。

ネットワークのアクセス制御

ネットワークをSSH/SFTPコンテナごとに隔離したいと思っているものの、現状では出来ていません。dockerのnetworkや制御の仕組みをうまく導入したいと思います。

コンテナの監視

コンテナにSSHができなくなった時に、自動で再起動する仕組みづくりが必要だと感じました。仮にプロセスが暴走してリソース制限の最大までリソースを使い果たしても、dockerの restart=alwaysでは再起動を行ってくれません。 そのため、コンテナの状態を監視する仕組みを作り監視の自動化を行いたいと考えています。ここまでやるのであれば素直にKubernetesを使ってもいい気がします。
追記: 2019-01-01 構築が終わりました!

最後に

Dockerを完全に理解した方からアドバイスを頂けると嬉しいです。
(あと、2019年1月からのアルバイト先(都内)を探します。) 明日は hiwwさんです!

bookmark_borderInternetWeek 2018 にNOCチームで参加

InternetWeek 2018でNOCチームのメンバーとして活動した。細かいことはNDAで書けないので、CONBUさんのTwitterを貼りながら簡単に振り返る。
Wi-FiのAssoc数のグラフはいつもどおり、お昼の時間になるとガクッと下がっている。特に担当したNAT64も少なからずユーザがいて良かった。
今回は監視ツールを駆使することで、細かなデータの可視化が上手くできた。

NOCを追えて

NAT64の構築を通じて、IPv6について理解を深められたのも良い経験になった。来年も精進して快適なネットワークづくりに貢献したい。

bookmark_borderPyCon JP 2018にスタッフ参加した

9/14 – 9/17に開催されたPyCon JP 2018にスタッフとして参加したのでブログ記事にしておく。

今年は会場チームとNOCに関わって活動をした。開催の直前はNOCのメンバーとしてホットステージに参加した。ちょうどこの時期がインターンと重なっていたので、インターン先を退社して大手町のBBTに行くエクストリームな生活をしていた。

スタッフ参加も今年で2年目となり、ある程度の勝手がわかっていたのでそれほど困ることは無かった。事前のコミットが時期によってあまり出来なかったのが反省点としてある。。

NOCが面白かった!

NOCはPyConスタッフとCONBUから構成されていた。CONBUのもつナレッジがイベントネットワークの構築にかなり役立ってた。CONBUの方々とギークな話をするのも面白く、それと同時に知識が足りないことを痛感した。自分の役割がネットワーク利用者に役立っていることでやりがいと充実感を得ることができた。

PyCon NOCの追試で持ち込んだIX2105と格闘したのもいい思い出になった。来年までに修行をしてもっと強くなりたいと思った。自分のモチベーションを高められる良いきっかけになった。

そういえばWelcomeパーティーの会場でTyConになっていたな…。

bookmark_borderセキュリティ・キャンプ 全国大会 2018を振り返って #seccamp

セキュリティ・キャンプへNOCチューターとして参加しました。NDAに触れない書ける範囲でやったことなどを書いておきます。

準備

会場ネットワークは建物の回線引き込みが終わっている段階から関わりました。建物にあるEPSの配線を変更したり、Wi-FiのAPを設置したりしました。各部屋での疎通確認や掲示物作成にも取り組みました。

電気配線シャフト (EPS)とは|「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典

準備のフェーズがNOCチューターの仕事で一番忙しかったです。

運用

運用はベテランOBや講師の方々が設計や構築のほとんどを行ってくださっていたので、チューターはそれほど忙しくなかった気がします。僕はログを整形してDBに入れるPythonスクリプトを作成したり、Processingでネットワークの可視化をしていました。(優秀な講師とベテランOBを見習いたい)

大きなトラブルは無く、ネットワーク運用を終えることが出来たのが一番よかったと思います。最終日の成果報告もなんとか終えることができたのでベストを尽くせたとは思います。(AM 5:00くらいまで粘ってProcessingのコード書いたので辛かった)

振り返って

NOCチューターの倍率は聞いたところそれなりに高かったようです。微力ながら、SC-NOCに貢献できたかなとは思います。チューターという参加者とは違った立場でキャンプを経験は、新鮮で有意義な時間になりました。特に講師の方々や他のチューターとの距離が近かったのが良かったと思います。また、キャンプに関われる機会があればぜひ貢献していきたいと思いました。

ぜひ、全国大会 修了生でNOCチュータに興味をもった自宅(ラック|NOC|SOC)な人は応募してほしいと思いますv(´∀`*v)ピース

ランチの写真(美味しい)

余談

Raspiのシリアルコンソールケーブルが便利だったのでキャンプ中にぽちっておいた。これは意外と便利なのでドライバインストールが面倒だけどオススメ。