Datadog プライベートロケーションDOWN

Datadog
2021.03.16

　2021/3/16、元気に動いていたDockerコンテナによるプライベートロケーションがいきなり落ちました。落ちたというのは語弊があり、DockerコンテナとDatadog間の通信が行われなりました。SSL証明書の期限監視としてのみ稼働させているものなので実害はほぼ無いレベル。ただ、解決しないと監視が全くできない状態なので調査開始。

  • 気づき
    • Datadogの管理コンソールで調べものをしていたらたまたま気づいた（プライベートロケーションのヘルスはNGでもdatadogは通知をしないのを事前に知ってた：何か手法はあるかもしれない）
  • 状態
    • プライベートロケーションのHEALTH項目が「NoData」
    • プライベートロケーションで監視している項目をRunTestしてもResultが出ない（Dockerコンテナが落ちているときと同じ事象）
  • 調査１
    • dockerコンテナを再起動－＞NG
  • 調査２
    • APIkey、プライベーロケーション作り直しー＞NG
  • 調査３
    • コンテナ稼働させるときにバックグラウンドじゃなくてフロントで稼働させてみた。エラーが出てる
2021-03-16 08:36:57 [info]:     Fetching 10 messages from queue - 10 slots available
2021-03-16 08:37:15 [error]:    Queue error - onFetchMessagesLongPolling - getaddrinfo EAI_AGAIN intake.synthetics.datadoghq.com
Error: getaddrinfo EAI_AGAIN intake.synthetics.datadoghq.com
    at Function.fromHTTPError (/home/dog/dist/queue/queue.js:15:16)
    at /home/dog/dist/queue/datadog-queue.js:33:46
    at /home/dog/dist/lib/http.js:143:20
    at /home/dog/node_modules/async/dist/async.js:3815:21
    at /home/dog/dist/lib/http.js:131:24
    at Request._callback (/home/dog/dist/lib/http.js:44:20)
    at self.callback (/home/dog/node_modules/request/request.js:185:22)
    at Request.emit (events.js:314:20)
    at Request.EventEmitter.emit (domain.js:483:12)
    at Request.onRequestError (/home/dog/node_modules/request/request.js:877:8) {
  "code": "http_error"
}
  • 調査４
    • dockerコンテナからpingしてみたら届かない（もちろん名前解決もNG）
# docker exec -it datadog /bin/bash

$ ping google.com
ping: google.com: Temporary failure in name resolution

$ ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
--- 8.8.8.8 ping statistics ---
7 packets transmitted, 0 received, 100% packet loss, time 1004ms
  • 調査５
    • テストサーバのdockerコンテナから調査４と同様にpingしてみたら届く。なるほど。このサーバの何か設定が変わったのか。
  • 調査６
    • 内部調査ｗ（会社の人にサーバで何かしたか聞いて回る：history残ってなかったので）
    • iptablesイジったとのこと

調査結果

　Datadogの問題は全く無し。自分の技術力不足でした。dockerコンテナはiptablesでfowardされて動いていると。。。この内容については改めて勉強するとして、復旧して何よりでした。

コメント