ksaitoの日記

日々試したことの覚え書き

CodeBuildのローカル実行

CodeBuildのローカル実行がうまく動きませんでした。 AWS CodeBuild がローカルのテストとデバッグをサポート 手順に従ってビルドコンテナをビルドして、ヘルパーシェルをダウンロードして、実行してみると下記のエラーがでます。 $ ./codebuild_build.sh -i…

カレントのソースコードをzipに固める

AWSのCodeシリーズは、S3のバケットにzipで固めたソースをアップロードが基本のようです。 カレントディレクトリのソース一式をsrc.zipにします。 zip -r src.zip . -x .git/\* -x \*~

VPCエンドポイントの性能

S3のVPCエンドポイントとNAT Gateway経由の性能差です。 1つ目がVPCエンドポイント経由で0.664ms、NAT Gateway経由が3.097msと圧倒的にVPCエンドポイントが早かった。 [ec2-user@ip-10-0-10-188 ~]$ sudo tcptraceroute s3.ap-northeast-1.amazonaws.com 44…

テンプレートに環境変数を埋め込む。

Dockerコンテナを作るときに環境変数を使ってテンプレートから設定ファイルを作成します。 やりたいことは、次の2つなのですが、手軽な方法が見つかりません。 環境変数が設定されていたら、それを使う 環境変数がなければ、デフォルト値を使う 結局、ansibl…

kubectlのデフォルト環境

kubernetesで複数のクラスタを作成すると、kubectlコマンドで操作対象にするクラスタやネームスペースを選択するのが煩雑になります。 kubectl config set-contextでコンテキストにクラスタとネームスペースの組み合わせに名前をつけて切り替えられるように…

kubernetesのclusterとnamespaceとcontextの操作を整理

clusterとnamespaceとcontextの操作について整理します。 cluster クラスタを一覧します。 kubectl config get-clusters クラスタは、サーバの集まりなので、同じクラスタで動くワークロードはサーバリソースを共有します。負荷テスト用、開発用、本番用など…

kubbectl cluster-info dumpのエラー

kubectl cluster-info dumpしたらエラーになりました。 $ kubectl cluster-info dump error: missing apiVersion or kind and cannot assign it; no kind is registered for the type core.NodeList バージョンは以下の通り $ kubectl version --short Clien…

docker buildkit

dockerのbuildkitを使ってみました。 試した環境は、下記の環境で、手持ちのDockerfileをビルドして、時間とサイズを比較してみました。 $ docker --version Docker version 18.06.0-ce, build 0ffa825 $ 従来のビルド $ time docker build -t test --no-cac…

Amazon Linux 2のdocker環境をすばやく立ち上げる

EC2のLaunch Templatesを使ってAmazon Linux 2のdocker環境をすばやく立ち上げます。 設定は、次の項目です。 AMIにAmazon Linux 2の最新のAMI ID インスタンスタイプ ユーザデータ IAMロール タグ ユーザデータは、下記のような感じです。 $ curl http://16…

githubのpull requestをローカルにチェックアウトする

githubのpull requestをローカルにチェックアウトします。 オフシャルの手順は、下記のリンクです。 github.com maven-scmの#31のpull requestをチェックアウトしました。 最初にgithubでmaven-scmのリポジトリをforkします。 その後で、次のような手順で#31…

docker for macのdocker0

docker for macのdocker0が見当たりませんでした。 $ ifconfig docker0 ifconfig: interface docker0 does not exist docker for macのハイパーバイザは、modyで、接続するにはscreenを使います。 $ screen ~/Library/Containers/com.docker.docker/Data/com…

Jenkinsプラグインのデバッグ

Jenkinsのプラグインのデバッグの手順です。 ソースコードの取得 今回は、github-branch-source-pluginでやってみました。 git clone https://github.com/jenkinsci/github-branch-source-plugin cd github-branch-source-plugin テスト実行 下記のコマンド…

tomcatのオフシャルコンテナでスレッドダンプを取る

Tomcatのオフシャルコンテナのソースをcloneします。 git clone https://github.com/docker-library/tomcat.git cd tomcat/8.0/jre8 オフシャルコンテナのベースは、JREなのでJDKに変更します。 $ git diff diff --git a/8.0/jre8/Dockerfile b/8.0/jre8/Doc…

dockerコンテナでnginxを起動する。

dockerのubuntuコンテナで、手軽にnginxを動かすコマンドです。 /usr/sbin/nginx -g 'daemon off;' -c /etc/nginx/nginx.conf

gitリポジトリ全体でgrepする

gitリポジトリの過去のコミット含めて、全てのファイルに対してgrepします。 git rev-list --all | xargs git grep '文字列'

Ubuntuのopensshコンパイル

/etc/apt/sources.listの下記の行を追加します。 deb-src http://archive.ubuntu.com/ubuntu/ bionic main restricted 次のコマンドでソースパッケージを取得します。 apt update apt-get source openssh 次のコマンドで、ビルドに必要な準備をします。 cd o…

aws cliの結果をタグの値で絞り込むquery

aws cliの結果をタグの値で絞り込むqueryです。 例えば、Security Groupの中からNameタグに特定の値が設定されたデータを絞り込むには、下記のようにします。 aws ec2 describe-security-groups --group-ids <SecurityGroup ID> --query 'SecurityGroups[?Tags[?Key==`Name`].V</securitygroup>…

Kubernetes-dashboardに接続する

Kubernetes-dashboardをデプロイしましたが、接続するのにちょっと苦労しました。 リモートからは接続できない マニュアル通りkubectl proxyを実行したところlocalhost以外からは接続できませんでした。 GUIのLinuxがあれば、これでも良いのですけどね。 $ k…

シェルでタイムアウトを設けて何かを待つ処理をワンライナーで書く

シェルでタイムアウトを設けて何かを待つ処理をワンライナーで書いてみました。 アプリケーションサーバの起動のあとに何か実行する必要がある場合、起動の完了を待つ必要があります。 同期呼び出しやコールバックなどが設定できない場合は、ログやポートを…

vaultのオフシャルコンテナは、ホストOSがUbuntu 16.04 LTXでは動かない

vaultのオフシャルコンテナの0.9.5を起動すると下記のエラーがでました。 Attaching to vault vault | Couldn't start vault with IPC_LOCK. Disabling IPC_LOCK, please use --privileged or --cap-add IPC_LOCK vault | su-exec: vault: Text file busy --…

git commitできない

なぜだか、2つ以上のファイルをコミットしようとすると下記のようなエラーが出ます... $ git commit fatal: ambiguous argument 'Makefile README.md': unknown revision or path not in the working tree. Use '--' to separate paths from revisions, like…

git fsckでdanglingが出る場合の対処

git fsckでdanglingが出る場合の対処です。 全て消したい場合は、下記を実行します。 git reflog expire --expire=now --all git gc --prune=now

dockerのクラスタとスケジューラ

AWS ECS、AWS Fargate、Docker Swarm、Kubernetesの違いについての覚書です。 Kubernetesの人たちがAWS ECSよりKubernetesのほうが賢いといっていたり、Docker純正のSwarmよりKubernetesが注目されている理由が何となく納得できました。 AWS ECS ECSは、Auto…

シェルでファイルの差分があった場合に処理を実行したい。

シェルでファイルの差分があった場合のみ処理を実行したいユースケースがあります。 diffで差分は、検出できますが終了ステータスは0以外が返されます。 このステータスは、異常終了ではなく、差分があるか・ないかを判定したいだけなので無視して欲しいです…

Dockerのお掃除

Dockerの使っていないオブジェクトを掃除するための手順です。 イメージ タグのついていないイメージを削除します。 docker rmi `docker images -qf dangling=true` コンテナ 停止しているコンテナを削除します。 docker rm `docker ps -a -q` ボリューム コ…

bosh-cliのインストール

bosh-cliのインストール手順です。 bosh.ioからプラットフォームに応じたバイナリのURLを確認して、下記の一連のコマンドでインストールできます。 sudo curl -o /usr/local/bin/bosh-cli-2.0.45-linux-amd64 https://s3.amazonaws.com/bosh-cli-artifacts/b…

AWS Cloud9

AWS Cloud9をsshでインストールする場合に必要なパッケージです。 $ apt-get install nodejs-legacy

bashのretry

下記のコードを$HOME/.bashrcに追加するとコマンドが失敗した場合に、一定時間待って、指定した回数リトライするretry関数を追加できます。 オリジナルは、ここのソースを参考に改良しました。(コメントしようと思いましたが、50以上の評価がないとコメン…

concourseを使ったビルド

concourse.ioは、日本語情報とても少ないです。 とてもクールなCIツールです。 パイプライン、ジョブ、リソース、タスクといった考え方があり、CI/CDのパイプラインを構築できますが、実装しようと思うと意外と手が止まります。 パイプラインの起点は、S3やg…

macOS High Sierraのアップグレードに失敗

MacBook ProにmacOS High Sierraのアップグレード通知がきたのでアップグレードしたところ、見事に失敗しました。 1時間ほどアップグレード処理が続いた後にWi-Fiを選択する画面が表示されました。Wi-Fiを選択したところ、しばらくして画面がブラックアウト…