sagantaf

IT関連の技術記事を書くブログ。

Kubernetes入門〜Docker for Mac でKubernetesをインストールしJupyter notebookを起動してみる

はじめに Macを使って手軽にKubernetesを体験してみるための手順です。 はじめに 環境 Docker for Mac のインストール Kubernetes環境を構築する contextの切り替え Jupyter notebookを起動するためのマニフェストファイルを作成する デプロイの実施 アクセ…

シェルスクリプトとプログラミング言語の関係は?

答え 解説 スクリプト言語 コンパイル言語 それぞれのメリデメ まとめ 意外と分からなくなる人が多いはず…と思ってまとめました。 答え シェルスクリプトはプログラミング言語のひとつ。 解説 そもそもプログラミング言語には、スクリプト言語とコンパイル言…

RNNとLSTMを理解する

この記事の目的 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 1. RNN (Recurrent Neural Network) 2. 勾配消失(爆発)問題 3. LSTM (Long-short term model) 入力ゲートと出力ゲートはなんのために用意されたか? 忘却ゲートはなんのために…

CNN(Convolutional Neural Network)を理解する

この記事の目的 0. 通常のニューラルネットワークの問題 1. CNNの基本 2. 畳み込み層(Convolutional層) フィルタのサイズをどうするか どうフィルタを適用していくか(ストライド) 出力サイズをどうするか(パディング) データ形状の変化 畳み込みまとめ…

TensorflowをGPUで使おうとして「CUBLAS_STATUS_NOT_INITIALIZED」というエラーが出たら

環境: Docker上でubuntu16.04のコンテナを起動 GPU:TITAN V nvidia-driver: 390 cuda: 9.1 エラー内容 tensorflow-gpuをインストールした時に、下記のエラーが発生することがあります。 E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to crea…

pandas〜欠損値扱いの数値をNaNに変換する

-1や999など欠損値として格納されているデータをpandasのreplaceを使ってNaNに変換する方法を書く。 サンプルデータフレームの作成 まずはサンプルのために簡単なデータフレームを作成する。 欠損値は、-1, 999, 1000とする。 import pandas as pd df = pd.D…

pandas〜データフレームをpickleファイルとして保存し効率的に開発する

pandasでデータを読み込んで色々手を加えたデータフレームをpickleファイルとして保存(ダンプ)する方法を書く。 毎回 jupyter-notebookを開いたときに最初から実行せずに、保存しておいた編集済みのpickleファイルを読み込むことで、かなりの時短になる。 …

Rancher入門〜インストールと基本的な使い方

2019/10/14追記 Rancherもバージョンアップが進み、情報が古くなってきたので、下記に改めて書きました。こちらをご参照ください。 sagantaf.hatenablog.com コンテナ管理のためのGUIであるRancher バージョン2 の導入方法と使い方をまとめておく。 目次 は…

Docker入門〜基本コマンド一覧と使い方のカンタンなまとめ

はじめに Dockerイメージの操作 イメージの取得(pull) イメージの作成(Dockerfileから) イメージの一覧表示 イメージの詳細表示 イメージのタグ設定 イメージの削除 Dockerコンテナの生成、起動、停止 コンテナの表示(状態確認) コンテナの生成 コンテ…

sklearn〜LabelEncoderラベルエンコーダーを使って経過日数を算出する

はじめに ここでは例えとして年始1/1から何日が経ったか算出する sklearnのライブラリの一つであるLabelEncoderのfitとtransformを使う 方法 まずはライブラリのインポートと、ラベルエンコーダーのオブジェクトの生成 import pandas as pd import numpy as …

Astropy〜チュートリアルを通して使い方を学ぶ(1)

はじめに Astoropyのチュートリアルを参考にして、使い方を学んでいく。 まずは一つ目のチュートリアル「Getting Started with astropy.coordinates」を参考に、astropy.coordinatesを使って画像を表示させてみる。 このチュートリアルでは、「ヒクソン・コ…

Docker実践〜dockerコンテナに外部からアクセスするためにポートフォワード設定を追加する

はじめに コンテナを構築した後、アプリケーションを追加したりして、 「新たなポートを使って外部からコンテナにアクセスしたい!」 「でもコンテナを作り直したくない!」 となった時、コンテナを止めずにポートフォワード設定を追加する方法を書きます。 …

Astropy〜Linux環境にインストールする方法

Astropy をインストールする方法を書いておく。 Anacondaを使っている場合はデフォルトでインストールされている。 以下のコマンドでバージョンを確認するだけで済む。 $ conda list |grep astropy astropy 3.0.2 py36h3010b51_1 pytest-astropy 0.3.0 py36_…

GIt入門 いまさらだけど基本的なことをまとめてみた!

Gitとは Gitとはファイルのバージョン管理システムのこと バージョン管理とは、ファイルの過去の状態も保存しておき、どのように変更されてきたか管理することを表している。 普段、WindowsやMacでエクセルファイルやテキストファイルを作って書いて保存して…

VirtualBoxでWindows10にUbuntu16.04の仮想環境を構築する

Windows10のPCにUbuntu16.04の仮想環境を構築します。 VirtualBoxを利用します。 まずは以下のページからVirtualBoxをダウンロード →「Windows host」をクリックするとダウンロードが始まる Downloads – Oracle VM VirtualBox 以下のページからUbuntu16.04を…

Docker実践〜dockerのコンテナ環境をきれいに消す

はじめに Dockerの検証したり、動作確認したりしていると、Dockerイメージや停止したDockerコンテナがどんどん蓄積されていき、目当てのイメージやコンテナを見つけにくくなることがあります。 そんな時に、一度コンテナのリソースを全て削除してDocker環境…

Docker実践〜稼働中のDockerコンテナをバックアップとしてイメージ化して保存しておく

稼働中のDockerコンテナで開発をしていると、もしコンテナが落ちたら環境がすっ飛ぶよなあ、、、と不安になるので、バックアップを取れないか検証してみた。 (コンテナで直接環境を更新しているあたり、本来のDockerの使い方には合っていないんでしょうが、…

データサイエンスの基本的なプロセス

データサイエンスといっても、幅広く、統計解析やデータマイニング、機械学習など違いがよく分からない言葉がたくさんある。 ただ、どんなことでもデータを分析するのであれば、プロセスは似たようなものになるはずと思っている。 そこで、以下の「データサ…

【サーバ運用】サーバの運用保守にはどんな管理資料・マニュアルが必要になるか?

サーバの運用保守にはどんな管理資料・マニュアルが必要になるか? 自分の担当範囲である基盤システムを対象に考えてみた。 以下の項目に分けて書いている。 ①なぜ管理資料やマニュアルが必要か ②どのような管理資料やマニュアルが必要か ③管理資料やマニュ…

Python〜pyautoguiで日本語入力する方法

最近、pyautoguiを使って会社の業務を自動化している。 そんな中、Webページに日本語を送って面倒な申請業務等を自動化しよう! って思ったが、 作っていくうちに日本語入力ができない問題にぶち当たった。。。 ググっても、やはりできないようで… import py…

Pythonで地球に引っ張られる力を計算するプログラムを作ってみた

物体同士が引っ張り合う力、万有引力。 その計算式を元に、 「地球からどのくらい離れたら、どのくらいの力が働くか」 を計算するプログラムをPythonで作成してみた。 入出力は次のようにしている。 入力:物体の重さ(kg) 出力:距離ごとの引っ張られる力…

Astropy〜FITSデータを読み込んで表示させる方法

天文データの解析をやってみたい、と思い、 まずは天文画像をPythonに取り込み、表示させるにはどうするか、調べて実践してみた。 天文データはFITS形式 天文データはFITSというファイル形式で扱われることが多いらしい。 PythonでFITSファイルを扱うには、a…

【Python】倍数チェックプログラムを作成してみた

現在、オライリー社の「Pythonからはじめる数学入門(Amit Saha著)」を読んで数学とPythonを勉強しています。 この本には各章の末尾に問題が用意されています。 その各問題にアレンジを加えてみました。 問題1−1は以下のような内容でした。(問題文は大幅に要…

PostgreSQL データ型メモ

大きく分けて3種類のデータ型が存在する。 ①文字列データ型 ②数値データ型 ③日付・時刻データ型 ①文字列データ型 Character varying型: 文字数に上限のある可変長の文字列型。varchar(桁数) でも宣言可能。 Character型: 文字列に上限のある固定長の文字…

システム障害対応時に必要なsosreportを取得する方法

sosreportとは? どうやって取得するか? sosreportの中身はどうなっているか? まとめ sosreportとは? sosreportとはシステムの構成やログなどの情報を一括取得するためのツール。 どうやって取得するか? 昔、サーバ障害の原因が分からずサポートに問い合…