sagantaf

IT関連の技術記事を書くブログ。

シェルスクリプトとプログラミング言語の関係は?

答え 解説 スクリプト言語 コンパイル言語 それぞれのメリデメ まとめ 意外と分からなくなる人が多いはず…と思ってまとめました。 答え シェルスクリプトはプログラミング言語のひとつ。 解説 そもそもプログラミング言語には、スクリプト言語とコンパイル言…

RNNとLSTMを理解する

この記事の目的 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 1. RNN (Recurrent Neural Network) 2. 勾配消失(爆発)問題 3. LSTM (Long-short term model) 入力ゲートと出力ゲートはなんのために用意されたか? 忘却ゲートはなんのために…

CNN(Convolutional Neural Network)を理解する

この記事の目的 0. 通常のニューラルネットワークの問題 1. CNNの基本 2. 畳み込み層(Convolutional層) フィルタのサイズをどうするか どうフィルタを適用していくか(ストライド) 出力サイズをどうするか(パディング) データ形状の変化 畳み込みまとめ…

TensorflowをGPUで使おうとして「CUBLAS_STATUS_NOT_INITIALIZED」というエラーが出たら

環境: Docker上でubuntu16.04のコンテナを起動 GPU:TITAN V nvidia-driver: 390 cuda: 9.1 エラー内容 tensorflow-gpuをインストールした時に、下記のエラーが発生することがあります。 E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to crea…

pandas〜欠損値扱いの数値をNaNに変換する

-1や999など欠損値として格納されているデータをpandasのreplaceを使ってNaNに変換する方法を書く。 サンプルデータフレームの作成 まずはサンプルのために簡単なデータフレームを作成する。 欠損値は、-1, 999, 1000とする。 import pandas as pd df = pd.D…

pandas〜データフレームをpickleファイルとして保存し効率的に開発する

pandasでデータを読み込んで色々手を加えたデータフレームをpickleファイルとして保存(ダンプ)する方法を書く。 毎回 jupyter-notebookを開いたときに最初から実行せずに、保存しておいた編集済みのpickleファイルを読み込むことで、かなりの時短になる。 …

Rancher入門〜インストールと基本的な使い方

2019/10/14追記 Rancherもバージョンアップが進み、情報が古くなってきたので、下記に改めて書きました。こちらをご参照ください。 sagantaf.hatenablog.com コンテナ管理のためのGUIであるRancher バージョン2 の導入方法と使い方をまとめておく。 目次 は…

Docker入門〜基本コマンド一覧と使い方のカンタンなまとめ

はじめに Dockerイメージの操作 イメージの取得(pull) イメージの作成(Dockerfileから) イメージの一覧表示 イメージの詳細表示 イメージのタグ設定 イメージの削除 Dockerコンテナの生成、起動、停止 コンテナの表示(状態確認) コンテナの生成 コンテ…

sklearn〜LabelEncoderラベルエンコーダーを使って経過日数を算出する

はじめに ここでは例えとして年始1/1から何日が経ったか算出する sklearnのライブラリの一つであるLabelEncoderのfitとtransformを使う 方法 まずはライブラリのインポートと、ラベルエンコーダーのオブジェクトの生成 import pandas as pd import numpy as …

Astropy〜チュートリアルを通して使い方を学ぶ(1)

はじめに Astoropyのチュートリアルを参考にして、使い方を学んでいく。 まずは一つ目のチュートリアル「Getting Started with astropy.coordinates」を参考に、astropy.coordinatesを使って画像を表示させてみる。 このチュートリアルでは、「ヒクソン・コ…