btrfsで空き領域が開放されずにのディスク使用率が100%になる。

1週間ほど前、btrfsのデバイスが容量が空いているのにも関わらず使用率が100%のまま変わらない事があった。

いろいろやった気がするが、ほとんど思い出せないので覚えてる限りの解決法を載せておく。

注意点

btrfsは空き領域をプールするのでdfコマンドで見れる情報が正しいとは限らない。
ルートディレクトリの情報を見る場合は下記のコマンド。
filesystemは短縮してfでもいい

btrfs filesystem df -h /

解決策

btrfsのsubvolumeを削除したら領域が開放された。

「領域が開放されないときはsubvolumeを削除しろ」と言うサイトは幾つかあったが、subvolumeなんて機能は使った覚えがなかったので無視していた。
しかし、自分で直接使った記憶はなくてもDockerが使っていた
Dockerが領域を開放しなかったわけではないだろうが、subvolumeを全部消したら解決。
消えて困るコンテナはなかったので楽だった。

削除方法は覚えてないのでBtrfs - ArchWikiでも見てください。

letを使ってシェルで条件演算子(三項演算子)

ポイント
  • シェル変数は$を省略する
  • 未定義の変数は0として扱われる
  • 文字列は扱えない
  • シェルと反対にtrueは1、falseが0
$ let 'a = 1? 11 : 22'
$ echo $a
11

$ let 'a = 0? 11 : 22'
$ echo $a
22

$ let 'a = 3==3? 11: 22'
$ echo $a
11

条件演算子以外にもインクリメントや復号代入も可能です。

$ let 'b++'
$ echo $b
1

$ let 'c += 3'
$ echo $c
3

ちなみに$((expr))でも同様の事が可能。

$ echo $((d -= 10))
echo -10
$ echo $d
-10

Have a nice shell life!

Kuportの情報取得するgem作った

この記事は Kogakuin Univ Advent Calendar 2016 - Adventar の15日目です。
かなり遅れました、ほんとすみません。

概要

github.com

みんな大好きkuportからデータを取得してJSONに変換して出力します。
ライブラリとしても使用可能です。
MechanizeとかNokogiri使いました。

詳細はREADME.md

データは全てJSONに変換されるため jqjid で閲覧してください。

jidは見ての通りインタラクティブにフィルタできるのでおすすめです。
ただ、マルチバイト文字の間にスペースが入るのが欠点です。

https://github.com/simeji/jid/wiki/images/demo-jid-main-640.gif

※内部の情報を公開するのは良くない気がするので、実行結果のスクショありません。

導入

gem install kuport

最新の機能は避けたつもりですが、古いRubyだと動かないかもしれません。

使い方ざっくり

--idで学籍番号を指定して実行するとパスワードが求められます。
キャシュが効くので一度ログインしたら暫く--idは不要です。

ログイン

$ kuport --id jx99123 
Pasword>

個人宛お知らせを取得

各メッセージのタイトル、内容、リンクを取得します。
-mオプションにreadを渡すと既読メッセージを取得できます。

$ kuport -m > messages.json

jidで閲覧

$ kuport -m | jid 

メッセージの添付ファイルをダウンロード

kuport -m | jidでメッセージをフィルタリングしてリンクを出力すれば添付ファイルをダウンロードできます。
--downloadには-mで取得したリンク要素のJSONをそのまま渡せます。 JSONを渡せばブラウザでダウンロードするのと違ってまともなファイル名を付けてくれます。

$ kuport --download "$(kuport -m | jid)"
jqでフィルタリング

添字でメッセージを選択できます。

$ kuport --download  "$(kuport -m | jq '.[0].links')"

時間割

時間割がJSONとして出力されます。
jid使ってもかなり見づらいです。

$ kuport -t | jid

ライブラリとして

おおまかな使い方

require 'kuport' 
kp = Kuport.new 
kp.login('jx91234')

messages = kp.messages
timetable = kp.timetable

m = messages[0]
puts m.title, m.body, m.links
puts m.json
puts messages.to_json

timetable.compact
puts timetable.to_json

kp.download(url, name)
kp.download([{name: 'File.pdf', path: 'https://example.com/file.pdf'}, ])

kp.cookies_clear # Logout

ハマったこと

文字コードが合わなくてパース中にエラー

CharsetはEUC-JPなのにCP932が混ざってるページがあって困りました。
幸いにもMechanizeはパーサを指定できるので、強制的にUTF-8に変換して処理するパーサを作りました。

MechanizeをrequireするとStringtoutf8メソッドが加わるので、それを使用します。

class Parser
  def self.parse(text, url = nil, encoding = nil, options = Nokogiri::XML::ParseOptions::DEFAULT_HTML, &block)
    Nokogiri::HTML::Document.parse(text.toutf8, url, 'UTF-8', options, &block)
  end
end

agent = Mechanize.new
agent.html_parser = Parser 

お知らせに共通するCSSクラスが無い

お知らせのクラスはざっと見た所3つありました。

  • message_normal
  • message_emergency
  • message_check

Nokogiriでクラス指定で要素を抜き出すときはcssメソッドが使えますが、これは正規表現ワイルドカードは使えないようです。
上記3つにマッチする要素を取り出すにはxpathメソッドを使いました。

doc.xpath(".//*[contains(@class, 'message')]")

これでクラス名に'message'を含む要素を取得できます。
xpathなかなか強力ですね。

TODO

  • 電子教材一覧
  • インターフェース(TUI)
  • テスト

終わり

なぜか公開後数分で10DL超えました。
間違って入れる人が沢山いるようですね。

当初はncurseswを使ってUI作ろうと思ってたんですが挫折しました。
padが表示されない...
Curses::Padが動いたのでTUI作成中。

バグがあったりしたら、なんでもいいので気軽に連絡してください。
プルリク大歓迎です。

ターミナル上に画像を表示する方法いろいろ

ターミナル*1に画像表示したいですよね。

先日w3m*2ブラウジングしてたら、テキストブラウザなのに画像が表示されて驚きました。

f:id:u10e10:20161213205541g:plain:w500

gnome-terminal, konsole, terminologyの3つの端末で表示されたので端末共通の画像表示方法がありそうです。 端末上での画像表示について調べたこと書きます。
(結論を言うと、端末に共通の表示方法はなかった)

この記事はKogakuin Univ Advent Calendar 2016 - Adventarの13日目です。

目次

比較元画像

この画像が飽きるほど出てきますが、我慢してください。 f:id:u10e10:20161213214732p:plain:w400
※なにかを頑張ったわけではありません。

アスキーアート

「端末に画像」と聞いて最初に思いつくのはアスキーアートだと思います。 画像をAA化するサイト を使用してフォントサイズ7で出力しました。
f:id:u10e10:20161213215842p:plain:w400

エスケープシーケンス

ターミナルでもエスケープシーケンスを使えば色付き文字を出力できます。 f:id:u10e10:20161213222016p:plain

上記コードの関数版
カラーコード表示スクリプト

エスケープシーケンスについて詳しくは下記。
エスケープシーケンスを体感する - ザリガニが見ていた...。

画像表示

下記のスクリプトを使用
ターミナルに画像を表示する - Qiita

フォントサイズ12(普段)
f:id:u10e10:20161213224208p:plain:w400

フォントサイズ5(使用中端末の最小値)
f:id:u10e10:20161213224220p:plain:w400

改良版

「ターミナルに画像を表示する」の画質向上を試みる - Qiita

フォントサイズ12
f:id:u10e10:20161213232040p:plain:w400

フォントサイズ5
f:id:u10e10:20161213231538p:plain:w400

pxl

最近Go製のCLIツールをよく目にします。
pxlはターミナルに画像を表示するGo製ツールです。

go get github.com/ichinaski/pxl
pxl img.png

GitHub - ichinaski/pxl: Display images in the terminal

フォントサイズ12
f:id:u10e10:20161213233531p:plain:w400

フォントサイズ5
f:id:u10e10:20161213232655p:plain:w400

縦に潰れてますが、かなり鮮明です。
※pxlは今までのものと違い仮想画面に描画しています。

DRCS(Soft Character Set)

平たく言うと画像をフォントとして扱う端末機能ですが対応端末は少ないです。

vimと端末エミュレーション - Qiita 

Soft Character Set (DRCS) - Togetter

Sixel

平たく言うとエスケープシーケンスで画像を表現する端末機能です。同じく対応端末は少ないです。*3
文字として表現できるので、対応端末ならssh先の画像をSixelで出力して手元で確認できます。

go-sixelで試してみました。 GitHub - mattn/go-sixel

go get github.com/mattn/go-sixel/cmd/gosr
gosr img.png
非対応端末

文字が沢山出る
f:id:u10e10:20161214010637p:plain:w400

xterm -ti 340

色がおかしい(パッチを当てないと?)
f:id:u10e10:20161214010159p:plain:w400

mlterm

f:id:u10e10:20161214010447p:plain:w400

おぉ 見事に画像が表示されました!
対応端末が増えると良いですね。

参考資料
長編まとめ・Sixel Graphics復活への動き(1) (26ページ目) - Togetter
Sixel 情報 - ダメ出し Blog
OS X Mavericksにmltermとlibsixelをインストールして端末で画像を表示する - Keep It Simple, Stupid
ターミナル上でgnuplotの出力をターミナルに直接描画する - Qiita
Sixel Graphicsを活用したアプリケーションの御紹介 - Qiita

terminology

terminologyはモダンなカッコイイ系端末で、独自の便利コマンドを搭載しています。
youtu.be

tylsはlsにサムネイルが付きます。
f:id:u10e10:20161214032929p:plain

tycatは引数のファイル(画像、音楽、動画)を内蔵プレイヤーで再生します。
typoptycatのポップアップ版です。

tycatで画像を表示した上にtypopでポップアップを表示しています。 f:id:u10e10:20161214032920p:plain

iTerm2

iTerm2でも公式サイトが配布しているスクリプトを使用することで画像が表示できるようです。
youtu.be iTerm2の2.9以降でインライン画像表示できるようになってた - uzullaがブログ

w3m(w3mimgdisplay)

w3mが画像を表示できるのはw3mimgdisplayがXと通信して、端末上に画像を上書きしているからです。
つまりはw3mimgdisplayさえあればX上では画像表示し放題です。

w3mimgdisplayの使い方。

# x y w h と ./img.png を適切に指定する
echo -e '0;1;x;y;w;h;;;;;./img.png\n4;\n3;' | /usr/lib/w3m/w3mimgdisplay

f:id:u10e10:20161214032843p:plain

画像のサイズ取得もできます。
f:id:u10e10:20161214032832p:plain

入力フォーマットの詳細はImages in terminalを見てください。

結論

  • 端末共通の画像表示方法はなかった。
  • w3mimgdisplayを使えばサクッと画像表示はできる。
  • 各端末がSixelに対応すると幸せになれる。
  • terminologyオススメです。

*1:GUIのターミナルを想定

*2:有名なテキストブラウザ

*3:gnome-terminal, konsole, terminologyでは動かなかった