k0f1sh

choにCSVの列名参照を追加した

2026-09-26T00:00:00+00:00

cho は、Lisp風の式で入力行を加工するコマンドラインツールです。通常は空白で区切られた行を列に分けて扱いますが、--csv を付けるとCSVも読み込めます。この記事では、CSVのヘッダー名で列を指定する方法と、その実装を紹介します。

choでは、入力の列を $1、$2 のように番号で参照できます。小さいファイルならこれで十分です。でも、横に長いCSVのヘッダーを左から追って「created_at は何列目だっけ」と数えるのは、かなり面倒です。しかも途中に列が一つ増えたらズレてしまいます。

そこで、ヘッダー付きのCSVでは %created_at と名前で参照できるようにしました。

例えば、次のような users.csv があるとします。

id,account_id,name,email,team,region,plan,status,owner,source,created_at,score
1,101,Alice,alice@example.com,dev,JP,free,active,bob,web,2026-09-01,90

メールアドレスと作成日を取り出す式は、列番号なら $4 と $11、列名なら %email と %created_at です。p は指定した値を空白区切りで出力します。

$ cat users.csv | cho --csv --skip-header '(p $4 $11)'
alice@example.com 2026-09-01

$ cat users.csv | cho --csv '(p %email %created_at)'
alice@example.com 2026-09-01

%name を使うと、choは先頭レコードをヘッダーとして読み、データ行から処理を始めます。--skip-header を付け忘れてヘッダー行を処理してしまう心配もありません。

GNU awkでは5.3から --csv でCSVを読めます。これがあったのでchoにもCSV入力をサポートしたいと思いました。

`%name` という記法にした理由

列名の前に付ける記号は、Perlのハッシュ変数から連想して % にしました。CSVのヘッダー名から対応する列を引く、という操作がキーから値を引くハッシュに少し似ているためです。

$1       1列目を参照する
%email   ヘッダーが email の列を参照する

列名に空白がある場合は、%"display name"と書けます。

choでは、式の中で列番号を指定する $1、CSVのヘッダー名を指定する %email、-C オプションの引数で列番号を指定する @1 という三つの書き方があります。@1 はシェルに展開されないようにするための記法で、指す列は $1 と同じです。

ヘッダー名は最初に列番号へ解決する

choは最初にプログラムをパースして評価用のASTに変換してから、入力を1レコードずつ処理します。ASTに変換する時点ではCSVのヘッダーをまだ読んでいないため、%email を直接「4列目」にはできません。そこで、式に現れたヘッダー名を Program.header_fields に集め、ASTの式にはその配列の添字を Expr::HeaderField(0) のように持たせます。

入力の処理を始めると、最初のCSVレコードをヘッダーとして読みます。このレコードはデータ行として評価せず、参照した名前が何列目かを調べるために使います。名前と同じ順序で列番号を header_field_indices: Vec<usize> に保存してから、次のレコード以降を処理します。データ行では、式が持つ添字から列番号を引いてフィールドを読むだけです。

1パースしてASTに変換するヘッダーを読む前compiler.rs ↗

%emailASTでは Expr::HeaderField(0)Program.header_fields: Vec<String>["email", "created_at"]

2先頭レコードで列番号を決める一度だけrunner.rs ↗

ヘッダーでは email が4列目header_field_indices: Vec<usize>[4, 11]

3データ行から値を読む各レコードで繰り返すeval.rs ↗

Expr::HeaderField(0)header_field_indices[0] = 4record.field(4)alice@example.com

(p %email %created_at) の例。配列の添字 0 は email に対応し、列番号は先頭の一度だけ調べる。

列名は完全一致で探します。式で参照した名前がヘッダーにない場合や、同じ名前の列が複数ある場合は、データ行を出力する前にエラーにします。例えば email が二列あれば、%email をどちらに結び付けるか決められません。一方、式に登場しない列名が重複していてもエラーにはしません。読まない列の名前が重なっているだけで、必要な列まで取り出せなくなるのは困るからです。

また、%name は --csv と一緒に使う記法です。通常の空白区切り入力ではヘッダー名による参照はできません。

まとめ

choの仕様はできるだけ小さく保ちたかったので、最初はCSVでも $1 のような番号指定で十分かと思っていました。しかし横に長いCSVの列を数えるのはやっぱり面倒で、列名での参照記法を追加しました。

$1の番号指定も残しているので、番号だけで済むときはこれまでどおり書けます。

自作のミニ言語用Emacsモードを作り、シェルから呼び出す

2026-09-25T00:00:00+00:00

cho は、Lisp風の構文でawkのような行指向のテキスト処理を行うコマンドラインツールです。

例えば、名前と role=developer の2列を受け取り、職種を取り出し、s/upper で大文字にします。

$ echo 'alice role=developer' | cho '(p $1 (s/upper (s/after $2 "=")))'
alice DEVELOPER

私が普段EmacsでLispを書くときは、Paredit、rainbow-delimiters、ElDocを使っています。

シェル上で入力する場合はそれらの拡張の支援がないので、コードが少し複雑になると辛いなと思うことがあります。そこで、choの式を含むシェルコマンド用のEmacsメジャーモードcho-modeを作り、入力中のコマンドをEmacsで開けるように.bashrcに設定を追加しました。

Bashの入力中にショートカットを入力し、入力中のコマンドをEmacsで開く
cho-mode で編集し、C-c C-c で保存してEmacsを終了する
保存した内容をBashに戻す
内容を確認し、Enterで実行する

実現方法

入力途中の内容をEmacsで開く

.bashrc に bind -x の設定を書き、C-x C-l を押すと入力中のコマンドをEmacsで開くようにしています。

bind -x から呼ばれる関数では、READLINE_LINE で入力中のコマンドを取得できます。この内容を一時ファイルに書き出し、cho用の設定を読み込んだEmacsで開きます。cho-mode で編集して正常終了した場合だけ、一時ファイルから編集結果を読み戻します。

__cho_edit_readline_line() {
    local cho_edit_file
    cho_edit_file=$(mktemp -t cho-readline.XXXXXX) || return
    printf '%s\n' "$READLINE_LINE" >"$cho_edit_file"

    if command emacs --init-directory "$HOME/.config/cho-emacs" -nw \
        "$cho_edit_file" --eval '(cho-mode)'; then
        IFS= read -r -d '' READLINE_LINE <"$cho_edit_file" || :
        READLINE_LINE=${READLINE_LINE%$'\n'}
        READLINE_POINT=${#READLINE_LINE}
    fi

    command rm -f -- "$cho_edit_file"
}
bind -x '"\C-x\C-l":__cho_edit_readline_line'

~/.config/cho-emacs/init.el には、例えば次のように設定します。load-path のパスは、手元にあるchoリポジトリの場所に合わせて変更してください。

--init-directory で専用の設定ディレクトリを使うため、普段のEmacsの設定や追加パッケージがそのまま使えるとは限りません。Pareditとrainbow-delimitersを使う場合は、この専用設定からも読み込めるように別途導入しておきます。cho-mode はこれらのパッケージが読み込める場合に自動で有効にします。ElDocはEmacsに標準で含まれています。

(add-to-list 'load-path (expand-file-name "~/src/cho/editors/emacs"))
(require 'cho-mode)

(defun cho-edit-save-and-exit ()
  (interactive)
  (save-buffer)
  (kill-emacs 0))

(defun cho-edit-cancel ()
  (interactive)
  (set-buffer-modified-p nil)
  (kill-emacs 1))

(define-key cho-mode-map (kbd "C-c C-c") #'cho-edit-save-and-exit)
(define-key cho-mode-map (kbd "C-c C-k") #'cho-edit-cancel)

C-c C-kで編集をキャンセルすると、Bashには元の入力が残ります。

cho-modeの中身

cho-mode はEmacsの sh-mode を継承しています。編集するのはchoの式だけではなく、echo やパイプを含むシェルコマンド全体だからです。その中から cho '(p $1)' のように、シングルクォートで囲まれ、( で始まるchoの式を見つけます。

現在は通常の1行コマンドを主な対象にしています。コマンド置換やヒアドキュメントなど、複雑なシェル構文は完全には解析していません。

choの式では、関数名、$1 などのフィールド参照、NR・NF、真偽値、正規表現に色が付きます。

通常、sh-mode ではシングルクォートの中身が文字列として扱われ、その中のかっこをS式の構造として認識できません。そこで、choの式を囲むクォートについて、Emacsが構文を認識するための属性を変更しています。コマンドに書かれたクォート自体は残し、中のかっこをS式として認識させています。これでPareditによる編集やrainbow-delimitersによる色分けが使えます。

また、式の先頭で関数名を入力してTabを押すと、補完候補が出ます。ElDocでは、編集中の関数の引数や戻り値の型を確認できます。例えば、冒頭の s/after を書くときも、引数の順番を確認しながら入力できます。

言語の定義から補完データを作る

補完やElDoc用の情報はchoのリポジトリのmetadata.jsonにあります。このJSONには、関数名や別名、引数と戻り値の型、説明が入っています。

choでは関数を追加するときに、ASTを組み立てる処理と、説明文・使用例を、同じマクロ呼び出し（define_callable!）にまとめて定義します。

この定義からパーサー用とドキュメント用の実装を生成し、ドキュメント用の情報からヘルプと metadata.json を作っています。新しく関数を作るときにドキュメントが漏れないようにこのような形にしてみました。

Emacs側では generate-cho-mode-data.el がJSONを cho-mode-data.el に変換します。cho-mode はこの生成済みのElispを読み込むので、起動するたびに metadata.json を解析する必要はありません。

まとめ

cho-modeを作り、シェル上で専用設定のEmacsを起動することで、普段と同じ感覚で編集できるようになりました。

cho-mode のコードと導入方法はchoリポジトリの editors/emacs/ に置いています。シェルから起動する設定は私の使い方の一例です。

この記事の設定は、Emacs 31.1、Bash 5.3.15で動作を確認しました。

Lispが苦手な人のためのcho

2026-09-23T00:00:00+00:00

choの紹介記事でも触れましたが、choはLisp風にawkが書けたらいいなという動機で作り始めました。 choでは、関数の呼び出しを (関数名引数...) という形で書きます。

私はLisp系の言語が大好きなのですが、Lispの大量の丸かっこが苦手な方は多いと思います。今回は、そんな人にも手軽に使ってもらえるように -C オプションの紹介をします。

きっかけ

文字列操作や日時のフォーマット変換、URLの分解、IPアドレスの判定などを実装しているうちに、「この関数群はシェルで単体で使ってもかなり便利だな」と思うようになりました。

そこで、関数をコマンドの引数で直接呼び出せるように用意したのが -C（--call-exact）オプションです。

-Cで関数を直接呼び出す

たとえば、通常のchoで2列目を大文字にするには、s/upper に $2 を渡します。

$ echo 'alice developer' | cho '(s/upper $2)'
DEVELOPER

-C オプションをつければ、同じ処理をかっこなしで書けます。

$ echo 'alice developer' | cho -C s/upper @2
DEVELOPER

書き方は cho -C 関数名引数... です。-C の後に呼び出したい関数名と、その関数に渡す引数を順番に並べます。

これまで $2 と書いていたところは @2 になります。@0 は入力行全体、@1 は1列目、@2 は2列目です。 $だとシェルの変数展開と衝突するため、'$2'のようにクォートが必要になります。

単に列を取り出すだけなら、p も呼び出せます。

$ echo 'alice 30 developer' | cho -C p @1 @3
alice developer

日時の変換も同じ書き方でできます。たとえば、UTCの日時を日本時間で表示してみます。

$ echo '2026-08-24T01:30:00Z' |
    cho -C dt/fmt @1 '%Y-%m-%d %H:%M' Asia/Tokyo
2026-08-24 10:30

ここでは1列目の日時、出力形式、タイムゾーンの順に引数を渡しています。

choをパイプでつなぐ

複数の関数を呼び出したい場合は、choをパイプでつなぎます。

たとえば、前後の空白を取り除き、ハイフンをアンダースコアに置き換え、最後に大文字にする処理を考えます。通常のchoなら関数を入れ子にして書けます。

$ echo '  api-server  ' |
    cho '(s/upper (s/replace (s/trim $0) "-" "_"))'
API_SERVER

これを -C で書くなら、choをパイプでつなぎます。

$ echo '  api-server  ' |
    cho -C s/trim @0 |
    cho -C s/replace @0 - _ |
    cho -C s/upper @0
API_SERVER

最初のchoが api-server を出力し、次のchoが api_server にして、最後のchoが API_SERVER にします。それぞれの @0 は、その段階で受け取った行全体を指しています。

他のUnixコマンドと組み合わせる

sortやuniqなど、ほかのUnixコマンドとも組み合わせられます。

たとえば、7列目にURLが入っているログから、ホスト名だけを取り出して集計したいとします。awkやsedでURLを分解するのは少し正規表現が面倒ですが、choの url/host 関数を挟めば簡単に取り出せます。

$ cat app.log |
    cho -C url/host @7 |
    sort |
    uniq -c |
    sort -nr |
    head -n 5

行全体を渡すなら小文字の -c 今回は列（@2 など）を引数で明示する -C（大文字）を紹介しましたが、行全体を自動で第1引数に渡す -c（小文字）もあります。先ほどのパイプラインなら、cho -c s/trim | cho -c s/replace - _ | cho -c s/upperと書けます。

木構造になる処理は `-C` では書けない

1回の -C で呼び出せる関数は1つだけです。関数の引数に別の関数の結果を渡すような、木構造になる呼び出しは表現できません。

たとえば、1列目をそのまま残し、2列目だけを大文字にします。

$ echo 'alice developer' | cho '(p $1 (s/upper $2))'
alice DEVELOPER

この式を展開すると、次のような木構造になっています。

(p
  $1
  (s/upper $2))

外側の p は、$1 と s/upper の実行結果を受け取ります。cho -C s/upper @2 をパイプでつないでも、その出力にはもう alice が残っていないため、同じ処理にはなりません。

こういうときは、素直にかっこを書きましょう。

まとめ

Lispで小さな式を組み合わせて大きな処理を作ることと、Unixシェルで小さなコマンドをパイプでつなぐことは、根底にある思想が似ている気がします。

Lispの大量の丸かっこが苦手な人にもぜひchoを使ってみてほしいです。

choのフィールド範囲記法「$3..」をどう設計したか

2026-09-22T00:00:00+00:00

前回は、リストを持たないchoで文字列を分割するために作った特殊形式 s/with について書きました。今回は、$3.. のように「あるフィールドから後ろをまとめて取り出す」記法について書きます。

あるフィールドから行末まで取りたい

テキスト処理をしていると、「3列目から後ろを全部取り出したい」という場面がよくあります。

たとえば、ps aux の出力からコマンド部分を取り出したい場合です。ps aux では、11列目の COMMAND から後ろが実行中のコマンドラインになります。

$ ps aux | head -n 4
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.1  22532 13356 ?        Ss   10:20   0:01 /sbin/init
alice     1832  0.2  1.4 1337520 116220 ?      Sl   10:24   0:12 emacs --no-window-system notes.txt
alice     2419  0.0  0.0   7720  3420 pts/0    S+   10:31   0:00 sleep 100

コマンドラインの引数の数はプロセスによって違うので、「11列目から最後の列まで」を取りたいのですが、終わりの列番号はあらかじめ決められません。

awkなら、11列目から NF までループで出力します。

{
    for (i = 11; i <= NF; i++) {
        printf "%s%s", $i, (i < NF ? OFS : ORS)
    }
}

しかしchoにはそもそもループがありません。

そこで「ここから後ろを全部取る」という操作を手軽に書けるように、フィールド参照の記法として $11.. を作りました。

$ ps aux | tail -n +2 | cho '(p $11..)' | head -n 3
/sbin/init
emacs --no-window-system notes.txt
sleep 100

分けたフィールドを結合し直さない

最初に欲しかったのは、単に $11 から NF までを短く書く記法でした。ただ、いざ実装を考えたときに悩んだのが「フィールド間の区切りをどう扱うか」です。

choの p（print）は、引数に渡された複数の値を空白1つで区切って出力します。そのため、行の各列を順番に出力すると、元の行にあった複数の空白は1つに縮まってしまいます。

$ printf 'INFO request    completed in 20 ms\n' |
    cho '(p $2 $3 $4 $5 $6)'
request completed in 20 ms

一方、$2.. を使った場合は元の空白がそのまま残ります。

$ printf 'INFO request    completed in 20 ms\n' |
    cho '(p $2..)'
request    completed in 20 ms

これは、分割したフィールドを集めてスペースで繋ぎ直しているのではなく、「2列目が始まる位置から行末までを、入力行の文字列からそのまま切り出している」からです。

空白が1つに潰れるくらいなら好みの問題かもしれませんが、-F で区切りに正規表現を指定した場合は、結合し直す方法自体が決められなくなります。

$ printf 'alpha,beta:gamma\n' |
    cho -F '[,:]' '(p $2..)'
beta:gamma

この例では、カンマ（,）とコロン（:）の両方がフィールドの区切りになっています。一度バラバラに分割したフィールドを後から結合しようとしても、カンマとコロンのどちらで繋げばいいのかわかりません。元の行からそのまま切り出す仕組みにしておけば、実際に使われていたコロンが自然に残ります。

`$3..` から範囲の記法へ

最初は $3- や $1-2 のような記法（cut コマンドの -f 3- のようなイメージ）も考えていました。ただ、- は引き算や負の数と見分けがつきにくく、S式の中で少し浮いて見えます。そこで、RustやRubyでおなじみの .. を使って $3.. と書くことにしました。

また、行末までの範囲だけでなく、先頭からの範囲や中間の範囲も取れるようにしています。

$ printf 'one  two   three four\n' | cho '(p $3..)'
three four

$ printf 'one  two   three four\n' | cho '(p $..2)'
one  two

$ printf 'one  two   three four\n' | cho '(p $2..3)'
two   three

$3..：3列目から行末まで
$..2：1列目から2列目まで
$2..3：2列目から3列目まで

範囲指定は、区切り文字も含んだ1つの文字列を返します。フィールド間の空白の幅もそのまま残ります。

各フィールドの位置を記録する

この動作を実現するには、分割後の文字列だけでなく、各フィールドが元の行のどこにあったかを覚えておく必要があります。

choの内部では、入力行を単なる文字列の配列に分解するのではなく、元の行文字列と一緒に、各フィールドの開始・終了位置（バイト位置）のベクタを保持しています。実際の構造体から関係する部分を抜き出すと、次のようになっています。

struct Record<'line> {
    line: &'line str,
    field_spans: Vec<(usize, usize)>,
    // ...
}

先ほどのログを例にすると、各フィールドの位置関係は次のようになります。

INFO request    completed in 20 ms
^^^^ ^^^^^^^    ^^^^^^^^^ ^^ ^^ ^^
$1   $2         $3        $4 $5 $6

field_spans には、各フィールドの開始位置と終了位置が入ります。

$1  ( 0,  4)  -> INFO
$2  ( 5, 12)  -> request
$3  (16, 25)  -> completed
$4  (26, 28)  -> in
$5  (29, 31)  -> 20
$6  (32, 34)  -> ms

たとえば $2..3 を取り出すときは、2列目の開始位置（5）から3列目の終了位置（25）までを元の行からスライスします。その結果が request completed です。

$3.. であれば、3列目の開始位置（16）から行末までを切り出します。

フィールドを分割した時点で文字列として切り離してしまうと、元の位置や区切り文字の情報は失われてしまいます。行全体の文字列を残したまま位置だけを記録しておくことで、分割時に各フィールドの文字列を個別に確保せず、素直に実装できました。

CSVではあえて使えないようにした

この範囲指定ですが、CSVモード（--csv）では使えないようにしています。

$ printf 'name,city\nAlice,"Tokyo, Japan"\n' |
    cho --csv --skip-header '(p $2..)'
cho: field ranges are not supported with --csv

CSVでは、入力行に書かれた文字と、パースされたフィールドの値が異なることがあるためです。

たとえば上の例の2列目は、元の行では引用符を含んだ "Tokyo, Japan" ですが、フィールドの値としては Tokyo, Japan になってほしいはずです。

元の文字列から切り出すと引用符が残り、パース後の値を繋ぎ直すと元の表記を保持できません。

そのため、現在はCSVでの範囲指定をエラーにしています。

まとめ

「ここから後ろを全部取りたい」という操作のために、フィールドを結合し直すのではなく「元の行から切り出す」という形に落ち着きました。

取り出したい範囲を短く書けて、元の空白や区切り文字も残せるようになりました。

リストのないchoで文字列を分割する

2026-09-21T00:00:00+00:00

前回は、awkのように列を取り出してS式で加工できるテキスト処理ツールchoを紹介しました。今回は、choを作る中で悩んだ「文字列の分割」について書きます。

リストを持たない言語でsplitをどう書くか

choでは意図的に、配列やリスト、タプル、変数代入、ループ、ユーザー定義関数を用意していません。短いワンライナーを書くための道具なので、できることを増やすより、式を読んだときに考えることを少なくしたいからです。Lisp風の構文なのにリストを使えないのは少し寂しいですが……（Lispは「LISt Processing」なのに。）

たとえばEmacs Lispなら、split-string の結果をリストとして受け取れます。

(split-string "api:worker:8080" ":")
;; => ("api" "worker" "8080")

(nth 1 (split-string "api:worker:8080" ":"))
;; => "worker"

choにはリスト型がないので、同じ形では返せません。そこで最初は、分割した文字列から指定位置の一つだけを返す s/part を作りました。

;; 当時の構文。現在のchoでは使えません。
(s/part "api:worker:8080" ":" 2)  ; => "worker"

位置は $1 などと同じく1始まりです。

一つだけ取り出すなら十分です。しかし、複数の部分を使うと同じ文字列を何度も分割する式になります。

;; 当時の構文。現在のchoでは使えません。
(s/join "/"
  (s/part "api:worker:8080" ":" 2)
  (s/part "api:worker:8080" ":" 3))
;; => "worker/8080"

分割結果をリストにせず、一度だけ分割して複数の部分を使うにはどうしたらいいか。そこで考えたのが s/with（s/ は文字列処理を表す接頭辞）です。

分割した値を一時的なレコードにする

s/with は、値を分割し、その結果を $1、$2、…で参照しながら BODY の式を評価します。その式の結果が、s/with の返り値になります。

s/with は、if と同じく特殊形式として扱っています。通常の関数のように引数をすべて先に評価すると、BODY の $1 は元の入力行の1列目を指してしまいます。分割する値と区切り文字を先に評価し、BODY だけを分割後のフィールドで評価するために、この形にしました。

$ echo 'api:worker:8080' | cho '(s/with $1 ":" (s/join "/" $2 $3))'
worker/8080

書式は (s/with VALUE DELIMITER BODY) です。VALUE が分割する値、DELIMITER が区切り文字列、BODY が分割後の値を使う式です。DELIMITER を省略した (s/with VALUE BODY) では、通常の入力行と同じように空白で分割します。

BODY から見ると、渡した値全体が $0、分割後の各部分が $1 以降、列数が NF です。区切り文字列を指定した場合は、空の部分も残ります。

たとえば、入力行の3列目を : で分割し、2番目の部分を s/upper で大文字にします。

$ echo 'job42 ready api:worker:8080' | cho '(p (s/with $3 ":" (s/upper $2)))'
WORKER

外側では $3 が api:worker:8080 ですが、s/with の BODY では $2 が worker を指します。BODY を抜けると元のレコードのフィールド参照に戻ります。

$ echo 'job42 ready api:worker:8080' | cho '(p (s/with $3 ":" $2) $1)'
worker job42

Lispのletに少し似ていますが、ここではBODYの間だけ$1などの参照先を差し替えています。変数に名前を付けたり、値を代入し直したりする操作はありません。

一つの値の中に別の区切り方が必要なら、s/with を重ねられます。

choにはURLのクエリパラメータを取り出す url/query-get もありますが、対象は絶対URLです。HTTPリクエスト行に現れる /api/users?... のような相対URLには使えないため、ここでは s/with で分割します。

$ echo 'GET /api/users?limit=20&sort=asc' | cho '(s/with $2 "?" (s/with $2 "&" (s/with $1 "=" $2)))'
20

まずURLを ? で分け、クエリを & で分け、先頭の limit=20 を = で分けます。段階ごとに $1 や $2 が指す値も変わります。入れ子が深くなるほど読みづらくなるので、このあたりが s/with で書く限界かもしれません。

一部分だけならもっと短く

区切り文字の前後どちらか一方が欲しいだけなら、s/with より s/before と s/after が簡単です。どちらも最初に現れる区切り文字を使います。

$ echo 'status=active' | cho '(p (s/before $1 "=") (s/after $1 "="))'
status active

複数の部分を組み合わせるなら s/with、前後の片方だけなら s/before か s/after、という使い分けにしています。区切りに正規表現が必要な場合は re/with もあります。

まとめ

s/withを作ったことで、リストを導入せずに、分割した複数の値を扱えるようになりました。

もともとある$1や$2を、文字列の分割にも使えたのが、設計を考えていて面白かったところです。

awkをLispで書きたかったのでテキスト処理ツール『cho』を作った

2026-09-20T00:00:00+00:00

cho というコマンドラインツールを作っています。 choはawkを参考にした小さなテキスト処理ツールです。標準入力を1行ずつ読み込み、行の絞り込みや列の取り出し、加工をS式で記述できます。

awkの列を手軽に扱えるところが好きですが、いつも書き方を忘れてしまいます。 EmacsやClojureが好きなので、awkもLispで書けたらなぁと思って作り始めました。

choでは、日時やIPアドレスなど、文字列の比較だけでは書きにくい絞り込みもできます。たとえば、日時とIPアドレスが並ぶログから、2026年8月1日以降で、IPアドレスが10.0.0.0/8に含まれる行を取り出してみます。

$ cat events.log
2026-08-02T09:00:00Z 10.1.2.3 deploy
2026-07-31T23:00:00Z 10.2.3.4 old
2026-08-03T12:00:00Z 8.8.8.8 external

$ cat events.log | cho '(f (dt/>= $1 "2026-08-01T00:00:00Z")) (f (cidr/contains? "10.0.0.0/8" $2)) (p $1 $2 $3)'
2026-08-02T09:00:00Z 10.1.2.3 deploy

cho の特徴

1. awkのように手軽に列を取り出せる

「Lispでテキスト処理をする」だけであれば、SchemeやBabashkaを使うほうがよいと思います。しかし、1行ずつ読み込んで、列に分割して値を取り出すところまで書くとちょっと面倒です。 choはawkのように入力をデフォルトで空白区切りに分割し、各列を $1、$2 で参照できるようにします。列数の NF、レコード番号の NR、レコード全体の $0 も使えます。

たとえば、サービス名、応答時間（ミリ秒）、リクエストのパスが並ぶログを処理してみます。 2列目を数値として比較し、応答時間が20ミリ秒を超えた行のサービス名とパスを出力します。

$ cat timings.log
api 18 /health
api 150 /users
api 240 /orders
worker 180 /jobs

$ cat timings.log | cho '(f (> $2 20)) (p $1 $3)'
api /users
api /orders
worker /jobs

f は filter の短縮形で、条件を満たしたレコードだけを通します。p は print の短縮形で、指定した値を出力します。

CSVやTSVにも対応しています。CSVモード（--csv）では、引用符で囲まれたフィールド内のカンマや改行も扱えます。 Tokyo, Japanもひとつのフィールドとして扱えます。

$ cat people.csv
name,city
Alice,"Tokyo, Japan"
Bob,Osaka

$ cat people.csv | cho --csv --skip-header '(p (s/join " -> " $1 $2))'
Alice -> Tokyo, Japan
Bob -> Osaka

2. 処理をS式で書ける

choでは、関数の呼び出しを (関数名引数...) の形で書きます。

(filter (> $2 20))
(print $1 (s/upper $3))

awkでいう awk '$2 > 20 {print $1, toupper($3)}' に相当します。

3. 集計やソートは既存コマンドと組み合わせる

choはスクリプトを書くほどではない処理を、ワンライナーで簡単に書けるようにするために作っています。そのため、配列、ループ、ユーザー定義関数、代入、BEGIN / END ブロックは用意していません。こうした機能が必要になる処理には、awkやスクリプト言語を使うほうがよいと思っています。

出現頻度のカウントやソートなどは、素直に sort や uniq などの既存コマンドにお任せする方針にしています。

先ほどの timings.log で、応答時間が100ミリ秒を超えた行のサービス名を取り出し、sort | uniq -c で数えます。

$ cat timings.log | cho '(f (> $2 100)) (p $1)' | sort | uniq -c
      2 api
      1 worker

4. 日時やIPアドレスなどを、型に応じて比較・加工できる

ワンライナーでも、日時やIPアドレス、URL、単位付きのファイルサイズを扱いたくなることがあります。

日時の比較ではタイムゾーンを考慮する必要がありますし、IPアドレスがCIDRで指定したネットワークに含まれるかは、文字列の比較だけでは判定できません。

choでは、各フィールドを文字列として読み込み、関数が求める型に応じて自動的に変換します。使う側で型を指定しなくても、次のような処理を書けます。

日付や日時を比較し、日数の加算や日時の差分を計算する（d/>=、d/add、dt/diff）
MB や MiB などの単位が付いたサイズを比較し、バイト数に変換する（bs/>=、bs/to-b）
IPv4・IPv6アドレスを正規化し、CIDRで指定したネットワークに含まれるかを判定する（ip、cidr/contains?）
URLからホスト名やパスを取り出す（url/host、url/path）

このほか、SemVerの比較やUUID・ULIDの生成にも対応しています。

たとえば、1列目がIPアドレス、5列目がURLのログなら、次のようにネットワークで絞り込み、IPアドレスとURLのパスを出力できます。

$ cat access.log
192.168.1.10 2026-08-02T09:00:00Z GET 200 https://example.com/api/users
8.8.8.8 2026-08-02T09:01:00Z GET 200 https://example.com/health
192.168.1.20 2026-08-02T09:02:00Z GET 404 https://example.com/missing

$ cat access.log | cho '(f (cidr/contains? "192.168.0.0/16" $1)) (p $1 (url/path $5))'
192.168.1.10 /api/users
192.168.1.20 /missing

この例では、cidr/contains? に渡す $1 はIPアドレスとして、url/path に渡す $5 はURLとして解釈されます。

型変換に失敗した場合はその時点でエラー終了します。不正な値を黙って読み飛ばし、ログの形式が崩れていることを見落とすのを防ぐためです。

たとえば、URLとして解釈できない文字列を url/path に渡すと、どのレコードのどの引数で失敗したかが表示されます。

$ echo 'not-a-url' | cho '(p (url/path $1))'
cho: record 1: url/path: argument 1 expects Url (absolute URL), but "not-a-url" is not a valid absolute URL

この場合、終了コードは 1 になります。エラー時に代わりの値を使って処理を続けたいなら、default で指定します。

$ echo 'not-a-url' | cho '(p (default (url/path $1) "INVALID_URL"))'
INVALID_URL

5. helpとaproposで、調べながら式を組み立てられる

ワンライナーを書いている途中で、関数名や引数の順番を調べるためにブラウザを開くのは面倒です。

関数を検索する--aproposと、詳しい使い方を表示する--helpを用意しました。

関数名には、文字列を扱う s/（String）、日付を扱う d/（Date）、日時を扱う dt/（DateTime）などの接頭辞を付けています。s/upper は文字列の大文字化、dt/>= は日時の比較、といった具合です。IPアドレスには ip/、CIDRには cidr/ が付くので、関数を探すときの手がかりにもなります。

「CIDRに関する関数は何があったか」「文字列のトリムはどうやるか」といった場合、-k（または --apropos）で関連する関数の一覧と概要を検索できます。

以下は出力の抜粋です。

$ cho -k cidr
...
cidr             create a CIDR normalized to its network address
cidr/from-mask   create a CIDR from an IP address and netmask
cidr/netmask     return the network mask
...
cidr/contains?   test CIDR membership
cidr/network     return the network address
cidr/prefix      return the prefix length
...

使いたい関数が見つかったら、cho --help <関数名> でその関数の型シグネチャと実行可能なサンプルコードを確認できます。

$ cho --help cidr/contains?
cidr/contains? — test CIDR membership

Signatures:
  (cidr/contains? CIDR IPADDR) -> BOOLEAN

Examples:
  echo 10.20.30.40 | cho '(cidr/contains? "10.0.0.0/8" $1)'  # => true

このサンプルのように、値を返す式を1つだけ書いた場合は、p を付けなくても結果が自動的に出力されます。

インストール

インストールにはRustの開発環境（Cargo）が必要です。 choはまだ試行錯誤中なので、構文や動作が変わる可能性があります。

$ cargo install --git https://github.com/k0f1sh/cho.git

k0f1sh/cho (GitHub)

まとめ

最初はawkっぽい自作Lispからスタートしましたが、awkとはまた違った便利なツールになったのではないかと思っています。

ちなみに、choという名前は「兆」から来ています。(awkが「億」っぽいので)

Hello World

2026-09-18T00:00:00+00:00

日々の知見や気になったことを、少しずつ書き留めていく予定です。