gawkを使ってデータの必要部分を取り出す

gawk -f scriptget.awk FLG=1 list.txt FLG=0 pg.txt>get.txt

FLGが「1」の間は「list.txt」を読み込み、読み込みが終わるとFLGが「0」になります。

BEGIN{
   FS="t";
   OFS="t";
}
FLG==1{
   ss=substr($0,17);
   ss=ss+0;
   ss=ss "00.pg1";
   data[++cc]=ss;
   next;
}
{
   for(i=1;i<=cc;i++){
      if($1==data[i])
         print $0;
   }
}

初回に一回だけ実行するための記述です。

FS="t";

OFS="t";

は、入力ファイルも出力ファイルもセパレータを「タブ」にするという宣言です。

FLGが「1」の間、コマンドラインのように「list.txt」を読み込みます。

ss=substr($0,17);

ss=ss+0;

ss=ss "00.pg1";

data[++cc]=ss;

next;

1行目は、読み込んだデータの17バイト目から後ろを取り出して変数「ss」に代入します。

「substr」は、本来なら「17バイト目から何バイト」というふうに指定しますが、文字列の最後までなら3番目の引数は省略可能です。

ss=ss+0;

は頭に「0」がついている数字列もあるので、「0」を足すふりをして変数「ss」を数値化することで頭のゼロを消しています。

その直後に、「00.pg1」というような文字列を足しているので、変数「ss」はここで再度、文字列になります。

それを「data」という配列に格納しています。

next；

で、次の行を読み込みに行きます。

for(i=1;i<=cc;i++){

if($1==data[i])

print $0;

}

「cc」は「list.txt」のレコード数なので、その数だけループを回しながら対象テキストファイル「pg.txt」の第1列目の値との整合を見、整合していたら出力しています。

「print $0」とするときは、BEGINで「OFS="￥t"」を宣言しておかないとセパレータが半角スペースになってしまいます。

これを「支店」ごととか、「商品」ごととか、あるいは「支店＋商品」のように分散したテキストにしておけば、全体で1億や10億件程度なら、数分で集計できると思います。

考えなければならないのは、ユーザーインターフェースですね。「ビッグデータ」が新しい時代の幕開けのようなことを言っていましたが、アマゾンやグーグルを今更乗り越えることができるとは思えません。

「AI」も似たような騒がれ方をしていますが、今更北米に対抗できそうな気もしません。

しかし、凡庸なワタシの身の回りには究極なことばかりで埋め尽くされているわけでもないので、あまりトレンドに振り回されることは無用と思っていますが、そんなわけでトレンドからの乖離が大きくなっている気がします。

いまから、手作業しなければならないでの、今回はここで終わり。