BigQuery使って困ったこと

BigQueryのメリットやデメリットは巷で溢れている情報なので、個々では割愛

個人的に困ったのは下記のエラー

Resources exceeded during query execution. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors

今回の場合、 主な原因としては、

1.  クエリでorder句を利用しており、検索結果の量もあいまって、リソースを大量消費したこと
2.  クエリで外部結合をしており、検索結果が大量に存在したこと

であった。

回避策として、order句や外部結合を使用せずに、検索結果を内部メモリに保存して、モジュールのロジックにてグローピング、ソートを行った

これが世に言う富豪プログラミング です。
早く中間テーブルを使った対策を取らねば