BigQuery使って困ったこと

BigQueryのメリットやデメリットは巷で溢れている情報なので、個々では割愛

個人的に困ったのは下記のエラー

Resources exceeded during query execution. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors

今回の場合、 主な原因としては、

1.  クエリでorder句を利用しており、検索結果の量もあいまって、リソースを大量消費したこと
2.  クエリで外部結合をしており、検索結果が大量に存在したこと

であった。

回避策として、order句や外部結合を使用せずに、検索結果を内部メモリに保存して、モジュールのロジックにてグローピング、ソートを行った

これが世に言う富豪プログラミング です。
早く中間テーブルを使った対策を取らねば
 

Python使って仕事してるので、pypiデビューしてみた。
アップしたのはファイル操作のライブラリとクラウドサービスのライブラリ。
このリンクからGitHubもたどれるので、何かあったらプルリクください。
関数仕様もそこに書いてます。
これからも更新していく予定。

地味にマルチバイトが関わるCSVの処理とか、クラウドサービスのPythonからの操作って
メンドくさい事が多い。特に2系。boto3も使ってみたかったし。

BigQueryやCloudStorage、EC2やS3の操作がだいぶ楽になるはず。。。

2015/10/10に

PyCon JP 2015に行ってプレゼンしてきた。
名前は『なぜWeb画面自動テストはうまく行かないのか』です
PyconなのにPythonの話ぜんぜんしてないけど、思いのほか反応よかったので、たぶん成功といえると思われる。
ついでに資料はここ

ブラウザテスト環境提供サービスの比較

世の中には便利なものがあって、最近はSeleniumでブラウザを起動するための環境を
手前で用意する必要は無い。
ネットワークの関係か、日本から動作させるといかんせん遅いような気もするが、
それでも十分なサービスが次の３つ。
各メリット、デメリットつきで記述する。

1.  CrossBrowserTesting
この３つのサービスのうち、一番安定して動作している気がする。ただし、起動できるブラウザの種類が少なく(Androidデフォルトブラウザのテストができない！)、ChromeやFireFoxの最新版も導入されるスピードが遅い。UIもシンプルだが低機能。ほかの２つと違って、テストのステータスを取得するAPIも存在しない。
2.  BrowserStack
最新ブラウザに 対応し、直感的でわかりやすいUI、APIを伴っている。チュートリアルもわかりやすい。ただしIPhoneやAndroidの動作がいかんせん不安定。

3.  SauceLabs
全てにおいて及第点。 

 

お勧めはSauceLabs。もちろん現時点ではの話。

requestsでurlに同一キーの複数パラメータを付与する方法

pythonのrequestsモジュールはこういうめんどくさい人たちに比べてかなり使い勝手がいい。
でもでも、urlのパラメータをdictで指定する(参考)ため、同一キーのパラメータは指定不可能
だと思っていた。

で、もやもやしている日曜の早朝に、

＼　 __　 ／
＿ （ｍ）　＿　　ﾋﾟｺｰﾝ
　　 |ミ|
／　｀´　 ＼
　 ( ﾟ∀ﾟ)
　ノヽノ |
　　<　<
ってなって、実際に試してみたら、出来たので、共有がてら。

結論から言うと、配列で渡せばいい。

例)
    query = {
        'hoge': 'hoge1',
        'huga': ['huga1','huga2']
        'fuge': True
    }
    r = requests.get('http://testhost/test.json', params=query)
    orint r.url
    >>u'http://testhost/test.json?hoge=hoge1&huga=huga1&huga=huga2&fuge=True


こんな感じ。
今あるソース全部書き換えたい。。。

Pycharmが素敵すぎる件

Pycharmからnoseを使った単体テストを実行できるので、
日本語の情報がなかったので、備忘録として。

File→setting→tools→Python Integrated Tools→{対象プロジェクト}→Default test runner

ちなみにここからrequirements.txtの場所も指定できる。

また、他のプロジェクトのソースを参照したい場合は

File→setting→project→project Dependencies

から指定出来る

Pythonとスレッド

モジュールの速度改善を行うために、Pythonで行うthread処理について調べることになった。

どうやらJavaみたいにクラスを分割だけではなく、メソッド単位でスレッドかできるらしい。

同時に複数スレッドからlistにpushしたりpopしたりするものも、独自に作成する必要は無く、
いい感じにロックをかけてくれるものもあるらしい。

シンプルなものになるとこんな感じ。

Pythonって便利。