ラベル スクレイピング の投稿を表示しています。 すべての投稿を表示
ラベル スクレイピング の投稿を表示しています。 すべての投稿を表示

2015年11月2日月曜日

スプレッドシートで株価管理するための google apps script 向け株式情報取得ライブラリ

はじめに


自分が株価取得用に作ったgoogle apps scriptのスクリプトをライブラリ化したので紹介します。
これを定期実行の関数から呼び出して、株価の管理をしています。

できること

  • 株式が存在するか
  • 現在の株価の取得
  • 社名の取得
  • 単元株式の取得
  • 予想配当の取得
==> サイトにある情報ならmatch使って拡張すれば良いので今後は出来高なども取れるようにする予定

github


https://github.com/uenoryoichi/googleAppsScript/blob/master/getStockData/GetStockData.gas

使い方

  1. ライブラリを読み込む
  2. codeを引数に渡してfactoryでオブジェクトを作成してください

技術的なこと -- プロトタイピングでの記述 --

jsでちょっとしたライブラリつくる時に使われているプロトタイプを使う機会が無かったので今回のライブラリ化に際して使ってみました。

良かった面

  • 共通で使う初期値などを予めsetして、それに沿ったオブジェクトを返してくれるので、単純に関数群としてのライブラリと異なり、分離した時に引数の受け渡しを都度都度しなくて良くなった。
  • 特にurlFetch部分の呼び出しがオブジェクト生成時のみになったので、かなり高速化して、GASの起動時間による制限でできなかったことができるようになった。
  • ライブラリ内のメソッドを継承したり追加したりできるので特殊な対応が必要な時にも柔軟に対応できる

まだまだな点

yahoo依存で頑張ってmatch関数によってデータを取得しているので、まだ不完全

  • 上場廃止のものはページが存在しているので取得できてしまう
  • 取得できるものがまだ限られている
  • 今まで作ってきた他のスクリプトとの相性上、今回は一つ一つの値を返すようにしたが、連想配列を一括で返すほうが、ライブラリとしては良いのではないかと作ってて思った

2015年9月30日水曜日

CSVダウンロード => googleドライブ保存を定期化する際に気をつけること


こちらの記事の続報です。
CSVをダウンロードしてGoogle Drive に保存する処理をGoogle Apps Script で作ってみた

google apps script は定期的な実行を簡単に行うことができます。

前回作ったスクリプトも毎日実行しておけば自動的にcsvが特定のフォルダに保存されて、データ収集が自動化できます。ここでいくつか失敗したことがあったので、その対処として入れた処理を紹介します。



同じファイルがあったら処理を終わらせる。

ソースコード

  var folderId = '1234567890';
  var file = DriveApp.getFolderById(folderId).getFilesByName(date + '.csv');
  if (file.hasNext()) return;

ileIterator::hasNext()

getFilesByNameがFileIteratorクラスで値を返してきます。
hasNext()でファイルがあれば、既にダウンロード済みなので処理は終了させてます。


CSVが存在しなくてリダイレクトされちゃったら処理を終わらせる

ソースコード


  if(response.getBlob().getContentType()=='text/html') return;

2015年9月28日月曜日

CSVをダウンロードしてGoogle Drive に保存する処理をGoogle Apps Script で作ってみた

googleドライブに貯めておきたいデータをダウンロードするのに、google apps script(GAS)使うと親和性高いから楽かも!と思い作成しました。

今回は株価のCSVを提供しているサイトからCSVをダウンロードしてそのままドライブに保存するまでです。

ソースコード


function getCsvSample() { 
  var folderId = '1234567890';
  var destfolder = DriveApp.getFolderById(folderId);
  var date = "2015-09-25";
  var response = UrlFetchApp.fetch("http://k-db.com/?p=all&download=csv&date=" + date);
  destfolder.createFile(date + '.csv', response.getContentText('Shift_JIS'));
}

変数、クラス、関数の説明


folderId

フォルダを特定するIDです。該当フォルダのURLをコピって来てください
https://drive.google.com/drive/**/**/folders/{ココに記述してある文字列}

DriveApp

googleドライブのファイルやフォルダを操作するクラスです。

UrlFetchApp

よく使うやつ、スクレイピングでお世話になっています。外部サイトへアクセスするときに使います。

getContentText()

今回はここで苦労しました。日本語が文字化けしてしまっている場合は保存や操作をする前に文字コード指定しないといけないです