Hatena::Groupugochara

Harimauの編集記録等

2013-03-21

途中経過

| 23:43

ダウンロードソフトの途中経過。

f:id:harimau_tigris:20130321231953p:image

いろいろと無駄なことをしていたのでやっとここら辺。

ダウンロード処理をまだ書かなきゃいけない。

はてなサーバーに負荷をかけないように、接続数制限を設けてキューに貯めたのを順に処理していく形をとるからめんどい。

ちなみに、なんとなく英語圏の人でも使えるようにしたいなーと思って、英語多め。

同じことしようとしてる人のためにメモ。

・メモ一覧が何ページにわたっているかを取得するには

http://ugomemo.hatena.ne.jp/09E74FE04CD7E6A9@DSi/movies?only=body

が軽い。ほかでもいいけど、ここから正規表現で抜くのが早いかと。

・実際のメモ取得

http://ugomemo.hatena.ne.jp/09E74FE04CD7E6A9@DSi/movies.json

を使う。?page=で取得するページを指定可能。上の方法で総ページ数を取得しておき、このAPIで順に抜いていく。

*注意。star_countあたりはなぜか文字列で指定されている。数値なのに、ひどい。

それならまだしも、なんと、10%ぐらいの確率で「文字列ではなく数値になっている」あまりにもひどい。確率は高めなのでデバッグですぐわかると思うが、注意。ほんとにひどい。

あと、日時もUNIX時間で取り出せる。なかなか優れたAPIなのに。ほんとなぜランダムで数値と文字と変わるし。

なお、作品IDからPPMファイルやサムネイルファイルのURIを求める方法は前にどっかに書いたのでググってください。

そして、ダウンロードする際にはぜひ同時接続数を制限してください。

よくわからない場合は、とにかく2つ以上同時ダウンロードをさせない。マナーとして。

・チャンネルの場合は

ugomemo.hatena.ne.jp/ch/11538503087302303586.json

みたいな感じ。

情報は作者のと同じだが、最大で999件も送り付けてくる、悪質なAPI。むちゃくちゃダウンロードが遅い。30秒とか余裕でかかる。

page=でページ数も指定できるけど、例えばうごキャラクラブの場合は5ページもほしい。同時接続が1本だと3分ぐらいかかる。

なお、localなんかも指定可能だと思われる。海外の作品も含む場合は忘れぬよう注意。

dorafujicodorafujico2013/03/22 13:12おおおおお~!
リリースが楽しみです!

dotmaito3dotmaito32013/03/22 16:39開発中のこのソフトは
削除されたメモもダウンロードできますか?
僕の師匠で、うごメモをやめた「アキ}」さんのメモを
ダウンロードしてみたいとかなり前から考えていたので。

harimau_tigrisharimau_tigris2013/03/22 17:48id:dotmaito3さん
動画ページのURLがわかればダウンロードできるのですが、それがわからないと困難です。

SukaiSukai2013/03/23 19:17期待のソフトの開発状況!使いやすそうですね!

bakanahitobakanahito2013/04/07 18:34同じことしようとしたら遥かに上の人がやってた…
star_countの数字・文字列が面倒ですね。
作者のメモ一覧のJSONでは数字と文字列が混ざってますが、
チャンネルのメモ一覧では全部数字なようです。

harimau_tigrisharimau_tigris2013/04/09 21:09id:bakanahitoさん
どうやら、最近の変更でいい感じになったみたいです!!