Hatena::Groupugochara

Harimauの編集記録等

2013-03-21

途中経過

| 23:43

ダウンロードソフトの途中経過。

f:id:harimau_tigris:20130321231953p:image

いろいろと無駄なことをしていたのでやっとここら辺。

ダウンロード処理をまだ書かなきゃいけない。

はてなサーバーに負荷をかけないように、接続数制限を設けてキューに貯めたのを順に処理していく形をとるからめんどい。

ちなみに、なんとなく英語圏の人でも使えるようにしたいなーと思って、英語多め。

同じことしようとしてる人のためにメモ。

・メモ一覧が何ページにわたっているかを取得するには

http://ugomemo.hatena.ne.jp/09E74FE04CD7E6A9@DSi/movies?only=body

が軽い。ほかでもいいけど、ここから正規表現で抜くのが早いかと。

・実際のメモ取得

http://ugomemo.hatena.ne.jp/09E74FE04CD7E6A9@DSi/movies.json

を使う。?page=で取得するページを指定可能。上の方法で総ページ数を取得しておき、このAPIで順に抜いていく。

*注意。star_countあたりはなぜか文字列で指定されている。数値なのに、ひどい。

それならまだしも、なんと、10%ぐらいの確率で「文字列ではなく数値になっている」あまりにもひどい。確率は高めなのでデバッグですぐわかると思うが、注意。ほんとにひどい。

あと、日時もUNIX時間で取り出せる。なかなか優れたAPIなのに。ほんとなぜランダムで数値と文字と変わるし。

なお、作品IDからPPMファイルやサムネイルファイルのURIを求める方法は前にどっかに書いたのでググってください。

そして、ダウンロードする際にはぜひ同時接続数を制限してください。

よくわからない場合は、とにかく2つ以上同時ダウンロードをさせない。マナーとして。

・チャンネルの場合は

ugomemo.hatena.ne.jp/ch/11538503087302303586.json

みたいな感じ。

情報は作者のと同じだが、最大で999件も送り付けてくる、悪質なAPI。むちゃくちゃダウンロードが遅い。30秒とか余裕でかかる。

page=でページ数も指定できるけど、例えばうごキャラクラブの場合は5ページもほしい。同時接続が1本だと3分ぐらいかかる。

なお、localなんかも指定可能だと思われる。海外の作品も含む場合は忘れぬよう注意。

dorafujicodorafujico2013/03/22 13:12おおおおお~!
リリースが楽しみです!

dotmaito3dotmaito32013/03/22 16:39開発中のこのソフトは
削除されたメモもダウンロードできますか?
僕の師匠で、うごメモをやめた「アキ}」さんのメモを
ダウンロードしてみたいとかなり前から考えていたので。

harimau_tigrisharimau_tigris2013/03/22 17:48id:dotmaito3さん
動画ページのURLがわかればダウンロードできるのですが、それがわからないと困難です。

SukaiSukai2013/03/23 19:17期待のソフトの開発状況!使いやすそうですね!

bakanahitobakanahito2013/04/07 18:34同じことしようとしたら遥かに上の人がやってた…
star_countの数字・文字列が面倒ですね。
作者のメモ一覧のJSONでは数字と文字列が混ざってますが、
チャンネルのメモ一覧では全部数字なようです。

harimau_tigrisharimau_tigris2013/04/09 21:09id:bakanahitoさん
どうやら、最近の変更でいい感じになったみたいです!!

2013-03-14

3DS うごメモ

22:10

さて、3DS版のうごメモが発表されました。

まだ詳細がわかりませんが、どうやらうごメモはてなから作品がダウンロードできなくなるようです。

ということで、現在作者やチャンネルのメモデータをすべてダウンロードするソフトを適当に作成中です。そのうちたぶん公開します。

全部ダウンロードしようと考えている人は3月いっぱいぐらいまで待っててみてください。(計画倒れの可能性ありですが。)

どうなる、PPMWatch

ちょっと前にPPMWatchをオープンソースにしましたが、色やレイヤーが増えるので、どう考えてもフォーマットが変わって使えなくなります。

色の同時使用数が2から6になるということは、完全に変わる可能性が非常に高いと予想します。残念なことに私は3DSを持っていないので、完全に変わっていたら海外 or ほかの人の解析を待つか、そのまま終了となります。

さて、ここからもっと技術的なお話。

6色同時使用ということは、色なしを含めて7色を識別できる必要があります。

そのためには、1pxごとに2進法で3桁=3bit必要です。今までのうごメモは、1pxごと1bitでした。さらにレイヤーも3枚になったので、単純計算で今までより4.5倍の容量を食うようになります。

このままではいけないので、何らかの方法で圧縮を試みることになると思います。

DSi版のうごメモの圧縮は簡易的なもので、DSiの処理能力が低さから来ていると想像しています。ということは、処理能力の上がった3DSではもっと複雑な圧縮アルゴリズムが適用される可能性もあります。そうなるとなおさら解析は難航することでしょう。


なんか、eショップにはサンプルがあるらしいですが、それはもううごメモ形式なんですかね?プロキシ通せば簡単にPCに落とせそうだから、だれか落としてくれないだろうか。(でも、手順が複雑だよなぁ)

takuyarei0takuyarei02013/03/14 22:16>eショップにはサンプルがあるらしいですが、それはもううごメモ形式なんですかね?
残念ながら動画ファイルですorz(3Dなのは3Dだが)

ex_orex_or2013/03/15 00:52はじめまして。

動画サンプルを見た限りでは、色は背景色込みで6色でした。(白黒赤青緑黄?)
そのうち1レイヤで1コマに使えるのは背景色+2色、といったところと推察されました。
3レイヤで色を分ければ、6色(背景色込み)同時出力可、みたいな。

いずれにせよ、現行ppmの圧縮アルゴリズムが1レイヤ背景色+1色という前提ありきのものである以上、アルゴリズムは間違いなく変わっていることでしょう。

Dark-matterDark-matter2013/03/15 14:39robot.txtが無視出来る検索ロボットがあれば…3DS版も落としたりできるんだが。
うごメモ for PCとか出来ないかな?

harimau_tigrisharimau_tigris2013/03/15 15:58>id:takuyarei0さん
そうですか、残念です・・・
>id:ex_orさん
ブランコのメモなんか見ると、白ありそうな気がします。
今までだと背景色と同じ色は利用価値がなかったですが、今度は3Dなので価値がでてきそうです。
圧縮アルゴリズムが簡単だといいんですが・・・
>id:Dark-matterさん
ぜひともDLしたいところです。

takuyarei0takuyarei02013/03/15 18:18>今までだと背景色と同じ色は利用価値がなかったですが、今度は3Dなので価値がでてきそうです。
方眼紙の背景ができたようなので、なおさらです。

SukaiSukai2013/03/15 22:30メモデータをすべてダウンロードするソフトを開発ですか!
スゴイですね!たくさんのユーザーが喜びそうです!

なるほど。うごメモ3Dでは従来の4.5倍の容量のメモになることが予想されるんですね。
音質も向上していればもっと大きくなりそうですね!