はてなのブックマーク数順で検索結果を表示する http://www.ark-web.jp/sandbox/wiki/194.html

はてなのブックマーク数順で検索結果を表示する
方法が見当たらなかったので、作りました。

http://okra.ark-web.jp/~konuma/cgi-bin/search.cgi

どうやって使うの？ †

上記のページに検索フォームがあるので、そこで検索します。
すると、はてなでブックマークされている数のランキングが表示されます。
ランキングの対象となるのは、はてなで検索をおこなったときに上位100までに表示されるページのみです。

例えばこんな検索ができます。 †

rubyについて書いてあるページで、最もブックマークされているのはどこ？
http://okra.ark-web.jp/~konuma/cgi-bin/search.cgi?keyword=ruby
www.ark-web.jpにあるページで、最もブックマークされているのはどこ？
http://okra.ark-web.jp/~konuma/cgi-bin/search.cgi?keyword=site%3Awww.ark-web.jp
追記、これはこっちを使ったほうがいいです。
http://b.hatena.ne.jp/entrylist?sort=count&url=http%3A%2F%2Fwww.ark-web.jp

中身どうなってんの？ †

概要 †

rubyです。

はてなの検索結果からスクレイピングしています。
http://www.teamerblog.com/wiki/

志田さんの作った↓を参考にしています。
YouTube検索結果をスクレイピングして勝手API化
- //参考にしているというか、大部分コピーです。。。

詳細 †

このサービスは以下の三つのファイルから成り立ってます

search.cgi -- 表示部分
Hatena/SearchResultScraper.rb -- 検索およびスクレイピングをする部分
Hatena/page.rb -- 検索結果の1ページあたりのデータを保持する部分

そんなに長いコードではないので、全部掲載します。

search.cgi

#!/usr/bin/ruby

require 'cgi'
require 'Hatena/SearchResultScraper'
require 'Hatena/page'
require 'kconv'

#はてなでの検索結果を取得する。
def scrape keyword
  scraper = Hatena::SearchResultScraper.new(Kconv.toutf8(keyword), 10)
  scraper.open
  pages =  scraper.order_by_bookmark_count
end

#検索結果を表示する
def print_pages pages
  pages.each do |page|
   print "<a href="#{page.url}">#{page.title}</a>&nbsp;&nbsp;<strong><a href="http://b.hatena.ne.jp/entry/#{page.url}">#{page.bookmark_count}</a></strong><br>"
  end
end

print "Content-type: text/html\n\n"

cgi = CGI.new
keyword = cgi['keyword']

print <<EOS
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
   "http://www.w3.org/TR/html4/strict.dtd">
<html lang="ja">
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=EUC_JP">
  <title>form</title>
</head>
<body>

<form action="./search.cgi" method="get" charset=UTF-8">
<input name="keyword" value="#{keyword}">
<input type="submit" value="Search">
</form>
EOS

print_pages(scrape(keyword)) unless keyword.empty?

print <<EOS
</body>
</html>
EOS

Hatena/SearchResultScraper.rb

require 'open-uri'
require 'cgi'
require 'rubygems'
require 'hpricot'
require 'Hatena/page'

module Hatena

  class SearchResultScraper

    @@search_base_url = "http://search.hatena.ne.jp/search?ie=utf8&word="

    def initialize keyword, count = 10
      @keyword = keyword
      @count = count
    end

    #URLを開き、検索をおこなう。@countで指定された回数だけ検索結果を読み込む
    def open
      @pages = []
      @count.times do |i|
        page = open_page(i+1)
        break if page.size == 0
        @pages.concat(page)
      end
      @pages
    end

    #ブックマーク件数でソートする。
    def order_by_bookmark_count
      @pages.sort!
      @pages.reverse!
    end

  private

    #page番目の検索結果をスクレイピングする
    def open_page page
      url = @@search_base_url + CGI.escape(@keyword)  + "&page=" + CGI.escape(page.to_s)

      html = Kernel.open(url).read
      replace_document_write_javascript(html)
      scrape(Hpricot.parse(html))
    end

    #検索結果のページをスクレイピングする
    def scrape result
      pages = []

      result.search("div.hatena-search-result-item").each do |page_html|

        page = Hatena::Page.new
        page.title          = scrape_title(page_html)
        page.url            = scrape_url(page_html)
        page.bookmark_count = scrape_bookmark_count(page_html)

        pages << page
      end

      pages
    end

    #邪魔なjavascriptの文字列を置換する
    def replace_document_write_javascript html
      html.gsub!(%r{<script language="javascript" type="text/javascript">.*?document.write\('(.*?)'\).*?</script>}m, '\1')
    end

    #タイトルをスクレイピングする
    def scrape_title page_html
      page_html.search("//h3//a").inner_html
    end

    #URLをスクレイピングする 
    def scrape_url page_html
      page_html.search("//h3").inner_html.sub(/<a href="([^"]+)">.+/, '\1')
    end

    #ブックマーク件数をスクレイピングする
    def scrape_bookmark_count page_html
      page_html.search("//span[@class='users']").inner_html.sub(/(<.+>)?<a.*?>(\d+) users?<\/a>(<\/.+>)?/, '\2')
    end

  end

end

Hatena/page.rb

module Hatena

  class Page
    attr_accessor :url
    attr_accessor :title
    attr_accessor :bookmark_count

    #ブックマーク件数で比較する(ブックマーク件数でソートするときのために)
    def <=> another
      self.bookmark_count.to_i <=> another.bookmark_count.to_i
    end
  end

end

制限事項 †

日本語で検索できません。
- ~~いずれ対応する予定です。~~対応しました。
遅いです。
- はてなの検索画面を10ページ分もスクレイピングしているので。。。
ランキングは正確じゃないかも
- ランキングの対象となるのが「はてなの検索結果の上位100まで」なので、それより下の順位にあるページが無視されています。

コメント †

ブックマーク数のところをリンクにして、はてなブックマークページ（って言うのかな？）へ飛ぶようにしました。 -- 小沼 2007-01-30 (火) 12:14:39

投稿者小沼 | パーマリンク

|

tag: WebAPI,　スクレイピング

Menu

Movable Type用プラグイン Aシリーズ

ECサイト構築 Zen Cartハイエンド

Tag

最新の20件

2017-05-12

RecentDeleted

2014-04-30

JavaScript/クラス名を後から取得する方法

2013-09-16

ドメイン駆動開発/DDD体験ワークショップに参加しました（PHPカンファレンス2013）

2013-02-21

MenuBar

2012-09-04

2012-04-03

Ruby on Rails/rvm+passenger+mod_proxyの設定

2012-02-29

システム勉強会

2012-02-06

FrontPage

2012-01-19

2011-12-19

ネットワーク/socks5経由でsftp

2011-11-13

wakame/wakame-0.5.1 on Ubuntu-server 10.04 LTS Lucid Lynx

2011-08-08

mysql/groonga on Ubuntu-server 10.04 LTS Lucid Lynx

2011-07-07

2011-02-17

JavaScript/jQuery_Cycle_Pluginでメインビジュアルを作っていくチュートリアル

2010-12-02

paypalの決済の種類とビジネスモデルについて聞いてきました

2010-11-04

jQuery Mobileの使い方と挙動のまとめその１

2010-09-16

jQTouchの使い方とclass指定による挙動のまとめ

ARK-Webビジネスブログの最新記事

2014-01-08

Zen Cartのセキュリティー保守・脆弱性パッチ適用などでお困りなら

2014-01-07

コンテンツ・マーケティング：ダイナミックコンテンツ、スマートコンテンツという潮流

2014-01-06

新年あけましておめでとうございます（2014年最初のご挨拶）

2013-12-13

年末年始の休業期間のお知らせ（2013年～2014年）

2013-12-11

Zen Cartハイエンド版のモジュール：social_buttonsによりコンテンツを共有する

2013-11-29

「Zen Cartのカスタマイズ」ページを公開しました

2013-11-28

Zen Cartハイエンド版のモジュール：am_ajax_addressで郵便番号による住所自動入力をサポート

2013-11-26

北米NGO/NPOの７割はコンテンツマーケティングを去年より強化、第一目的はファンドレイジング、Facebookをよく使う（CMIのレポートから）

2013-11-19

Zen Cart1.3.0.2 EUC-JP版とPHP5.4の組み合わせで日本語（マルチバイト文字）が表示されない障害

2013-10-28

【Movable Type】MT6の最新情報と活用ポイント紹介のセミナーに登壇します

2013-10-18

【消費税増税】Zen Cartで消費税を変更するには：1.3.0.2系と1.5.1系の場合

2013-10-15

【脆弱性対応】A-Form 3.7.7 / A-Member 3.7.7 / A-Reserve 3.7.7をリリースしました。

2013-10-11

【重要なお知らせ】MTプラグインA-Form・A-Member・A-Reserveの脆弱性について（2013年10月11日三版）

2013-09-26

Zen Cartハイエンド版のモジュール：product_csvで商品データの一括インポート・一括エクスポートをする

2013-09-24

NGO、NPOや震災被災企業・団体の方へ：弊社MTプラグインがすべて「無償」になりました

Last-modified: 2007-09-19 (水) 12:30:07 (6424d)

アークウェブのサービスやソリューションはこちら

サービス

Zen Cartソリューション

Movable Typeソリューション

その他ソリューション

アークウェブのCSR(企業の社会的責任)

アークウェブのCSR指針