突発的にpythonでスクレイピングする記事を書きたいと思います。

内容も同じことを目指したいと思います。

セットアップ～ブログ記入完了まで1時間30分しかありませんが始めます。

まずこれを書いているマシンがセットアップしたてのためまっさらな環境です

まずpythonのインストールからはじめました。

　http://www.python.org/download/

3.0系が出て時間がたちましたが、

GAEなどをはじめとしていまだに2.0系でないと対応できないものも多く

ここでは2.7.1を利用します。

Winではexeからインストールを行い、

環境変数PATHにインストールしたディレクトリを追加しました。

次にあると便利なeasy_installを入れておきます。

今回ただスクレイピングするだけなら必要ありませんが

せっかくですし便利なので入れておきましょう。

　http://peak.telecommunity.com/dist/ez_setup.py

インストールの仕方はほかのサイトなどで詳しく解説されていますのでそちらも参照お願いします。

上のリンクからpythonファイルをダウンロードし、

　> python ez_setup.py

と実行してやることでインストール完了です。

Winなので”C:\Python27\Scripts”のようにSriptsディレクトリをPATHに追加してください。

easy_installが入ったのでこれを利用してBeautiful Soupをインストールします。

　> easy_install beautifulsoup

これだけで完了です。簡単ですね、素敵ですね。

easy_installを入れた甲斐がありました。

さてここまで出ようやく準備が整いましたので本題に入ります。

まずBeautiful Soupを使うためにimportします。

　>>> from BeautifulSoup import BeautifulSoup

urllib2も利用しますのでこちらもインポートします。

　>>> import urllib2

さてそれではスクレイピングをはじめます。

まずスクレイピングするURLの指定とBeautifulSoupへの読み込みを行います。

　>>> url = “http://www.kdl.co.jp/“

　>>> srcHtml = urllib2.urlopen(url).read()

　>>> soup = BeautifulSoup(html)

これで下ごしらえは完了です。

変数soupにhtmlソースがいい感じに溶け込みました。

さてこのスープからタグ<a>を抜き出してみます。

もっとも単純に抜き出す方法は

　>>> soup(“a”)

とすることです。

画面上にずらずらと<a>~</a>の部分が表示されたと思います。

改行くらい・・・という場合は

　>>> for a in soup(“a”):
　   …   print a

のようにpythonの一般的な処理を行います。

タグは必要ないよ、大切なのは中身だよ、という場合には

　>>> for a in soup(“a”):
　   …   print a.contents

を試してみてください。

さて先ほどの

　>>> soup(“a”)

は変数soupを使うと

　>>> soup.findAll(“a”)

とも書けます。

findAllは第二引数以下にタグ内の要素を指定できます。

「ヘッダータブのaタグのみ抜き出し」ということは

divタグの要素id=”globalNav”がほしいということですので

　>>> soup.findAll(“div”, id=”globalNav”)

とすることで取得できます。

このままではdivタグ全体が取れてきますので

　>>> for divs in soup.findAll(“div”, id=”globalNav”):
　  …    divs.findAll(“a”)

とすることで目的の<a>~</a>のみが取り出せましたね。

最終的に

>>> for divs in soup.findAll(“div”, id=”globalNav”):
   …   for aaa in divs.findAll(“a”):
   …     for a in aaa.contents:
   …       print a
   …
ホーム
ソリューション
事例紹介
会社概要
CSRへの取組み
採用情報

と中身だけ取り出すことができました。

（最後強引過ぎですかね・・・。先輩のpython使いに指導されそうです。。）

—–

from BeautifulSoup import BeautifulSoup

import urllib2

url = “http://www.kdl.co.jp/“

srcHtml = urllib2.urlopen(url).read()

soup = BeautifulSoup(html)

for divs in soup.findAll(“div”, id=”globalNav”):
    for aaa in divs.findAll(“a”):
        for a in aaa.contents:

            print a
—–

yum install poppler poppler-utils poppler-devel

==================================================================================================================================================================================================================

 Package                                           Arch                                     Version                                                  Repository                                              Size

==================================================================================================================================================================================================================

Installing:

 poppler                                           i386                                     0.5.4-4.4.el5_5.14                                       rhel-i386-server-5                                     3.0 M

 poppler-devel                                     i386                                     0.5.4-4.4.el5_5.14                                       rhel-i386-server-5                                     592 k

 poppler-utils                                     i386                                     0.5.4-4.4.el5_5.14                                       rhel-i386-server-5                                      73 k

Transaction Summary

==================================================================================================================================================================================================================

Install       3 Package(s)

Upgrade       0 Package(s)

Total download size: 3.7 M

無事インストールが完了したらpdftotextコマンドが使えるようになっているはずです。

ここまで来たらあとは簡単。

pdftotextでテキスト化したいPDFを選択するだけです。

今回は弊社のプレスリリースから「セルフオーダー用タブレットPCアプリを発表しました。」をテキスト化してみましょう。

と、その前にPDFの情報を見てみましょう。

pdftotext -enc UTF-8 -layout -nopgbrk -q ‘/tmp/press_20110316.pdf’ /tmp/hoge.txt

cat /tmp/hoge.txt

ruby 1.8.5 (2006-08-25) [i386-linux]

ruby-gem 1.3.5

nokogiri 1.4.4

$KCODE = “UTF8″

require ‘rubygems’

require ‘nokogiri’

require ‘open-uri’

page = open(“http://www.kdl.co.jp/”)

html = Nokogiri::HTML(page.read, nil, ‘UTF-8′)

html_a = html.search(‘//a’)

html_a.each_with_index do |a, i|

  puts a

end

ご覧のとおり、<a>~</a>の部分が抜き出せました。

次はもう少し難しくして、ヘッダータブのaタグのみ抜き出してみたいと思います。

<div id=”globalNav”><!–globalNav start –>

<ul>

<li id=”home”><a class=”active” href=”index.html”>ホーム</a></li>

<li id=”kdlsolution”><a href=”webproduce/index.html”>ソリューション</a></li>

<li id=”kdlworks”><a href=”works/index.html”>事例紹介</a></li>

<li id=”company”><a href=”company/index.html”>会社概要</a></li>

<li id=”csr”><a href=”csr/index.html”>CSRへの取組み</a></li>

<li id=”recuruit”><a href=”recruit/index.html”>採用情報</a></li>

</ul>

</div>

$KCODE = “UTF8″

require ‘rubygems’

require ‘nokogiri’

require ‘open-uri’

page = open(“http://www.kdl.co.jp/”)

html = Nokogiri::HTML(page.read, nil, ‘UTF-8′)

html_a = html.search(‘//div[@id="globalNav"]//a’)

html_a.each_with_index do |a, i|

  puts a

end

——————————————————————————–

毎年夏に有給をとって１週間旅に出るというのをここ数年やっています。

去年は「青森・北海道」、一昨年は「北陸」を1週間かけて回ってきました。

で、移動手段は主に車を使い、１回の旅行で1,000～2,000kmぐらい走るんですが、

土地勘のない場所で”安い”ガソリンスタンドを探すは毎回苦労していました。

これまではホテルの無線LANを利用し、gogo.gsというサイトで

周辺の安いスタンドを探すという手段を取っていましたが、

せっかくスマートフォンを手に入れたので、アプリはないかと探してみましたが、

当時androidアプリはなく、「無いのなら自分で作ってやろう」ということで

アプリの作成に取り掛かりました。

～　実際に使ってみて　～

　旅先で何回か使ってみてたところ、投稿が多い地域では結構使えるかも

という印象を持ちました。

ただ、地方に行くほど投稿件数が少なく、検索してもほとんどヒットしないケースも・・・

——————————————————————————–

（※以下は必ずテスト環境かバックアップをとった上でお試しください※）
ところでユーザーを作成した場合、
ユーザのアカウント（パスワードなど）情報は
/etc/passwdへ書きこまれて保存されています。
  $ cat /etc/passwd
していただくと中身が確認できますね。
ずらずらっとユーザの情報が表示されると思います。

もしかすると表示された内容を見て
「あれ？パスワードはどこ？」という方がいらっしゃるかもしれません。
そうです、passwdファイルに書きこまれたパスワードは
伏字(x)に置き換えられています。
passwdファイルは誰でも見ることができるため、
ここにパスワードを暗号化せず保存してしまうとバレバレだからですね。

今度は/etc/shadowを見てみましょう。
  $ cat /etc/shadow

どうですか？
もし一般ユーザなど権限のないユーザの場合
「cat: /etc/shadow: Permission denied」と表示されたはずです。
試しにrootユーザでもう一度実行すると内容が表示されます。

つまりpasswdファイルは
shadowファイルにハッシュ化されて保存されていますので
他の人にはバレないような仕組みになっています。
passwdファイルからshadowを作るためにはpwconvコマンドを使います。

さて最初の話に戻りますね。
まれにですが上のpasswdとshadowがうまく噛み合わず、
パスワード変更時にうまく変更できずエラーが発生する場合があります。
それが「Authentication token manipulation error」なんです。

検索するとよく出てくる対処法は
  $ pwconv
を再実行してpasswdとshadowをもう一度付きあわせてやる方法です。
たいていこれでうまくいくと思います。

しかし今回はこれでもうまくいきませんでした。
pwconvすら効かないほどに機嫌が悪かったようです。

いろいろ悩みましたがshadowファイルをpasswdに戻して
    # passwdファイルにパスワードが書かれた状態に一度戻して
もう一回pwconvしてみる作戦を試しました。

まずpwconvの逆のコマンドpwunconvを実行します。
権限ユーザの必要がありましたのでrootになりました。
  $ su
  # pwunconv
確認すると/etc/shadowがなくなり、/etc/passwdに「x」ではなく
ハッシュ化されたパスワードが書かれています。
さてもう一shadow化するので
  # pwconv
としました。
passwdを確認するときちんとパスワードは「x」に置き換えられていて
shadowも作成されていました。

ようやくパスワード変更が試せます。
  $ passwd
  New password:
と新しいパスワードを聞かれたのでうまくいったみたいですね。

passwdとshadowの整合性を取り直してもだめなときは
shadowを一度捨ててもう一度つくり直してみてください

パスワード変更時に起きるトラブルへの対策でした。

# wget http://www.python.org/ftp/python/2.7/Python-2.7.tgz
# tar zxvf Python-2.7.tgz
# cd Python-2.7/
# ./configure
# make
# /usr/sbin/checkinstall –fstrans=no
# rpm -Uvh /usr/src/redhat/RPMS/i386/Python-2.7-1.i386.rpm

node.jsとMySQLで割と普通のデータベースウェブアプリを作ってみるチュートリアル

  <uses-permission android:name=”android.permission.INTERNET” />

  <uses-permission android:name=”android.permission.ACCESS_NETWORK_STATE” />

import jp.pinetail.android.sample.analytics.R.id;

import com.google.android.apps.analytics.GoogleAnalyticsTracker;

import android.app.Activity;

import android.content.pm.PackageManager;

import android.content.pm.PackageManager.NameNotFoundException;

import android.os.Build;

import android.os.Bundle;

import android.util.Log;

import android.widget.TextView;

public class MainActivity extends Activity {

    

    GoogleAnalyticsTracker tracker;

    

    /** Called when the activity is first created. */

    @Override

    public void onCreate(Bundle savedInstanceState) {

        super.onCreate(savedInstanceState);

        setContentView(R.layout.main);

        

        // ① インスタンスの作成

        tracker = GoogleAnalyticsTracker.getInstance();

        // ② トラッキングの開始

        // 20秒間隔でトラッキングデータを送信する

        tracker.start(“UA-xxxxxxx-x”, 20, this);

        // ③ トラッキング（ページビュー）

        tracker.trackPageView(“/MainActivity”);

                

        Button btn = (Button) findViewById(R.id.Button01);

        btn.setOnClickListener(new OnClickListener() {

            public void onClick(View arg0) {

                // ③ トラッキング（イベント）

                tracker.trackEvent(“Category”, // Category

                        ”Action”,              // Action

                        ”Label”,               // Label

                        0);                    // Value

            }

        });

    }

    @Override  

    protected void onDestroy() {

        super.onDestroy();

        // ④ トラッキングの停止

        tracker.stop();

    }

}

かねてよりご好評をいただいております、
「オープンソース研究室」ブログ事務局からのお知らせです。

KDLの精鋭が最先端のオープンソースに関する情報をお届けする
当ブログですが、12月22日付でリニューアルいたしました！

リニューアルにあたり、執筆メンバーも心機一転。
KDLの若きエース達がそれぞれの得意分野を生かし、
皆様へオープンソースに関することや、SEの心情なども織り交ぜた
さまざまな最新情報をお届けします。

では、以下にメンバーを紹介します！

■■■■■　大柳晋也　■■■■■

CentOS5.2

g++4.1

ruby1.8.5

 yum install bzip2-devel

 wget http://1978th.net/tokyocabinet/tokyocabinet-1.4.44.tar.gz

 tar zxvf tokyocabinet-1.4.44.tar.gz

 cd tokyocabinet-1.4.44

 ./configure

 make

 make install

 wget http://downloads.sourceforge.net/project/msgpack/msgpack/cpp/msgpack-0.5.0.tar.gz

 tar zxvf msgpack-0.5.0.tar.gz

 cd msgpack-0.5.0

 ./configure

 ./configure CFLAGS=”-march=i686″ CXXFLAGS=”-march=i686″

 make

 make install

 gem install msgpack

 wget http://github.com/downloads/etolabo/kumofs/kumofs-0.4.2.tar.gz

 tar zxvf kumofs-0.4.2.tar.gz

 cd kumofs-0.4.2

 ./configure

 ./configure CFLAGS=”-march=i686″ CXXFLAGS=”-march=i686″

 yum install openssl-devel

 ./configure CFLAGS=”-march=i686″ CXXFLAGS=”-march=i686″

 make

 make install

kumo-manager -v

export LD_LIBRARY_PATH=/usr/local/lib

kumo-manager -v -l localhost

無事起動できました。

次にserverを起動。

kumo-server -v -l localhost:19802 -m localhost -s /var/kumodv.tch

kumoctl localhost status