利用者‐会話:Tatsujin28/曖昧さ回避ページの被リンク数

曖昧さ回避ページの被リンク数ページの作り方は、以下の通りです。

作り方

以下のファイルを同一のディレクトリに配置する。

aimai_count.sh - aimai_count.sqlを実行するためのシェルスクリプト。
aimai_count.sql - 曖昧さ回避ページの被リンク数を調べる SQL
import-jawp-dump-page.sh - page、revision、textテーブルを Wikimedia dump service の latest からインポートするシェルスクリプト。
- import-jawp-dump-page.shを実行するのに、xml2sqlが必要なようですが、m:Xml2sqlを使用すればよいでしょうか？--ayucat 2008年10月20日 (月) 14:09 (UTC)[返信]
import-jawp-dump-page.sql - page、revision、textテーブルを切捨てる (TRUNCATE) SQL
import-jawp-dump-misc.sh - categorylinks、pagelinks、redirect、templatelinksなど、リンク情報関係のテーブルを dump service からダウンロードしてインポートするシェルスクリプト。

import-jawp-dump-page.sh、import-jawp-dump-misc.shを順番に実行し、ダンプデータをデータベースに取り込む。aimai_count.shを実行して、曖昧さ回避ページの被リンク数の情報を示すテキストファイルを作成、jawpに投稿。

aimai_count.sh

#!/bin/sh
rm aimai_count.txt
mysql --database=wikipedia < aimai_count.sql > aimai_count.txt

aimai_count.sql

SELECT CONCAT('* [[',page.page_title,']] (', page.page_id ,') - ', page.page_len, 'b ', page_aimai.page_count, '件')
FROM page, 
( select page_to.page_id page_id, count(pagelinks.pl_from) page_count
from pagelinks, 
  page page_to /* リンク先ページ */, 
  page page_from /* リンク元ページ */
where pagelinks.pl_from = page_from.page_id
and pagelinks.pl_namespace = page_to.page_namespace
and pagelinks.pl_title = page_to.page_title
and page_to.page_id IN ( select cl_from page_id from categorylinks where cl_to = '曖昧さ回避' )
group by page_to.page_id ) page_aimai
WHERE page.page_namespace=0
AND page.page_is_redirect=0
AND page.page_id in ( SELECT cl_from FROM categorylinks WHERE cl_to = '曖昧さ回避' )
AND page.page_id = page_aimai.page_id
ORDER BY page_aimai.page_count desc, page.page_id
LIMIT 0, 1000;

import-jawp-dump-page.sh

#!/bin/sh

# ======================================================================
# Wikipedia ダンプデータのインポート（記事）
# ======================================================================

# 不要な（おそらく以前の版のダンプファイル）を除去する
rm jawiki-latest-pages-articles.xml.bz2
rm page.txt
rm revision.txt
rm text.txt

# テーブルを切り捨てる
mysql --database=wikipedia --force < import-jawp-dump-page.sql

# ダンプデータのインポート
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
bunzip2 -c jawiki-latest-pages-articles.xml.bz2 | xml2sql
mysqlimport -u root --password=hehe1919x wikipedia `pwd`/{page,revision,text}.txt

import-jawp-dump-page.sql

truncate table page;
truncate table revision;
truncate table text;

import-jawp-dump-misc.sh

#!/bin/sh

# ======================================================================
# Wikipedia ダンプデータのインポート（リンクなど）
# ======================================================================

# 不要な（おそらく以前の版のダンプファイル）を除去
rm jawiki-latest-categorylinks.sql.gz
rm jawiki-latest-categorylinks.sql
rm jawiki-latest-pagelinks.sql.gz
rm jawiki-latest-pagelinks.sql
rm jawiki-latest-redirect.sql.gz
rm jawiki-latest-redirect.sql
rm jawiki-latest-templatelinks.sql.gz
rm jawiki-latest-templatelinks.sql
rm jawiki-latest-interwiki.sql.gz
rm jawiki-latest-interwiki.sql
rm jawiki-latest-logging.sql.gz
rm jawiki-latest-logging.sql

# categorylinks
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-categorylinks.sql.gz
gzip -d jawiki-latest-categorylinks.sql.gz
mysql --database=wikipedia --force < jawiki-latest-categorylinks.sql

# pagelinks
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-pagelinks.sql.gz
gzip -d jawiki-latest-pagelinks.sql.gz
mysql --database=wikipedia --force < jawiki-latest-pagelinks.sql

# redirect
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-redirect.sql.gz
gzip -d jawiki-latest-redirect.sql.gz
mysql --database=wikipedia --force < jawiki-latest-redirect.sql

# templatelinks
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-templatelinks.sql.gz
gzip -d jawiki-latest-templatelinks.sql.gz
mysql --database=wikipedia --force < jawiki-latest-templatelinks.sql

# interwiki
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-interwiki.sql.gz
gzip -d jawiki-latest-interwiki.sql.gz
mysql --database=wikipedia --force < jawiki-latest-interwiki.sql

# logging
wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-logging.sql.gz
gzip -d jawiki-latest-logging.sql.gz
mysql --database=wikipedia --force < jawiki-latest-logging.sql

作り方

aimai_count.sh

aimai_count.sql

import-jawp-dump-page.sh

import-jawp-dump-page.sql

import-jawp-dump-misc.sh

関連項目