michael.wiedau.com » Java

Google AJAX API mit Java

michael — Wed, 03 Sep 2008 10:47:58 +0000

Möchte man die Möglichkeiten einer Internetsuche mit Google aus Java heraus benutzen können, so ist das zunächst recht schwer möglich, da Google keine Webservices anbietet, die diesen Zugriff ermöglichen. Google besitzt aber eine Schnittstelle um es Anwendungen des Web 2.0 zu ermöglichen, einen AJAX-Zugriff ihre Suchmaschine zu ermöglichen. Diese AJAX-Schnittstelle kann genutzt werden um über einen HTTP-Request die Suchmaschine mit Java aufzurufen.

Hierzu muss ein Google-API Key besorgt werden, welcher nach erfolgreicher Anmeldung kostenlos sein dürfte. Folgender Sourcecode erledigt diese Aufgabe

import java.io.*;
import java.net.*;
import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;

public class GoogleAJAXSearchAPI {
	private static String URLHEADER = "\"unescapedUrl\":\"";

	private static String TITLEHEADER = "\"titleNoFormatting\":\"";

	private static String APIKEY = "--your own key here --";

    private static String ENDPOINTURL = "http://www.google.com/uds/GwebSearch?"+
    "callback=GwebSearch.Raw" +
    "Completion&amp;context=0&amp;lstkp=0&amp;rsz=large&amp;hl=en&amp;" +
    "sig=8656f49c146c5220e273d16b4b6978b2";

	public List search(String searchstring) {
		SearchResultList results = new SearchResultList();
		URLConnection uc;
		HttpURLConnection connection = null;
		InputStream inputStream = null;
		StringBuffer output = new StringBuffer();
		String endpoint = null;

		try {
			searchstring = searchstring.replace(" ", "+");

			endpoint = ENDPOINTURL + "&amp;q=" + searchstring + "&amp;key=" + APIKEY
					+ "&amp;v=1.0";
			uc = new URL(endpoint).openConnection();
			connection = (HttpURLConnection) uc;
			connection.setDoOutput(true);
			connection.setRequestMethod("GET");
			connection.connect();
			String line;
			inputStream = connection.getInputStream();
			BufferedReader rd = new BufferedReader(new InputStreamReader(
					inputStream));
			while ((line = rd.readLine()) != null) {
				output.append(line);
			}
			inputStream.close();
//			System.out.println(endpoint);
			return processResult(output.toString());
		} catch (Exception e1) {
			System.err.println("Error while searching Google:");
			e1.printStackTrace();
		}
		return results;
	}

	private List processResult(String resultset) {
		List searchResults = new ArrayList();
		StringTokenizer stringTokenizer = new StringTokenizer(resultset, ",{");
		String next;

		String url = null;
		String title = null;

		while (stringTokenizer.hasMoreTokens()) {
			next = stringTokenizer.nextToken();
			if (next.startsWith(URLHEADER))
				url = next.substring(URLHEADER.length(), next.length() - 1);
			else if (next.startsWith(TITLEHEADER))
				title = next.substring(TITLEHEADER.length(), next.length() - 1);

			if (url != null &amp;&amp; title != null) {
				searchResults.add(new GoogleResult(title, url));
				url = null;
				title = null;
			}
		}
		return searchResults;
	}

	public static void main(String[] args) throws Exception {

		String search = "sin maastricht";
		GoogleAJAXSearchAPI googleAPI = new GoogleAJAXSearchAPI();
		List results = googleAPI.search(search);
		System.out.println("Results for search for "+search);
		for(GoogleResult result : results) {
			System.out.println(result);
		}
	}
}

Es wird auch die kleine Klasse GoogleResult benötigt, die ein solches Result abspeichert:


public class GoogleResult {
    private String url, title;

    public GoogleResult (String title, String url)
    {
        setTitle(title);
        this.url = url;
    }

    private void setTitle (String title)
    {
        this.title = title;
    }

    public String getTitle () {
    	return title;
    }

    public String getUrlString() {
        return url;
    }

    @Override
    public String toString() {
        return (title + "\t" + url);
    }

    public boolean equals (GoogleResult r)
    {
        if (r.getUrlString().equals(url))
            return true;
        return false;
    }

}

Live-Zugriff auf WordNet

michael — Tue, 02 Sep 2008 17:00:12 +0000

An der Princeton-University wurde seit 1985 ein Computerprogramm entwickelt, welches den Wortschatz der englischen Sprache möglichst komplett abbilden soll. Dieser Wort-Korpus umfasst neben den Wörtern selbst auch die inhaltlichen Zusammenhänge zwischen den Wörtern. Um diesen Korpus zu testen, bietet die Princeton-University eine Website an, unter der man Anfragen an diese Datenbank stellen kann. Möchte man nun aus JAVA heraus auf diese Informationen zugreifen, so geht das einerseits durch den kompletten Download der Datenbank und der lokalen Installation auf dem eigenen Computer oder aber durch folgende Java-Klasse:


import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLEncoder;
import java.util.List;
import java.util.Vector;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class WordNetLiveRequest {

	private String requestURL =
		"http://wordnet.princeton.edu/perl/webwn";

	private boolean debugging = false;

	public WordNetLiveRequest() {
	}

	public Vector findMatchingWords(String word, boolean blowup) {
		Vector words = filterWebsite(getWebsite(word));
		if (blowup) {
			words = blowup(words);
		}
		return words;
	}

	private Vector filterWebsite(String website) {
		website = website.replaceAll("\\<.*?\\>", "");
		Pattern pattern = Pattern.compile("S:\\s\\([vn]\\)([a-z\\s,]*)\\(.*");
		Matcher matcher = pattern.matcher(website);
		Vector otherWords = new Vector();
		while (matcher.find()) {
			if (debugging) {
				System.out.println(matcher.group(0));
				System.out.println(" -->" + matcher.group(1));
			}
			String[] matches = matcher.group(1).split(",");
			for (int i = 0; i < matches.length; i++) {
				String word = matches[i].trim();
				if (!otherWords.contains(word)) {
					otherWords.add(word);
				}
			}
		}
		return otherWords;
	}

	private String getWebsite(String searchTerm) {
		String completeText = "";
		try {
			String data = URLEncoder.encode("s", "UTF-8") + "="
					+ URLEncoder.encode(searchTerm, "UTF-8");
			// data += "&amp;amp;amp;" + URLEncoder.encode("key2", "UTF-8") + "=" +
			// URLEncoder.encode("value2", "UTF-8");

			// Send data
			URL url = new URL(requestURL);
			URLConnection conn = url.openConnection();
			conn.setDoOutput(true);
			OutputStreamWriter wr = new OutputStreamWriter(conn
					.getOutputStream());
			wr.write(data);
			wr.flush();

			// Get the response
			BufferedReader rd = new BufferedReader(new InputStreamReader(conn
					.getInputStream()));
			String line;
			while ((line = rd.readLine()) != null) {
				completeText += line + "\n";
			}
			wr.close();
			rd.close();
		} catch (Exception e) {
			System.out.println("Error getting Website:");
			e.printStackTrace();
		}
		return completeText;
	}

	private Vector blowup(Vector wordlist) {
		Vector newList = new Vector();
		for (String word : wordlist) {
			if (!newList.contains(word))
				newList.add(word);
			Vector tmpList = findMatchingWords(word, false);
			for (String word2 : tmpList) {
				if (!newList.contains(word2))
					newList.add(word2);
			}
		}
		return newList;
	}

	public static void main(String[] args) {
		String word = "food";
		WordNetLiveRequest wn = new WordNetLiveRequest();
		List words = wn.findMatchingWords(word, true);
		System.out.println("Words related to '" + word + "': " + words);
	}

}

Ein Programmaufruf wie in der o.a. Main-Routine gibt mit dem Schlüsselwort “food” gibt folgende Ausgabe:

Words related to ‘food’: [food, nutrient, solid food, food for thought, intellectual nourishment]

Java HashMap durchlaufen

michael — Tue, 02 Sep 2008 12:43:38 +0000

Java bietet mit seiner Klasse java.util.HashMap eine sehr schöne Implementierung einer assiziativen Speichermöglichkeit. Um die Elemente in einer HashMap zu durchlaufen bietet sich folgender Code an:

for ( Map.Entry<String, String> e : h.entrySet() )
System.out.println( e.getKey() + "="+ e.getValue() );