DNB_Titelanalyse_MARC_Tutorial_Teil2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# DNBLab Jupyter Notebook Tutorial "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Titelanalyse Teil 2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "In diesem Tutorial-Teil nutzen wir nun die vorher geschriebene Funktion, um bestimmte bibliographischen Informationen aus der MARC21-XML-Datei in ein Pandas Dataframe, oder alternativ eine Excel-Tabelle, zu überführen. Da wir später auch noch andere Fragestellungen mit Hilfe von Python an die Daten stellen möchten, legen wir das Dataframe zunächst für alle in der XML-Datei enthaltenen bibliographischen Einträge an.   \n",
    "\n",
    "Zunächst importieren wir hierfür einen Teil unseres Codes aus dem vorherigen Tutorial: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gesamtzahl bibliographischer Einträge:  2828\n"
     ]
    }
   ],
   "source": [
    "# Laden benötigter Python-Bibliotheken:\n",
    "import xml.etree.ElementTree as ET\n",
    "import pandas as pd\n",
    "\n",
    "# Laden der MARC21-XML-Datei:\n",
    "tree = ET.parse('dataset_tutorial_eco.xml')  # Laden der MARC-Datei in ElementTree \n",
    "root = tree.getroot()                             # Laden des Root-Verzeichnisses des XML\n",
    "\n",
    "records = list(root)\n",
    "total_records = len(records)  \n",
    "\n",
    "\n",
    "# Ausgabe der Gesamtzahl der in der Datei vorhandenen Records:\n",
    "print(\"Gesamtzahl bibliographischer Einträge: \",total_records)\n",
    "\n",
    "\n",
    "# Funktion get_subfield_text:\n",
    "def get_subfield_text(element, tag, subfield):\n",
    "    if element.attrib['tag'] == tag:\n",
    "            for subelement in element:\n",
    "                if subelement.attrib['code'] == subfield:\n",
    "                    return subelement.text\n",
    "    return None\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Im folgenden überlegen wir, welche bibliographischen Angaben wir der Datei entnehmen wollen. Um im Sinne des Auffindes von Literatur alle wichtigen Angaben zu erhalten, brauchen wir Angaben zur Urheberschaft (Autor\\*in etc.), Titel, Verlag, Verlagsort und Erscheinungsdatum. Wir arbeiten zwar bereits mit Daten, die sich auf Publikationen aus der Sachgruppe \"Wirtschaft\" beschränken, lassen uns zu Kontroll- und Übungszwecken aber auch diese mit ausgeben. Auch die DNB-eigene Identifiktationsnummer des Datensatzes werden wir zur besseren Überprüfbarkeit der Ergebnisse extrahieren. \n",
    "\n",
    "Die Liste der von uns gesuchten Daten sieht also folgendermaßen aus: \n",
    "\n",
    "* ID der DNB\n",
    "* DNB-Sachgruppe\n",
    "* Autor*in bzw. Herausgeber*in / Creator\n",
    "* Titel / Title\n",
    "* Verlag / Publisher\n",
    "* Verlagsort / Place of publication\n",
    "* Datum der Veröffentlichung / Date of publication\n",
    "\n",
    "\n",
    "Um die Daten zu erhalten, schreiben wir uns eine Routine, die diese Angaben aus der XML-Datei holt und in ein Dataframe ablegt. Dafür legen wir die verschiedenen Elemente zunächst in für diese vorgesehene Listen ab und führen die Listen danach zu einem Dataframe zusammen. Die verschiedenen Angaben bzw. Elemente fragen wir dabei in der Reihenfolge ab, in der sie auch in der XML-Datei liegen: \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Elemente in ID-Collection: 2828\n",
      "Elemente in DDC-Collection: 2828\n",
      "Elemente in Author-Collection: 2828\n",
      "Elemente in Titel-Collection: 2828\n",
      "Elemente in Publikationsjahr-Collection: 2828\n",
      "Elemente in Ort-Collection: 2828\n",
      "Elemente in Verlag-Collection: 2828\n"
     ]
    }
   ],
   "source": [
    "#Anlegen der zu befüllenden Listen: \n",
    "idcoll = []\n",
    "ddccoll = []\n",
    "authorcoll = []\n",
    "titlecoll = []\n",
    "placecoll = []\n",
    "publishercoll = []\n",
    "pubyear = []\n",
    "interimlist = []     #Diese Liste wird nur zum Zwischenspeichern verwendet\n",
    "\n",
    "\n",
    "for record in records:  \n",
    "        \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}controlfield[@tag='001']\"):   \n",
    "        ident = child.text\n",
    "        idcoll.append(ident)\n",
    "       \n",
    "    #Suche und Übernahme der Sachgruppe/DDC: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='082']\"):\n",
    "        for subelement in child:\n",
    "            if subelement.attrib['code'] == \"a\":\n",
    "                interimlist = []\n",
    "                ddc = subelement.text\n",
    "                interimlist.append(ddc)\n",
    "            else:\n",
    "                interimlist.append(\"Nicht vorhanden!\")\n",
    "                \n",
    "    #Erstelle Liste mit jeweils nur dem ersten Element aus der jeweils vorangegangenen Interimsliste der Sachgruppen: \n",
    "    ddccoll.append(interimlist[0]) \n",
    "    \n",
    "    \n",
    "    #Suche und Übernahme von Autor*innen bzw. Herausgeber*innen: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='100']\"):\n",
    "        interimlist2 = []\n",
    "        for subelement in child:\n",
    "            if subelement.attrib['code'] == \"a\":\n",
    "                mainauthor = subelement.text\n",
    "                interimlist2.append(mainauthor)                \n",
    "            elif not child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='100']\"):  \n",
    "                for child in record.find(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='700']\"): #finde erstes Kindelement \"700\"\n",
    "                    for subelement in child:\n",
    "                        if subelement.attrib['code'] == \"a\":\n",
    "                            alternate = subelement.text\n",
    "                            interimlist2.append(alternate)\n",
    "                        else:\n",
    "                            interimlist2.append(\"missing\")\n",
    "             \n",
    "    authorcoll.append(interimlist2[0])\n",
    "  \n",
    "    #Suche und Übernahme des Titels: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield\"):             \n",
    "        title = get_subfield_text(child, \"245\", \"a\") \n",
    "        if title:\n",
    "            titlecoll.append(title)\n",
    "        \n",
    "            \n",
    "    \n",
    "    #Suche und Übernahme des Publikationsjahres: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):   \n",
    "        interimlist3 = []\n",
    "        for subelement in child:\n",
    "            if subelement.attrib['code'] == \"c\":\n",
    "                rdapub = subelement.text\n",
    "                interimlist3.append(rdapub)                \n",
    "            elif not child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):  \n",
    "                for child in record.find(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='260']\"): #finde erstes Kindelement \"260\"\n",
    "                    for subelement in child:\n",
    "                        if subelement.attrib['code'] == \"c\":\n",
    "                            oldpub = subelement.text\n",
    "                            interimlist3.append(oldpub)\n",
    "                        else:\n",
    "                            interimlist3.append(\"Nicht vorhanden\")\n",
    "             \n",
    "    pubyear.append(interimlist3[0])\n",
    "\n",
    "    \n",
    "    #Suche und Übernahme des Publikationsortes: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):\n",
    "        for subelement in child:\n",
    "            if subelement.attrib['code'] == \"a\":\n",
    "                interimlist = []\n",
    "                place = subelement.text\n",
    "                interimlist.append(place)\n",
    "            else:\n",
    "                interimlist.append(\"Nicht vorhanden!\")\n",
    "                 \n",
    "    placecoll.append(interimlist[0]) \n",
    "    \n",
    "    \n",
    "    #Suche und Übernahme des Verlages: \n",
    "    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):\n",
    "        for subelement in child:\n",
    "            if subelement.attrib['code'] == \"b\":\n",
    "                interimlist = []\n",
    "                publisher = subelement.text\n",
    "                interimlist.append(publisher)\n",
    "            else:\n",
    "                interimlist.append(\"Nicht vorhanden!\")\n",
    "                \n",
    "    publishercoll.append(interimlist[0]) \n",
    "\n",
    "    \n",
    "#Anzeige der Anzahl der verschiedenen Elemente in den jeweiligen Listen:             \n",
    "print(\"Elemente in ID-Collection:\", len(idcoll))    \n",
    "print(\"Elemente in DDC-Collection:\", len(ddccoll))  \n",
    "print(\"Elemente in Author-Collection:\", len(authorcoll))\n",
    "print(\"Elemente in Titel-Collection:\", len(titlecoll))\n",
    "print(\"Elemente in Publikationsjahr-Collection:\", len(pubyear))\n",
    "print(\"Elemente in Ort-Collection:\", len(placecoll))\n",
    "print(\"Elemente in Verlag-Collection:\", len(publishercoll))\n",
    "              "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wir können hier überprüfen, dass wir in jeder Unterliste die selbe Anzahl an Einträgen vorfinden - diese sollte auch mit der Gesamtzahl an gefundenen bibliographischen Einträgen übereinstimmen. Ist dies der Fall, können wir die Listen im nächsten Schritt zu einer Tabelle zusammenführen und anschließend in ein Dataframe überführen: \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Identifikator</th>\n",
       "      <th>Autor*in</th>\n",
       "      <th>Titel</th>\n",
       "      <th>Ort</th>\n",
       "      <th>Verlag</th>\n",
       "      <th>Jahr</th>\n",
       "      <th>Sachgruppe/DDC</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1043718966</td>\n",
       "      <td>Juarez Hernandez, Maria Isabel</td>\n",
       "      <td>A cross-cultural study of motivational factors...</td>\n",
       "      <td>Göttingen</td>\n",
       "      <td>Niedersächsische Staats- und Universitätsbib...</td>\n",
       "      <td>2010</td>\n",
       "      <td>650</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1019902175</td>\n",
       "      <td>Blaskowitz, Oliver Jim</td>\n",
       "      <td>A forecast evaluation of PCA-based adaptive ...</td>\n",
       "      <td>Kiel</td>\n",
       "      <td>Universitätsbibliothek Kiel</td>\n",
       "      <td>2010</td>\n",
       "      <td>330</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1012057232</td>\n",
       "      <td>March, Christoph</td>\n",
       "      <td>A new perspective on social learning</td>\n",
       "      <td>330</td>\n",
       "      <td>330</td>\n",
       "      <td>2010</td>\n",
       "      <td>330</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1009567691</td>\n",
       "      <td>Nubbemeyer, Elmar</td>\n",
       "      <td>A reconsideration of full-cost pricing</td>\n",
       "      <td>338.521</td>\n",
       "      <td>338.521</td>\n",
       "      <td>2010</td>\n",
       "      <td>338.521</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1045290823</td>\n",
       "      <td>Plambeck, Hauke Heinrich Friedrich</td>\n",
       "      <td>A study on the impact of mobile telecommunicat...</td>\n",
       "      <td>Frankfurt am Main</td>\n",
       "      <td>Univ.-Bibliothek Frankfurt am Main</td>\n",
       "      <td>2010</td>\n",
       "      <td>330</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  Identifikator                            Autor*in  \\\n",
       "0    1043718966      Juarez Hernandez, Maria Isabel   \n",
       "1    1019902175              Blaskowitz, Oliver Jim   \n",
       "2    1012057232                    March, Christoph   \n",
       "3    1009567691                   Nubbemeyer, Elmar   \n",
       "4    1045290823  Plambeck, Hauke Heinrich Friedrich   \n",
       "\n",
       "                                               Titel                Ort  \\\n",
       "0  A cross-cultural study of motivational factors...         Göttingen   \n",
       "1  A forecast evaluation of PCA-based adaptive ...               Kiel   \n",
       "2             A new perspective on social learning                330   \n",
       "3           A reconsideration of full-cost pricing            338.521   \n",
       "4  A study on the impact of mobile telecommunicat...  Frankfurt am Main   \n",
       "\n",
       "                                              Verlag  Jahr Sachgruppe/DDC  \n",
       "0  Niedersächsische Staats- und Universitätsbib...  2010            650  \n",
       "1                       Universitätsbibliothek Kiel  2010            330  \n",
       "2                                                330  2010            330  \n",
       "3                                            338.521  2010        338.521  \n",
       "4                 Univ.-Bibliothek Frankfurt am Main  2010            330  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#Zusammenführen der Ergebnisse in eine Tabelle: \n",
    "result = {'Identifikator' : idcoll, 'Autor*in' : authorcoll, 'Titel' : titlecoll, 'Ort' : placecoll, 'Verlag' : publishercoll, 'Jahr' : pubyear, 'Sachgruppe/DDC' : ddccoll}\n",
    "\n",
    "#Erstellen eines Dataframes aus den Ergebnissen: \n",
    "df = pd.DataFrame(result)\n",
    "#print(result)\n",
    "\n",
    "#Gibt die ersten 5 Zeilen des Dataframes aus (zur Kontrolle):\n",
    "df.head() \n",
    "\n",
    "#df.to_csv(\"AlleTitel.csv\", index=False) \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wir können uns auch die Gesamtlänge des Dataframes folgendermaßen anzeigen lassen: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gesamtzahl an Einträgen: 2828\n"
     ]
    }
   ],
   "source": [
    "rows_dataframe = df[df.columns[0]].count()\n",
    "print(\"Gesamtzahl an Einträgen:\", rows_dataframe)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Da wir uns vorher bereits die Anzahl der jeweiligen Elemente pro Variable haben anzeigen lassen, ist das Ergebnis in diesem Fall wenig überraschend und dient vor allem dem Abgleich.\n",
    "\n",
    "Mit diesem Dataframe können wir nun auf verschiedenste Arten weiterarbeiten - weitere Tutorials folgen! "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}