DNB_Titelanalyse_Download_Widgets.ipynb

{"cells":[{"metadata":{},"cell_type":"markdown","source":"# DNBLab Jupyter Notebook Tutorial "},{"metadata":{},"cell_type":"markdown","source":"## Titelanalyse Teil 2"},{"metadata":{},"cell_type":"markdown","source":"In diesem Tutorial-Teil nutzen wir nun die vorher geschriebene Funktion, um bestimmte bibliographischen Informationen aus der MARC21-XML-Datei in ein Pandas Dataframe, oder alternativ eine Excel-Tabelle, zu überführen. Da wir später auch noch andere Fragestellungen mit Hilfe von Python an die Daten stellen möchten, legen wir das Dataframe zunächst für alle in der XML-Datei enthaltenen bibliographischen Einträge an.   \n\nZunächst importieren wir hierfür einen Teil unseres Codes aus dem vorherigen Tutorial: "},{"metadata":{"trusted":true},"cell_type":"code","source":"# Laden benötigter Python-Bibliotheken:\nimport xml.etree.ElementTree as ET\nimport pandas as pd\n\n# Laden der MARC21-XML-Datei:\ntree = ET.parse('dataset_tutorial_eco.xml')  # Laden der MARC-Datei in ElementTree \nroot = tree.getroot()                             # Laden des Root-Verzeichnisses des XML\n\nrecords = list(root)\ntotal_records = len(records)  \n\n\n# Ausgabe der Gesamtzahl der in der Datei vorhandenen Records:\nprint(\"Gesamtzahl bibliographischer Einträge: \",total_records)\n\n\n# Funktion get_subfield_text:\ndef get_subfield_text(element, tag, subfield):\n    if element.attrib['tag'] == tag:\n            for subelement in element:\n                if subelement.attrib['code'] == subfield:\n                    return subelement.text\n    return None\n    ","execution_count":1,"outputs":[{"output_type":"stream","text":"Gesamtzahl bibliographischer Einträge:  2828\n","name":"stdout"}]},{"metadata":{},"cell_type":"markdown","source":"Im folgenden überlegen wir, welche bibliographischen Angaben wir der Datei entnehmen wollen. Um im Sinne des Auffindes von Literatur alle wichtigen Angaben zu erhalten, brauchen wir Angaben zur Urheberschaft (Autor\\*in etc.), Titel, Verlag, Verlagsort und Erscheinungsdatum. Wir arbeiten zwar bereits mit Daten, die sich auf Publikationen aus der Sachgruppe \"Wirtschaft\" beschränken, lassen uns zu Kontroll- und Übungszwecken aber auch diese mit ausgeben. Auch die DNB-eigene Identifiktationsnummer des Datensatzes werden wir zur besseren Überprüfbarkeit der Ergebnisse extrahieren. \n\nDie Liste der von uns gesuchten Daten sieht also folgendermaßen aus: \n\n* ID der DNB\n* DNB-Sachgruppe\n* Autor*in bzw. Herausgeber*in / Creator\n* Titel / Title\n* Verlag / Publisher\n* Verlagsort / Place of publication\n* Datum der Veröffentlichung / Date of publication\n\n\nUm die Daten zu erhalten, schreiben wir uns eine Routine, die diese Angaben aus der XML-Datei holt und in ein Dataframe ablegt. Dafür legen wir die verschiedenen Elemente zunächst in für diese vorgesehene Listen ab und führen die Listen danach zu einem Dataframe zusammen. Die verschiedenen Angaben bzw. Elemente fragen wir dabei in der Reihenfolge ab, in der sie auch in der XML-Datei liegen: \n"},{"metadata":{"trusted":true},"cell_type":"code","source":"#Anlegen der zu befüllenden Listen: \nidcoll = []\nddccoll = []\nauthorcoll = []\ntitlecoll = []\nplacecoll = []\npublishercoll = []\npubyear = []\ninterimlist = []     #Diese Liste wird nur zum Zwischenspeichern verwendet\n\n\nfor record in records:  \n        \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}controlfield[@tag='001']\"):   \n        ident = child.text\n        idcoll.append(ident)\n       \n    #Suche und Übernahme der Sachgruppe/DDC: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='082']\"):\n        for subelement in child:\n            if subelement.attrib['code'] == \"a\":\n                interimlist = []\n                ddc = subelement.text\n                interimlist.append(ddc)\n            else:\n                interimlist.append(\"Nicht vorhanden!\")\n                \n    #Erstelle Liste mit jeweils nur dem ersten Element aus der jeweils vorangegangenen Interimsliste der Sachgruppen: \n    ddccoll.append(interimlist[0]) \n    \n    \n    #Suche und Übernahme von Autor*innen bzw. Herausgeber*innen: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='100']\"):\n        interimlist2 = []\n        for subelement in child:\n            if subelement.attrib['code'] == \"a\":\n                mainauthor = subelement.text\n                interimlist2.append(mainauthor)                \n            elif not child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='100']\"):  \n                for child in record.find(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='700']\"): #finde erstes Kindelement \"700\"\n                    for subelement in child:\n                        if subelement.attrib['code'] == \"a\":\n                            alternate = subelement.text\n                            interimlist2.append(alternate)\n                        else:\n                            interimlist2.append(\"missing\")\n             \n    authorcoll.append(interimlist2[0])\n  \n    #Suche und Übernahme des Titels: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield\"):             \n        title = get_subfield_text(child, \"245\", \"a\") \n        if title:\n            titlecoll.append(title)\n        \n            \n    \n    #Suche und Übernahme des Publikationsjahres: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):   \n        interimlist3 = []\n        for subelement in child:\n            if subelement.attrib['code'] == \"c\":\n                rdapub = subelement.text\n                interimlist3.append(rdapub)                \n            elif not child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):  \n                for child in record.find(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='260']\"): #finde erstes Kindelement \"260\"\n                    for subelement in child:\n                        if subelement.attrib['code'] == \"c\":\n                            oldpub = subelement.text\n                            interimlist3.append(oldpub)\n                        else:\n                            interimlist3.append(\"Nicht vorhanden\")\n             \n    pubyear.append(interimlist3[0])\n\n    \n    #Suche und Übernahme des Publikationsortes: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='264']\"):\n        for subelement in child:\n            if subelement.attrib['code'] == \"a\":\n                interimlist = []\n                place = subelement.text\n                interimlist.append(place)\n            else:\n                interimlist.append(\"Nicht vorhanden!\")\n                 \n    placecoll.append(interimlist[0]) \n    \n    \n    #Suche und Übernahme des Verlages: \n    for child in record.findall(\"{http://www.loc.gov/MARC21/slim}datafield[@tag='856']\"):\n        for subelement in child:\n            if subelement.attrib['code'] == \"u\":\n                interimlist = []\n                publisher = subelement.text\n                interimlist.append(publisher)\n            else:\n                interimlist.append(\"Nicht vorhanden!\")\n                \n    publishercoll.append(interimlist[0]) \n\n    \n#Anzeige der Anzahl der verschiedenen Elemente in den jeweiligen Listen:             \nprint(\"Elemente in ID-Collection:\", len(idcoll))    \nprint(\"Elemente in DDC-Collection:\", len(ddccoll))  \nprint(\"Elemente in Author-Collection:\", len(authorcoll))\nprint(\"Elemente in Titel-Collection:\", len(titlecoll))\nprint(\"Elemente in Publikationsjahr-Collection:\", len(pubyear))\nprint(\"Elemente in Ort-Collection:\", len(placecoll))\nprint(\"Elemente in Verlag-Collection:\", len(publishercoll))\n              ","execution_count":2,"outputs":[{"output_type":"stream","text":"Elemente in ID-Collection: 2828\nElemente in DDC-Collection: 2828\nElemente in Author-Collection: 2828\nElemente in Titel-Collection: 2828\nElemente in Publikationsjahr-Collection: 2828\nElemente in Ort-Collection: 2828\nElemente in Verlag-Collection: 2828\n","name":"stdout"}]},{"metadata":{},"cell_type":"markdown","source":"Wir können hier überprüfen, dass wir in jeder Unterliste die selbe Anzahl an Einträgen vorfinden - diese sollte auch mit der Gesamtzahl an gefundenen bibliographischen Einträgen übereinstimmen. Ist dies der Fall, können wir die Listen im nächsten Schritt zu einer Tabelle zusammenführen und anschließend in ein Dataframe überführen: \n"},{"metadata":{"trusted":true},"cell_type":"code","source":"#Zusammenführen der Ergebnisse in eine Tabelle: \nresult = {'Identifikator' : idcoll, 'Link' : publishercoll, 'Jahr' : pubyear}\n\n#Erstellen eines Dataframes aus den Ergebnissen: \ndf = pd.DataFrame(result)\n#print(result)\n\n#Gibt die ersten 5 Zeilen des Dataframes aus (zur Kontrolle):\ndf.head() \n\n#df.to_csv(\"AlleTitel.csv\", index=False) \n","execution_count":3,"outputs":[{"output_type":"execute_result","execution_count":3,"data":{"text/plain":"  Identifikator                                               Link  Jahr\n0    1043718966                    https://d-nb.info/1043718966/34  2010\n1    1019902175  http://eldiss.uni-kiel.de/macau/receive/disser...  2010\n2    1012057232  http://opus.kobv.de/tuberlin/volltexte/2011/2898/  2010\n3    1009567691              http://edoc.ub.uni-muenchen.de/12313/  2010\n4    1045290823  http://publikationen.ub.uni-frankfurt.de/front...  2010","text/html":"<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>Identifikator</th>\n      <th>Link</th>\n      <th>Jahr</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>1043718966</td>\n      <td>https://d-nb.info/1043718966/34</td>\n      <td>2010</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>1019902175</td>\n      <td>http://eldiss.uni-kiel.de/macau/receive/disser...</td>\n      <td>2010</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>1012057232</td>\n      <td>http://opus.kobv.de/tuberlin/volltexte/2011/2898/</td>\n      <td>2010</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>1009567691</td>\n      <td>http://edoc.ub.uni-muenchen.de/12313/</td>\n      <td>2010</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>1045290823</td>\n      <td>http://publikationen.ub.uni-frankfurt.de/front...</td>\n      <td>2010</td>\n    </tr>\n  </tbody>\n</table>\n</div>"},"metadata":{}}]},{"metadata":{},"cell_type":"markdown","source":"https://www.elab2go.de/demo-py1/jupyter-notebook-widgets.php"},{"metadata":{"trusted":true},"cell_type":"code","source":"from IPython.display import display \nimport ipywidgets as widgets \nfrom ipywidgets import interact, Layout \n    \n# Erstelle ein neues Text-Eingabefeld tb1 und zeige es an. \ntb1 = widgets.Text(value='Text eingeben', description='Text-Widget: ');display(tb1); \n# Erstelle IntSlider-Widget is1 und zeige es an. \nis1 = widgets.IntSlider(value=7,min=0, max=10, step=1, description='IntSlider: ');display(is1); \n# Erstelle Dropdown-Widget dd1 und zeige es an \ndd1 = widgets.Dropdown(options=['A', 'B', 'C'], value='A', description='Dropdown: ');display(dd1); ","execution_count":5,"outputs":[{"output_type":"display_data","data":{"text/plain":"Text(value='Text eingeben', description='Text-Widget: ')","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"65f9bd7675a24da990e79bf7a0c38721"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"IntSlider(value=7, description='IntSlider: ', max=10)","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"369ab5a175fd40098c57e966a16a29db"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Dropdown(description='Dropdown: ', options=('A', 'B', 'C'), value='A')","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"a6f9aebf03b54b44a437bbe6f74f1a60"}},"metadata":{}}]},{"metadata":{"trusted":true},"cell_type":"code","source":"# 3.1 Erstelle zwei Text-Eingabefelder \ntextbox1 = widgets.Text(description='a');display(textbox1); \ntextbox2 = widgets.Text(description='b');display(textbox2); \n# ... einen Button mit benutzerdefiniertem Layout \nbutton = widgets.Button(description='Berechnen!', layout=Layout(width='200px')); \nbutton.style.button_color = 'lightgreen';display(button); \n# ... und ein Text-Ausgabefeld für die Summe \ntextbox3 = widgets.Text(description='Summe');display(textbox3); \n# 3.2 Definiere Eventhandler für den Button \ndef on_button_clicked(sender): \n    a = int(textbox1.value); b = int(textbox2.value); \n    textbox3.value = str(a+b) \n# ... und weise ihn dem on_click-Ereignis zu \nbutton.on_click(on_button_clicked) ","execution_count":6,"outputs":[{"output_type":"display_data","data":{"text/plain":"Text(value='', description='a')","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"020594b236fb4dee919c52c8fec8835d"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Text(value='', description='b')","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"72e3d10728b04460b5a76e4acd40f363"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Button(description='Berechnen!', layout=Layout(width='200px'), style=ButtonStyle(button_color='lightgreen'))","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"8653b398509e436db3d4f86289cb949e"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Text(value='', description='Summe')","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"005502dcd1e84908afc0269afbfa97e3"}},"metadata":{}}]},{"metadata":{"trusted":true},"cell_type":"code","source":"# myfunc2 gibt den eingegebenen Text aus \ndef myfunc2(x):  \n     print('Ihre Eingabe: ' + str(x)) \ninteract(myfunc2, x = 'Text eingeben'); ","execution_count":7,"outputs":[{"output_type":"display_data","data":{"text/plain":"interactive(children=(Text(value='Text eingeben', description='x'), Output()), _dom_classes=('widget-interact'…","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"9cdae70df71c4bf5b1d7c16427d22bd1"}},"metadata":{}}]},{"metadata":{"trusted":false},"cell_type":"code","source":"!wget https://d-nb.info/1026552451/34","execution_count":26,"outputs":[{"output_type":"stream","text":"--2021-07-09 08:25:49--  https://d-nb.info/1026552451/34\nResolving d-nb.info (d-nb.info)... 193.175.100.223\nConnecting to d-nb.info (d-nb.info)|193.175.100.223|:443... connected.\nHTTP request sent, awaiting response... 200 OK\nLength: unspecified [application/zip]\nSaving to: ‘34’\n\n34                      [    <=>             ]   5.89M  6.97MB/s    in 0.8s    \n\n2021-07-09 08:25:51 (6.97 MB/s) - ‘34’ saved [6179255]\n\n","name":"stdout"}]},{"metadata":{"trusted":false},"cell_type":"code","source":"!unzip 34","execution_count":27,"outputs":[{"output_type":"stream","text":"Archive:  34\n  inflating: 06460010.tif            \n  inflating: 06610000.tif            \n  inflating: 1026552451_OCR.xml      \n  inflating: 1026552451_OCR.txt      \n  inflating: 06510015.tif            \n  inflating: 06550019.tif            \n  inflating: 0636000c.tif            \n  inflating: 06540018.tif            \n  inflating: 06500014.tif            \n  inflating: 06620000.tif            \n  inflating: 06570001.tif            \n  inflating: 06470011.tif            \n  inflating: 06440008.tif            \n  inflating: 06580002.tif            \n  inflating: 06560020.tif            \n  inflating: 1026552451.pdf          \n  inflating: 06400004.tif            \n  inflating: 06370001.tif            \n  inflating: 06420006.tif            \n  inflating: 06450009.tif            \n  inflating: 06590003.tif            \n  inflating: 06480012.tif            \n  inflating: 06600004.tif            \n  inflating: 06410005.tif            \n  inflating: 06390003.tif            \n  inflating: 06490013.tif            \n  inflating: 06430007.tif            \n  inflating: 1026552451_METS_old.xml  \n  inflating: 06380002.tif            \n  inflating: 06520016.tif            \n  inflating: 1026552451.xml          \n  inflating: 06530017.tif            \n","name":"stdout"}]},{"metadata":{},"cell_type":"markdown","source":"Wir können uns auch die Gesamtlänge des Dataframes folgendermaßen anzeigen lassen: "},{"metadata":{"trusted":false},"cell_type":"code","source":"rows_dataframe = df[df.columns[0]].count()\nprint(\"Gesamtzahl an Einträgen:\", rows_dataframe)","execution_count":6,"outputs":[{"name":"stdout","output_type":"stream","text":"Gesamtzahl an Einträgen: 2828\n"}]},{"metadata":{},"cell_type":"markdown","source":"Da wir uns vorher bereits die Anzahl der jeweiligen Elemente pro Variable haben anzeigen lassen, ist das Ergebnis in diesem Fall wenig überraschend und dient vor allem dem Abgleich.\n\nMit diesem Dataframe können wir nun auf verschiedenste Arten weiterarbeiten - weitere Tutorials folgen! "},{"metadata":{"trusted":false},"cell_type":"code","source":"input = open ('1026552451_OCR.txt','r')\noutput = open ('Ergebnisse.txt','w')\nx = input.read()\n\ndef neu():\n    i = 0\n    while i < len(x):\n        word = x[i:i+8]\n        if word == 'AMERIKA':\n            string= x[i+9:i+15]\n            print(string)\n        i += 1","execution_count":8,"outputs":[]},{"metadata":{"trusted":false},"cell_type":"code","source":"datei = open('1026552451_OCR.txt','r')\nprint(datei)","execution_count":2,"outputs":[{"name":"stdout","output_type":"stream","text":"<_io.TextIOWrapper name='1026552451_OCR.txt' mode='r' encoding='UTF-8'>\n"}]},{"metadata":{"trusted":false},"cell_type":"code","source":"input = open ('1026552451_OCR.txt','r')\noutput = open ('Ergebnisse.txt','w')\nx = input.read()\nwhitespace = ' '\n\ndef neu():\n    i = 0\n    while i < len(x):\n        word = x[i:i+6]\n        if word == 'LA':\n            string= x[i+8:i+19]\n            print(string)\n            output.write(string)\n            output.write(whitespace)\n        i += 1\n    input.close()\n    output.close()","execution_count":28,"outputs":[]},{"metadata":{"trusted":false},"cell_type":"code","source":"import os\nimport sys\nimport fileinput\n\nprint (\"Text to search for:\")\ntextToSearch = input( \"AMERIKA\" ) \n\nprint (\"Text to replace it with:\")\ntextToReplace = input( \"AMERIKAII\" )\n\nprint (\"File to perform Search-Replace on:\")\nfileToSearch  = input( \"> \" )\n#fileToSearch = 'D:\\dummy1.txt'\n\ntempFile = open( fileToSearch, 'r+' )\n\nfor line in fileinput.input( fileToSearch ):\n    if textToSearch in line :\n        print('Match Found')\n    else:\n        print('Match Not Found!!')\n    tempFile.write( line.replace( textToSearch, textToReplace ) )\ntempFile.close()\n\n\ninput( '\\n\\n Press Enter to exit...' )","execution_count":14,"outputs":[{"output_type":"stream","text":"Text to search for:\n","name":"stdout"},{"output_type":"error","ename":"TypeError","evalue":"'_io.TextIOWrapper' object is not callable","traceback":["\u001b[0;31m---------------------------------------------------------------------------\u001b[0m","\u001b[0;31mTypeError\u001b[0m                                 Traceback (most recent call last)","\u001b[0;32m<ipython-input-14-a5f636e994a8>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0mprint\u001b[0m \u001b[0;34m(\u001b[0m\u001b[0;34m\"Text to search for:\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 6\u001b[0;31m \u001b[0mtextToSearch\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0minput\u001b[0m\u001b[0;34m(\u001b[0m \u001b[0;34m\"AMERIKA\"\u001b[0m \u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      7\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      8\u001b[0m \u001b[0mprint\u001b[0m \u001b[0;34m(\u001b[0m\u001b[0;34m\"Text to replace it with:\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n","\u001b[0;31mTypeError\u001b[0m: '_io.TextIOWrapper' object is not callable"]}]},{"metadata":{"trusted":false},"cell_type":"code","source":"file = open(\"1026552451_OCR.txt\", \"w\")\n\ndef check_string():\n    with open('1026552451_OCR.txt') as temp_f:\n        datafile = temp_f.readlines()\n    for line in datafile:\n        if 'LA' in line:\n            return True # The string is found\n    return False  # The string does not exist in the file\n\nif check_string():\n    print('True')\nelse:\n    print('False')","execution_count":30,"outputs":[{"output_type":"stream","text":"False\n","name":"stdout"}]},{"metadata":{"trusted":false},"cell_type":"code","source":"","execution_count":null,"outputs":[]}],"metadata":{"kernelspec":{"name":"python3","display_name":"Python 3","language":"python"},"language_info":{"name":"python","version":"3.7.10","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"}},"nbformat":4,"nbformat_minor":4}