From 80266460fd6ce3207ad15a314ea48c42f747d079 Mon Sep 17 00:00:00 2001 From: Christine Straub Date: Mon, 14 Aug 2023 10:48:57 -0700 Subject: [PATCH] fix: GH issue 1057 etree parser error (csv) (#1112) Addresses #1057 for CSV. Related to PR #1077. * update partition_csv to always use soupparser_fromstring to parse html text --- CHANGELOG.md | 3 ++- .../airtable-diff/app5YQxSfp220fWtm/tblBoUk54tWXGqYai.json | 4 ++-- .../airtable-diff/app5YQxSfp220fWtm/tblxdPc7L2meGIZLE.json | 4 ++-- .../airtable-diff/appJ43QmP8I17zu88/tblbj2vBlL2dN2xqq.json | 4 ++-- .../airtable-diff/appJ43QmP8I17zu88/tblfu7DzEcCWNKwP4.json | 4 ++-- unstructured/__version__.py | 2 +- unstructured/partition/csv.py | 5 +---- 7 files changed, 12 insertions(+), 14 deletions(-) diff --git a/CHANGELOG.md b/CHANGELOG.md index 346a28d962..fe0022adb3 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,7 +1,8 @@ -## 0.9.3-dev2 +## 0.9.3-dev3 ### Enhancements +* Update `partition_csv` to always use `soupparser_fromstring` to parse `html text` * Update `partition_tsv` to always use `soupparser_fromstring` to parse `html text` * Add `metadata.section` to capture epub table of contents data * Add `unique_element_ids` kwarg to partition functions. If `True`, will use a UUID diff --git a/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblBoUk54tWXGqYai.json b/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblBoUk54tWXGqYai.json index 7e62a189c2..6de147a7c7 100644 --- a/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblBoUk54tWXGqYai.json +++ b/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblBoUk54tWXGqYai.json @@ -1,12 +1,12 @@ [ { "type": "Table", - "element_id": "f285f1c2ca37c7d191142f27844a5d50", + "element_id": "828dc985d44c854447aa2c82fcb10b4b", "metadata": { "data_source": {}, "filetype": "text/csv", "text_as_html": "\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
0{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-06T14:00:00.000ZName2# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\nIn progress
1{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-16T14:00:00.000ZName1# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\nTodo
22023-08-26T14:00:00.000ZName3# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n
" }, - "text": "\n \n \n 0\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-06T14:00:00.000Z\n Name2\n # Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\n In progress\n \n \n 1\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-16T14:00:00.000Z\n Name1\n # Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\n Todo\n \n \n 2\n \n \n 2023-08-26T14:00:00.000Z\n Name3\n # Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n \n \n \n" + "text": "\n\n\n0\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-06T14:00:00.000Z\nName2\n# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\nIn progress\n\n\n1\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-16T14:00:00.000Z\nName1\n# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\nTodo\n\n\n2\n\n\n2023-08-26T14:00:00.000Z\nName3\n# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n\n\n\n" } ] \ No newline at end of file diff --git a/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblxdPc7L2meGIZLE.json b/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblxdPc7L2meGIZLE.json index b2f1cc2312..84cc4565a6 100644 --- a/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblxdPc7L2meGIZLE.json +++ b/test_unstructured_ingest/expected-structured-output/airtable-diff/app5YQxSfp220fWtm/tblxdPc7L2meGIZLE.json @@ -1,12 +1,12 @@ [ { "type": "Table", - "element_id": "240fea2032ee9374da8301ad50a3d027", + "element_id": "483c56ee025fc4750a4acb1a0ca9e0c3", "metadata": { "data_source": {}, "filetype": "text/csv", "text_as_html": "\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
02023-08-26T14:00:00.000ZName3# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n
1{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-16T14:00:00.000ZName1# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\nTodo
2{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-06T14:00:00.000ZName2# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\nIn progress
" }, - "text": "\n \n \n 0\n \n \n 2023-08-26T14:00:00.000Z\n Name3\n # Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n \n \n \n 1\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-16T14:00:00.000Z\n Name1\n # Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\n Todo\n \n \n 2\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-06T14:00:00.000Z\n Name2\n # Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\n In progress\n \n \n" + "text": "\n\n\n0\n\n\n2023-08-26T14:00:00.000Z\nName3\n# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n\n\n\n1\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-16T14:00:00.000Z\nName1\n# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\nTodo\n\n\n2\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-06T14:00:00.000Z\nName2\n# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\nIn progress\n\n\n" } ] \ No newline at end of file diff --git a/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblbj2vBlL2dN2xqq.json b/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblbj2vBlL2dN2xqq.json index 12f2dbea70..1abaae6f7d 100644 --- a/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblbj2vBlL2dN2xqq.json +++ b/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblbj2vBlL2dN2xqq.json @@ -1,12 +1,12 @@ [ { "type": "Table", - "element_id": "c8246c5a970466900fe5971d4798ffb5", + "element_id": "3a75809f0e8f0d6b79062acd8c53b019", "metadata": { "data_source": {}, "filetype": "text/csv", "text_as_html": "\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
0{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-06T14:00:00.000ZName2# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\nIn progress
12023-08-26T14:00:00.000ZName3# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n
2{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-16T14:00:00.000ZName1# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\nTodo
" }, - "text": "\n \n \n 0\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-06T14:00:00.000Z\n Name2\n # Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\n In progress\n \n \n 1\n \n \n 2023-08-26T14:00:00.000Z\n Name3\n # Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n \n \n \n 2\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-16T14:00:00.000Z\n Name1\n # Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\n Todo\n \n \n" + "text": "\n\n\n0\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-06T14:00:00.000Z\nName2\n# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\nIn progress\n\n\n1\n\n\n2023-08-26T14:00:00.000Z\nName3\n# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n\n\n\n2\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-16T14:00:00.000Z\nName1\n# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\nTodo\n\n\n" } ] \ No newline at end of file diff --git a/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblfu7DzEcCWNKwP4.json b/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblfu7DzEcCWNKwP4.json index 7e62a189c2..6de147a7c7 100644 --- a/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblfu7DzEcCWNKwP4.json +++ b/test_unstructured_ingest/expected-structured-output/airtable-diff/appJ43QmP8I17zu88/tblfu7DzEcCWNKwP4.json @@ -1,12 +1,12 @@ [ { "type": "Table", - "element_id": "f285f1c2ca37c7d191142f27844a5d50", + "element_id": "828dc985d44c854447aa2c82fcb10b4b", "metadata": { "data_source": {}, "filetype": "text/csv", "text_as_html": "\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
0{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-06T14:00:00.000ZName2# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\nIn progress
1{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}True2023-08-16T14:00:00.000ZName1# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\nTodo
22023-08-26T14:00:00.000ZName3# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n
" }, - "text": "\n \n \n 0\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-06T14:00:00.000Z\n Name2\n # Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\n In progress\n \n \n 1\n {'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\n True\n 2023-08-16T14:00:00.000Z\n Name1\n # Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\n Todo\n \n \n 2\n \n \n 2023-08-26T14:00:00.000Z\n Name3\n # Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n \n \n \n" + "text": "\n\n\n0\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-06T14:00:00.000Z\nName2\n# Nec lapathi suavitatem acupenseri Galloni Laelius anteponebat, sed suavitatem ipsam neglegebat;\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. [At multis se probavit.](http://loripsum.net/) Atque etiam ad iustitiam colendam, ad tuendas amicitias et reliquas caritates quid natura valeat haec una cognitio potest tradere. Alia quaedam dicent, credo, magna antiquorum esse peccata, quae ille veri investigandi cupidus nullo modo ferre potuerit. Facit igitur Lucius noster prudenter, qui audire de summo bono potissimum velit; _Duo Reges: constructio interrete._ Hoc unum Aristo tenuit: praeter vitia atque virtutes negavit rem esse ullam aut fugiendam aut expetendam. Quid affers, cur Thorius, cur Caius Postumius, cur omnium horum magister, Orata, non iucundissime vixerit? Itaque multi, cum in potestate essent hostium aut tyrannorum, multi in custodia, multi in exillo dolorem suum doctrinae studiis levaverunt. Hic, qui utrumque probat, ambobus debuit uti, sicut facit re, neque tamen dividit verbis. [Idem iste, inquam, de voluptate quid sentit?](http://loripsum.net/)\\n- Summus dolor plures dies manere non potest?\\n- Ex eorum enim scriptis et institutis cum omnis doctrina liberalis, omnis historia.\\n- Sed tempus est, si videtur, et recta quidem ad me.\\n- Quae iam oratio non a philosopho aliquo, sed a censore opprimenda est.\\n## Sed ad haec, nisi molestum est, habeo quae velim.\\nEstne, quaeso, inquam, sitienti in bibendo voluptas? Utrum igitur percurri omnem Epicuri disciplinam placet an de una voluptate quaeri, de qua omne certamen est? Quae enim dici Latine posse non arbitrabar, ea dicta sunt a te verbis aptis nec minus plane quam dicuntur a Graecis. Apparet statim, quae sint officia, quae actiones. Quis enim redargueret? [Scrupulum, inquam, abeunti;](http://loripsum.net/) _Quis non odit sordidos, vanos, leves, futtiles?_\\nIlle incendat?\\nQuantum Aristoxeni ingenium consumptum videmus in musicis?\\nBork\\nVirtutis, magnitudinis animi, patientiae, fortitudinis fomentis dolor mitigari solet.\\nSi longus, levis.\\nIta redarguitur ipse a sese, convincunturque scripta eius probitate ipsius ac moribus.\\nQuo modo?\\nQuamquam non negatis nos intellegere quid sit voluptas, sed quid ille dicat.\\n### Bork\\n`Sed quae tandem ista ratio est?` Non igitur de improbo, sed de callido improbo quaerimus, qualis Q. Quid in isto egregio tuo officio et tanta fide-sic enim existimo-ad corpus refers? [Haec et tu ita posuisti, et verba vestra sunt.](http://loripsum.net/) Sed potestne rerum maior esse dissensio? `Que Manilium, ab iisque M.` `Quid Zeno?` **Omnia peccata paria dicitis.**\\n> Et tamen quid attinet luxuriosis ullam exceptionem dari aut fingere aliquos, qui, cum luxuriose viverent, a summo philosopho non reprehenderentur eo nomine dumtaxat, cetera caverent?\\n```\\nCerte, nisi voluptatem tanti aestimaretis.\\n\\nSed quid ages tandem, si utilitas ab amicitia, ut fit saepe,\\ndefecerit?\\n```\\n1. Luxuriam non reprehendit, modo sit vacua infinita cupiditate et timore.\\n2. Quodsi vultum tibi, si incessum fingeres, quo gravior viderere, non esses tui similis;\\n3. Si enim ad populum me vocas, eum.\\n4. Ergo illi intellegunt quid Epicurus dicat, ego non intellego?\\n5. Qui non moveatur et offensione turpitudinis et comprobatione honestatis?\\n6. Cur deinde Metrodori liberos commendas?\\n\\n\nIn progress\n\n\n1\n{'id': 'usrNdSxRQjglQU4eR', 'email': 'devops+airtable@unstructured.io', 'name': 'Devops Unstructured'}\nTrue\n2023-08-16T14:00:00.000Z\nName1\n# Nescio quo modo praetervolavit oratio.\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. Quid ad utilitatem tantae pecuniae? Traditur, inquit, ab Epicuro ratio neglegendi doloris. Ex quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene. _Bork_ [Hoc non est positum in nostra actione.](http://loripsum.net/) [Duo Reges: constructio interrete.](http://loripsum.net/) An est aliquid per se ipsum flagitiosum, etiamsi nulla comitetur infamia? Idem iste, inquam, de voluptate quid sentit?\\nAn eiusdem modi? At vero illa, quae Peripatetici, quae Stoici dicunt, semper tibi in ore sunt in iudiciis, in senatu. [Ad eos igitur converte te, quaeso.](http://loripsum.net/) [Quod ea non occurrentia fingunt, vincunt Aristonem;](http://loripsum.net/) _Id est enim, de quo quaerimus._ **Conferam tecum, quam cuique verso rem subicias;** Docent enim nos, ut scis, dialectici, si ea, quae rem aliquam sequantur, falsa sint, falsam illam ipsam esse, quam sequantur. Tum Lucius: Mihi vero ista valde probata sunt, quod item fratri puto. Aut unde est hoc contritum vetustate proverbium: quicum in tenebris?\\n- Nec enim, omnes avaritias si aeque avaritias esse dixerimus, sequetur ut etiam aequas esse dicamus.\\n- Heri, inquam, ludis commissis ex urbe profectus veni ad vesperum.\\n- Quod eo liquidius faciet, si perspexerit rerum inter eas verborumne sit controversia.\\n- Videmus igitur ut conquiescere ne infantes quidem possint.\\n## Suam denique cuique naturam esse ad vivendum ducem.\\nAlterum autem genus est magnarum verarumque virtutum, quas appellamus voluntarias, ut prudentiam, temperantiam, fortitudinem, iustitiam et reliquas eiusdem generis. Portenta haec esse dicit, neque ea ratione ullo modo posse vivi; _Quid sequatur, quid repugnet, vident._ Quid turpius quam sapientis vitam ex insipientium sermone pendere? Qua ex cognitione facilior facta est investigatio rerum occultissimarum. Non igitur de improbo, sed de callido improbo quaerimus, qualis Q.\\n1. Sed non alienum est, quo facilius vis verbi intellegatur, rationem huius verbi faciendi Zenonis exponere.\\n2. Quae sunt igitur communia vobis cum antiquis, iis sic utamur quasi concessis;\\n3. Et summatim quidem haec erant de corpore animoque dicenda, quibus quasi informatum est quid hominis natura postulet.\\n4. Quae adhuc, Cato, a te dicta sunt, eadem, inquam, dicere posses, si sequerere Pyrrhonem aut Aristonem.\\n```\\nAn vero displicuit ea, quae tributa est animi virtutibus\\ntanta praestantia?\\n\\nProclivi currit oratio.\\n```\\n> Bork\\nNihil sane.\\nVideamus igitur sententias eorum, tum ad verba redeamus.\\nBork\\nEx quo illud efficitur, qui bene cenent omnis libenter cenare, qui libenter, non continuo bene.\\nBeatum, inquit.\\nNisi enim id faceret, cur Plato Aegyptum peragravit, ut a sacerdotibus barbaris numeros et caelestia acciperet?\\n\nTodo\n\n\n2\n\n\n2023-08-26T14:00:00.000Z\nName3\n# Quis est enim, in quo sit cupiditas, quin recte cupidus dici possit?\\nLorem ipsum dolor sit amet, consectetur adipiscing elit. _Sed ad rem redeamus;_ [Idemne, quod iucunde?](http://loripsum.net/) `Scisse enim te quis coarguere possit?` Si enim ita est, vide ne facinus facias, cum mori suadeas. Sed finge non solum callidum eum, qui aliquid improbe faciat, verum etiam praepotentem, ut M. Duo Reges: constructio interrete. [Ut optime, secundum naturam affectum esse possit.](http://loripsum.net/) [Quis negat?](http://loripsum.net/) Octavio fuit, cum illam severitatem in eo filio adhibuit, quem in adoptionem D. Itaque rursus eadem ratione, qua sum paulo ante usus, haerebitis.\\n1. Deinde disputat, quod cuiusque generis animantium statui deceat extremum.\\n2. Quasi vero, inquit, perpetua oratio rhetorum solum, non etiam philosophorum sit.\\n3. Aliena dixit in physicis nec ea ipsa, quae tibi probarentur;\\n- Ut proverbia non nulla veriora sint quam vestra dogmata.\\n- Cum autem negant ea quicquam ad beatam vitam pertinere, rursus naturam relinquunt.\\n- In motu et in statu corporis nihil inest, quod animadvertendum esse ipsa natura iudicet?\\n- Qui ita affectus, beatum esse numquam probabis;\\nQuae cum dixissem, Habeo, inquit Torquatus, ad quos ista referam, et, quamquam aliquid ipse poteram, tamen invenire malo paratiores. Quos nisi redarguimus, omnis virtus, omne decus, omnis vera laus deserenda est. Obscura, inquit, quaedam esse confiteor, nec tamen ab illis ita dicuntur de industria, sed inest in rebus ipsis obscuritas. Causa autem fuit huc veniendi ut quosdam hinc libros promerem. `Nosti, credo, illud: Nemo pius est, qui pietatem-;` Ratio ista, quam defendis, praecepta, quae didicisti, quae probas, funditus evertunt amicitiam, quamvis eam Epicurus, ut facit, in caelum efferat laudibus.\\n## Nam Pyrrho, Aristo, Erillus iam diu abiecti.\\nCur fortior sit, si illud, quod tute concedis, asperum et vix ferendum putabit? Huic ego, si negaret quicquam interesse ad beate vivendum quali uteretur victu, concederem, laudarem etiam; [Quonam, inquit, modo?](http://loripsum.net/) Non risu potius quam oratione eiciendum? Quae hic rei publicae vulnera inponebat, eadem ille sanabat. [At enim sequor utilitatem.](http://loripsum.net/) Sed quid minus probandum quam esse aliquem beatum nec satis beatum? Tum Torquatus: Prorsus, inquit, assentior;\\n```\\nIsta ipsa, quae tu breviter: regem, dictatorem, divitem\\nsolum esse sapientem, a te quidem apte ac rotunde;\\n\\nIta relinquitur sola haec disciplina digna studiosis\\ningenuarum artium, digna eruditis, digna claris viris, digna\\nprincipibus, digna regibus.\\n```\\nQuid vero?\\nHosne igitur laudas et hanc eorum, inquam, sententiam sequi nos censes oportere?\\nHunc vos beatum;\\nTum Torquatus: Prorsus, inquit, assentior;\\nTenent mordicus.\\nEt quod est munus, quod opus sapientiae?\\nEfficiens dici potest.\\nTu enim ista lenius, hic Stoicorum more nos vexat.\\nNegare non possum.\\nAn eum discere ea mavis, quae cum plane perdidiceriti nihil sciat?\\n> Illud enim rectum est quod katortwma dicebas contingitque sapienti soli, hoc autem inchoati cuiusdam officii est, non perfecti, quod cadere in non nullos insipientes potest. \\n\\n\n\n\n\n" } ] \ No newline at end of file diff --git a/unstructured/__version__.py b/unstructured/__version__.py index 46965abb95..8b0878a7b4 100644 --- a/unstructured/__version__.py +++ b/unstructured/__version__.py @@ -1 +1 @@ -__version__ = "0.9.3-dev2" # pragma: no cover +__version__ = "0.9.3-dev3" # pragma: no cover diff --git a/unstructured/partition/csv.py b/unstructured/partition/csv.py index 8934b31c68..6a7314de03 100644 --- a/unstructured/partition/csv.py +++ b/unstructured/partition/csv.py @@ -2,7 +2,6 @@ from typing import IO, BinaryIO, List, Optional, Union, cast import pandas as pd -from lxml.html import document_fromstring from lxml.html.soupparser import fromstring as soupparser_fromstring from unstructured.documents.elements import ( @@ -13,7 +12,6 @@ ) from unstructured.file_utils.filetype import FileType, add_metadata_with_filetype from unstructured.partition.common import ( - contains_emoji, exactly_one, get_last_modified_date, get_last_modified_date_from_file, @@ -60,8 +58,7 @@ def partition_csv( table = pd.read_csv(f) html_text = table.to_html(index=False, header=False, na_rep="") - html_string_parser = soupparser_fromstring if contains_emoji(html_text) else document_fromstring - text = html_string_parser(html_text).text_content() + text = soupparser_fromstring(html_text).text_content() if include_metadata: metadata = ElementMetadata(