trabalho2.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "ename": "TypeError",
     "evalue": "string indices must be integers, not 'str'",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mTypeError\u001b[0m                                 Traceback (most recent call last)",
      "Cell \u001b[1;32mIn[5], line 35\u001b[0m\n\u001b[0;32m     32\u001b[0m \u001b[38;5;66;03m#print(lista['tabela'])\u001b[39;00m\n\u001b[0;32m     33\u001b[0m \u001b[38;5;28;01mfor\u001b[39;00m item \u001b[38;5;129;01min\u001b[39;00m lista[\u001b[38;5;124m'\u001b[39m\u001b[38;5;124mtabela\u001b[39m\u001b[38;5;124m'\u001b[39m]:\n\u001b[0;32m     34\u001b[0m \u001b[38;5;66;03m#for item in lista:\u001b[39;00m\n\u001b[1;32m---> 35\u001b[0m     \u001b[38;5;28mid\u001b[39m \u001b[38;5;241m=\u001b[39m \u001b[43mitem\u001b[49m\u001b[43m[\u001b[49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[38;5;124;43mid\u001b[39;49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[43m]\u001b[49m\n\u001b[0;32m     36\u001b[0m     pesquisa \u001b[38;5;241m=\u001b[39m item[\u001b[38;5;124m'\u001b[39m\u001b[38;5;124mnome\u001b[39m\u001b[38;5;124m'\u001b[39m]\n\u001b[0;32m     37\u001b[0m     \u001b[38;5;28;01mfor\u001b[39;00m agregado \u001b[38;5;129;01min\u001b[39;00m item[\u001b[38;5;124m'\u001b[39m\u001b[38;5;124magregados\u001b[39m\u001b[38;5;124m'\u001b[39m]:\n",
      "\u001b[1;31mTypeError\u001b[0m: string indices must be integers, not 'str'"
     ]
    }
   ],
   "source": [
    "#lista de parametros para API\n",
    "\n",
    "import requests\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "response = requests.get('https://servicodados.ibge.gov.br/api/v3/agregados')\n",
    "\n",
    "if response.status_code == 200:\n",
    "    data = response.json()\n",
    "\n",
    "    resultado = pd.DataFrame({'categ_id':[], 'categ_nome':[], 'categ_unidade':[], 'categ_nivel':[], 'tabela_id':[],\n",
    "       'tabela_classificacoes.id':[], 'tabela_classificacoes.nome':[],                      \n",
    "       'var_id':[], 'var_nome':[], 'var_unidade':[], 'var_sumarizacao':[], 'tabela_id':[],\n",
    "       'Tabela_nome':[], 'Tabela_URL':[], 'Tabela_pesquisa':[], 'Tabela_assunto':[],\n",
    "       'Tabela_periodicidade.frequencia':[], 'Tabela_periodicidade.inicio':[],\n",
    "       'Tabela_periodicidade.fim':[], 'Tabela_nivelTerritorial.Administrativo':[]})\n",
    "    \n",
    "    data_list = []\n",
    "\n",
    "    for item in data:\n",
    "        id = item['id']\n",
    "        pesquisa = item['nome']\n",
    "        for agregado in item['agregados']:\n",
    "            id_df = agregado['id']\n",
    "            nome_df = agregado['nome']\n",
    "            data_list.append([id, pesquisa, id_df, nome_df])\n",
    "            if 'SU' == item['id'] : df = pd.DataFrame(data_list, columns=['id', 'pesquisa', 'id_df', 'nome_df'])\n",
    "    lista_tabelas = df['id_df']\n",
    "\n",
    "    lista = pd.DataFrame({'tabela':['1621','2093','6784']})\n",
    "    #print(lista['tabela'])\n",
    "    for item in lista['tabela']:\n",
    "    #for item in lista:\n",
    "        id = item['id']\n",
    "        pesquisa = item['nome']\n",
    "        for agregado in item['agregados']:\n",
    "            tab = str(agregado['id'])\n",
    "            nome_df = agregado['nome']\n",
    "            #print(IdTabela)\n",
    "            enderecoT = 'https://servicodados.ibge.gov.br/api/v3/agregados/'+tab+'/metadados'\n",
    "            print(enderecoT)\n",
    "            responseT = requests.get(enderecoT)\n",
    "            dataT = responseT.json()\n",
    "            #print(dataT)\n",
    "            df_categ = pd.json_normalize(dataT,\n",
    "                record_path=['classificacoes','categorias'],\n",
    "                meta=[\"id\",[\"classificacoes\",\"id\"],[\"classificacoes\",\"nome\"]],\n",
    "                meta_prefix='tabela_',\n",
    "                record_prefix='categ_'\n",
    "                )\n",
    "        # print(df_categ)\n",
    "                    #Variaveis x classificacao\n",
    "\n",
    "            df_var = pd.json_normalize(dataT,\n",
    "                record_path=['variaveis'],\n",
    "                meta=[\"id\",\"nome\",\"URL\",\"pesquisa\",\"assunto\",[\"periodicidade\",\"frequencia\"],[\"periodicidade\",\"inicio\"],[\"periodicidade\",\"fim\"],[\"nivelTerritorial\",\"Administrativo\"]],\n",
    "                meta_prefix='tabela_',\n",
    "                record_prefix='var_'\n",
    "                        )\n",
    "            #nivel territorio x tabela\n",
    "\n",
    "            df_nivel = pd.json_normalize(dataT,\n",
    "                record_path=['nivelTerritorial','Administrativo'],\n",
    "                meta=[\"id\"],\n",
    "                meta_prefix='tabela_',\n",
    "                record_prefix='nivel_'\n",
    "                )\n",
    "\n",
    "            if df_categ.empty:\n",
    "                dfm = df_var.merge(df_nivel,left_on='tabela_id',right_on='tabela_id')\n",
    "            else:\n",
    "                df1 = df_categ.merge(df_var, left_on='tabela_id',right_on='tabela_id')\n",
    "                dfm = df1.merge(df_nivel, left_on='tabela_id',right_on='tabela_id')\n",
    "            \n",
    "            options = ['N1','N3','N6'] \n",
    "            df = dfm.loc[dfm['nivel_0'].isin(options)] \n",
    "        #df = df.loc[:,'tabela_id']#,'var_id','tabela_classificacoes.id','categ_id','nivel_0']]\n",
    "        print(dfm)\n",
    "        #print(\"muda/muda/muda\")\n",
    "        resultado = pd.concat([resultado,df])\n",
    "        resultado = resultado.loc[:,['tabela_id','var_id','tabela_classificacoes.id','categ_id','nivel_0']]\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna(-1)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(int)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(str)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].replace('-1', np.nan)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna('').astype(str)\n",
    "\n",
    "    print(\"RESULTADO/RESULTADO/RESULTADO\")    \n",
    "    print(resultado.dtypes)\n",
    "    print(resultado)\n",
    "    print(f\"Request failed with status code {response.status_code}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  tabela\n",
      "0   6784\n",
      "1   1621\n",
      "2   2093\n",
      "https://servicodados.ibge.gov.br/api/v3/agregados/6784/metadados\n",
      "   var_id                                 var_nome       var_unidade  \\\n",
      "0    9808                  PIB - valores correntes  Milhões de Reais   \n",
      "1    9809             PIB - preços do ano anterior  Milhões de Reais   \n",
      "2    9810                 PIB - variação em volume                 %   \n",
      "3    9811          PIB - deflator - variação anual                 %   \n",
      "4      93                      População residente       Mil pessoas   \n",
      "5    9812       PIB per capita - valores correntes             Reais   \n",
      "6    9813  PIB per capita - preços do ano anterior             Reais   \n",
      "7    9814      PIB per capita - variação em volume                 %   \n",
      "\n",
      "  var_sumarizacao tabela_id  \\\n",
      "0              []      6784   \n",
      "1              []      6784   \n",
      "2              []      6784   \n",
      "3              []      6784   \n",
      "4              []      6784   \n",
      "5              []      6784   \n",
      "6              []      6784   \n",
      "7              []      6784   \n",
      "\n",
      "                                         tabela_nome  \\\n",
      "0  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "1  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "2  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "3  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "4  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "5  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "6  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "7  Produto Interno Bruto, Produto Interno Bruto p...   \n",
      "\n",
      "                              tabela_URL          tabela_pesquisa  \\\n",
      "0  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "1  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "2  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "3  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "4  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "5  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "6  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "7  https://sidra.ibge.gov.br/tabela/6784  Contas Nacionais Anuais   \n",
      "\n",
      "  tabela_assunto tabela_periodicidade.frequencia tabela_periodicidade.inicio  \\\n",
      "0          Geral                           anual                        1996   \n",
      "1          Geral                           anual                        1996   \n",
      "2          Geral                           anual                        1996   \n",
      "3          Geral                           anual                        1996   \n",
      "4          Geral                           anual                        1996   \n",
      "5          Geral                           anual                        1996   \n",
      "6          Geral                           anual                        1996   \n",
      "7          Geral                           anual                        1996   \n",
      "\n",
      "  tabela_periodicidade.fim tabela_nivelTerritorial.Administrativo  \n",
      "0                     2021                                   [N1]  \n",
      "1                     2021                                   [N1]  \n",
      "2                     2021                                   [N1]  \n",
      "3                     2021                                   [N1]  \n",
      "4                     2021                                   [N1]  \n",
      "5                     2021                                   [N1]  \n",
      "6                     2021                                   [N1]  \n",
      "7                     2021                                   [N1]  \n",
      "https://servicodados.ibge.gov.br/api/v3/agregados/1621/metadados\n",
      "    categ_id                                         categ_nome categ_unidade  \\\n",
      "0      90687                               Agropecuária - total          None   \n",
      "1      90691                                  Indústria - total          None   \n",
      "2      90692                              Indústrias extrativas          None   \n",
      "3      90693                        Indústrias de transformação          None   \n",
      "4      90695  Eletricidade e gás, água, esgoto, atividades d...          None   \n",
      "5      90694                                         Construção          None   \n",
      "6      90696                                   Serviços - total          None   \n",
      "7      90697                                           Comércio          None   \n",
      "8      90698                  Transporte, armazenagem e correio          None   \n",
      "9      90699                           Informação e comunicação          None   \n",
      "10     90700  Atividades financeiras, de seguros e serviços ...          None   \n",
      "11     90702                            Atividades imobiliárias          None   \n",
      "12     90701                      Outras atividades de serviços          None   \n",
      "13     90703  Administração, saúde e educação públicas e seg...          None   \n",
      "14     90705                  Valor adicionado a preços básicos          None   \n",
      "15     90707                            PIB a preços de mercado          None   \n",
      "16     93404                    Despesa de consumo das famílias          None   \n",
      "17     93405        Despesa de consumo da administração pública          None   \n",
      "18     93406                     Formação bruta de capital fixo          None   \n",
      "19     93407                      Exportação de bens e serviços          None   \n",
      "20     93408                  Importação de bens e serviços (-)          None   \n",
      "\n",
      "    categ_nivel tabela_id tabela_classificacoes.id tabela_classificacoes.nome  \\\n",
      "0             0      1621                    11255       Setores e subsetores   \n",
      "1             0      1621                    11255       Setores e subsetores   \n",
      "2             0      1621                    11255       Setores e subsetores   \n",
      "3             0      1621                    11255       Setores e subsetores   \n",
      "4             0      1621                    11255       Setores e subsetores   \n",
      "5             0      1621                    11255       Setores e subsetores   \n",
      "6             0      1621                    11255       Setores e subsetores   \n",
      "7             0      1621                    11255       Setores e subsetores   \n",
      "8             0      1621                    11255       Setores e subsetores   \n",
      "9             0      1621                    11255       Setores e subsetores   \n",
      "10            0      1621                    11255       Setores e subsetores   \n",
      "11            0      1621                    11255       Setores e subsetores   \n",
      "12            0      1621                    11255       Setores e subsetores   \n",
      "13            0      1621                    11255       Setores e subsetores   \n",
      "14            0      1621                    11255       Setores e subsetores   \n",
      "15            0      1621                    11255       Setores e subsetores   \n",
      "16            0      1621                    11255       Setores e subsetores   \n",
      "17            0      1621                    11255       Setores e subsetores   \n",
      "18            0      1621                    11255       Setores e subsetores   \n",
      "19            0      1621                    11255       Setores e subsetores   \n",
      "20            0      1621                    11255       Setores e subsetores   \n",
      "\n",
      "    var_id                                           var_nome    var_unidade  \\\n",
      "0      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "1      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "2      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "3      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "4      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "5      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "6      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "7      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "8      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "9      584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "10     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "11     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "12     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "13     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "14     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "15     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "16     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "17     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "18     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "19     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "20     584  Série encadeada do índice de volume trimestral...  Número-índice   \n",
      "\n",
      "   var_sumarizacao                                        tabela_nome  \\\n",
      "0               []  Série encadeada do índice de volume trimestral...   \n",
      "1               []  Série encadeada do índice de volume trimestral...   \n",
      "2               []  Série encadeada do índice de volume trimestral...   \n",
      "3               []  Série encadeada do índice de volume trimestral...   \n",
      "4               []  Série encadeada do índice de volume trimestral...   \n",
      "5               []  Série encadeada do índice de volume trimestral...   \n",
      "6               []  Série encadeada do índice de volume trimestral...   \n",
      "7               []  Série encadeada do índice de volume trimestral...   \n",
      "8               []  Série encadeada do índice de volume trimestral...   \n",
      "9               []  Série encadeada do índice de volume trimestral...   \n",
      "10              []  Série encadeada do índice de volume trimestral...   \n",
      "11              []  Série encadeada do índice de volume trimestral...   \n",
      "12              []  Série encadeada do índice de volume trimestral...   \n",
      "13              []  Série encadeada do índice de volume trimestral...   \n",
      "14              []  Série encadeada do índice de volume trimestral...   \n",
      "15              []  Série encadeada do índice de volume trimestral...   \n",
      "16              []  Série encadeada do índice de volume trimestral...   \n",
      "17              []  Série encadeada do índice de volume trimestral...   \n",
      "18              []  Série encadeada do índice de volume trimestral...   \n",
      "19              []  Série encadeada do índice de volume trimestral...   \n",
      "20              []  Série encadeada do índice de volume trimestral...   \n",
      "\n",
      "                               tabela_URL               tabela_pesquisa  \\\n",
      "0   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "1   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "2   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "3   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "4   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "5   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "6   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "7   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "8   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "9   https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "10  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "11  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "12  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "13  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "14  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "15  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "16  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "17  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "18  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "19  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "20  https://sidra.ibge.gov.br/tabela/1621  Contas Nacionais Trimestrais   \n",
      "\n",
      "                  tabela_assunto tabela_periodicidade.frequencia  \\\n",
      "0   Contas Nacionais e Regionais                      trimestral   \n",
      "1   Contas Nacionais e Regionais                      trimestral   \n",
      "2   Contas Nacionais e Regionais                      trimestral   \n",
      "3   Contas Nacionais e Regionais                      trimestral   \n",
      "4   Contas Nacionais e Regionais                      trimestral   \n",
      "5   Contas Nacionais e Regionais                      trimestral   \n",
      "6   Contas Nacionais e Regionais                      trimestral   \n",
      "7   Contas Nacionais e Regionais                      trimestral   \n",
      "8   Contas Nacionais e Regionais                      trimestral   \n",
      "9   Contas Nacionais e Regionais                      trimestral   \n",
      "10  Contas Nacionais e Regionais                      trimestral   \n",
      "11  Contas Nacionais e Regionais                      trimestral   \n",
      "12  Contas Nacionais e Regionais                      trimestral   \n",
      "13  Contas Nacionais e Regionais                      trimestral   \n",
      "14  Contas Nacionais e Regionais                      trimestral   \n",
      "15  Contas Nacionais e Regionais                      trimestral   \n",
      "16  Contas Nacionais e Regionais                      trimestral   \n",
      "17  Contas Nacionais e Regionais                      trimestral   \n",
      "18  Contas Nacionais e Regionais                      trimestral   \n",
      "19  Contas Nacionais e Regionais                      trimestral   \n",
      "20  Contas Nacionais e Regionais                      trimestral   \n",
      "\n",
      "   tabela_periodicidade.inicio tabela_periodicidade.fim  \\\n",
      "0                       199601                   202304   \n",
      "1                       199601                   202304   \n",
      "2                       199601                   202304   \n",
      "3                       199601                   202304   \n",
      "4                       199601                   202304   \n",
      "5                       199601                   202304   \n",
      "6                       199601                   202304   \n",
      "7                       199601                   202304   \n",
      "8                       199601                   202304   \n",
      "9                       199601                   202304   \n",
      "10                      199601                   202304   \n",
      "11                      199601                   202304   \n",
      "12                      199601                   202304   \n",
      "13                      199601                   202304   \n",
      "14                      199601                   202304   \n",
      "15                      199601                   202304   \n",
      "16                      199601                   202304   \n",
      "17                      199601                   202304   \n",
      "18                      199601                   202304   \n",
      "19                      199601                   202304   \n",
      "20                      199601                   202304   \n",
      "\n",
      "   tabela_nivelTerritorial.Administrativo  \n",
      "0                                    [N1]  \n",
      "1                                    [N1]  \n",
      "2                                    [N1]  \n",
      "3                                    [N1]  \n",
      "4                                    [N1]  \n",
      "5                                    [N1]  \n",
      "6                                    [N1]  \n",
      "7                                    [N1]  \n",
      "8                                    [N1]  \n",
      "9                                    [N1]  \n",
      "10                                   [N1]  \n",
      "11                                   [N1]  \n",
      "12                                   [N1]  \n",
      "13                                   [N1]  \n",
      "14                                   [N1]  \n",
      "15                                   [N1]  \n",
      "16                                   [N1]  \n",
      "17                                   [N1]  \n",
      "18                                   [N1]  \n",
      "19                                   [N1]  \n",
      "20                                   [N1]  \n",
      "https://servicodados.ibge.gov.br/api/v3/agregados/2093/metadados\n",
      "    categ_id       categ_nome categ_unidade  categ_nivel tabela_id  \\\n",
      "0          0            Total          None            0      2093   \n",
      "1          0            Total          None            0      2093   \n",
      "2       2776           Branca          None            1      2093   \n",
      "3       2776           Branca          None            1      2093   \n",
      "4       2777            Preta          None            1      2093   \n",
      "..       ...              ...           ...          ...       ...   \n",
      "59      3244  70 anos ou mais          None           -1      2093   \n",
      "60     95252     70 a 79 anos          None           -1      2093   \n",
      "61     95252     70 a 79 anos          None           -1      2093   \n",
      "62      2503  80 anos ou mais          None           -1      2093   \n",
      "63      2503  80 anos ou mais          None           -1      2093   \n",
      "\n",
      "   tabela_classificacoes.id tabela_classificacoes.nome   var_id  \\\n",
      "0                        86                Cor ou raça       93   \n",
      "1                        86                Cor ou raça  1000093   \n",
      "2                        86                Cor ou raça       93   \n",
      "3                        86                Cor ou raça  1000093   \n",
      "4                        86                Cor ou raça       93   \n",
      "..                      ...                        ...      ...   \n",
      "59                       58             Grupo de idade  1000093   \n",
      "60                       58             Grupo de idade       93   \n",
      "61                       58             Grupo de idade  1000093   \n",
      "62                       58             Grupo de idade       93   \n",
      "63                       58             Grupo de idade  1000093   \n",
      "\n",
      "                                           var_nome var_unidade  \\\n",
      "0                               População residente     Pessoas   \n",
      "1   População residente - percentual do total geral           %   \n",
      "2                               População residente     Pessoas   \n",
      "3   População residente - percentual do total geral           %   \n",
      "4                               População residente     Pessoas   \n",
      "..                                              ...         ...   \n",
      "59  População residente - percentual do total geral           %   \n",
      "60                              População residente     Pessoas   \n",
      "61  População residente - percentual do total geral           %   \n",
      "62                              População residente     Pessoas   \n",
      "63  População residente - percentual do total geral           %   \n",
      "\n",
      "       var_sumarizacao                                        tabela_nome  \\\n",
      "0   [nivelTerritorial]  População residente por cor ou raça, sexo, sit...   \n",
      "1                   []  População residente por cor ou raça, sexo, sit...   \n",
      "2   [nivelTerritorial]  População residente por cor ou raça, sexo, sit...   \n",
      "3                   []  População residente por cor ou raça, sexo, sit...   \n",
      "4   [nivelTerritorial]  População residente por cor ou raça, sexo, sit...   \n",
      "..                 ...                                                ...   \n",
      "59                  []  População residente por cor ou raça, sexo, sit...   \n",
      "60  [nivelTerritorial]  População residente por cor ou raça, sexo, sit...   \n",
      "61                  []  População residente por cor ou raça, sexo, sit...   \n",
      "62  [nivelTerritorial]  População residente por cor ou raça, sexo, sit...   \n",
      "63                  []  População residente por cor ou raça, sexo, sit...   \n",
      "\n",
      "                               tabela_URL    tabela_pesquisa tabela_assunto  \\\n",
      "0   https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "1   https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "2   https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "3   https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "4   https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "..                                    ...                ...            ...   \n",
      "59  https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "60  https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "61  https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "62  https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "63  https://sidra.ibge.gov.br/tabela/2093  Censo Demográfico    Cor ou raça   \n",
      "\n",
      "   tabela_periodicidade.frequencia tabela_periodicidade.inicio  \\\n",
      "0                            anual                        2000   \n",
      "1                            anual                        2000   \n",
      "2                            anual                        2000   \n",
      "3                            anual                        2000   \n",
      "4                            anual                        2000   \n",
      "..                             ...                         ...   \n",
      "59                           anual                        2000   \n",
      "60                           anual                        2000   \n",
      "61                           anual                        2000   \n",
      "62                           anual                        2000   \n",
      "63                           anual                        2000   \n",
      "\n",
      "   tabela_periodicidade.fim       tabela_nivelTerritorial.Administrativo  \n",
      "0                      2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "1                      2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "2                      2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "3                      2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "4                      2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "..                      ...                                          ...  \n",
      "59                     2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "60                     2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "61                     2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "62                     2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "63                     2010  [N15, N1, N2, N8, N9, N6, N14, N7, N13, N3]  \n",
      "\n",
      "[64 rows x 19 columns]\n",
      "RESULTADO/RESULTADO/RESULTADO\n",
      "   tabela_id   var_id tabela_classificacoes.id categ_id\n",
      "0       6784     9808                      NaN      NaN\n",
      "1       6784     9809                      NaN      NaN\n",
      "2       6784     9810                      NaN      NaN\n",
      "3       6784     9811                      NaN      NaN\n",
      "4       6784       93                      NaN      NaN\n",
      "..       ...      ...                      ...      ...\n",
      "59      2093  1000093                       58     3244\n",
      "60      2093       93                       58    95252\n",
      "61      2093  1000093                       58    95252\n",
      "62      2093       93                       58     2503\n",
      "63      2093  1000093                       58     2503\n",
      "\n",
      "[93 rows x 4 columns]\n"
     ]
    }
   ],
   "source": [
    "#lista de parametros para API\n",
    "\n",
    "import requests\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import time\n",
    "\n",
    "response = requests.get('https://servicodados.ibge.gov.br/api/v3/agregados?nivel=N6')\n",
    "\n",
    "if response.status_code == 200:\n",
    "    data = response.json()\n",
    "\n",
    "    resultado = pd.DataFrame({'categ_id':str([]), 'categ_nome':[], 'categ_unidade':[], 'categ_nivel':[], 'tabela_id':str([]),\n",
    "       'tabela_classificacoes.id':[], 'tabela_classificacoes.nome':[],                      \n",
    "       'var_id':str([]), 'var_nome':[], 'var_unidade':[], 'var_sumarizacao':[], 'tabela_id':str([]),\n",
    "       'Tabela_nome':[], 'Tabela_URL':[], 'Tabela_pesquisa':[], 'Tabela_assunto':[],\n",
    "       'Tabela_periodicidade.frequencia':[], 'Tabela_periodicidade.inicio':[],\n",
    "       'Tabela_periodicidade.fim':[], 'Tabela_nivelTerritorial.Administrativo':[]})\n",
    "    \n",
    "    data_list = []\n",
    "\n",
    "    for item in data:\n",
    "        id = item['id']\n",
    "        pesquisa = item['nome']\n",
    "        for agregado in item['agregados']:\n",
    "            tabela = agregado['id']\n",
    "            nome_tabela = agregado['nome']\n",
    "            data_list.append([id, pesquisa, tabela, nome_tabela])\n",
    "            df = pd.DataFrame(data_list, columns=['id', 'pesquisa', 'tabela', 'nome_tabela'])\n",
    "    #lista = df['tabela']\n",
    "\n",
    "    lista = pd.DataFrame({'tabela':['6784','1621','2093']})\n",
    "    print(lista)\n",
    "    for item in lista['tabela']:\n",
    "    #for item in lista:\n",
    "        tab = item\n",
    "        #print(IdTabela)\n",
    "        enderecoT = 'https://servicodados.ibge.gov.br/api/v3/agregados/'+tab+'/metadados'\n",
    "        print(enderecoT)\n",
    "        responseT = requests.get(enderecoT)\n",
    "        dataT = responseT.json()\n",
    "        #print(dataT)\n",
    "        df_categ = pd.json_normalize(dataT,\n",
    "            record_path=['classificacoes','categorias'],\n",
    "            meta=[\"id\",[\"classificacoes\",\"id\"],[\"classificacoes\",\"nome\"]],\n",
    "            meta_prefix='tabela_',\n",
    "            record_prefix='categ_',\n",
    "            errors='ignore'\n",
    "            )\n",
    "        #print(df_categ)\n",
    "                #Variaveis x classificacao\n",
    "\n",
    "        df_var = pd.json_normalize(dataT,\n",
    "            record_path=['variaveis'],\n",
    "            meta=[\"id\",\"nome\",\"URL\",\"pesquisa\",\"assunto\",[\"periodicidade\",\"frequencia\"],[\"periodicidade\",\"inicio\"],[\"periodicidade\",\"fim\"],[\"nivelTerritorial\",\"Administrativo\"]],\n",
    "            meta_prefix='tabela_',\n",
    "            record_prefix='var_',\n",
    "            errors='ignore'\n",
    "            )\n",
    "        #nivel territorio x tabela\n",
    "\n",
    "        # df_nivel = pd.json_normalize(dataT,\n",
    "        #     record_path=['nivelTerritorial','Administrativo'],\n",
    "        #     meta=[\"id\"],\n",
    "        #     meta_prefix='tabela_',\n",
    "        #     record_prefix='nivel_'\n",
    "        #     )\n",
    "\n",
    "        if df_categ.empty:\n",
    "            dfm = df_var#.merge(df_nivel,left_on='tabela_id',right_on='tabela_id')\n",
    "        else:\n",
    "            dfm = df_categ.merge(df_var, left_on='tabela_id',right_on='tabela_id')\n",
    "            #dfm = df_var.merge(df_nivel, left_on='tabela_id',right_on='tabela_id')\n",
    "        \n",
    "        #df = df.loc[:,'tabela_id']#,'var_id','tabela_classificacoes.id','categ_id']]\n",
    "        print(dfm)\n",
    "        #print(\"muda/muda/muda\")\n",
    "        resultado = pd.concat([resultado,dfm])\n",
    "        resultado = resultado.loc[:,[str('tabela_id'),str('var_id'),str('tabela_classificacoes.id'),str('categ_id')]]\n",
    "        \n",
    "        #print(resultado)\n",
    "        time.sleep(10)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna(-1)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(int)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(str)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].replace('-1', np.nan)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna('').astype(str)\n",
    "\n",
    "    print(\"RESULTADO/RESULTADO/RESULTADO\")    \n",
    "    #print(resultado.dtypes)\n",
    "    resultado.to_csv(\"teste_res2.csv\",mode='a',header=False)\n",
    "    print(resultado)\n",
    "else:\n",
    "    print(f\"Request failed with status code {response.status_code}\")\n",
    "\n",
    "\n",
    "#### SERIALIZE ou DUMP\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  tabela\n",
      "0   1688\n",
      "https://servicodados.ibge.gov.br/api/v3/agregados/1688/metadados\n",
      "RESULTADO/RESULTADO/RESULTADO\n",
      "     tabela_id     var_id tabela_classificacoes.id  categ_id nivel_0\n",
      "4         1688      183.0                      229  113860.0      N6\n",
      "10        1688     1981.0                      229  113860.0      N6\n",
      "16        1688     1982.0                      229  113860.0      N6\n",
      "22        1688      215.0                      229  113860.0      N6\n",
      "28        1688  1000215.0                      229  113860.0      N6\n",
      "...        ...        ...                      ...       ...     ...\n",
      "3334      1688     1982.0                    12617  113892.0      N6\n",
      "3340      1688      215.0                    12617  113892.0      N6\n",
      "3346      1688  1000215.0                    12617  113892.0      N6\n",
      "3352      1688     1983.0                    12617  113892.0      N6\n",
      "3358      1688  1001983.0                    12617  113892.0      N6\n",
      "\n",
      "[560 rows x 5 columns]\n",
      "Request failed with status code 200\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "response = requests.get('https://servicodados.ibge.gov.br/api/v3/agregados')\n",
    "\n",
    "if response.status_code == 200:\n",
    "    data = response.json()\n",
    "\n",
    "    resultado = pd.DataFrame({'categ_id':[], 'categ_nome':[], 'categ_unidade':[], 'categ_nivel':[], 'tabela_id':[],\n",
    "       'tabela_classificacoes.id':[], 'tabela_classificacoes.nome':[],                      \n",
    "       'var_id':[], 'var_nome':[], 'var_unidade':[], 'var_sumarizacao':[], 'tabela_id':[],\n",
    "       'Tabela_nome':[], 'Tabela_URL':[], 'Tabela_pesquisa':[], 'Tabela_assunto':[],\n",
    "       'Tabela_periodicidade.frequencia':[], 'Tabela_periodicidade.inicio':[],\n",
    "       'Tabela_periodicidade.fim':[], 'Tabela_nivelTerritorial.Administrativo':[]})\n",
    "    \n",
    "    data_list = []\n",
    "\n",
    "    lista = pd.DataFrame({'tabela':['1688']})\n",
    "    print(lista)\n",
    "    for item in lista['tabela']:\n",
    "        tab = item\n",
    "        #print(IdTabela)\n",
    "        enderecoT = 'https://servicodados.ibge.gov.br/api/v3/agregados/'+tab+'/metadados'\n",
    "        print(enderecoT)\n",
    "        responseT = requests.get(enderecoT)\n",
    "        dataT = responseT.json()\n",
    "        #print(dataT)\n",
    "        df_categ = pd.json_normalize(dataT,\n",
    "            record_path=['classificacoes','categorias'],\n",
    "            meta=[\"id\",[\"classificacoes\",\"id\"],[\"classificacoes\",\"nome\"]],\n",
    "            meta_prefix='tabela_',\n",
    "            record_prefix='categ_'\n",
    "            )\n",
    "       # print(df_categ)\n",
    "                #Variaveis x classificacao\n",
    "\n",
    "        df_var = pd.json_normalize(dataT,\n",
    "            record_path=['variaveis'],\n",
    "            meta=[\"id\",\"nome\",\"URL\",\"pesquisa\",\"assunto\",[\"periodicidade\",\"frequencia\"],[\"periodicidade\",\"inicio\"],[\"periodicidade\",\"fim\"],[\"nivelTerritorial\",\"Administrativo\"]],\n",
    "            meta_prefix='tabela_',\n",
    "            record_prefix='var_'\n",
    "                    )\n",
    "        #nivel territorio x tabela\n",
    "\n",
    "        df_nivel = pd.json_normalize(dataT,\n",
    "            record_path=['nivelTerritorial','Administrativo'],\n",
    "            meta=[\"id\"],\n",
    "            meta_prefix='tabela_',\n",
    "            record_prefix='nivel_'\n",
    "            )\n",
    "\n",
    "        if df_categ.empty:\n",
    "            dfm = df_var.merge(df_nivel,left_on='tabela_id',right_on='tabela_id')\n",
    "        else:\n",
    "            df1 = df_categ.merge(df_var, left_on='tabela_id',right_on='tabela_id')\n",
    "            dfm = df1.merge(df_nivel, left_on='tabela_id',right_on='tabela_id')\n",
    "        \n",
    "        options = ['N6'] \n",
    "        df = dfm.loc[dfm['nivel_0'].isin(options)] \n",
    "        #df = df.loc[:,'tabela_id']#,'var_id','tabela_classificacoes.id','categ_id','nivel_0']]\n",
    "        #print(dfm)\n",
    "        #print(\"muda/muda/muda\")\n",
    "        resultado = pd.concat([resultado,df])\n",
    "        resultado = resultado.loc[:,['tabela_id','var_id','tabela_classificacoes.id','categ_id','nivel_0']]\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna(-1)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(int)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].astype(str)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].replace('-1', np.nan)\n",
    "        #resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']] = resultado[['tabela_id','var_id','tabela_classificacoes.id','categ_id']].fillna('').astype(str)\n",
    "\n",
    "    print(\"RESULTADO/RESULTADO/RESULTADO\")    \n",
    "    #print(resultado.dtypes)\n",
    "    print(resultado)\n",
    "    print(f\"Request failed with status code {response.status_code}\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}