BODS aanroepen SQL en PLSQL procedure

In BODS script oracle aanroepen


sql('OJZSTGA1_BTL',' begin createPivotTable(\'CONTROLELIJST_BESCHIKTE_VOORZIENING_JGD_2017\',\'voorzieningsoort\',\'c\'); end; ');

sql('OJZSTGA1_BTL','begin suffie(); end;');



sql('OJZSTGA1', 'truncate table DWH_DOEL.JW_STG_GEBIED_WIJK');

Geopandas en folium

Hoe maak je een colormap

from branca.colormap import linear

colormap = linear.YlGn_09.scale(
    geo_api_df['waarde'].min(),
    geo_api_df['waarde'].max())
print(colormap(5.0))
colormap

Maak een dict met kleuren afhankelijk van de colormap

color_dict = geo_api_df.set_index('code')['waarde'].to_dict()
type(color_dict)
colormap(color_dict['DX21'])
color_dict = {key: colormap(color_dict[key]) for key in color_dict.keys()}

Voeg de kleuren van de color_dict toe aan de geopandas dataframe als kolom

geo_api_df['feature']=geo_api_df['code'].map(color_dict)

Geopandas

import json
import pandas as pd
import geopandas as gpd
import requests
from shapely.geometry import shape
import matplotlib.pyplot as plt
import folium
%matplotlib inline

gebied_api_url = 'https://api.data.amsterdam.nl/gebieden/gebiedsgerichtwerken/'
#buurt_api_url = 'https://api.data.amsterdam.nl/gebieden/buurt/'

resp = requests.get(gebied_api_url)
json_data= requests.get(gebied_api_url).json()


geb_codes = pd.DataFrame(json_data['results']).drop(columns=['_display', '_links', 'dataset'])


geo_api_raw = []
for code in geb_codes['code']:
    geo_api_raw.append(  requests.get(gebied_api_url + code).json())

geo_api_df = pd.DataFrame(geo_api_raw)
geo_api_df.drop(columns=['_display', '_links', 'bbox', 'dataset', 'buurten'], inplace=True)
geo_api_df['geometry'] = geo_api_df['geometrie'].map(shape)
geo_api_df['stadsdeel_code'] = geo_api_df['stadsdeel'].map(lambda f: f['code'])
geo_api_df['stadsdeel_naam'] = geo_api_df['stadsdeel'].map(lambda f: f['naam'])

geo_api_df.drop(columns=['stadsdeel', 'geometrie'], inplace=True)
geo_api_df['waarde']=geo_api_df['code'].str[-1].astype(int)*100

crs = '+proj=sterea +lat_0=52.15616055555555 +lon_0=5.38763888888889 +k=0.9999079 +x_0=155000 +y_0=463000 +ellps=bessel +towgs84=565.2369,50.0087,465.658,-0.406857,0.350733,-1.87035,4.0812 +units=m +no_defs'

gebieden_geo=gpd.GeoDataFrame(geo_api_df, crs=crs)


gebieden_geo.plot()

voorbeeld 1

map= folium.Map(location=[52.37, 4.90], tiles='Stamen Terrain', zoom_start=12)
map.add_child(folium.GeoJson(gebieden_geo),popup=)

Voorbeeld 2

map=folium.Map(location=[52.37, 4.90], tiles='Stamen Terrain', zoom_start=12)
map.choropleth(geo_data=gebieden_geo,data=gebieden_geo, columns=['code','waarde'],key_on='feature.properties.name',fill_color='YlGn',
              fill_opacity=10, line_opacity=0.2,threshold_scale=[0, 20, 30, 40, 50, 60],
             legend_name='Participation Rate (%))')
folium.LayerControl().add_to(map)
map

Voorbeeld 3

map=folium.Map(location=[52.37, 4.90], tiles='Stamen Terrain', zoom_start=12)
folium.GeoJson(
    gebieden_geo,
    style_function=lambda feature: {
        'fillColor': '#ffff00',
        'color': 'black',
        'weight': 2,
        'dashArray': '5, 5'
    }
).add_to(map)
map

Voorbeeld 4

map=folium.Map(location=[52.37, 4.90], tiles='Stamen Terrain', zoom_start=12)
folium.GeoJson(
    gebieden_geo,
    style_function=lambda feature: {
        'fillColor': '#ffff00',
        'color': 'black',
        'weight': 2,
        'dashArray': '5, 5'
    }
).add_to(map)
map

json en rest-api

roep rest-api aan

ophalen data

import json
import pandas as pd
import requests
gebied_api_url = 'https://api.data.amsterdam.nl/gebieden/gebiedsgerichtwerken/'
buurt_api_url = 'https://api.data.amsterdam.nl/gebieden/buurt/'
resp = requests.get(gebied_api_url)
json_data= requests.get(gebied_api_url).json()

json_data is nu een DICT object.

==> wil je de keys weten

json_data.keys()
Out[54]: dict_keys(['_links', 'count', 'results'])


haal alleen de key results op en stop in een pandas dataframe

geb_codes = pd.DataFrame(json_data['results'])

Wil je nu weten welke keys (columnamen) er zijn van het dataframe
geb_codes.keys()Out[61]: Index(['_display', '_links', 'code', 'dataset', 'naam'], dtype='object')

Als je van dit pandas object alleen de code en de naam wil hebben dan drop je de andere

geb_codes.drop(columns=['_display', '_links', 'dataset'],inplace=True)

BO Data Services lokale variabelen en parameter

You can increase the flexibility and reusability of work flows and data flows by using local and global variables when you design your jobs



Alle reuasable objecten kunnen lokale variabelen hebben

Lokale variabelen kan je naar beneden doorgeven met parameters.

Objecten die lokale variabelen ontvangen moeten parameters definieren

Je moet op 1 nivo erboven de  parameter van een object vullen met een lokale variabele


WF    :    L1
|
|
DF : P1

In de WF moet je call P1=L1 doen; dus je geeft L1 door aan P1

git

git

Van scratch af aan. Maak in windows een directory.
ga in directory staan en open command box

-  git clone https://git.datapunt.amsterdam.nl/jwagener/mypython.git

er wordt een directory aangemaakt

- cd mypython
- git status

kopieer files naar windows directory
- git add *
- git commit -m "Dit is een test"
- git push origin master

elke ochtend kan je uit master je eigen werkdirecotry verversen met
- git pull




credentials weer op orde brengen
git config credential.helper store

excel inlezen en data selecties maken

opmerkingen 

let op dat bij het inlezen van Excel pandas waarschijnlijk automatisch allerlei conversies gaat uitvoeren. dit kan je voorkomen door bijv alles als string in te lezen

dflookup1=xls_file.parse(sheet,skiprows=0,dtype=str) 

je kan daarna altijd nog de datatypes aanpassen

per veld conversie

>>> string conversie naar datetime

 dfin=dfin.astype({'VD_Ingangsdatum': 'datetime64', 'VD_Einddatum': 'datetime64'})

>>> string conversie naar getal


dfjgd2['BEDRAG'] = dfjgd2['BEDRAG'].str.replace(',', '').astype(float)

bij inlexen conversie

Als je enkel bepaalde velden wil interpreteren dan doe je het als volgt

dflookup1=xls_file.parse(sheet,skiprows=0,dtype={'BSN': str,'GEB_PC_HNR':str,'JAAR':str})

Voorbeeldcode

import pandas as pd
import numpy as np

xls_file=pd.ExcelFile('..\\Factuur regels 303-Jgd 01-01-2016 tm 03-09-2018 dd 03-09-2018.xlsx')
dfnew=xls_file.parse('ZorgNed_FactRegl303')

 print(list(dfnew.columns))
lscolsnew = dfnew.columns.values


bjaar2017=dfnew['Factuurregel betrekking op jaar']==2017
bGefactureerd=df2017['Goedkeuren']=='Gefactureerd'
dfSelect=dfnew[bjaar2017 & bGefactureerd]

# Tel rijen: manier 1
rows,columns = dfSelect.shape
print('aantal rijen: ',rows )
# Tel rijen: manier 2
dfSelect['Factuurregel betrekking op jaar'].count()


dfSelect['Bedrag goedgekeurd'].sum()

#bij 1 rechthoekig haakje returned een Series object
dfSelect.groupby("Voorzieningsoort")['Bedrag goedgekeurd'].sum().sort_values()

#bij 2 rechthoekige haakjes wordt een dataframe gereturned
dfSelect.groupby("Voorzieningsoort")[['Bedrag goedgekeurd']].sum().sort_values(by='Bedrag goedgekeurd')

summarize aggregate and grouping

basis functies op dataset

# How many rows the dataset
data['item'].count()

# What was the longest phone call / data entry?
data['duration'].max()

# How many seconds of phone calls are recorded in total?
data['duration'][data['item'] == 'call'].sum()

# How many entries are there for each month?
data['month'].value_counts()
Out[41]: 
2014-11    230
2015-01    205
2014-12    157
2015-02    137
2015-03    101
dtype: int64

# Number of non-null unique network entries
data['network'].nunique()

group by 

op 1 variabele:

data.groupby('month')['duration'].sum()

op meerdere variabelen

 data.groupby(['month', 'item'])['date'].count()

output format group by

As a rule of thumb, if you calculate more than one column of results, your result will be a Dataframe. For a single column of results, the agg function, by default, will produce a Series.

You can change this by selecting your operation column differently:

# produces Pandas Series

data.groupby('month')['duration'].sum() 

of

data.groupby('JAAR')['BEDRAG'].agg('sum')) 

 # Produces Pandas DataFrame

 data.groupby('month')[['duration']].sum() # Produces Pandas DataFrame

of 

dfjgd2.groupby('JAAR')['BEDRAG'].agg(['sum'])

Opmaak aanpassen van grouping output

dfjgd2.groupby('JAAR')['BEDRAG'].sum().apply(lambda x: '{:.2f}'.format(x)) 

of

maak een dataframe

df1=dfjgd2.groupby('JAAR')['BEDRAG'].agg(['sum'])

pas toe op de kolom (series) 

df1['sum'].apply(lambda x: '{:.2f}'.format(x))

 Multi-Index 1

The groupby output will have an index or multi-index on rows corresponding to your chosen grouping variables. To avoid setting this index, pass “as_index=False” to the groupby operation.

data.groupby('month', as_index=False).agg({"duration": "sum"})

https://www.shanelynn.ie/summarising-aggregation-and-grouping-data-in-python-pandas/

Multi-index manier 2

Een andere manier is via reset_index

data.groupby('month', as_index=False).agg({"duration": "sum"})

data.reset_index(drop=False) 

Meerdere groepering op verschillende velden in 1x

aggregations = {   'bsn':'count','bedrag': 'sum'}
aggregations = {   'bsn':'nunique','bedrag': 'sum'}
df_zeng =dflever.groupby('code_voorziening').agg(aggregations)

df_zeng.rename(columns={"bsn": "aantal_klant_facturatie", "bedrag": "bedrag_gefactureerd"})

Unieke aantal tellen

gebruik nunique
aggregations = {   'bsn':'nunique','bedrag': 'sum'}