Files

143 lines
4.5 KiB
Python

"""
CSV Import Utils für Straßen
"""
import csv
import io
import json
def _normalize_header(name):
"""Entfernt BOM, Kommentarzeichen und umgebende Leerzeichen aus Spaltennamen."""
if name is None:
return ''
return name.strip().lstrip('\ufeff').lstrip('#').strip()
def _decode_csv(file_content):
"""Dekodiert CSV-Inhalte tolerant gegenüber gängigen Kodierungen."""
try:
return file_content.decode('utf-8-sig')
except UnicodeDecodeError:
try:
return file_content.decode('latin-1')
except UnicodeDecodeError:
return file_content.decode('cp1252')
def _parse_coordinate(value, minimum, maximum):
"""Wandelt eine Koordinate in eine Zahl um und prüft den Wertebereich."""
if value is None:
return None
text = str(value).strip()
if not text:
return None
# Deutsche CSV-Dateien verwenden häufig das Komma als Dezimaltrennzeichen.
if ',' in text and '.' not in text:
text = text.replace(',', '.')
try:
number = float(text)
except (TypeError, ValueError):
return None
if not (minimum <= number <= maximum):
return None
return number
def parse_house_numbers_csv(file_content):
"""
Parst den Hausnummern-Import mit Delimiter ';'.
Erwartete Spalten: Straßenname, Hausnummer, Longitude, Latitude
"""
text = _decode_csv(file_content)
reader = csv.DictReader(io.StringIO(text), delimiter=';')
if reader.fieldnames:
reader.fieldnames = [_normalize_header(name) for name in reader.fieldnames]
street_aliases = {'straßenname', 'strassenname', 'straße', 'strasse', 'street', 'street_name', 'name'}
number_aliases = {'hausnummer', 'hn', 'house_number', 'number', 'nr'}
longitude_aliases = {'longitude', 'lon', 'lng', 'long', 'längengrad', 'laengengrad'}
latitude_aliases = {'latitude', 'lat', 'breitengrad'}
def row_value(row, aliases):
for key, value in row.items():
if key and _normalize_header(key).casefold() in aliases:
return value
return None
house_numbers = []
for row in reader:
street_name = row_value(row, street_aliases)
house_number = row_value(row, number_aliases)
longitude = _parse_coordinate(row_value(row, longitude_aliases), -180, 180)
latitude = _parse_coordinate(row_value(row, latitude_aliases), -90, 90)
if not street_name or not str(street_name).strip():
continue
if not house_number or not str(house_number).strip():
continue
if longitude is None or latitude is None:
continue
house_numbers.append({
'street_name': str(street_name).strip(),
'house_number': str(house_number).strip(),
'longitude': longitude,
'latitude': latitude
})
return house_numbers
def parse_streets_csv(file_content):
"""
Parst CSV mit Delimiter ';'
Erwartete Spalten: Name, Hausnummer minimal, Hausnummer maximal, Bounding Box
"""
streets = []
# Versuche mit verschiedenen Encodings (utf-8-sig entfernt ein evtl. BOM)
try:
text = file_content.decode('utf-8-sig')
except:
try:
text = file_content.decode('latin-1')
except:
text = file_content.decode('cp1252')
f = io.StringIO(text)
reader = csv.DictReader(f, delimiter=';')
# Kopfzeilen wie "#Name;..." oder mit BOM/Leerzeichen tolerant behandeln.
if reader.fieldnames:
reader.fieldnames = [_normalize_header(name) for name in reader.fieldnames]
for row in reader:
name = row.get('Name') or row.get('name') or row.get('Strasse') or row.get('Straße')
hn_min = row.get('Hausnummer minimal') or row.get('hn_min') or row.get('Hausnummer_minimal')
hn_max = row.get('Hausnummer maximal') or row.get('hn_max') or row.get('Hausnummer_maximal')
bbox = row.get('Bounding Box') or row.get('bbox') or row.get('BoundingBox')
if not name:
continue
try:
hn_min_int = int(hn_min) if hn_min and hn_min.strip() else None
except:
hn_min_int = None
try:
hn_max_int = int(hn_max) if hn_max and hn_max.strip() else None
except:
hn_max_int = None
streets.append({
'name': name.strip(),
'hn_min': hn_min_int,
'hn_max': hn_max_int,
'bbox': bbox.strip() if bbox else None
})
return streets