Line data Source code
1 : /******************************************************************************
2 : *
3 : * Project: CSV Translator
4 : * Purpose: Definition of classes for OGR .csv driver.
5 : * Author: Frank Warmerdam, warmerdam@pobox.com
6 : *
7 : ******************************************************************************
8 : * Copyright (c) 2004, Frank Warmerdam
9 : * Copyright (c) 2008-2013, Even Rouault <even dot rouault at spatialys.com>
10 : *
11 : * SPDX-License-Identifier: MIT
12 : ****************************************************************************/
13 :
14 : #ifndef OGR_CSV_H_INCLUDED
15 : #define OGR_CSV_H_INCLUDED
16 :
17 : #include "ogrsf_frmts.h"
18 :
19 : #include <set>
20 :
21 : typedef enum
22 : {
23 : OGR_CSV_GEOM_NONE,
24 : OGR_CSV_GEOM_AS_WKT,
25 : OGR_CSV_GEOM_AS_SOME_GEOM_FORMAT,
26 : OGR_CSV_GEOM_AS_XYZ,
27 : OGR_CSV_GEOM_AS_XY,
28 : OGR_CSV_GEOM_AS_YX,
29 : } OGRCSVGeometryFormat;
30 :
31 : class OGRCSVDataSource;
32 :
33 : typedef enum
34 : {
35 : CREATE_FIELD_DO_NOTHING,
36 : CREATE_FIELD_PROCEED,
37 : CREATE_FIELD_ERROR
38 : } OGRCSVCreateFieldAction;
39 :
40 : void OGRCSVDriverRemoveFromMap(const char *pszName, GDALDataset *poDS);
41 :
42 : // Must be kept as a macro with the value fully resolved, as it is used
43 : // by STRINGIFY(x) to generate open option description.
44 : #define OGR_CSV_DEFAULT_MAX_LINE_SIZE 10000000
45 :
46 : /************************************************************************/
47 : /* OGRCSVLayer */
48 : /************************************************************************/
49 :
50 : class IOGRCSVLayer CPL_NON_FINAL
51 : {
52 : public:
53 990 : IOGRCSVLayer() = default;
54 989 : virtual ~IOGRCSVLayer() = default;
55 :
56 : virtual OGRLayer *GetLayer() = 0;
57 :
58 : virtual std::vector<std::string> GetFileList() = 0;
59 : };
60 :
61 : class OGRCSVLayer final : public IOGRCSVLayer, public OGRLayer
62 : {
63 : public:
64 : enum class StringQuoting
65 : {
66 : IF_NEEDED,
67 : IF_AMBIGUOUS,
68 : ALWAYS
69 : };
70 :
71 : private:
72 : GDALDataset *m_poDS = nullptr;
73 : OGRFeatureDefn *poFeatureDefn;
74 : std::set<CPLString> m_oSetFields;
75 :
76 : VSILFILE *fpCSV;
77 : const int m_nMaxLineSize = -1;
78 :
79 : static constexpr int64_t FID_INITIAL_VALUE = 1;
80 : int64_t m_nNextFID = FID_INITIAL_VALUE;
81 :
82 : bool bHasFieldNames;
83 :
84 : OGRFeature *GetNextUnfilteredFeature();
85 :
86 : bool bNew;
87 : bool bInWriteMode;
88 : bool bUseCRLF;
89 : bool bNeedRewindBeforeRead;
90 : OGRCSVGeometryFormat eGeometryFormat;
91 :
92 : char *pszFilename;
93 : std::string m_osCSVTFilename{};
94 : bool bCreateCSVT;
95 : bool bWriteBOM;
96 : char szDelimiter[2] = {0};
97 :
98 : int nCSVFieldCount;
99 : int *panGeomFieldIndex;
100 : bool bFirstFeatureAppendedDuringSession;
101 : bool bHiddenWKTColumn;
102 :
103 : // http://www.faa.gov/airports/airport_safety/airportdata_5010/menu/index.cfm
104 : // specific
105 : int iNfdcLongitudeS;
106 : int iNfdcLatitudeS;
107 : bool bHonourStrings;
108 :
109 : bool m_bIsGNIS =
110 : false; // https://www.usgs.gov/u.s.-board-on-geographic-names/download-gnis-data
111 : int iLongitudeField;
112 : int iLatitudeField;
113 : int iZField;
114 : CPLString osXField;
115 : CPLString osYField;
116 : CPLString osZField;
117 :
118 : bool bIsEurostatTSV;
119 : int nEurostatDims;
120 :
121 : GIntBig nTotalFeatures;
122 :
123 : char **AutodetectFieldTypes(CSLConstList papszOpenOptions, int nFieldCount);
124 :
125 : bool bWarningBadTypeOrWidth;
126 : bool bKeepSourceColumns;
127 : bool bKeepGeomColumns;
128 :
129 : bool bMergeDelimiter;
130 :
131 : bool bEmptyStringNull;
132 :
133 : StringQuoting m_eStringQuoting = StringQuoting::IF_AMBIGUOUS;
134 :
135 : char **GetNextLineTokens();
136 :
137 : static bool Matches(const char *pszFieldName, char **papszPossibleNames);
138 :
139 : public:
140 : OGRCSVLayer(GDALDataset *poDS, const char *pszName, VSILFILE *fp,
141 : int nMaxLineSize, const char *pszFilename, int bNew,
142 : int bInWriteMode, char chDelimiter);
143 : virtual ~OGRCSVLayer() override;
144 :
145 735 : OGRLayer *GetLayer() override
146 : {
147 735 : return this;
148 : }
149 :
150 9 : const char *GetFilename() const
151 : {
152 9 : return pszFilename;
153 : }
154 :
155 : std::vector<std::string> GetFileList() override;
156 :
157 9 : char GetDelimiter() const
158 : {
159 9 : return szDelimiter[0];
160 : }
161 :
162 9 : bool GetCRLF() const
163 : {
164 9 : return bUseCRLF;
165 : }
166 :
167 9 : bool GetCreateCSVT() const
168 : {
169 9 : return bCreateCSVT;
170 : }
171 :
172 9 : bool GetWriteBOM() const
173 : {
174 9 : return bWriteBOM;
175 : }
176 :
177 9 : OGRCSVGeometryFormat GetGeometryFormat() const
178 : {
179 9 : return eGeometryFormat;
180 : }
181 :
182 9 : bool HasHiddenWKTColumn() const
183 : {
184 9 : return bHiddenWKTColumn;
185 : }
186 :
187 4 : GIntBig GetTotalFeatureCount() const
188 : {
189 4 : return nTotalFeatures;
190 : }
191 :
192 16 : const CPLString &GetXField() const
193 : {
194 16 : return osXField;
195 : }
196 :
197 10 : const CPLString &GetYField() const
198 : {
199 10 : return osYField;
200 : }
201 :
202 12 : const CPLString &GetZField() const
203 : {
204 12 : return osZField;
205 : }
206 :
207 : void BuildFeatureDefn(const char *pszNfdcGeomField = nullptr,
208 : const char *pszGeonamesGeomFieldPrefix = nullptr,
209 : CSLConstList papszOpenOptions = nullptr);
210 :
211 : void ResetReading() override;
212 : OGRFeature *GetNextFeature() override;
213 : virtual OGRFeature *GetFeature(GIntBig nFID) override;
214 :
215 89879 : OGRFeatureDefn *GetLayerDefn() override
216 : {
217 89879 : return poFeatureDefn;
218 : }
219 :
220 : int TestCapability(const char *) override;
221 :
222 : virtual OGRErr CreateField(const OGRFieldDefn *poField,
223 : int bApproxOK = TRUE) override;
224 :
225 : static OGRCSVCreateFieldAction
226 : PreCreateField(OGRFeatureDefn *poFeatureDefn,
227 : const std::set<CPLString> &oSetFields,
228 : const OGRFieldDefn *poNewField, int bApproxOK);
229 : virtual OGRErr CreateGeomField(const OGRGeomFieldDefn *poGeomField,
230 : int bApproxOK = TRUE) override;
231 :
232 : virtual OGRErr ICreateFeature(OGRFeature *poFeature) override;
233 :
234 : void SetCRLF(bool bNewValue);
235 : void SetWriteGeometry(OGRwkbGeometryType eGType,
236 : OGRCSVGeometryFormat eGeometryFormat,
237 : const char *pszGeomCol = nullptr);
238 : void SetCreateCSVT(bool bCreateCSVT);
239 : void SetWriteBOM(bool bWriteBOM);
240 :
241 133 : void SetStringQuoting(StringQuoting eVal)
242 : {
243 133 : m_eStringQuoting = eVal;
244 133 : }
245 :
246 9 : StringQuoting GetStringQuoting() const
247 : {
248 9 : return m_eStringQuoting;
249 : }
250 :
251 : virtual GIntBig GetFeatureCount(int bForce = TRUE) override;
252 : virtual OGRErr SyncToDisk() override;
253 :
254 25 : GDALDataset *GetDataset() override
255 : {
256 25 : return m_poDS;
257 : }
258 :
259 : OGRErr WriteHeader();
260 : };
261 :
262 : /************************************************************************/
263 : /* OGRCSVDataSource */
264 : /************************************************************************/
265 :
266 1308 : class OGRCSVDataSource final : public GDALDataset
267 : {
268 : char *pszName = nullptr;
269 :
270 : std::vector<std::unique_ptr<IOGRCSVLayer>> m_apoLayers{};
271 :
272 : bool bUpdate = false;
273 :
274 : CPLString osDefaultCSVName{};
275 :
276 : bool bEnableGeometryFields = false;
277 :
278 : bool DealWithOgrSchemaOpenOption(CSLConstList papszOpenOptions);
279 :
280 : /* When OGR_SCHEMA and schemaType=Full, this will contain the list
281 : * of removed field (if any).
282 : */
283 : std::vector<int> m_oDeletedFieldIndexes;
284 :
285 : public:
286 : OGRCSVDataSource();
287 : virtual ~OGRCSVDataSource() override;
288 :
289 : bool Open(const char *pszFilename, bool bUpdate, bool bForceOpen,
290 : CSLConstList papszOpenOptions, bool bSingleDriver);
291 : bool OpenTable(const char *pszFilename, CSLConstList papszOpenOptions,
292 : const char *pszNfdcRunwaysGeomField = nullptr,
293 : const char *pszGeonamesGeomFieldPrefix = nullptr);
294 :
295 1514 : int GetLayerCount() override
296 : {
297 1514 : return static_cast<int>(m_apoLayers.size());
298 : }
299 :
300 : OGRLayer *GetLayer(int) override;
301 :
302 : char **GetFileList() override;
303 :
304 : virtual OGRLayer *ICreateLayer(const char *pszName,
305 : const OGRGeomFieldDefn *poGeomFieldDefn,
306 : CSLConstList papszOptions) override;
307 :
308 : virtual OGRErr DeleteLayer(int) override;
309 :
310 : int TestCapability(const char *) override;
311 :
312 : void CreateForSingleFile(const char *pszDirname, const char *pszFilename);
313 :
314 10 : void EnableGeometryFields()
315 : {
316 10 : bEnableGeometryFields = true;
317 10 : }
318 :
319 : static CPLString GetRealExtension(CPLString osFilename);
320 : const std::vector<int> &DeletedFieldIndexes() const;
321 : };
322 :
323 : #endif // ndef OGR_CSV_H_INCLUDED
|
