core/library/tests_configuration/test_tokenizer.cpp

   1 /*
   2 *  Name   : test_tokenizer
   3 *  Author : Chris Koeritz
   4 *  Purpose: Puts the variable_tokenizer through some paces.
   5 **
   6 * Copyright (c) 1998-$now By Author.  This program is free software; you can  *
   7 * redistribute it and/or modify it under the terms of the GNU General Public  *
   8 * License as published by the Free Software Foundation; either version 2 of   *
   9 * the License or (at your option) any later version.  This is online at:      *
  10 *     http://www.fsf.org/copyleft/gpl.html                                    *
  11 * Please send any updates to: fred@gruntose.com                               *
  12 */
  13
  14 #include <application/hoople_main.h>
  15 #include <basis/astring.h>
  16 #include <basis/byte_array.h>
  17 #include <basis/functions.h>
  18 #include <basis/guards.h>
  19 #include <configuration/variable_tokenizer.h>
  20 #include <filesystem/byte_filer.h>
  21 #include <structures/static_memory_gremlin.h>
  22 #include <structures/string_table.h>
  23 #include <textual/parser_bits.h>
  24 #include <unit_test/unit_base.h>
  25
  26 using namespace application;
  27 using namespace basis;
  28 using namespace configuration;
  29 using namespace filesystem;
  30 using namespace loggers;
  31 using namespace mathematics;
  32 using namespace structures;
  33 using namespace textual;
  34 using namespace timely;
  35 using namespace unit_test;
  36
  37 #define LOG(to_print) EMERGENCY_LOG(program_wide_logger::get(), astring(to_print))
  38
  39 const int MAX_LINE_SIZE = 1000;
  40   // the largest line we will deal with in a file.
  41
  42 class test_tokenizer : public virtual unit_base, public virtual application_shell
  43 {
  44 public:
  45   test_tokenizer() {}
  46   DEFINE_CLASS_NAME("test_tokenizer");
  47   virtual int execute();
  48 };
  49
  50 //////////////
  51
  52 int test_tokenizer::execute()
  53 {
  54   FUNCDEF("execute");
  55   {
  56     astring test_set_1 = "\n\
  57 [frederick]\n\
  58 samba=dance\n\
  59 tantalus rex=gumby\n\
  60 57 chevy heap=\"16 anagrams of misty immediately\"\n\
  61 lingus distractus\n\
  62 shouldus havus assignmentum=\n\
  63 above better be parsed = 1\n\
  64 ;and this comment too yo\n\
  65 ted=agent 12\n";
  66
  67     astring TEST = "First Test: ";
  68     astring testing = test_set_1;
  69     LOG(astring("file before parsing:") + testing);
  70     variable_tokenizer jed("\n\r", "=");
  71     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
  72     astring out;
  73     jed.text_form(out);
  74     variable_tokenizer gorp("\n\r", "=");
  75     ASSERT_TRUE(gorp.parse(out), TEST + "gorp should be parseable");
  76     LOG(astring("file after parsing:") + out);
  77     LOG("and in tabular form:");
  78     LOG(jed.table().text_form());
  79
  80 //for (int i = 0; i < gorp.table().symbols(); i++) {
  81 //astring name, value;
  82 //gorp.table().retrieve(i, name, value);
  83 //LOG(a_sprintf("item %d: name=\"%s\" value=\"%s\"", i, name.s(), value.s()));
  84 //}
  85
  86     ASSERT_TRUE(jed.exists("[frederick]"), TEST + "jed section header was omitted!");
  87     ASSERT_EQUAL(jed.find("[frederick]"), astring(""),
  88         TEST + "jed section header had unexpected contents!");
  89     ASSERT_EQUAL(jed.find("ted"), astring("agent 12"),
  90         TEST + "jed's ted is missing or invalid!");
  91     ASSERT_FALSE(jed.find("shouldus havus assignmentum").t(),
  92         TEST + "jed's shouldus had contents but shouldn't!");
  93     astring value = *jed.table().find("shouldus havus assignmentum");
  94     ASSERT_EQUAL(value, astring(" "), TEST + "jed shouldus had wrong contents, not special!");
  95     ASSERT_TRUE(gorp.exists("[frederick]"), TEST + "gorp section header was omitted!");
  96     ASSERT_EQUAL(gorp.find("[frederick]"), astring(""),
  97         TEST + "gorp section header had unexpected contents!");
  98     ASSERT_EQUAL(gorp.find("ted"), astring("agent 12"),
  99         TEST + "gorp's ted is missing or invalid!");
 100     ASSERT_FALSE(gorp.find("shouldus havus assignmentum").t(),
 101         TEST + "gorp's shouldus had contents but shouldn't!");
 102     value = *gorp.table().find("shouldus havus assignmentum");
 103     ASSERT_EQUAL(value, astring(" "), TEST + "gorp shouldus had wrong contents, not special!");
 104   }
 105   {
 106     astring test_set_2 = "Name=SRV,   Parent=,        Persist=Y,  Entry=Y, Required=Y, Desc=Server,               Tbl=Server";
 107
 108     astring TEST = "Second Test: ";
 109     astring testing = test_set_2;
 110     LOG(astring("file before parsing:") + testing);
 111     variable_tokenizer jed(",", "=");
 112     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
 113     astring out;
 114     jed.text_form(out);
 115     LOG(astring("file after parsing:") + out);
 116     LOG("and in tabular form:");
 117     LOG(jed.table().text_form());
 118     ASSERT_EQUAL(jed.find("Name"), astring("SRV"), TEST + "Name is missing or invalid!");
 119     ASSERT_FALSE(jed.find("Parent").t(), TEST + "Parent had contents but shouldn't!");
 120     astring value = *jed.table().find("Parent");
 121     ASSERT_EQUAL(value, astring(" "), TEST + "Parent had wrong contents, not special!");
 122     ASSERT_EQUAL(jed.find("Persist"), astring("Y"), TEST + "Persist is missing or invalid!");
 123   }
 124
 125   {
 126     astring test_set_3 = "\n\
 127 [frederick]\n\
 128 samba=dance\n\
 129 tantalus rex=gumby \"don#t\n\n'play'\nthat\" homey '\n\ndog\n\n yo \"\ncreen\" arf'\n\
 130 57 chevy heap=\"16 anagrams of misty immediately\"\n\
 131 lingus distractus\n\
 132 shouldus havus assignmentum=\n\
 133 above better be parsed = 1\n\
 134 ;and this comment too yo\n\
 135 ted=agent 12\n";
 136
 137     astring TEST = "Third Test: ";
 138     astring testing = test_set_3;
 139     LOG(astring("file before parsing:") + testing);
 140     variable_tokenizer jed("\n\r", "=", "\'\"");
 141     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
 142     astring out;
 143     jed.text_form(out);
 144     variable_tokenizer gorp("\n\r", "=", "\'\"");
 145     ASSERT_TRUE(gorp.parse(out), TEST + "gorp should be parseable");
 146     LOG(astring("file after parsing:") + out);
 147     LOG("and in tabular form:");
 148     LOG(jed.table().text_form());
 149     ASSERT_TRUE(jed.exists("[frederick]"), TEST + "jed section header was omitted!");
 150     ASSERT_EQUAL(jed.find("[frederick]"), astring(""),
 151       TEST + "jed section header had unexpected contents!");
 152     ASSERT_EQUAL(jed.find("ted"), astring("agent 12"), TEST + "jed ted is missing or invalid!");
 153     ASSERT_FALSE(jed.find("shouldus havus assignmentum").t(),
 154       TEST + "jed shouldus had contents but shouldn't!");
 155     astring value = *jed.table().find("shouldus havus assignmentum");
 156     ASSERT_EQUAL(value, astring(" "), TEST + "jed shouldus had wrong contents, not special!");
 157     ASSERT_TRUE(gorp.exists("[frederick]"), TEST + "gorp section header was omitted!");
 158     ASSERT_EQUAL(gorp.find("[frederick]"), astring(""),
 159       TEST + "gorp section header had unexpected contents!");
 160     ASSERT_EQUAL(gorp.find("ted"), astring("agent 12"), TEST + "gorp second ted is missing or invalid!");
 161     ASSERT_FALSE(gorp.find("shouldus havus assignmentum").t(),
 162       TEST + "gorp shouldus had contents but shouldn't!");
 163     value = *gorp.table().find("shouldus havus assignmentum");
 164     ASSERT_EQUAL(value, astring(" "), TEST + "gorp shouldus wrong contents, was not special!");
 165     ASSERT_TRUE(gorp.exists("tantalus rex"), TEST + "gorp tantalus rex is missing!");
 166     ASSERT_EQUAL(gorp.find("tantalus rex"),
 167         astring("gumby \"don#t\n\n'play'\nthat\" homey '\n\ndog\n\n yo "
 168            "\"\ncreen\" arf'"),
 169       TEST + "gorp tantalus rex has incorrect contents!");
 170   }
 171   {
 172     astring test_set_4 = "\n\
 173 [garfola]\n\
 174 treadmill=\"this ain't the place\nwhere'n we been done\nseein' no quotes\"\n\
 175 borfulate='similarly \"we\" do not like\nthe \" quote \" type thing here'\n\
 176 ";
 177
 178     astring TEST = "Fourth Test: ";
 179     astring testing = test_set_4;
 180     LOG(astring("file before parsing:\n") + testing);
 181     variable_tokenizer jed("\n\r", "=", "\'\"", false);
 182     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
 183     astring out;
 184     jed.text_form(out);
 185     variable_tokenizer gorp("\n\r", "=", "\'\"", false);
 186     ASSERT_TRUE(gorp.parse(out), TEST + "gorp should be parseable");
 187     LOG(astring("file after parsing:\n") + out);
 188     LOG("and in tabular form:");
 189     LOG(jed.table().text_form());
 190     ASSERT_TRUE(gorp.exists("[garfola]"), TEST + "section header was omitted!");
 191     ASSERT_EQUAL(gorp.find("[garfola]"), astring(""),
 192         TEST + "section header had unexpected contents!");
 193     ASSERT_TRUE(gorp.exists("treadmill"), TEST + "treadmill is missing!");
 194     ASSERT_EQUAL(gorp.find("treadmill"),
 195         astring("\"this ain't the place\nwhere'n we been done\nseein' no quotes\""),
 196         TEST + "treadmill has incorrect contents!");
 197     ASSERT_TRUE(gorp.exists("borfulate"), TEST + "borfulate is missing!");
 198     ASSERT_EQUAL(gorp.find("borfulate"),
 199         astring("'similarly \"we\" do not like\nthe \" quote \" type thing here'"),
 200         TEST + "borfulate has incorrect contents!");
 201   }
 202   {
 203     astring test_set_5 = "\n\
 204  x~35; y~92   ;#comment   ; d   ~83 ;  e~   54   ; ? new comment  ;sud   ~  xj23-8 ; nigh ~2";
 205
 206     astring TEST = "Fifth Test: ";
 207     astring testing = test_set_5;
 208     LOG(astring("file before parsing:\n") + testing);
 209     variable_tokenizer jed(";", "~");
 210     jed.set_comment_chars("#?");
 211     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
 212     astring out;
 213     jed.text_form(out);
 214     LOG(astring("file after parsing:\n") + out);
 215     LOG("and in tabular form:");
 216     LOG(jed.table().text_form());
 217
 218     variable_tokenizer gorp(";", "~");
 219     gorp.set_comment_chars("#?");
 220     ASSERT_TRUE(gorp.parse(out), TEST + "gorp should be parseable");
 221     LOG("gorp in tabular form:");
 222     LOG(gorp.table().text_form());
 223 //hmmm: need equalizable/orderable on table?
 224     ASSERT_TRUE(gorp.table() == jed.table(), TEST + "gorp text not same as jed!");
 225
 226     ASSERT_EQUAL(jed.find("x"), astring("35"), TEST + "value for x missing or invalid");
 227     ASSERT_EQUAL(jed.find("y"), astring("92"), TEST + "value for y missing or invalid");
 228     ASSERT_EQUAL(jed.find("d"), astring("83"), TEST + "value for d missing or invalid");
 229     ASSERT_EQUAL(jed.find("e"), astring("54"), TEST + "value for e missing or invalid");
 230     ASSERT_EQUAL(jed.find("sud"), astring("xj23-8"), TEST + "value for sud missing or invalid");
 231     ASSERT_EQUAL(jed.find("nigh"), astring("2"), TEST + "value for nigh missing or invalid");
 232   }
 233   {
 234     astring test_set_6 = "\r\n\r\n\r\
 235 # this is yet another test with comments.\r\n\
 236 ; we want to be sure stuff works right.\r\n\
 237 crumpet=tempest\r\n\
 238   moomar=18\r\n\
 239 shagbot  =once upon a time there was a man  \r\n\
 240 \t\t\tpunzola megamum  =brandle the handle  \r\n\
 241 trapzoot=  uhhh\r\n\
 242 mensch   = racer X\r\n\
 243 \r\n\r\n\r\n";
 244
 245     astring TEST = "Sixth Test: ";
 246     astring testing = test_set_6;
 247     LOG(astring("file before parsing:\n===========\n") + testing + "\n===========");
 248     variable_tokenizer jed("\n\r", "=");
 249     jed.set_comment_chars("#;");
 250     ASSERT_TRUE(jed.parse(testing), TEST + "jed should be parseable");
 251     astring out;
 252     jed.text_form(out);
 253     LOG(astring("file after parsing:\n===========\n") + out + "\n===========");
 254     LOG("and in tabular form:");
 255     LOG(jed.table().text_form());
 256
 257     variable_tokenizer gorp("\n\r", "=");
 258     gorp.set_comment_chars("#;");
 259     ASSERT_TRUE(gorp.parse(out), TEST + "gorp should be parseable");
 260     LOG("gorp in tabular form:");
 261     LOG(gorp.table().text_form());
 262 LOG(a_sprintf("gorp has %d fields, jed has %d fields", gorp.symbols(), jed.symbols()));
 263     ASSERT_TRUE(gorp.table() == jed.table(), TEST + "gorp text not same as jed!");
 264
 265     ASSERT_EQUAL(jed.find("crumpet"), astring("tempest"),
 266         TEST + "value for crumpet missing or invalid");
 267     ASSERT_EQUAL(jed.find("moomar"), astring("18"),
 268         TEST + "value for moomar missing or invalid");
 269     ASSERT_EQUAL(jed.find("shagbot"), astring("once upon a time there was a man"),
 270         TEST + "value for shagbot missing or invalid");
 271     ASSERT_EQUAL(jed.find("trapzoot"), astring("uhhh"),
 272         TEST + "value for trapzoot missing or invalid");
 273     ASSERT_EQUAL(jed.find("punzola megamum"), astring("brandle the handle"),
 274         TEST + "value for punzola missing or invalid");
 275     ASSERT_EQUAL(jed.find("mensch"), astring("racer X"),
 276         TEST + "value for mensch missing or invalid");
 277   }
 278
 279   return final_report();
 280 }
 281
 282 //////////////
 283
 284 HOOPLE_MAIN(test_tokenizer, );
 285