added a find actor stat cat function, errors when it doesn't find since I use on error stop

quasi experimental stat cat and entry functions

ASSERT not supported until PG 9.5

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some useful wrappers for loading bre's

"mig" tool

Wraps some new and existing tools in a git-like command system,
currently great for quickly getting files into staging tables,
has aspirations for one day tracking mapping relationships and
doing code generation for mapping.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

third variant of migration_tools.assert with success message as 3rd argument

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

--force-utf8 in leader for marc_cleanup

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

assert tool for use with \set ON_ERROR_STOP on

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

use UNLOGGED tables for the base staging tables

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add note to readme

add vacuum analyze script for database maintenance in remove_ou scripts

add a script to aid in generating the delete file for patrons in remove_ou scripts

add disable/renable rule so that copy locations can be deleted in remove_ou scripts

add removing usr circ history to remove_ou scripts

add removing call number suffixes and prefixes to remove_ou scripts

removed unncessary schema declared on column and fixed issue where value needed was ID and org shortname was given

removed moving call numbers where items and call numbers were on incompatible orgs to be deleted

added check to make sure holds were fulfilled when deleting by fulfillment library

removed nulling of parent circs where child circ is at non-deleted library

Remove stat cats owned by to be deleted org unit, stat cat entries and entry user mappings by those stat cats or patrons of those org units.

move call numbers from to be deleted org to undeleted org when the copy is at an undeleted org

add deleting holds by request lib

remove auditor history edits

remove holds based on fulfillment library

update the noncat circ code to note delete non cat circs when the staff member is registered at the wrong library

deletions of non cat circs

remove albermale references by putting in a variable and deleting usr messages

added line to handle child checkouts where parent checkout is at the org being deleted but child is not by nulling parent circ, unfortunately no way to indicate this

OU data removal script

This is a set of SQL scripts to be run, in order, to completely
remove data belonging to an OU and its descendants in an Evergreen
database.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

filter out linefeeds and carriage returns from holding tag values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

filter out tabs from holding tag values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

minor whitespace correction

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Make --wait optional in eg_staged_bib_overlay.

This commit only causes load bibs to wait if the --wait option is
specified with a non-zero value.  It also changes the default for the
global $wait variable that the option is read into to zero.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Perl eval improvements in eg_staged_bib_overlay.

Two changes to improve the eval conditions added in the previous
commit:

1. Both error handlers now warn with the same message:

   Record $i is bad: $@; skipping.

Thereby reporting the original message in case the user wants to try
and recover the records later.

2. If a bib record's 901$c is either missing or not numeric, die() is
called with a message to that effect.  This eliminates the Perl
warnings about exiting an eval block with next.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Use eval in eg_staged_bib_overlay.

Wrap the parsing of MARC from input files in eval blocks with an error
handler to skip to the next record.  I have encounterd bad records
that have stopped the processing of the rest of the file.  This
occurred the very first time I used this script.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

convert DestinyCustomReport XML to TSV

add --fix-subfield

and tweak some comments and command-line help

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

example Follet/Destiny 852 map

syntax in INHERIT example

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

eg_staged_bib_overlay: add --link-skipped

The new --link-skipped switch modifies the link_auth_bibs
action to say that bibs that were skipped due to having been
edited after the cutoff should be linked to authorities (rather
than linking imported bibs).

The use case for this: the library decides that they don't
want to scribble over the skipped bibs, but still want to
take advantage of any new authorities that correspond to them.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

eg_staged_bib_overlay: add actions to export skipped records

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

eg_staged_bib_overlay: fix help

Corrected the description of the --overlay_auths_stage1
and --overlay_auths_stage2 switches.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

eg_staged_bib_overlay: add link_auth_bib action

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

staged record loader: add various authority record actions

--action stage_auths          - load MARC authorities into staging
                                table
--action match_auths          - identify matches with authority
                                records already present in the
                                Evergreen database; matching is
                                based on LCCN, cancelled LCCN, and
                                main heading.
--action load_new_auths       - load new (unmatched) authorities
--action overlay_auths_stage1 - overlay based on LCCN where
                                heading has not change; this step
                                disables propagation to bib records
--action overlay_auths_stage2 - overlay based on LCCN where heading
                                has NOT changed; propagates changes
                                to bib records
--action overlay_auths_stage3 - overlay for records where a cancelled
                                LCCN is replaced with a new one
--action link_auth_auth       - run authority_authority_linker.pl for
                                the authorities that were overlaid
                                or added in this batch.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

tweaks to name parser

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

staged bib overlay: tweak bib filtering

Filtering now always ignores staged bibs that are
imported or already marked as not to be imported.

Also, bibs whose XML is not well-formed are now
excluded.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

update usage information

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new utility to overlay bib records in an Evergreen database

Utility to stage and overlay bib records in an Evergreen database. This
expects that the incoming records will have been previously exported
from that Evergreen database and modified in some fashion (e.g., for
authority record processing) and that the bib ID can be found in the
901$c subfield.

This program has several modes controlled by the --action switch:

  --action stage_bibs  - load MARC bib records into a staging table
  --action filter_bibs - mark previously staged bibs that should
                         be excluded from a subsequent load, either
                         because the target bib is deleted in Evergreen
                         or the record was modified after a date
                         specified by the --cutoff switch
  --action load_bibs   - overlay bib records using a previously staged
                         batch, one at a time. After each bib, it will
                         wait the number of seconds specified by the
                         --wait switch.

Several switches are used regardless of the specified action:

  --schema  - Pg schema in which staging table will live; should be
              created beforehand
  --batch   - name of bib batch; will also be used as the name
              of the staging table
  --db      - database name
  --dbuser  - database user
  --dbpw    - database password
  --dbhost  - database host

Examples:

./eg_staged_bib_overlay --schema bib_load --batch bibs_2016_01 --db evergreen \
   --dbuser evergreen --dbpw evergreen --dbhost localhost \
   --action stage_bibs -- file1.mrc file2.mrc [...]

./eg_staged_bib_overlay --schema bib_load --batch bibs_2016_01 --db evergreen \
   --dbuser evergreen --dbpw evergreen --dbhost localhost \
   --action filter_bibs --cutoff 2016-01-02

./eg_staged_bib_overlay --schema bib_load --batch bibs_2016_01 --db evergreen \
   --dbuser evergreen --dbpw evergreen --dbhost localhost \
   --action load_bibs

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

teach export_evergreen_library how to emit serials data

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

acq.fund_tag_map

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add acq.provider_contact and acq.provider_contact_address to base staging table

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add action.transit_copy and action.hold_transit_copy to base tables

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add action.hold_request_note to the list of base tables

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.attempt_hz_date

tweak for case when just last name

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.name_parse_out_last_first_middle_and_random_affix for LAST FIRST MIDDLE with no comma

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.find_hold_matrix_matchpoint2

another convenience function

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

remove config fig.circ_matrix_circ_mod_test

and _map from the list of base tables so that .build() will work with newer
versions of EG

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

more money converters

migration_tools.attempt_money_from_pennies
and migration_tools.attempt_money_from_pennies6

Avoids dividing by 100 when doing the conversion

2nd argument, the fail value, should not be pennies

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

duplicate_template_but_change_delay

Let's us get around duplicate key issues in some cases by tweaking the delay as
part of the cloning process.

Example:

    ubuntudeskfx=# SELECT * FROM migration_tools.duplicate_template(5,'{3,4}','00:30:00'::INTERVAL);

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Minor typo fix in export_evergreen_library

Signed-off-by: Mike Rylander <mrylander@gmail.com>

tweak migration_tools.insert_856_9

rename original to migration_tools.insert_856_9_conditional, since it has
behavior based on 856$u content.  New version simply adds a $9 if one does
not already exist (regardless of org unit referenced)

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

handle dates like 051980

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add some in-db matchpoint tables, for potential ease of staging policy rules

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

convenience wrappers for finding in-db rules

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

make migration_tools.apply_circ_matrix_to_specific_circ use the more recent apply_circ_matrix code

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add a delimiter paramater, and a variant that returns an array of tags

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

.get_marc_tag

Useful since you can't get unnormalized values out of metabib.full_rec

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Merge branch 'master' of git.esilibrary.com:migration-tools

migration_tools.apply_circ_matrix_to_specific_circ

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

proc to clone a/t event definitions

ubuntudeskfx=# SELECT * FROM migration_tools.duplicate_template(5,'{3,4}');
INFO:  created atevdef with id = 112
INFO:  created atevdef with id = 113
INFO:  -- UPDATE action_trigger.event_definition SET active = CASE WHEN id = 5 THEN FALSE ELSE TRUE END WHERE id in (5,112,113);
 duplicate_template
--------------------

(1 row)

ubuntudeskfx=# UPDATE action_trigger.event_definition SET active = CASE WHEN id = 5 THEN FALSE ELSE TRUE END WHERE id in (5,112,113);
UPDATE 3

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

example script showing how to use 'fingerprinter' to deduplicate bib records

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

let's strip commas as well with attempt_money

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

an attempt_money method for a smaller numeric, given what we use for billings and payments

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

let migration_tools.attempt_money strip dollar signs for us

include affixes with _callnum_label_once_per_lib index

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add tables for call number affixes

add routine to calculate Code 39 mod 43 barcode checkdigits

migration_tools.add_code39mod43_checkdigit($barcode);
If the source string is 13 or 14 characters long and contains only valid
Code 39 mod 43 characters, adds or replaces the 14th
character with a checkdigit computed according to the usual algorithm for library barcodes
using the Code 39 mod 43 symbology - see <http://en.wikipedia.org/wiki/Code_39#Code_39_mod_43>.  If the
input string does not meet those requirements, it is returned unchanged.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Simple script to export records belonging to a specific Evergreen OU and its descendents.

Usage: export_evergreen_library shortname scratch_dir output_dir db_conn_params

For example:

$ mkdir inter out
$ ./export_evergreen_library SYS1 inter out '-U evergreen'

The script emits MARC bibs, undeleted patrons, all items for the OU, all loans
for the OU's patrons and items, current hold requests, and patron billings.

The script expects to be run on a box that can access the Evergreen database
via psql and an OpenSRF stack.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix construct that doesn't work in Perl 5.10

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve tool for cleaning up merge maps

The map cleaner/merger now correctly handles
cases where a given subordinate bib has a lead
bib that itself has a different lead bib.  It
also excludes cyclical loops in the merge map.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make the fingerprinter normalize OCLC control numbers

Various ways of representing the same control number
are now normalized to "(OCoLC)" followed by the numeric
portion of the control number.

This patch also introduces a new module, Equinox::Migration::Utils,
which is meant for miscellaneous utility routines.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

enhancements to patron/circ purge

- add a couple notes and instructions
- add a couple more tables to clear out
- use TRUNCATE where possible

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improvements to bib nuking script

- truncate a few tables that don't have explicit FK
  links to bibs or copies
- nuke authority records
- inform the sysadmin of the next steps to take to
  complete the purge

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: add support for MARC8

The dumper now groks --source-charset marc8

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

New tool: dump_oracle_query_output

Dumps results of query on Oracle database to file for loading into PostgreSQL

Usage: ./dump_oracle_query_output \
    [--sid oracle_sid] [--host oracle_host] --user oracle_user --pw oracle_password \
    --query sql_query \
    --out output_tsv_file [--help]

This exists because sqlplus lacks an easy way to dump arbitrary
query output to TSV or CSV.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: try to ensure dump output is UTF-8

Adds a --source-charset command-line parameter to specify
the source character encoding.  Note that CLOB/BLOB columns
are not considered (not that they were before this commit).

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: recognize CHAR columns

Also don't complain if integer columns don't specify
a scale.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

when parsing state from city, anchor pattern on right

This avoids "ANCHOR POINT AK" from becoming {"ANCHORINT", "AK"}

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

map Oracle NUMBER columns to correct Pg type

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new utility: dump_oracle_table_for_pg

This utility dumps the contents of an Oracle table
to file for loading into PostgreSQL.

Usage: dump_oracle_table_for_pg \
    [--sid oracle_sid] [--host oracle_host] --user oracle_user --pw oracle_password \
    --table oracle_table_name \
    --pg-table destination_pg_table_name \
    --out output_tsv_file --sql output_table_create_sql_file \
    [--column-prefix column_prefix] [--inherits-from base_pg_table] [--help]

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

rework attempt_cast function

This function now returns the original value if it can
be cast to the desired type, and NULL otherwise.  For example:

UPDATE foo
SET price = migration_tools.attempt_cast(l_price, 'NUMERIC(8,2)')::NUMERIC(8,2);

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_parses() test

If the Leader/09 is not 'a' and the record has diacritics,
MARC::Record and friends don't complain until you try to
emit a MARCXML record.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

start work on a function for creating staff users in bulk

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new function to set indicators in MARC fields

migration_tools.set_leader(marc, tag, indicator_pos, value):

Set indicator value of a specified MARC field.
The first argument is a MARCXML string.
The second argument is a MARC tag.
The third argument is the indicator position, either 1 or 2.
The fourth argument is the character to set the indicator value to.
All occurences of the specified field will be changed.
The function returns the revised MARCXML string.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

create base staging tables for acquisitions

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

teach migration_tools.change_call_number() about label classes

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Merge branch 'master' of git.esilibrary.com:migration-tools

remove last trace of vestigial bib modifier

This modifier was removed in commit 8e63d0bdd; this commit
just removes the last reference.  Thanks to Justin Hopkins
for spotting this.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>