scripts/rev_control/version_control.sh

   1 #!/bin/bash
   2
   3 # these are helper functions for doing localized revision control.
   4 # this script should be sourced into other scripts that use it.
   5
   6 # Author: Chris Koeritz
   7 # Author: Kevin Wentworth
   8
   9 source "$FEISTY_MEOW_SCRIPTS/core/launch_feisty_meow.sh"
  10 source "$FEISTY_MEOW_SCRIPTS/tty/terminal_titler.sh"
  11
  12 ##############
  13
  14 # check git version to see if we can use autostash.
  15 # this appears to be an ubuntu issue, where xenial did not provide it even though the
  16 # feature appeared in git 2.6 and xenial claims it has git version 2.7.4.  eventually,
  17 # this version test can go away.
  18 gitvertest="$(git version | sed -e 's/git version [0-9]\.//' | sed -e 's/\.0$//' )"
  19 #hmmm: temp below!
  20 echo gitvertest is $gitvertest
  21 if (( $gitvertest >= 11 )); then
  22   # auto-stash is not available until 2.6 for git, but ubuntu is misreporting or using a
  23   # differing version number somehow.  we are sure autostash was missing on ubuntu xenial
  24   # with git 2.7.4 and it's definitely present in zesty with git at 2.11.
  25   PULL_ADDITION='--rebase --autostash'
  26 fi
  27
  28 ##############
  29
  30 # the maximum depth that the recursive functions will try to go below the starting directory.
  31 export MAX_DEPTH=5
  32
  33 # use our splitter tool for lengthy output if it's available.
  34 if [ ! -z "$(which splitter 2>/dev/null)" ]; then
  35   TO_SPLITTER="$(which splitter)"
  36   # calculate the number of columsn in the terminal.
  37   cols=$(get_maxcols)
  38   TO_SPLITTER+=" --maxcol $(($cols - 1))"
  39 else
  40   TO_SPLITTER=cat
  41 fi
  42
  43 ##############
  44
  45 #hmmm: move this to core
  46 # this makes the status of pipe N into the main return value.
  47 function promote_pipe_return()
  48 {
  49   ( exit ${PIPESTATUS[$1]} )
  50 }
  51
  52 ##############
  53
  54 # one unpleasantry to take care of first; cygwin barfs aggressively if the TMP directory
  55 # is a DOS path, but we need it to be a DOS path for our GFFS testing, so that blows.
  56 # to get past this, TMP gets changed below to a hopefully generic and safe place.
  57 if [[ "$TMP" =~ .:.* ]]; then
  58   echo "making weirdo temporary directory for PCDOS-style path."
  59   export TMP=/tmp/rev_control_$USER
  60 fi
  61 if [ ! -d "$TMP" ]; then
  62   mkdir -p $TMP
  63 fi
  64 if [ ! -d "$TMP" ]; then
  65   echo "could not create the temporary directory TMP in: $TMP"
  66   echo "this script will not work properly without an existing TMP directory."
  67 fi
  68
  69 ##############
  70
  71 # checks the directory provided into the revision control system repository it belongs to.
  72 function do_checkin()
  73 {
  74   local directory="$1"; shift
  75
  76   save_terminal_title
  77
  78   # make a nice echoer since we want to use it inside conditions below.
  79   local nicedir="$directory"
  80   if [ $nicedir == "." ]; then
  81     nicedir=$(\pwd)
  82   fi
  83   local blatt="echo -n checking in '$nicedir'...  "
  84
  85   do_update "$directory"
  86   test_or_die "repository update--this should be fixed before check-in."
  87
  88   pushd "$directory" &>/dev/null
  89   if [ -f ".no-checkin" ]; then
  90     echo "skipping check-in due to presence of .no-checkin sentinel file."
  91   elif [ -d "CVS" ]; then
  92     if test_writeable "CVS"; then
  93       $blatt
  94       cvs ci .
  95       test_or_die "cvs checkin"
  96     fi
  97   elif [ -d ".svn" ]; then
  98     if test_writeable ".svn"; then
  99       $blatt
 100       svn ci .
 101       test_or_die "svn checkin"
 102     fi
 103   elif [ -d ".git" ]; then
 104     if test_writeable ".git"; then
 105       $blatt
 106
 107       # put all changed and new files in the commit.  not to everyone's liking.
 108       git add --all . | $TO_SPLITTER
 109       promote_pipe_return 0
 110       test_or_die "git add all new files"
 111
 112       # see if there are any changes in the local repository.
 113       if ! git diff-index --quiet HEAD --; then
 114         # tell git about all the files and get a check-in comment.
 115 #hmmm: begins to look like, you guessed it, a reusable bit that all commit actions could enjoy.
 116         git commit .
 117         retval=$?
 118         test_or_continue "git commit"
 119         if [ $retval -ne 0 ]; then
 120           echo -e -n "Commit failed or was aborted:\nShould we continue with other check-ins? [y/N] "
 121           local line
 122           read line
 123           if [[ "${line:0:1}" != "y" ]]; then
 124             echo "Stopping check-in process due to missing commit and user request."
 125             exit 1
 126           fi
 127         fi
 128       fi
 129
 130       # a new set of steps we have to take to make sure the branch integrity is good.
 131       do_careful_git_update "$(\pwd)"
 132
 133       # we continue on to the push, even if there were no changes this time, because
 134       # there could already be committed changes that haven't been pushed yet.
 135
 136       # upload any changes to the upstream repo so others can see them.
 137       git push --tags origin "$(my_branch_name)" 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
 138       promote_pipe_return 0
 139       test_or_die "git push"
 140
 141     fi
 142   else
 143     # nothing there.  it's not an error though.
 144     echo no repository in $directory
 145   fi
 146   popd &>/dev/null
 147
 148   restore_terminal_title
 149
 150   return 0
 151 }
 152
 153 # shows the local changes in a repository.
 154 function do_diff
 155 {
 156   local directory="$1"; shift
 157
 158   save_terminal_title
 159
 160   pushd "$directory" &>/dev/null
 161
 162   # only update if we see a repository living there.
 163   if [ -d ".svn" ]; then
 164     svn diff .
 165     test_or_die "subversion diff"
 166   elif [ -d ".git" ]; then
 167     git diff
 168     test_or_die "git diff"
 169   elif [ -d "CVS" ]; then
 170     cvs diff .
 171     test_or_die "cvs diff"
 172   fi
 173
 174   popd &>/dev/null
 175
 176   restore_terminal_title
 177
 178   return 0
 179 }
 180
 181 # reports any files that are not already known to the upstream repository.
 182 function do_report_new
 183 {
 184   local directory="$1"; shift
 185
 186   save_terminal_title
 187
 188   pushd "$directory" &>/dev/null
 189
 190   # only update if we see a repository living there.
 191   if [ -f ".no-checkin" ]; then
 192     echo "skipping reporting due to presence of .no-checkin sentinel file."
 193   elif [ -d ".svn" ]; then
 194     # this action so far only makes sense and is needed for svn.
 195     bash $FEISTY_MEOW_SCRIPTS/rev_control/svnapply.sh \? echo
 196     test_or_die "svn diff"
 197   elif [ -d ".git" ]; then
 198     git status -u
 199     test_or_die "git status -u"
 200   fi
 201
 202   popd &>/dev/null
 203
 204   restore_terminal_title
 205
 206   return 0
 207 }
 208
 209 # checks in all the folders in the specified list.
 210 function checkin_list()
 211 {
 212   # make the list of directories unique.
 213   local list="$(uniquify $*)"
 214
 215   save_terminal_title
 216
 217   # turn repo list back into an array.
 218   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
 219
 220   local outer inner
 221
 222   for outer in "${repository_list[@]}"; do
 223     # check the repository first, since it might be an absolute path.
 224     if [[ $outer =~ /.* ]]; then
 225       # yep, this path is absolute.  just handle it directly.
 226       if [ ! -d "$outer" ]; then continue; fi
 227       do_checkin "$outer"
 228       test_or_die "running check-in (absolute) on path: $outer"
 229       sep 28
 230     else
 231       for inner in $list; do
 232         # add in the directory component to see if we can find the folder.
 233         local path="$inner/$outer"
 234         if [ ! -d "$path" ]; then continue; fi
 235         do_checkin "$path"
 236         test_or_die "running check-in (relative) on path: $path"
 237         sep 28
 238       done
 239     fi
 240   done
 241
 242   restore_terminal_title
 243 }
 244
 245 # does a careful git update on all the folders in the specified list.
 246 function puff_out_list()
 247 {
 248   # make the list of directories unique.
 249   local list="$(uniquify $*)"
 250
 251   save_terminal_title
 252
 253   # turn repo list back into an array.
 254   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
 255
 256   local outer inner
 257
 258 #hmmm: once again, seeing some reusable code in this loop...
 259   for outer in "${repository_list[@]}"; do
 260     # check the repository first, since it might be an absolute path.
 261     if [[ $outer =~ /.* ]]; then
 262       # yep, this path is absolute.  just handle it directly.
 263       if [ ! -d "$outer" ]; then continue; fi
 264       do_careful_git_update "$outer"
 265       test_or_die "running puff-out (absolute) on path: $outer"
 266       sep 28
 267     else
 268       for inner in $list; do
 269         # add in the directory component to see if we can find the folder.
 270         local path="$inner/$outer"
 271         if [ ! -d "$path" ]; then continue; fi
 272         do_careful_git_update "$path"
 273         test_or_die "running puff-out (relative) on path: $path"
 274         sep 28
 275       done
 276     fi
 277   done
 278
 279   restore_terminal_title
 280 }
 281
 282 #hmmm: to go below.
 283 ### takes out the first few carriage returns that are in the input.
 284 ##function squash_first_few_crs()
 285 ##{
 286   ##i=0
 287   ##while read input_text; do
 288     ##i=$((i+1))
 289     ##if [ $i -le 5 ]; then
 290       ##echo -n "$input_text  "
 291     ##else
 292       ##echo $input_text
 293     ##fi
 294   ##done
 295   ##if [ $i -le 3 ]; then
 296     ### if we're still squashing eols, make sure we don't leave them hanging.
 297     ##echo
 298   ##fi
 299 ##}
 300
 301 #hmmm: the below are git specific and should be named that way.
 302
 303 function all_branch_names()
 304 {
 305   echo "$(git branch -vv | cut -d ' ' -f2)"
 306 }
 307
 308 # a helpful method that reports the git branch for the current directory's
 309 # git repository.
 310 function my_branch_name()
 311 {
 312   echo "$(git branch -vv | grep '\*' | cut -d ' ' -f2)"
 313 }
 314
 315 #this had a -> in it at one point for not matching, didn't it?
 316 # this reports the upstream branch for the current repo.
 317 ##function parent_branch_name()
 318 ##{
 319   ##echo "$(git branch -vv | grep \* | cut -d ' ' -f2)"
 320 ##}
 321
 322 # reports the status of the branch by echoing one of these values:
 323 #   okay: up to date and everything is good.
 324 #   needs_pull: this branch needs to be pulled from origins.
 325 #   needs_push: there are unsaved changes on this branch to push to remote store.
 326 #   diverged: the branches diverged and are going to need a merge.
 327 # reference: https://stackoverflow.com/questions/3258243/check-if-pull-needed-in-git
 328 function check_branch_state()
 329 {
 330   local branch="$1"; shift
 331
 332   if [ -z "$branch" ]; then
 333     echo "No branch was passed to check branch state."
 334     return 1
 335   fi
 336
 337   local to_return=120  # unknown issue.
 338
 339   local local_branch=$(git rev-parse @)
 340   local remote_branch=$(git rev-parse "$branch")
 341   local merge_base=$(git merge-base @ "$branch")
 342
 343   local to_echo=
 344   if [ "$local_branch" == "$remote_branch" ]; then
 345     to_echo="okay"
 346   elif [ "$local_branch" == "$merge_base" ]; then
 347     to_echo="needs_pull"
 348   elif [ "$remote_branch" == "$merge_base" ]; then
 349     to_echo="needs_push"
 350   else
 351     to_echo="diverged"
 352   fi
 353
 354   echo -n "$to_echo"
 355
 356   return $to_return
 357 }
 358
 359 # only shows the branch state if it's not okay.
 360 # note that this is not the same as a conditional branch (ha ha).
 361 function show_branch_conditionally()
 362 {
 363   local this_branch="$1"; shift
 364
 365   local state=$(check_branch_state "$this_branch")
 366   if [ "$state" != "okay" ]; then
 367     echo "=> branch '$this_branch' state is not clean: $state"
 368   fi
 369 }
 370
 371 # the git update process just gets more and more complex when you bring in
 372 # branches, so we've moved this here to avoid having a ton of code in the
 373 # other methods.
 374 function do_careful_git_update()
 375 {
 376   local directory="$1"; shift
 377   pushd "$directory" &>/dev/null
 378   test_or_die "changing to directory: $directory"
 379
 380   if [ ! -d ".git" ]; then
 381     # we ignore if they're jumping into a non-useful folder, but also tell them.
 382     echo "Directory is not a git repository: $directory"
 383     return 0
 384   fi
 385
 386   local this_branch="$(my_branch_name)"
 387
 388   show_branch_conditionally "$this_branch"
 389
 390   # first update all our remote branches to their current state from the repos.
 391   git remote update | $TO_SPLITTER
 392   promote_pipe_return 0
 393   test_or_die "git remote update"
 394
 395   show_branch_conditionally "$this_branch"
 396
 397   # this code is now doing what i have to do when i repair the repo.  and it seems to be good so far.
 398   # note that we allow the local branch to be merged with its remote counterpart; otherwise we would
 399   # miss changes that happened elsewhere which should be seen in our local copy.
 400   local branch_list=$(all_branch_names)
 401   local bran
 402   for bran in $branch_list; do
 403 #    echo "synchronizing remote branch: $bran"
 404     git checkout "$bran" | $TO_SPLITTER
 405     promote_pipe_return 0
 406     test_or_die "git switching checkout to remote branch: $bran"
 407
 408     show_branch_conditionally "$this_branch"
 409
 410     remote_branch_info=$(git ls-remote --heads origin $bran 2>/dev/null)
 411     if [ ! -z "$remote_branch_info" ]; then
 412       # we are pretty sure the remote branch does exist.
 413       git pull $PULL_ADDITION origin "$bran" | $TO_SPLITTER
 414 # we may want to choose to do fast forward, to avoid crazy multiple merge histories
 415 # without any changes in them.  --no-ff
 416       promote_pipe_return 0
 417     fi
 418     test_or_die "git pull of remote branch: $bran"
 419   done
 420   # now switch back to our branch.
 421   git checkout "$this_branch" | $TO_SPLITTER
 422   promote_pipe_return 0
 423   test_or_die "git checking out our current branch: $this_branch"
 424
 425   # now pull down any changes in our own origin in the repo, to stay in synch
 426   # with any changes from others.
 427   git pull $PULL_ADDITION --all | $TO_SPLITTER
 428 #is the above really important when we did this branch already in the loop?
 429 #it does an --all, but is that effective or different?  should we be doing that in above loop?
 430 # --no-ff
 431   promote_pipe_return 0
 432   test_or_die "git pulling all upstream"
 433
 434   popd &>/dev/null
 435 }
 436
 437 # gets the latest versions of the assets from the upstream repository.
 438 function do_update()
 439 {
 440   directory="$1"; shift
 441
 442   save_terminal_title
 443
 444   # make a nice echoer since we want to use it inside conditions below.
 445   local nicedir="$directory"
 446   if [ $nicedir == "." ]; then
 447     nicedir=$(\pwd)
 448   fi
 449   local blatt="echo retrieving '$nicedir'..."
 450
 451   pushd "$directory" &>/dev/null
 452   if [ -d "CVS" ]; then
 453     if test_writeable "CVS"; then
 454       $blatt
 455       cvs update . | $TO_SPLITTER
 456       promote_pipe_return 0
 457       test_or_die "cvs update"
 458     fi
 459   elif [ -d ".svn" ]; then
 460     if test_writeable ".svn"; then
 461       $blatt
 462       svn update . | $TO_SPLITTER
 463       promote_pipe_return 0
 464       test_or_die "svn update"
 465     fi
 466   elif [ -d ".git" ]; then
 467     if test_writeable ".git"; then
 468       $blatt
 469       git pull $PULL_ADDITION 2>&1 | grep -v "X11 forwarding request failed" | $TO_SPLITTER
 470 #ordinary pulls should be allowed to do fast forward: --no-ff
 471       promote_pipe_return 0
 472       test_or_die "git pull of origin"
 473     fi
 474   else
 475     # this is not an error necessarily; we'll just pretend they planned this.
 476     echo no repository in $directory
 477   fi
 478   popd &>/dev/null
 479
 480   restore_terminal_title
 481
 482   return 0
 483 }
 484
 485 # gets all the updates for a list of folders under revision control.
 486 function checkout_list()
 487 {
 488   local list="$(uniquify $*)"
 489
 490   save_terminal_title
 491
 492   # turn repo list back into an array.
 493   eval "repository_list=( ${REPOSITORY_LIST[*]} )"
 494
 495   local outer inner
 496
 497   for outer in "${repository_list[@]}"; do
 498     # check the repository first, since it might be an absolute path.
 499     if [[ $outer =~ /.* ]]; then
 500       # yep, this path is absolute.  just handle it directly.
 501       if [ ! -d "$outer" ]; then continue; fi
 502       do_update $outer
 503       test_or_die "running update on: $path"
 504       sep 28
 505     else
 506       for inner in $list; do
 507         # add in the directory component to see if we can find the folder.
 508         local path="$inner/$outer"
 509         if [ ! -d "$path" ]; then continue; fi
 510         do_update $path
 511         test_or_die "running update on: $path"
 512         sep 28
 513       done
 514     fi
 515   done
 516
 517   restore_terminal_title
 518 }
 519
 520 # provides a list of absolute paths of revision control directories
 521 # that are located under the directory passed as the first parameter.
 522 function generate_rev_ctrl_filelist()
 523 {
 524   local dir="$1"; shift
 525   pushd "$dir" &>/dev/null
 526   local dirhere="$( \cd "$(\dirname "$dir")" && /bin/pwd )"
 527   local tempfile=$(mktemp /tmp/zz_checkins.XXXXXX)
 528   echo >$tempfile
 529   local additional_filter
 530   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".svn" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
 531   find $dirhere -follow -maxdepth $MAX_DEPTH -type d -iname ".git" -exec echo {}/.. ';' >>$tempfile 2>/dev/null
 532   # CVS is not well behaved like git and (now) svn, and we seldom use it anymore.
 533   popd &>/dev/null
 534
 535   # see if they've warned us not to try checking in within vendor hierarchies.
 536   if [ ! -z "NO_CHECKIN_VENDOR" ]; then
 537     sed -i -e '/.*\/vendor\/.*/d' "$tempfile"
 538   fi
 539
 540   local sortfile=$(mktemp /tmp/zz_checkin_sort.XXXXXX)
 541   sort <"$tempfile" >"$sortfile"
 542   echo "$sortfile"
 543   \rm "$tempfile"
 544 }
 545
 546 # iterates across a list of directories contained in a file (first parameter).
 547 # on each directory name, it performs the action (second parameter) provided.
 548 function perform_revctrl_action_on_file()
 549 {
 550   local tempfile="$1"; shift
 551   local action="$1"; shift
 552
 553   save_terminal_title
 554
 555   local did_anything=
 556
 557   while read -u 3 dirname; do
 558     if [ -z "$dirname" ]; then
 559       # we often have blank lines in the input file for some reason.
 560       continue
 561     fi
 562     did_anything=yes
 563     pushd "$dirname" &>/dev/null
 564     echo "[$(pwd)]"
 565     # pass the current directory plus the remaining parameters from function invocation.
 566     $action .
 567     test_or_die "performing action $action on: $(pwd)"
 568     sep 28
 569     popd &>/dev/null
 570   done 3<"$tempfile"
 571
 572   if [ -z "$did_anything" ]; then
 573     echo "There was nothing to do the action '$action' on."
 574   fi
 575
 576   restore_terminal_title
 577
 578   rm "$tempfile"
 579 }
 580