it-swarm.com.ru

Как автоматически импортировать данные из загруженного файла CSV или XLS в Google Sheets

У меня есть устаревшая система баз данных (не доступная через Интернет) на сервере, который генерирует отчеты CSV или XLS в папку на Google Диске. В настоящее время я вручную открываю эти файлы в веб-интерфейсе Drive и преобразовываю их в Google Sheets.

Я бы предпочел, чтобы это было автоматически, чтобы я мог создавать задания, которые добавляли/преобразовывали и отображали данные на других листах.

Можно ли вывести собственный файл .gsheet? Или есть способ преобразовать CSV или XLS в .gsheet программно после сохранения его на Google Диске либо в Google Apps, либо с помощью сценария/утилиты на основе Windows?

32
youcantexplainthat

Вы можете программно импортировать данные из файла CSV на вашем диске в существующий лист Google, используя скрипт Google Apps, заменяя/добавляя данные по мере необходимости.

Ниже приведен пример кода. Предполагается, что: a) у вас есть назначенная папка на вашем диске, где файл CSV сохранен/загружен; b) файл CSV называется "report.csv" и данные в нем разделены запятыми; и c) данные CSV импортируются в назначенную электронную таблицу. Смотрите комментарии в коде для более подробной информации.

_function importData() {
  var fSource = DriveApp.getFolderById(reports_folder_id); // reports_folder_id = id of folder where csv reports are saved
  var fi = fSource.getFilesByName('report.csv'); // latest report file
  var ss = SpreadsheetApp.openById(data_sheet_id); // data_sheet_id = id of spreadsheet that holds the data to be updated with new report data

  if ( fi.hasNext() ) { // proceed if "report.csv" file exists in the reports folder
    var file = fi.next();
    var csv = file.getBlob().getDataAsString();
    var csvData = CSVToArray(csv); // see below for CSVToArray function
    var newsheet = ss.insertSheet('NEWDATA'); // create a 'NEWDATA' sheet to store imported data
    // loop through csv data array and insert (append) as rows into 'NEWDATA' sheet
    for ( var i=0, lenCsv=csvData.length; i<lenCsv; i++ ) {
      newsheet.getRange(i+1, 1, 1, csvData[i].length).setValues(new Array(csvData[i]));
    }
    /*
    ** report data is now in 'NEWDATA' sheet in the spreadsheet - process it as needed,
    ** then delete 'NEWDATA' sheet using ss.deleteSheet(newsheet)
    */
    // rename the report.csv file so it is not processed on next scheduled run
    file.setName("report-"+(new Date().toString())+".csv");
  }
};


// http://www.bennadel.com/blog/1504-Ask-Ben-Parsing-CSV-Strings-With-Javascript-Exec-Regular-Expression-Command.htm
// This will parse a delimited string into an array of
// arrays. The default delimiter is the comma, but this
// can be overriden in the second argument.

function CSVToArray( strData, strDelimiter ) {
  // Check to see if the delimiter is defined. If not,
  // then default to COMMA.
  strDelimiter = (strDelimiter || ",");

  // Create a regular expression to parse the CSV values.
  var objPattern = new RegExp(
    (
      // Delimiters.
      "(\\" + strDelimiter + "|\\r?\\n|\\r|^)" +

      // Quoted fields.
      "(?:\"([^\"]*(?:\"\"[^\"]*)*)\"|" +

      // Standard fields.
      "([^\"\\" + strDelimiter + "\\r\\n]*))"
    ),
    "gi"
  );

  // Create an array to hold our data. Give the array
  // a default empty first row.
  var arrData = [[]];

  // Create an array to hold our individual pattern
  // matching groups.
  var arrMatches = null;

  // Keep looping over the regular expression matches
  // until we can no longer find a match.
  while (arrMatches = objPattern.exec( strData )){

    // Get the delimiter that was found.
    var strMatchedDelimiter = arrMatches[ 1 ];

    // Check to see if the given delimiter has a length
    // (is not the start of string) and if it matches
    // field delimiter. If id does not, then we know
    // that this delimiter is a row delimiter.
    if (
      strMatchedDelimiter.length &&
      (strMatchedDelimiter != strDelimiter)
    ){

      // Since we have reached a new row of data,
      // add an empty row to our data array.
      arrData.Push( [] );

    }

    // Now that we have our delimiter out of the way,
    // let's check to see which kind of value we
    // captured (quoted or unquoted).
    if (arrMatches[ 2 ]){

      // We found a quoted value. When we capture
      // this value, unescape any double quotes.
      var strMatchedValue = arrMatches[ 2 ].replace(
        new RegExp( "\"\"", "g" ),
        "\""
      );

    } else {

      // We found a non-quoted value.
      var strMatchedValue = arrMatches[ 3 ];

    }

    // Now that we have our value string, let's add
    // it to the data array.
    arrData[ arrData.length - 1 ].Push( strMatchedValue );
  }

  // Return the parsed data.
  return( arrData );
};
_

Затем вы можете создать управляемый по времени триггер в своем проекте сценария для регулярного запуска функции importData() (например, каждую ночь в 1:00), поэтому все, что вам нужно сделать, это поставить новый файл report.csv в назначенную папку диска, и он будет автоматически обработан при следующем запланированном запуске.

Если вы абсолютно ДОЛЖНЫ работать с файлами Excel вместо CSV, то вы можете использовать этот код ниже. Чтобы это работало, вы должны включить Drive API в Advanced Google Services в своем скрипте и в консоли разработчика (подробнее см. Как включить Advanced Services ).

_/**
 * Convert Excel file to Sheets
 * @param {Blob} excelFile The Excel file blob data; Required
 * @param {String} filename File name on uploading drive; Required
 * @param {Array} arrParents Array of folder ids to put converted file in; Optional, will default to Drive root folder
 * @return {Spreadsheet} Converted Google Spreadsheet instance
 **/
function convertExcel2Sheets(excelFile, filename, arrParents) {

  var parents  = arrParents || []; // check if optional arrParents argument was provided, default to empty array if not
  if ( !parents.isArray ) parents = []; // make sure parents is an array, reset to empty array if not

  // Parameters for Drive API Simple Upload request (see https://developers.google.com/drive/web/manage-uploads#simple)
  var uploadParams = {
    method:'post',
    contentType: 'application/vnd.ms-Excel', // works for both .xls and .xlsx files
    contentLength: excelFile.getBytes().length,
    headers: {'Authorization': 'Bearer ' + ScriptApp.getOAuthToken()},
    payload: excelFile.getBytes()
  };

  // Upload file to Drive root folder and convert to Sheets
  var uploadResponse = UrlFetchApp.fetch('https://www.googleapis.com/upload/drive/v2/files/?uploadType=media&convert=true', uploadParams);

  // Parse upload&convert response data (need this to be able to get id of converted sheet)
  var fileDataResponse = JSON.parse(uploadResponse.getContentText());

  // Create payload (body) data for updating converted file's name and parent folder(s)
  var payloadData = {
    title: filename, 
    parents: []
  };
  if ( parents.length ) { // Add provided parent folder(s) id(s) to payloadData, if any
    for ( var i=0; i<parents.length; i++ ) {
      try {
        var folder = DriveApp.getFolderById(parents[i]); // check that this folder id exists in drive and user can write to it
        payloadData.parents.Push({id: parents[i]});
      }
      catch(e){} // fail silently if no such folder id exists in Drive
    }
  }
  // Parameters for Drive API File Update request (see https://developers.google.com/drive/v2/reference/files/update)
  var updateParams = {
    method:'put',
    headers: {'Authorization': 'Bearer ' + ScriptApp.getOAuthToken()},
    contentType: 'application/json',
    payload: JSON.stringify(payloadData)
  };

  // Update metadata (filename and parent folder(s)) of converted sheet
  UrlFetchApp.fetch('https://www.googleapis.com/drive/v2/files/'+fileDataResponse.id, updateParams);

  return SpreadsheetApp.openById(fileDataResponse.id);
}

/**
 * Sample use of convertExcel2Sheets() for testing
 **/
 function testConvertExcel2Sheets() {
  var xlsId = "0B9**************OFE"; // ID of Excel file to convert
  var xlsFile = DriveApp.getFileById(xlsId); // File instance of Excel file
  var xlsBlob = xlsFile.getBlob(); // Blob source of Excel file for conversion
  var xlsFilename = xlsFile.getName(); // File name to give to converted file; defaults to same as source file
  var destFolders = []; // array of IDs of Drive folders to put converted file in; empty array = root folder
  var ss = convertExcel2Sheets(xlsBlob, xlsFilename, destFolders);
  Logger.log(ss.getId());
}
_

приведенный выше код также доступен здесь как Gist .

35
azawaza

Вы можете получить Google Drive для автоматического преобразования CSV-файлов в Google Sheets, добавив

?convert=true

до конца api URL, который вы звоните.

Правка: Вот документация по доступным параметрам: https://developers.google.com/drive/v2/reference/files/insert

Кроме того, во время поиска по вышеуказанной ссылке я обнаружил, что на этот вопрос уже был дан ответ:

загрузить CSV в таблицу Google Drive с помощью API Drive v2

7
Matt

(март 2017 г.) Принятый ответ - не лучшее решение. Он основан на ручном переводе с использованием Apps Script, и код может не быть устойчивым, требующим обслуживания. Если ваша устаревшая система автоматически генерирует файлы CSV, лучше всего, если они перейдут в другую папку для временной обработки (импорт [загрузка на Google Drive и конвертирование] в файлы Google Sheets).

Моя мысль - позволить Drive API выполнять всю тяжелую работу. Google Drive API команда выпущенная версия в конце 2015 года, и в этом выпуске insert() изменили имена на create(), поэтому как лучше отразить файловую операцию. Также нет больше флага конвертации - вы просто указываете MIMEtypes ... представьте себе!

Также была улучшена документация: теперь есть специальное руководство, посвященное загрузкам (простой, многокомпонентный и возобновляемый), который поставляется с примером кода на Java, Python, PHP, C # /. NET, Ruby, JavaScript /Node.js и iOS/Obj-C, который импортирует CSV-файлы в формат Google Sheets по желанию.

Ниже приведено одно альтернативное Python для коротких файлов ("простая загрузка"), где вам не требуется apiclient.http.MediaFileUpload учебный класс. В этом фрагменте предполагается, что ваш код авторизации работает там, где конечной точкой службы является DRIVE с минимальной областью авторизации https://www.googleapis.com/auth/drive.file.

# filenames & MIMEtypes
DST_FILENAME = 'inventory'
SRC_FILENAME = DST_FILENAME + '.csv'
SHT_MIMETYPE = 'application/vnd.google-apps.spreadsheet'
CSV_MIMETYPE = 'text/csv'

# Import CSV file to Google Drive as a Google Sheets file
METADATA = {'name': DST_FILENAME, 'mimeType': SHT_MIMETYPE}
rsp = DRIVE.files().create(body=METADATA, media_body=SRC_FILENAME).execute()
if rsp:
    print('Imported %r to %r (as %s)' % (SRC_FILENAME, DST_FILENAME, rsp['mimeType']))

Еще лучше, чем загружать в My Drive, вы загрузите в одну (или более) определенную папку (и), то есть добавите идентификаторы родительской папки в METADATA. (См. Также пример кода на эта страница .) Наконец, нет собственного "файла" .gsheet - этот файл просто содержит ссылку на онлайн-лист, поэтому вы должны сделать то, что написано выше. ,.

Если вы не используете Python, вы можете использовать приведенный выше фрагмент в качестве псевдокода для переноса на язык вашей системы. В любом случае, кода для обслуживания гораздо меньше, потому что нет разбора CSV. Осталось только удалить временную папку CSV-файла, в которую была записана ваша прежняя система.

6
wescpy

В случае, если кто-то будет искать - я создал утилиту для автоматического импорта файлов xlsx в электронную таблицу Google: xls2sheets . Это можно сделать автоматически, установив cronjob для ./cmd/sheets-refresh, readme описывает все это. Надеюсь, что это будет полезно.

0
Pukeko