Split declaration statements #19

Valeriya-avt · 2021-11-12T12:22:42Z

No description provided.

Valeriya-avt · 2021-11-26T10:32:46Z

Split declaration statements with ExternalRewriter (version 1).

kaniandr

По поводу определения позиции типа в начале объявления.

Есть еще такая конструкция, как clang::TypeLoc, она позволяет отследить позиции типа в программе, т.е. можно описать, например, bool VisitTypeLoc(TypeLoc Loc) { ... } или TraverseTypeLoc.

Когда обрабатывается VarDecl обходится тип, который ее формирует от самого широкого к самому узкому, например, для int *, сначала будет посещен int *, а потом int.
Есть предположение, что если для VarDecl взять самый последний посещенный тип (TypeLoc), то это будет тот тип, который стоит перед объявлением, который общий для всех объявлений. И тогда, чтобы вычислить префикс, который соответствует типу можно взять диапазон от начала объявления до конца этого типа (именно от начала объявления, т.к. квалификаторы типа const не попадут в этот тип, но должны остаться).

Тогда должно быть все известно, что удалить лишнее и строки объявления.

Нужно еще обратить внимание, что не все объявления можно разбить, например,

struct {int X;} A, B;
A = B;

нельзя превратить в

struct {int X;} A,;
struct {int X;} B;
A = B;

т.к. в первом случае типы A и B одинаковые, а во втором уже нет.

Это относится как минимум к struct, class, union, enum.

Общие моменты

Сейчас как я понимаю допускаются директивы как на область видимости, так и на отдельный оператор? Можно так оставить. Но нужно проверять, что директива стоит в допустимом месте, т.е. нельзя ставить директиву перед любым оператором.

Хотелось бы, чтобы в конечно счете был отдельный метод, который можно было бы вызвать, чтобы обработать конкретное объявление переменных и разбить его. Тогда это позволит автоматически разбивать операторы объявления, при формировании параллельных версий программ в SAPFOR, когда это мешает поставить директиву распараллеливания. Возможно даже внутри этого метода стоит запускать отдельный Visitor, чтобы обойти все объявления в обрабатываемом операторе.

Т.е. есть два направления - разбить по директиве пользователя и по запросу от распараллеливателя в процессе генерации параллельной версии.

kaniandr · 2021-11-19T14:32:34Z

include/tsar/Transform/Clang/SplitDecls.h

+namespace llvm {
+/// This pass separates variable declaration statements that contain multiple
+/// variable declarations at once into single declarations.
+class ClangSplitDeclsPass : public ModulePass, private bcl::Uncopyable {


Можно перенести объявление прохода в .cpp файл, а .h файл вообще удалить. Т.к. проход преобразования, не может быть запрошен из другого прохода, то и интерфейс его стоит скрыть внутри .cpp файлы, оставив видимыми наружу только функции initialize... и create... объявленные в Passes.h.

kaniandr · 2021-11-19T14:41:59Z

lib/Transform/Clang/SplitDecls.cpp

+  auto &TfmInfo = getAnalysis<TransformationEnginePass>();
+  auto *TfmCtx{TfmInfo ? TfmInfo->getContext(M) : nullptr};
+  if (!TfmCtx || !TfmCtx->hasInstance()) {
+    M.getContext().emitError("can not transform sources"
+        ": transformation context is not available");
+    return false;
+  }
+  ASTImportInfo ImportStub;
+  const auto *ImportInfo = &ImportStub;
+  if (auto *ImportPass = getAnalysisIfAvailable<ImmutableASTImportInfoPass>())
+    ImportInfo = &ImportPass->getImportInfo();
+  auto &GIP = getAnalysis<ClangGlobalInfoPass>();
+  ClangSplitter Vis(*TfmCtx, *ImportInfo, GIP.getRawInfo());
+  Vis.TraverseDecl(TfmCtx->getContext().getTranslationUnitDecl());


Это устаревший способ получить TransformationContext, он не будет работать с многофайловыми проектами. Сейчас более правильный способ почти нигде не используется в master, но с последующим большим обновлением, которое будет в конце этого кода, или начале следующего, это устаревший способ перестанет работать.
Правильный вариант для модульного прохода примерно такой:

auto &TfmInfo{getAnalysis<TransformationEnginePass>()}; if (!TfmInfo) { M.getContext().emitError("cannot transform sources" ": transformation context is not available"); return false; } ASTImportInfo ImportStub; const auto *ImportInfo = &ImportStub; if (auto *ImportPass = getAnalysisIfAvailable<ImmutableASTImportInfoPass>()) ImportInfo = &ImportPass->getImportInfo(); auto &GIP{getAnalysis<ClangGlobalInfoPass>()}; auto *CUs{M.getNamedMetadata("llvm.dbg.cu")}; for (auto *MD : CUs->operands()) { auto *CU{cast<DICompileUnit>(MD)}; auto *TfmCtx{ dyn_cast_or_null<ClangTransformationContext>(TfmInfo->getContext(*CU))}; if (!TfmCtx || !TfmCtx->hasInstance()) { M.getContext().emitError("cannot transform sources" ": transformation context is not available"); return false; } // Здесь уже может быть ваш визитор ClangSplitter. // Объемлющий цикл фактически обходит все файлы, // входящие в проект, и для каждого получает свой контекст. }

kaniandr · 2021-11-27T11:32:15Z

lib/Transform/Clang/SplitDecls.cpp

+bool isNotSingleFlag = false;
+bool isAfterNotSingleFlag = false;


Глобальные переменные - это плохо, переменные должны быть членами класса.

kaniandr · 2021-11-27T11:57:55Z

lib/Transform/Clang/SplitDecls.cpp

+  bool TraverseDeclStmt(DeclStmt *S) {
+    bool tmp;
+    if(!(S->isSingleDecl())) {
+      if (!isNotSingleFlag)


А в каком случае isNotSingleFlag будет true в этой точке?

kaniandr · 2021-11-27T11:58:15Z

lib/Transform/Clang/SplitDecls.cpp

+  }
+
+  bool TraverseDeclStmt(DeclStmt *S) {
+    bool tmp;


Suggested change

bool tmp;

kaniandr · 2021-11-27T12:07:14Z

lib/Transform/Clang/SplitDecls.cpp

+      SourceRange varDeclRange(S->getBeginLoc(), S->getEndLoc());
+      if (varDeclsNum == 1) {
+        SourceRange toInsert2(Range.getBegin(), S->getEndLoc());
+        txtStr = Canvas.getRewrittenText(varDeclRange).str();


Вроде бы нет причин делать txtStr членом класса, она может быть локальной для метода.

kaniandr · 2021-11-27T12:36:01Z

lib/Transform/Clang/SplitDecls.cpp

+    }
+  }
+
+  // bool VisitVarDecl(VarDecl *S) { // to traverse the parse tree and visit each statement


Объявление:

int (*f)(int N, int(*C)[N]), x, (*restrict Q)[100], C[200][300];

Типы:

DeclStmt 0x55df67170ac8 <line:3:3, col:66> |-VarDecl 0x55df67170668 <col:3, col:29> col:9 f 'int (*)(int, int (*)[N])' |-VarDecl 0x55df671706e8 <col:3, col:32> col:32 x 'int' |-VarDecl 0x55df67170898 <col:3, col:52> col:46 Q 'int (*restrict)[100]' `-VarDecl 0x55df67170a38 <col:3, col:65> col:55 C 'int [200][300]'

Не получится вставить имя сразу после типа, например, для переменной f (функция).
Не получится вставить имя на место последнего пробела, например, для переменной Q (массив C99).

kaniandr · 2021-11-27T14:05:38Z

lib/Transform/Clang/SplitDecls.cpp

+    if (isNotSingleFlag) {
+      SourceRange toInsert(notSingleDeclStart, notSingleDeclEnd);
+      mRewriter.RemoveText(toInsert, RemoveEmptyLine);
+
+    }


Удаление исходного объявления лучше перенести поближе к обработке конкретного оператора объявления, например, делать это в TraverseDeclStmt, сразу как оператор был обработан.

kaniandr · 2021-11-27T14:07:41Z

lib/Transform/Clang/SplitDecls.cpp

+      bool HasMacro = false;
+      for_each_macro(S, mSrcMgr, mContext.getLangOpts(), mRawInfo->Macros,
+        [&HasMacro, this](clang::SourceLocation Loc) {
+          if (!HasMacro) {
+            toDiag(mContext.getDiagnostics(), Loc,
+              tsar::diag::warn_splitdeclaration_macro_prevent);
+            HasMacro = true;
+        }
+      });


Нет смысла проверять отсутствие макросов во все области видимости, т.к. обработка делается только для единичных операторов объявления и только, если эти операторы содержат макрос, то нужно запрещать их обработку.

Сейчас кстати судя по всему этой проверки нет, если прагма стоит на один оператор а не на область видимости.

Все еще актуально.

Убрала проверку на отсутствие макросов во всей области видимости

Valeriya-avt · 2021-12-03T08:07:52Z

Добавила TraverseTypeLoc. В этой версии берётся самый последний посещенный тип и добавляется перед всеми объявлениями переменных. Такой подход не пригоден для некоторых типов, в частности для структур. У Type есть метод isStructureType(). Можно попробовать обрабатывать такие типы отдельно, но даже в таком случае брать первый, а не последний посещённый тип будет нельзя (пример: struct S * x, y).

kaniandr · 2021-12-03T11:02:56Z

Добавила TraverseTypeLoc. В этой версии берётся самый последний посещенный тип и добавляется перед всеми объявлениями переменных. Такой подход не пригоден для некоторых типов, в частности для структур. У Type есть метод isStructureType(). Можно попробовать обрабатывать такие типы отдельно, но даже в таком случае брать первый, а не последний посещённый тип будет нельзя (пример: struct S * x, y).

Есть тип clang::ElaboratedTypeLoc - это как раз конструкции вида struct S или X::Y. Можно проверить, что Loc это такой тип if (Loc.getAs<ElaboratedTypeLoc>()) ... и брать его, а не тип который ниже.

Брать диапазон Loc.getSourceRage() не совсем правильно, т.к. квалификаторы, например, const не попадут в этот диапазон. Например, для const int X; диапазон указывает только на int. По всей видимости в качестве начала диапазона надо брать начало оператора объявления переменной, а вот конец уже брать из TypeLoc.

Valeriya-avt · 2021-12-10T07:39:39Z

Реализация с ElaboratedTypeLoc. Теперь разделение объявлений работает со структурами и константами. Также была проблема с разделением объявлений массивов, сейчас она исправлена. Исправлена некорректная обработка прагмы, теперь разделение переменных происходит только в случае наличия строки #pragma spf transform splitdeclaration.

Valeriya-avt · 2021-12-17T06:07:45Z

Устаревший способ получения TransformationContext заменён на новый. Убраны глобальные переменные, теперь их роль играют переменные, являющиеся членами класса. Удалены переменные и функция, которые больше не используются.

Valeriya-avt · 2021-12-22T18:34:01Z

Исправлена некорректная работа программы на примерах с несколькими составными операторами объявления переменных.

Valeriya-avt · 2021-12-22T21:36:40Z

Реализация разделения на одиночные составных операторов инициализации переменных.

kaniandr

Общие замечания:

Форматирование кода: длина строк, правила именования типов и переменных, закрытых членов класс и т.д. (подробнее в TSAR Wiki).
Для всех ситуаций, которые не обрабатываются должно быть добавлено диагностическое сообщение о причине, почему преобрзование невозможно.
Нужно предусмотреть возможность, которая позволила бы ограничить множество преобразуемых объявлений. Можно считать, что будет какой-то дополнительный проход, к оторому будет обращаться ваш проход и у которого он получить список VarDecl, которые нужно вынести в отдельный оператор. Т.е. Нужно предсмотреть, что параметром вашего визитора будет llvm::DenseSet<VarDecl *>, и разделять нужно только эти объявления.

kaniandr · 2022-03-22T09:17:16Z

lib/Transform/Clang/CMakeLists.txt

+  DeadDeclsElimination.cpp Format.cpp OpenMPAutoPar.cpp
+  SharedMemoryAutoPar.cpp DVMHSMAutoPar.cpp StructureReplacement.cpp
+  LoopInterchange.cpp LoopReversal.cpp SplitDecls.cpp)


Надо поправить, в таком виде не собирается, видимо после устранения конфликтов при rebase могли продублироваться имена файлов.

kaniandr · 2022-03-22T09:18:40Z

lib/Transform/Clang/SplitDecls.cpp

+    Vis.TraverseDecl(TfmCtx->getContext().getTranslationUnitDecl());
+    return false;
+  }
+}


Suggested change

}

}

kaniandr · 2022-03-22T09:19:58Z

lib/Transform/Clang/SplitDecls.cpp

+    if (auto *ImportPass = getAnalysisIfAvailable<ImmutableASTImportInfoPass>())
+      ImportInfo = &ImportPass->getImportInfo();
+    auto &GIP = getAnalysis<ClangGlobalInfoPass>();
+    //mGlobalInfo = &GIP.getGlobalInfo();


Suggested change

//mGlobalInfo = &GIP.getGlobalInfo();

kaniandr · 2022-03-22T09:24:08Z

lib/Transform/Clang/SplitDecls.cpp

+  private:
+


Suggested change

private:

private:

kaniandr · 2022-03-22T09:24:19Z

lib/Transform/Clang/SplitDecls.cpp

+
+  private:
+
+  TransformationContext *mTfmCtx;


Suggested change

TransformationContext *mTfmCtx;

ClangTransformationContext *mTfmCtx;

kaniandr · 2022-03-22T11:27:28Z

lib/Transform/Clang/SplitDecls.cpp

+      bool HasMacro = false;
+      for_each_macro(S, mSrcMgr, mContext.getLangOpts(), mRawInfo->Macros,
+        [&HasMacro, this](clang::SourceLocation Loc) {
+          if (!HasMacro) {
+            toDiag(mContext.getDiagnostics(), Loc,
+              tsar::diag::warn_splitdeclaration_macro_prevent);
+            HasMacro = true;
+        }
+      });


Все еще актуально.

kaniandr · 2022-03-22T11:29:57Z

lib/Transform/Clang/SplitDecls.cpp

+      SourceRange toInsert(S->getBeginLoc(), S->getEndLoc());
+      ProcessGlobalDeclaration(S, toInsert);
+    }
+    if (localVarDecls.isNotSingleFlag) {


Вроде бы если переменная глобальна, то эта проверка вообще не должна выполняться, не нужен ли здесь else if вместо if?

kaniandr · 2022-03-22T11:32:44Z

lib/Transform/Clang/SplitDecls.cpp

+    if (mGlobalInfo.findOutermostDecl(S)) {
+      if (globalVarDeclsMap[S->getBeginLoc()].varDeclsNum == 0) {
+        std::map<clang::SourceLocation, notSingleDecl>::iterator it;
+        for (it = globalVarDeclsMap.begin(); it != globalVarDeclsMap.end(); it++) {


Почему не использовать метод find()? Зачем использовать map, если поиск делается перебором его элементов?

Вместо std::map, лучше использовать llvm::DenseMap.

Применять многкратно оператор [...] для map нехорошо, каждое его применение - это поиск по в map, лучше найти однократно и затем использовать полученную ссылку/итератор на объект для доступа.

Для вставки удобно использовать метод try_emplace(), он сразу вернет пару итератор на новый объект или на уже существующий объект и флаг типа bool, указыавющий на то был ли объект добавлен или он уже был в контейнере.

kaniandr · 2022-03-22T11:38:59Z

lib/Transform/Clang/SplitDecls.cpp

+      localVarDecls.notSingleDeclEnd = S->getEndLoc();
+      varPositions[S->getBeginLoc()] = S->getEndLoc();
+    } else {
+      std::cout << "IS SINGLE\n";


В LLVM для вывода используются собственные потоки outs(), errs(), dbgs(): outs() << ... << .... В финальной версии не должно быть отладочной печати, либо ее можно оставить, но окружить специальным макросом LLVM_DEBUG: LLVM_DEBUG(dbgs() << "[SPLIT DECLARATIONS]: ...\n"). В этом случае отладочная печать будет доступна при сборке системы в Debug по опции -debug-only=clang-split-decls (имя опции определяется макросом `#define DEBUG_TYPE "clang-split-decls" в начале .cpp файла).

kaniandr · 2022-03-22T12:34:15Z

lib/Transform/Clang/SplitDecls.cpp

+    return type;
+  }
+
+  bool TraverseTypeLoc(TypeLoc Loc) {


Мне казалось раньше была отдельная обработка структурных типов?
Сейчас struct {int X;} A, B; обрабатывается неправильно.
А что должно быть для такого случая: int (*f)(int N, int(*C)[N]), x, (*restrict Q)[100], C[200][300];, сейчас он не преобразуется.

Корректно обрабатывается struct S {int X;} A, B;. Ранее мы решили случаи типа int (*f)(int N, int(*C)[N]), x, (*restrict Q)[100], C[200][300]; не обрабатывать, такие объявления отлавливаются при помощи bool VisitParmVarDecl(ParmVarDecl *S)

Valeriya-avt · 2022-05-14T17:31:48Z

Проведён рефакторинг кода в соответствии с правилами оформления кода. Для ситуаций, которые не обрабатываются, добавлены диагностические сообщения. Устранены многократные применения оператора [...] для map. Внесены изменения в обработку составных объявлений глобальных переменных.

…ormationContext

…t initializations of global variables

Removed processing of all global variable declarations in each iteration. Now, each global variable declaration is processed only once.

…iagnostic messages.

kaniandr reviewed Nov 27, 2021

View reviewed changes

kaniandr added the enhancement New feature or request label Nov 27, 2021

Valeriya-avt force-pushed the master branch from dbaa740 to dc6681b Compare March 17, 2022 17:40

kaniandr requested changes Mar 22, 2022

View reviewed changes

Valeriya-avt added 14 commits September 21, 2022 13:52

resolved the conflict in CMakeLists.txt

6a2e7ef

Split declaration statements

1d22e84

Split declaration statements with ExternalRewriter (version 1)

b26cabd

SplitDecls with TraverseTypeLoc (version 1)

91a3080

SplitDecls with ElaboratedTypeLoc

55c9817

Code refactoring

d6f15cb

Segmentation fault fix

f39f72b

SplitDecls with initialization

79820d8

without processing ParmVarDecl

4cbbb7e

split of global declarations

ef16fb4

Add pragma handling, remove unused variables, update work with Transf…

7ddd390

…ormationContext

Fix issue with splitting global declarations. Add the ability to spli…

faa94bb

…t initializations of global variables

Fixed an issue with splitting global pointer declarations

60c2a0b

Removed processing of all global variable declarations in each iteration. Now, each global variable declaration is processed only once.

Update handling of global variable declarations, refactor code, add d…

ac3ce33

…iagnostic messages.

Valeriya-avt force-pushed the master branch from ccd3bca to ac3ce33 Compare September 21, 2022 14:31

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Split declaration statements #19

Split declaration statements #19

Valeriya-avt commented Nov 12, 2021

Valeriya-avt commented Nov 26, 2021

kaniandr left a comment

kaniandr Nov 19, 2021

kaniandr Nov 19, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Nov 27, 2021

kaniandr Mar 22, 2022

Valeriya-avt Apr 5, 2022

Valeriya-avt commented Dec 3, 2021

kaniandr commented Dec 3, 2021 •

edited

Loading

Valeriya-avt commented Dec 10, 2021

Valeriya-avt commented Dec 17, 2021

Valeriya-avt commented Dec 22, 2021

Valeriya-avt commented Dec 22, 2021

kaniandr left a comment

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

kaniandr Mar 22, 2022

Valeriya-avt Apr 5, 2022

Valeriya-avt commented May 14, 2022

		bool isNotSingleFlag = false;
		bool isAfterNotSingleFlag = false;

	TransformationContext *mTfmCtx;
	ClangTransformationContext *mTfmCtx;

Split declaration statements #19

Are you sure you want to change the base?

Split declaration statements #19

Conversation

Valeriya-avt commented Nov 12, 2021

Valeriya-avt commented Nov 26, 2021

kaniandr left a comment

Choose a reason for hiding this comment

По поводу определения позиции типа в начале объявления.

Общие моменты

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Valeriya-avt commented Dec 3, 2021

kaniandr commented Dec 3, 2021 • edited Loading

Valeriya-avt commented Dec 10, 2021

Valeriya-avt commented Dec 17, 2021

Valeriya-avt commented Dec 22, 2021

Valeriya-avt commented Dec 22, 2021

kaniandr left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Valeriya-avt commented May 14, 2022

kaniandr commented Dec 3, 2021 •

edited

Loading